Chi governa gli algoritmi governativi? L’automazione dei servizi pubblici tra Italia e Paesi Bassi

Questo articolo è tratto dal capitolo “Prospettive europeee e internazionali” dell’Annual Report di FPA presentato il 18 gennaio 2024. La pubblicazione è gratuita

È il 15 gennaio 2021. Mark Rutte, Presidente del Consiglio olandese da diversi anni, rassegna le sue dimissioni e quelle del suo Governo pronunciando queste parole: «Sono stati commessi errori a tutti i livelli che hanno portato a una grande ingiustizia per migliaia di famiglie. Persone innocenti sono state criminalizzate e le loro vite distrutte. Questo Gabinetto si è assunto la piena responsabilità». La responsabilità di cui parlava Rutte era quella di uno scandalo, quello sui sussidi all’infanzia, che era scoppiato poche settimane prima e che aveva mandato il Paese, Governo compreso, nel caos.

Facciamo un passo indietro. Nel 2011, i media olandesi hanno iniziato a raccontare dei casi di frode operati da persone che ricevevano misure assistenziali olandesi pur vivendo in altri Stati membri dell’Unione europea (UE). Tra questi c’era la Bulgaria, che ha fatto passare questi eventi alla storia con il nome di bulgarenfraude (frodi bulgare). Chi ha vissuto quella vicenda ricorda le immagini ‘molto forti’ che passavano in televisione, i video della campagna bulgara con animali che pascolavano nei campi, accompagnati dalla scritta «è qui che vanno i nostri soldi».

I Paesi Bassi sono noti per aver sviluppato nel dopoguerra un forte stato sociale. Oggi, nonostante molti cambiamenti, l’eredità di quel welfare – tuttora tra i più sviluppati in Europa – è evidente nel numero e varietà di sussidi e benefici statali che almeno sulla carta il Governo continua a rendere disponibili per chi risiede nel territorio olandese. Tra questi, aiuti alla casa e allo studio, ma anche alla crescita dei figli, dato che i costi per l’infanzia sono tra i più alti dei Paesi dell’Organizzazione per la cooperazione e lo sviluppo economico (OCSE). Era proprio questo il sussidio coinvolto nelle frodi bulgare: successivamente, il Governo (diverso, ma sempre guidato da Rutte) ha deciso che serviva un sistema di controlli rigorosi e sistematici per poter verificare a chi andavano gli aiuti e dove. Erano gli anni della ‘scoperta’ dei big data, quando un certo entusiasmo faceva pensare aziende e governi globali che davvero si potessero correlare tutte le informazioni a disposizione tra loro e che questo potesse risolvere tutti i nostri problemi (per certi versi, in molti la pensano ancora così). Una persona che ho intervistato per la mia ricerca mi ha mostrato un video di quel periodo in cui il capo dell’Ufficio dell’amministrazione fiscale nazionale (Belastingdienst) incoraggiava l’analisi dettagliata dei dati attraverso gli algoritmi al fine di scoprire correlazioni sconosciute, come ad esempio «se sappiamo che guidi una certa auto, forse scopriremo che non ripaghi i tuoi prestiti»[1].

La nuova strategia per il contrasto alle frodi sociali, evidentemente, si basava su un regime di zero tolleranza. Quando il Governo e l’Autorità fiscale decisero di affidare a una società esterna lo sviluppo di un software in grado di analizzare i dati inseriti dai cittadini nelle richieste di specifici sussidi per l’infanzia, l’obiettivo era di trovare un insieme di correlazioni che combinate insieme fornissero la ricetta perfetta per smascherare le frodi. Un primo calcolo doveva identificare il rischio analizzando i testi e documenti compilati dalle famiglie per richiedere il sussidio, mentre il secondo doveva restituire un risultato a partire dal confronto con dati storici.

Concretamente, il modello di apprendimento automatico usato era stato addestrato su dati storici, cioè su casi empirici positivi e negativi di frode allo Stato (o ‘corretti’ e ‘scorretti’) degli anni precedenti. Questo metodo rappresenta la tecnica più diffusa per automatizzare un qualsiasi processo decisionale (noti in inglese con la sigla ADM – automated decision making) sia nel pubblico sia nel privato, ed è lo stesso che impiegano le banche e gli istituti di credito per analizzare l’affidabilità creditizia dei clienti, e in base al punteggio concedere o meno un servizio. L’utilizzo da parte dello Stato di queste tecniche è decisamente più problematico, soprattutto se analizziamo il loro funzionamento.

Il Governo e l’Autorità fiscale avevano suggerito alcuni indicatori di rischio (non è noto sulla base di quali dati statistici storici), come il basso reddito e la provenienza delle famiglie, da tenere in considerazione nel processo di identificazione delle frodi. Per il primo passaggio invece, cioè la verifica dei moduli, la richiesta era di segnalare tutti gli errori. Molto banalmente, per il funzionamento logico e matematico di questo tipo di modelli, di fronte a istruzioni di questo tipo ciò che l’intelligenza artificiale può fare è semplicemente restituire ogni errore di compilazione come potenzialmente dannoso e individuare come ‘a rischio di frode’ le persone a basso reddito e con un background migratorio. È esattamente quello che è successo. Alcune indagini dell’Autorità per la protezione dei dati personali olandese (pubblicate in un rapporto del luglio 2020) hanno dimostrato che il modello in uso dal Governo aumentava il rischio di frode per gli individui che non erano olandesi.

I ‘test’ sono stati condotti creando dei profili di potenziali richiedenti e calcolandone il rischio: a parità di condizioni, la doppia nazionalità è risultata essere un criterio di rischio specifico, e quindi un pregiudizio codificato a prescindere dal caso specifico.

Il ‘feedback loop’ di ingiustizia a cui sono sottoposti alcuni gruppi sociali nell’automazione dei servizi pubblici, come il welfare, è qualcosa di cui ha scritto estensivamente la politologa statunitense Virginia Eubanks[2]: i gruppi sociali già potenzialmente discriminati si trovano ad affrontare livelli più elevati di raccolta dati e quindi hanno più probabilità di essere sospettati. Nel momento in cui alcune discriminazioni sociali vengono scolpite in regole codificate, esiste il rischio di amplificare in massa le ingiustizie.

È importante sottolineare che anche quando non si tratta di discriminazioni pregresse (ad esempio: le donne che storicamente non lavorano non verranno consigliate da un modello matematico per un lavoro) esiste un forte rischio di discriminazione, basata sull’idea di partire da un caso singolo e generalizzarlo a un’intera popolazione. Tendenzialmente l’analisi statistica, in contesti così sensibili che hanno a che fare con gli esseri umani, funziona così: se ci fossero troppe eccezioni e troppa attenzione ai casi specifici, non funzionerebbe. Come conciliare però la necessità umana e pubblica di prendersi cura delle esigenze soggettive con la tendenza statistica a generalizzare e raggruppare?

I numeri emersi nel 2021 erano devastanti. Tra le 25mila e le 30mila famiglie, nell’arco di sette anni, erano state ingiustamente accusate di frode dallo Stato e dall’Autorità fiscale, con conseguenze estremamente negative per le loro vite pubbliche e private. A rivelarlo è stato un rapporto pubblicato da una Commissione parlamentare d’inchiesta intitolato “Ingiustizia senza precedenti”, portando alla luce uno scandalo attraverso la ricostruzione degli eventi insieme ad avvocati e vittime, mostrando i tassi di errore dell’Autorità fiscale e il ruolo dell’automazione dei processi. Alle famiglie segnalate a rischio di frode erano stati bloccati tutti i nuovi assegni ed era stato chiesto di volta in volta di restituire allo Stato tutti i benefici precedentemente ottenuti, creando situazioni di estrema difficoltà economica e personale con migliaia di licenziamenti, perdita di case e dei figli, affidati ai servizi sociali. Le famiglie, nel corso degli anni, hanno lottato per capire cosa stesse succedendo e perché fossero state accusate e hanno cercato informazioni, riscontrando una completa assenza di trasparenza. Per anni, l’etichetta di ‘frode’ che era stata loro assegnata è stata usata anche da altri enti pubblici incrociando le banche dati ed escludendoli da altri servizi pubblici. Tutto ciò si è verificato senza delle vere condanne, quelle reali a cui siamo abituati da parte di tribunali, e senza che l’amministrazione centrale sapesse esattamente cosa stesse succedendo. Ma la mancanza di consapevolezza non può certo giustificare l’assenza di responsabilità. Soprattutto perché il toeslagenaffaire (il nome in lingua originale di questo scandalo) è stato il caso più clamoroso ma non isolato rispetto all’utilizzo discriminatorio e poco trasparente degli algoritmi nei servizi pubblici olandesi.

Quello olandese è un caso importante perché mostra perfettamente tutto quello che può andare storto quando si automatizza un processo delicato senza governarlo adeguatamente. Lo stesso è successo diverse volte negli Stati Uniti, ma anche in Austria e in Danimarca[3].

L’unico caso italiano legato all’utilizzo di algoritmi nella sfera decisionale pubblica descrive una situazione molto simile, almeno nelle modalità. Nel 2015, la cosiddetta riforma della ‘Buona Scuola’ doveva modernizzare anche l’infrastruttura che permetteva all’amministrazione centrale di assegnare gli insegnanti alle diverse cattedre disponibili, introducendo un algoritmo. Nello specifico, aveva lo scopo di assegnare migliaia di insegnanti a diversi istituti scolastici sparsi per il territorio nazionale, incrociando una graduatoria con le preferenze espresse dagli stessi docenti[4]. Probabilmente, i funzionari e tecnici del Ministero si erano immaginati che basandosi su regole definite e casistiche già note, e dovendo incrociare delle preferenze molto semplici, l’automazione di questo processo sarebbe stata la cosa migliore. Ed effettivamente avevano ragione. Se non fosse che la norma era scritta male e l’algoritmo l’ha giustamente applicata alla lettera, restituendo dei risultati sbagliati e problematici e assegnando migliaia di insegnanti alla scuola sbagliata.

Anche ciò che è successo con l’algoritmo della Buona Scuola ha avuto degli impatti decisamente problematici sulla vita delle persone, in questo caso gli insegnanti, ma non paragonabili allo scandalo olandese. Ciò che questi due esempi hanno in comune è la completa deresponsabilizzazione umana nel momento in cui decidiamo di automatizzare un processo. Ciò, ovviamente, non riguarda solo la sfera pubblica; la gravità e la scala degli impatti che riguardano i servizi pubblici sono certamente più alti. L’Italia, in particolare, dopo il caso della Buona Scuola e due sentenze nel merito[5] sembra aver adottato un atteggiamento precauzionale: non ci sono stati altri casi simili, dal 2018 a oggi. Ciò però non significa che non ci siano progetti di automazione dei servizi pubblici. Anche se non esiste una linea istituzionale e trasparente, in realtà sono diversi gli algoritmi usati dalle amministrazioni italiane, e anche quelli del Ministero dell’istruzione[6].

Fare ricerca su questo tema in Italia è molto complicato a diversi livelli. È difficile rintracciare le responsabilità, capire con chi parlare, i dettagli di molti di questi progetti. Quello che dico spesso è che non siamo stati colpiti abbastanza profondamente da ciò che è successo e dal rischio che ne è derivato. Ma soprattutto, è difficile capire dove vogliamo andare. Anche per la Buona Scuola, per progettare un piano di gestione dell’utilizzo delle tecnologie nella sfera pubblica, torna utile l’esempio olandese. Dopo lo scandalo, il Ministero dell’interno (di un nuovo esecutivo eletto a marzo 2021, e guidato sempre da Rutte) ha incaricato l’Università di Utrecht di studiare e sviluppare una metodologia per valutare l’impatto sui diritti fondamentali di tutti i nuovi progetti basati su algoritmi per le agenzie pubbliche. Oltre a questo, il Paese si è dotato di un registro nazionale (con diverse imitazioni locali) dove elencare tutti i processi automatizzati in uso.

Le responsabilità umane dietro questi progetti devono essere esplicitate, soprattutto perché hanno a che fare con dei processi decisionali. Non sono le procedure automatizzate a fare scelte arbitrarie al nostro posto, ma siamo noi a indicarle e a conferire loro questo potere. Ma le scelte a monte sono nostre: dai politici ai designer, passando per amministratori pubblici e programmatori, il problema è che con l’automazione è più facile sentirsi sollevati da una responsabilità.
Riponiamo talmente tanta fiducia nelle tecnologie e nel loro potenziale di risolvere problemi sociali complessi da pensare che esse non necessitino di supervisione o controllo, per anticipare certe conseguenze e invertirne il corso. Questo ha sempre fatto parte del nostro modo di relazionarci con la tecnologia, ma non è l’unico modo. Non dobbiamo rinunciare necessariamente a utilizzare modelli matematici per paura di non poterli governare, perché non è l’unico modo che abbiamo per poterci relazionare all’automazione di alcuni processi. Si può fare, ma richiede una progettazione consapevole e ragionata, la misurazione degli impatti e la predisposizione di strutture di vigilanza, monitoraggio costante e un certo sano scetticismo nei confronti dei risultati automatizzati. È in questo che si gioca il ruolo decisionale, che deve sempre rimanere umano, trasparente e consapevole, capace di applicare discrezionalità e identificare, con sensibilità, particolarità e diversità.

[1] Le informazioni condivise in questo articolo sono state ottenute nel contesto della mia ricerca di dottorato e sono state preliminarmente presentate in: D. Huyskes, Unprecedented Injustice: Inside the Algorithmization of Social Benefits in the Netherlands, XVI Conferenza ESPAnet Italia, 13-15 September 2023.

[2] V. Eubanks, Automating Inequality: How High-tech Tools Profile, Police, and Punish the Poor, St.Martin’s Press, 2018

[3] Per una completa mappatura europea dei casi di automazione dei servizi pubblici e delle loro conseguenze, consiglio di consultare i report annuali ‘Automating Society’ dell’Organizzazione non governativa (ONG) tedesca AlgorithmWatch, disponibili sul loro sito. I casi statunitensi invece sono raccontati da themarkup. org nella sezione machine learning.

[4] D. Huyskes, Perché non siamo ancora pronti per affidare agli algoritmi la pubblica amministrazione, sito wired. it, 2021

[5] Due sentenze raccontano questo caso da diverse prospettive: Tar Lazio n. 6606/2019 e n. 9224/2018; Consiglio di Stato, sezione sesta, 8 aprile 2019, n. 2270.

[6] Per una panoramica (non esaustiva) sugli algoritmi usati dalle pubbliche amministrazioni italiane, consultare l’Osservatorio amministrazione automatizzata creato dall’associazione Privacy Network.