#3 Che fine fa l'autodeterminazione in un mondo automatizzato?
Con la promessa di prevedere il futuro con l'analisi dei dati, le nostre identità diventano indicatori di rischio. I Paesi Bassi continuano a discriminare cittadinɜ con l'automazione. E l'Italia?
Un numero un po’ più lungo del solito, perché voglio provare a raccontare in modo non sintetico il nuovo caso di discriminazione automatizzata nei servizi pubblici attualmente in corso nei Paesi Bassi (che non sta risuonando al di fuori del paese). Soprattutto, questo ennesimo caso si inserisce in un contesto più ampio, che sta diventando strutturale; una prassi, che ha a che fare con la logica che sta dietro questi progetti: prevedere il futuro, usando le caratteristiche di alcuni gruppi sociali come indicatori di rischio (una parola chiave e centrale), trasformando tuttɜ in sospetti fino a prova contraria.
Dopo tutto, la cartomanzia era per il 99% spettacolo e per il resto una sagace congettura.
― Philip K. Dick, The World Jones Made
Nel suo racconto del futuro che preferisco, Dick immaginava la vita di un uomo con poteri precognitivi in una società organizzata in base ai principi e al governo del Relativismo. Jones, protagonista del romanzo del 1956 e ambientato nel 2002, poteva prevedere il futuro solo con un anno di anticipo: vedeva ogni giorno ciò che sarebbe successo esattamente, ed esclusivamente, un anno dopo. Le sue abilità lo portano presto a essere acclamato come leader, che stabilirà un regime totalitario basato su politiche xenofobe e sul culto della personalità.
Le abilità e i valori di Jones e del suo mondo ruotano intorno a un’idea molto potente:
Non ancora, ma presto.
Vedendo lo stato delle cose con un anno di anticipo, Jones convince e affabula le masse portando il futuro nel presente: se qualcosa non è ancora successo, ma lui sa e vede che accadrà, tanto vale anticiparlo.
Siamo abituatɜ alla prescienza, o preconoscenza, preveggenza, insomma, la presunta facoltà di conoscere il futuro prima che esso si avveri, in termini esoterici, magici. Cerchiamo oroscopi, siamo affascinatɜ dai tarocchi (io per prima). Ma grazie all’epistemologia femminista e al lavoro di molte autrici che hanno interrogato il metodo scientifico (prima tra tutte Sandra Harding con la standpoint theory), ho scoperto che la scienza, e in particolare la logica deduttiva propria del metodo, nacque in realtà con un obiettivo molto simile di prevedere il futuro e le proprietà delle cose (e non solo osservarle) in modo oggettivo e neutrale.
Uno dei temi che più mi ha attratta e su cui ho concentrato la mia ricerca negli ultimi anni è proprio questo: la previsione del futuro, o meglio, cosa succede quando si prova, propone o promette di anticipare il futuro attraverso modelli statistici e calcoli automatizzati. Il titolo di questa newsletter e ciò che rappresenta arrivano proprio da qui. Perché quasi tutti i casi di automazione decisionale (ADM, automated-decision making) nei processi pubblici che mi interessano e di cui mi occupo si basano in realtà sulla predittività.
Resistere all’inevitabile è un’esortazione duplice: per chi sviluppa e impiega queste tecnologie, a non sovra-affidarsi ai risultati - ancora troppo spesso considerati come inerentemente oggettivi e sempre giusti - , e per noi tuttɜ, per ricordarci di lottare contro delle strutture e dei futuri che ci vengono presentati come dati, definiti e non più modificabili.
Gli algoritmi predittivi vengono comunemente usati nel machine learning e utilizzati per fare previsioni su dati futuri basandosi su dati passati. L’esempio classico di applicazione di questi algoritmi è quello della previsione delle condizioni meteorologiche, dove vengono modellati degli scenari futuri - che conosciamo bene e a cui tuttɜ ricorriamo - in base a un enorme numero di informazioni riguardanti ciò che è avvenuto nel passato in contesti e ambienti simili. Le stesse tecniche che stanno alla base delle previsioni del meteo vengono usate per un’altra serie di previsioni “materiali”, come le tendenze di mercato, ma anche per una sempre più ampia categoria di azioni “umane”, dove in base a ciò che si vuole osservare, viene sempre calcolato un rischio. Gli algoritmi di apprendimento automatico e le tecniche statistiche tradizionali sono ampiamente utilizzati per valutare i rischi associati a specifiche azioni o profili, come la valutazione del rischio di insolvenza nei prestiti, di frode nei sussidi pubblici, di criminalità nella giustizia penale…
🇳🇱 I casi di discriminazione automatizzata e amplificata ai danni di molte persone che ho potuto osservare da vicino, soprattutto nei Paesi Bassi, sono accomunati da questa caratteristica: la previsione del rischio, tradotta in un punteggio, attaccato a diverse persone per qualcosa che non hanno ancora commesso. La previsione, molto generalmente, viene calcolata basandosi sul passato e nello specifico su:
I dati storici personali. Nel caso della previsione del rischio di criminalità, viene considerata la storia criminale (fedina penale) di ogni persona, insieme a molti altri fattori (spesso totalmente arbitrari) che riguardano la sua storia personale (dati anagrafici, provenienza, status socio-economico, ma anche numero di matrimoni, numero di viaggi all’estero, numero di figli…insomma, qualsiasi cosa possa diventare un dato).
I dati storici collettivi, ovvero la storia delle casistiche di quella particolare situazione che si vuole osservare. Sempre prendendo l’esempio della previsione del rischio di criminalità, si guarda ai profili che precedentemente sono risultati positivi per quel particolare valore osservato - la criminalità - e che quindi hanno effettivamente commesso, nel passato, quel determinato crimine che si vuole prevedere nel futuro. Per prevedere il rischio di criminalità di alcune persone nel presente, quindi, vengono usati dati del passato che appartengono ad altre persone, simili in alcune caratteristiche, e a come loro si sono comportate a un certo punto della storia.
Queste due categorie di informazioni vengono incrociate per cercare correlazioni tra un singolo individuo e una popolazione (storica). È ciò che succede quando tutte le donne vengono scartate automaticamente da una selezione per un posto di lavoro perché nessuna donna era mai stata assunta in precedenza. Nella data science applicata a queste casistiche, la connessione dell’uno alla rete di somiglianze avviene in base alla logica del 🦠 contagio 🦠: in alcuni casi, basta una caratteristica dipendente perchè due valori vengano considerati come simili. L’idea di poter ricondurre l’uno al gruppo attraverso correlazione e somiglianza si è tradotta in altre epoche storiche con il principio dell’omofilia. Usando l’idea di “prossimità”, “vicinanza”, “somiglianza”, “parentela”, vengono giustificate come oggettive delle scelte che in molti casi risultano almeno problematiche, e che nel peggiore dei casi (quando si tratta di scelte particolarmente sensibili, gestite senza controllo umano o con poca responsabilità) portano a discriminazioni su ampia scala. Lo scandalo olandese sui sussidi, di cui mi occupo da qualche anno, ha dimostrato bene la logica del contagio e della “parentela” su cui si basano molti di questi progetti. Tra il 2004 e il 2019, migliaia di genitori sono stati ingiustamente etichettati come truffatori. La doppia cittadinanza era uno degli indicatori di un potenziale rischio di frode e i dati di chi rientrava in questa categoria venivano elaborati in modo illegale e discriminatorio. Come un virus, l’indice di rischio si è propagato in tutte le persone con background migratorio, anche se non avevano commesso nessun errore: le statistiche dicevano che anni prima, qualcuno di simile a loro aveva commesso illeciti e che quindi anche loro, per omofilia, li avrebbero commessi. Non ancora, ma presto.
Che si tratti del Ministero degli Affari Sociali e dell’amministrazione fiscale centrale, del Ministero dell’Istruzione o della Giustizia, in tutti i processi decisionali automatizzati risultati in errori, impatti e danni molto negativi per migliaia di persone al centro c’era questa logica. Negli ultimi mesi, sempre nei Paesi Bassi è scoppiato un altro caso di cui si sta discutendo molto (anche perché, dopo quattro scandali molto simili, un po’ chiunque inizia a trovare questi episodi un po’ assurdi) e che questa volta riguarda il Ministero degli Affari Esteri.
Pas op met deze visumaanvraag.
«Attenzione a questa domanda di visto». Questo il messaggio che ogni tanto, dal 2015, appare al personale incaricato di validare le raccomandazioni del sistema di profilazione per calcolare il punteggio di rischio di chi richiede un visto per soggiorni di breve durata per entrare nei Paesi Bassi e nell'area Schengen. Secondo un’inchiesta di Lighthouse Reports e NRC del 2023, il sistema ha profilato milioni di richiedenti il visto in base alla nazionalità, al genere e all'età e coloro che sono ritenuti "ad alto rischio" vengono automaticamente spostati in un altro canale che può comportare lunghi ritardi e rifiuti. Una valutazione dell’algoritmo, condotta successivamente da un ente pubblico indipendente che lavora trasversalmente ai ministeri olandesi sull’infrastruttura informatica, ha dimostrato una serie di problemi tecnici e di governance, tra cui la discriminazione automatizzata e ingiustificata delle persone richiedenti con un background migratorio. La deputata olandese Kati Piri ha commentato dicendo che «Il Ministero degli Affari Esteri impedisce in tutti i modi ai familiari di cittadini olandesi con un passato di migrazione, da paesi come il Marocco o il Suriname, di ottenere un visto per soggiorni brevi.»
Nonostante non si tratti del caso studio più impattante o grave - dato che stiamo parlando di visti e non sussidi, pensioni o cure mediche (come invece purtroppo è già accaduto) - si tratta pur sempre di bloccare l’accesso a un diritto fondamentale in modo automatizzato e completamente illegale, deresponsabilizzando la decisione umana e politica, che viene giustificata con un calcolo statistico. Quando la nazionalità viene usata come indicatore di un (presunto) comportamento a rischio, infatti, viene intesa come indicatore di una (presunta) identità di gruppo condivisa. Ciò equivale a una discriminazione basata sull'etnia e che ormai, dopo cinque casi molto simili, sembrerebbe inseparabile da queste logiche predittive nei servizi pubblici.
Ciò che accomuna questi casi di previsione del rischio è di promettere di anticipare il futuro e applicare il principio del “non ancora, ma presto”: considerare chi appare come “ad alto rischio” potenziale come già a rischio, e quindi come una persona da trattare come già colpevole. Questo, certamente, pone grande riflessioni sul piano della giustizia penale e sulla presunzione d’innocenza. Ma anche su quello dell’autodeterminazione, perché rende codificate le profezie (o le oppressioni) che si autoavverano. Dovrebbe esserci molto chiaro che non è possibile prevedere le azioni o il divenire delle persone, nè usando il loro passato, tantomeno usando il passato di qualcun altrɜ, per prendere decisioni rispetto al loro presente.
Se queste tecnologie e tecniche continuano a diffondersi in questo modo, che speranza avrà una persona - già discriminata e oppressa su più fronti a livello sociale - di costruirsi un futuro diverso da quello che un algoritmo determina per lei? Se il nostro destino sarà sempre più determinato da chi è venuto prima di noi, che spazio rimane all’autodeterminazione sia individuale sia collettiva e al progresso sociale?
Secondo la sezione olandese di Amnesty International, la giurisprudenza della Corte di giustizia europea è chiarissima su questo: la nazionalità, l'etnia o altre caratteristiche legate all'origine non dovrebbero mai far parte di un profilo di rischio, anche se combinate con altre caratteristiche. Eppure, quando si tratta di automatizzare la valutazione del rischio, continua a succedere. La responsabilità o la colpa di questo, la maggior parte delle volte, non sta di certo nella tecnologia. Come ha provato l’audit effettuato sull’algoritmo, la responsabilità del danno ricade anche in questo caso sulle persone che validano gli indicatori di rischio, e che accettano di delegare completamente decisioni così sensibili a un processo automatizzato, una previsione del futuro alla volta.
Il caso è attualmente in piena discussione nel dibattito pubblico e nel Parlamento olandese, dopo che il Ministero ha commissionato un bias assessment (oltre a quello già presentato dall’ente indipendente) a una società canadese che, curiosamente, è arrivata a delle conclusioni diverse, molto più positive, portando avanti però solo una valutazione quantitativa sul modello e non sul progetto in sé. Si tratta anche del primo caso, sicuramente in Europa, che mette in evidenza l’importanza di condurre valutazioni sugli algoritmi in modo imparziale, controllato e seguendo parametri chiari, non solo quantitativi ma anche qualitativi, come l’impatto sui diritti fondamentali (FRIA) che verrà richiesto con l’AI Act.
🌍 (Altre) notizie dal mondo
🇮🇹 Nelle ultime settimane si è parlato molto del disegno di legge sull’intelligenza artificiale proposto dal governo italiano. I dubbi, le critiche e perplessità sono diverse (con Privacy Network ne abbiamo esplicitata qualcuna qui). Tra tutte, in linea con il tema di questo numero, una delle più importanti è quella sollevata dall’Unione delle Camere Penali, che fa notare che
«In buona sostanza, dall’approvazione del DDL in questione non deriverebbe alcun divieto e neppure alcun limite per la polizia giudiziaria ed il Pubblico Ministero nella fase delle indagini e per il Giudice nella fase del processo nell’utilizzo di informazioni a carattere probatorio acquisite dall’intelligenza artificiale, soggiacenti esclusivamente per la loro introduzione e valutazione alle regole ordinarie del codice di rito.
Emerge, allora, ancor più urgente la necessità di dotare l’ordinamento giuridico di una disciplina dettagliata dell’utilizzo dell’intelligenza artificiale nell’intero arco del procedimento penale, ed ancor prima nell’attività di prevenzione e di cd. “polizia predittiva”, quest’ultima del tutto avulsa dalla formulazione generica dell’art. 14, implementando l’impianto normativo vigente con nuovi divieti probatori e criteri specifici di valutazione della prova in sede decisoria.»
Anche l’AI Act, il Regolamento europeo di imminente entrata in vigore, inserisce la polizia predittiva tra le applicazioni di IA vietate in Europa, ma presenta diverse eccezioni potenzialmente pericolose. Il governo italiano, proponendo una sua legge, aveva l’occasione per specificare ulteriormente la normativa europea, chiarendo gli utilizzi inaccettabili, e invece non fa altro che ripetere in buona sostanza ciò che già predisposto nell’AI Act e aggiungere ulteriore confusione.
🇵🇸 Israele continua a usare l’intelligenza artificiale per targetizzare e portare avanti il genocidio del popolo palestinese nella Striscia di Gaza, diventato da anni un vero e proprio laboratorio per la sperimentazione delle tecnologie militari distruttive. Access Now ha riassunto molto bene tutte le diverse tecnologie sviluppate e utilizzate dal governo israeliano, suddividendole in base alle loro funzioni.
🇪🇸 Algorithm Watch racconta un progetto del governo della Catalogna, che aveva approvato l'uso di un software basato sull'IA per monitorare i detenuti e interpretarne il comportamento. Parzialmente finanziato dall'Unione Europea, il sistema doveva essere implementato e sperimentato nel carcere di Mas d'Enric, in una città a sud di Barcellona, ed esteso ad altre carceri regionali. Alla fine, il progetto è stato bloccato, dopo diverse azioni portate avanti dalla società civile e dagli osservatori sulla giustizia penale e i diritti umani, probabilmente grazie alla pubblicazione dell’AI Act, che considera il riconoscimento emotivo tramite mezzi biometrici come un utilizzo ad altro rischio.
🗓 Dove ci vediamo?
Il 21 maggio interverrò a Converging Skills, organizzato da e all’Università di Pisa, per parlare di Immanence e del nostro lavoro.
Sono molto contenta di essere a Bruxelles il 22 maggio per partecipare per la prima volta a CPDP, un’importante conferenza europea annuale sullo sviluppo legale, normativo, accademico e tecnologico in materia di privacy e protezione dei dati. In particolare, prenderò parte al panel “Beyond Failures: Reparing the Future of AI with Public Values” (11:50-13:00) organizzato dall’Università di Helsinki con Iris Muis, Mirko Schäfer, Minna Ruckenstein e Anni Ojajärvi.
Il 23 maggio sarà il terzo e ultimo giorno del ForumPA 2024, che ogni anno a Roma organizza decine di incontri focalizzati sullo stato dell’arte della pubblica amministrazione coinvolgendo diversi stakeholder. Io sarò presente, per un panel nel pomeriggio sull’intelligenza artificiale nella pubblica amministrazione con prospettive e casi studio globali ed europei.
Il 4 giugno sarò a Madrid, all’Università Complutense, per un keynote alla conferenza “Inteligencia artificial como instrumento de gobierno”.
Il resto di giugno sarà un po’ speciale…ci sentiamo nel prossimo numero! :)
📬 Se siete arrivatɜ fino a qui, grazie di cuore! Per questo numero è tutto. Mi piacerebbe molto sapere cosa ne pensate, o se avete domande da condividere e/o suggerimenti. Potete sempre scrivermi a info@dilettahuyskes.eu. Se vi va di aiutarmi a creare questa piccola comunità di curiosɜ, potete condividere questa newsletter con altre persone che pensate possano essere interessate.
Ci sentiamo il prossimo mese!
Diletta