#5 È stato l'algoritmo (di nuovo)
In questi giorni, gli scioperi degli insegnanti in tutta Italia che si trovano senza cattedra danno la colpa "all'algoritmo". Cosa c'è di culturale, e perché gli algoritmi continuano a sbagliare?
Ciao!
Ecco il quinto numero di Resistere all’inevitabile, che torna dopo l’estate - come promesso, senza mai nessuna garanzia di ricorrenza e puntualità - ispirato a un fatto di cronaca.
In realtà, sono particolarmente ispirata dalla congiunzione della cronaca con la mia tesi di dottorato, che sto finendo di scrivere in queste settimane (ansia e caos mentale a parte, non ci posso credere che siano quasi finiti questi tre anni!).
Nel frattempo, Tecnologia della rivoluzione è stato tra le mani di molt3 di voi durante l’estate, e questo mi ha resa incredibilmente felice. Scherzando sul fatto che probabilmente non si tratta di una perfetta lettura da spiaggia, è arrivato nei litorali di tutta Italia (ma anche a Zanzibar!), in cima a diverse montagne e anche sui comodini d’ospedale per tenere compagnia a future mamme. Grazie, con tutto il cuore 💜
In fondo a questo numero trovate le nuove date delle presentazioni di Tdr di settembre e ottobre. E ora, cominciamo insieme questo nuovo anno all’insegna di algoritmi e tecnologie molto umane.
Ci sono tante cose dell'attitudine umana nei confronti di algoritmi, processi automatizzati e analisi di dati che - almeno in Occidente - sono generalizzabili e tornano a prescindere dalla cultura di riferimento, dall'avanzamento tecnologico e dal livello di maturità (ad esempio, l'automation bias). Altre no. Altre sono incredibilmente specifiche alle culture, ai tipi di società e di persone che lavorano a queste tecnologie e le adottano.
Sarebbe una coincidenza interessante, quella del "caos supplenze" che ha (ri)colpito con l’inizio dell’anno scolastico centinaia di insegnanti a Milano, Brescia, Torino, Vicenza e chissà in quanti posti, e il fatto che si sovrappone con la finalizzazione della mia tesi di dottorato, a cui sto lavorando da tre anni proprio su questi temi. Sarebbe una coincidenza interessante se solo fosse la prima volta, e invece siamo costrette/i a leggere almeno una volta l'anno, a settembre, di qualche "algoritmo che sbaglia". La conseguenza? Persone che perdono il lavoro, che rimangono bloccate ingiustamente in situazioni paradossali per "colpa dell'algoritmo". Diversi insegnanti in questi giorni stanno rispondendo in questo modo alle interviste, ed è lo stesso modo in cui ne parlano anche i/le dirigenti degli enti che in teoria li controllano.
Ma com'è possibile parlare di un insieme di formule matematiche come di qualcosa che può avere una qualche forma di responsabilità davanti a errori di questo tipo?
Nella mia tesi di dottorato dedico un intero capitolo all’Italia e al rapporto che la sua burocrazia ha con gli algoritmi. Soprattutto, ho analizzato il modo in cui la cultura italiana - quella amministrativa e burocratica - si relaziona a ciò che Karen Young (2018) chiama algorithmic governance, e cioè la tendenza dei governi ad affidarsi sempre più all'analisi dei dati e agli algoritmi per prendere decisioni importanti. Dove usa gli algoritmi lo Stato italiano? Perché li usa, e come lo fa? Ciò che emerge è un quadro desolante dal punto di vista della trasparenza, soprattutto perché raccogliere i dati è stato particolarmente difficile. Come ricercatrice, ho riscontrato diversi problemi di accesso al campo che racconto nel dettaglio (prometto di tornare e condividere il link al paper appena sarà possibile!). La sproporzione è chiara: per come ne parlano le amministrazioni pubbliche e per il livello di consapevolezza che c’è nel Paese (molto basso), sembra che di algoritmi, nella burocrazia italiana, non ce ne siano. Anni di ricerche dell’associazione Privacy Network dimostrano che non è esattamente così. Dal 2022, e cioè da quando esiste il nostro Osservatorio sull’Amministrazione Automatizzata, facciamo del nostro meglio per mappare gli algoritmi usati dalle pubbliche amministrazioni italiane (sul sito è piegato anche perché lo facciamo e con che valori). Il nostro mezzo principale sono le FOIA, richieste formali che inviamo agli uffici competenti ogni volta che abbiamo il “sospetto” o la certezza che questi usino degli algoritmi in qualche rapporto con la cittadinanza, e con le quali chiediamo di accedere alle informazioni in possesso delle pubbliche amministrazioni (si tratta di un diritto fondamentale che tuttɜ possiamo esercitare!). Come avevo raccontato tempo fa a Donata Columbro per un suo articolo su Internazionale, si tratta di un progetto molto difficile da portare avanti, ma gli algoritmi nelle PA italiane ci sono eccome. Il problema è che quasi nessuno ne vuole parlare.
«I processi (tecnologici) sono al 90% non documentati, al 100% non condivisi, e tantomeno spiegati.»
Questa è una delle tante citazioni estrapolate dai dati qualitativi che ho raccolto e analizzato negli ultimi tre anni. Insieme, raccontano di un apparato burocratico che per diversi motivi rende l’utilizzo di queste tecnologie impenetrabile e non scrutinabile dall’esterno. In realtà, tutto ciò che ha a che fare con delle procedure informatizzate e/o automatizzate negli enti pubblici italiani è spesso oscuro anche per chi ci lavora all’interno: ad esempio, a causa della mancanza di personale specializzato che possa comprendere e interpretare questi processi, dato che nella maggior parte dei casi vengono affidati a terze parti - privati - esterni, che finiscono per averne il controllo. I fattori di questa opacità sono tanti, ma vi assicuro che portano tutti a capire che il legame tra la cultura su cui poggiano e la loro gestione e funzionamento ci dicono tanto di queste tecnologie. Soprattutto, ci dicono che la “colpa” degli algoritmi è una panacea.
Tornando al fantomatico algoritmo che regola le graduatorie che assegnano le cattedre agli insegnanti, va fatta una premessa. L’Italia è famosa in Europa per ciò che successe dal 2015, quando entrò in funzione l’algoritmo previsto dalla riforma sulla Buona Scuola e che doveva supportare l'assunzione a tempo indeterminato di circa 100.000 insegnanti precari attraverso un piano di reclutamento straordinario. Nello specifico, l'algoritmo avrebbe dovuto supportare l'assegnazione delle cattedre e la distribuzione dei docenti neoassunti nelle varie scuole e regioni d'Italia. Fu un disastro (per approfondire, qui un articolo che ripercorre le sentenze del Tar del 2019 e qui invece un libro che racconta dall’interno la storia della riforma e contestualizza l’algoritmo nel quadro burocratico - e soprattutto umano - di un ministero).
Da quel momento in poi, non c’è anno scolastico che inizi senza errori. Cambiano i fornitori della tecnologia e i problemi rimangono gli stessi. Una ricorrenza, una tradizione.
“Basta con l’algoritmo per l’assegnazione delle cattedre: sulla nostra vita non può decidere un programma”.
L’altra cosa che non cambia è che tutti gli attori interessati, dal ministero agli insegnanti, si rivolgono all’algoritmo finendo per responsabilizzarlo. Gli insegnanti - almeno quelli con cui ho parlato - hanno ben chiaro che le responsabilità sono istituzionali e distribuite, ma alla fine la comunicazione è questa: l’algoritmo sbaglia. A chi ha in capo questi progetti, come il Ministero dell’Istruzione e il ministro stesso, fa comodo usare questo tipo di comunicazione che sposta la responsabilità dei continui errori a un sistema informatico piuttosto che a una catena di interventi umani che evidentemente fa acqua da più parti. Come in questa newsletter viene spesso ripetuto, però, è che c'è chi ha scritto le regole (e le leggi) su cui i calcoli dell’algoritmo si basano, chi le dovrebbe controllare e monitorare, chi le traduce in codice, e ogni anno le fa funzionare sempre negli stessi contesti. Hanno ragione gli insegnanti: è inaccettabile che ogni anno questa situazione si ripresenti. La frase evidenziata all’inizio di questo paragrafo, usata durante le proteste di questi giorni, va contestualizzata in questo senso: non è verosimile pensare che processi burocratici come questi, oggi, non vengano parzialmente automatizzati. Nessuna squadra umana potrebbe calcolare, incrociare e analizzare le domande e le graduatorie che pervengono ogni anno per processi come questo. Il punto però, quello difficile da affrontare, è proprio quello della decisione, che è ora di “smascherare” per quello che è: una catena di scelte di diversi esseri umani che devono essere ritenuti responsabili. È vero che non può essere un programma a decidere, soprattutto perché ci sono troppe variabili (alcune pure poco oggettive) da considerare, non è vero che il programma non ci dovrebbe proprio essere. Finché daremo la colpa a un algoritmo e ai suoi errori, sarà difficile innescare un processo che responsabilizzi gli attori umani.
Quella di incolpare gli algoritmi è una specifica italiana che non tutti i Paesi hanno. Nell'altro contesto che sto studiando da tre anni, i Paesi Bassi, nonostante diversi scandali con conseguenze estremamente problematiche per i cittadini che hanno coinvolto l'utilizzo di algoritmi base e applicazioni di machine learning, questa retorica quasi non esiste. Paradossalmente, parlano più di algoritmi i media italiani di quelli olandesi, nonostante ci riguardino molto meno (almeno a livello pubblico). Sono dati diversi su culture diverse che si relazionano allo stesso oggetto in modi diversi. E tutto questo ha a che fare con la responsabilità, che prescinde dai governi che cambiano, e la trasparenza, che dovrebbe far emergere dei problemi - risolvibili e aggiustabili - di queste procedure, che evidentemente così oggettive non sono.
«A mio parere, la Buona Scuola e tutto ciò che è successo dopo - le sentenze, i tribunali, l'attenzione e la risonanza mediatica anche fuori dall'Italia - ha creato un forte precedente in Italia. Ha dimostrato come tradurre le pratiche amministrative e burocratiche in linguaggio matematico non sia affatto scontato e semplice, e ha creato paura nelle amministrazioni.»
Vi terrò aggiornatɜ su questo tema, perché con Privacy Network stiamo portando avanti un lavoro che uscirà nei prossimi mesi e che speriamo farà per la prima volta un po’ di chiarezza su tutto questo scenario.
🌍 (Altre) notizie dal mondo
🇮🇹 Si torna a parlare del disegno di legge sull’intelligenza artificiale proposto dal governo italiano. I dubbi, le critiche e perplessità sono diverse (con Privacy Network ne abbiamo esplicitata qualcuna qui). L’11 settembre, Sara Marcucci e Laura Ferrari della Rete Diritti Umani Digitali le hanno presentate durante un’audizione in Senato che si può rivedere qui.
🇺🇸 Negli Stati Uniti esiste una piattaforma open-source “che sfrutta modelli linguistici di grandi dimensioni per aiutare gli utenti a generare ricorsi all'assicurazione sanitaria con l'intelligenza artificiale…”. “Un utente di Fight Health Insurance può scannerizzare il rifiuto dell'assicurazione e il sistema creerà diverse lettere di appello da scegliere e modificare” per rendere più semplice e veloce la presentazione dei ricorsi. Uno studio recente ha rilevato che i pazienti dell'Affordable Care Act fanno ricorso solo per lo 0,1% delle richieste di rimborso rifiutate, e Holden spera che la sua piattaforma incoraggi un maggior numero di persone a lottare... Il segreto, secondo uno degli avvocati dei pazienti della Bay Area a San Francisco, è che la maggior parte dei dinieghi può essere impugnata con successo, ma “pochissime persone conoscono la procedura e ancora meno ne approfittano, perché è piuttosto macchinosa, arcana e confusa, per sua stessa natura”, ha detto. “Ma se si combatte abbastanza a lungo, la maggior parte dei dinieghi viene annullata” (grazie a Matteo Fortini per la segnalazione!).
🇺🇸 Secondo un articolo di Gizmodo, migliaia di cittadini del Tennessee si sono visti negare illegalmente Medicaid e altri benefici a causa di errori di programmazione e di dati in un sistema algoritmico che lo Stato utilizza per determinare l'idoneità dei residenti a basso reddito e delle persone con disabilità, ha stabilito questa settimana un giudice della Corte distrettuale degli Stati Uniti. Il sistema TennCare Connect - costruito da Deloitte e altri appaltatori per oltre 400 milioni di dollari - dovrebbe analizzare le informazioni sul reddito e sulla salute per determinare automaticamente l'idoneità dei richiedenti del programma di assistenza. In pratica, però, secondo il giudice il sistema spesso non carica i dati appropriati, assegna i benefici ai nuclei familiari sbagliati e determina le idoneità in modo errato (grazie sempre a Matteo per la segnalazione!).
🇫🇷 Come riporta AlgorithmWatch, il dipartimento dell'Ille-et-Vilaine (1 milione di abitanti) ha pubblicato un elenco dei 91 sistemi algoritmici che utilizza. Dal 2016 la legge francese impone a tutte le amministrazioni pubbliche di pubblicare tale elenco, anche se finora solo poche lo hanno fatto e non hanno mai divulgato più di qualche sistema.
📂 Archivio tecnofemminista
Non c’entra assolutamente nulla con il tecnofemminismo, ma questa estate ne sono successe parecchie. Oltre a delle meravigliose vacanze di scrittura tra il Peloponneso e la Sicilia, a fine agosto è successa una cosa imprevista che aspettavo da tutta la vita: il destino si è messo di mezzo e ho incontrato una persona molto importante, nonché uno dei registi più importanti per tutta la mia generazione.
Qui qualche pensiero, neanche lontanamente esaustivo, su cosa ha significato per me questo incontro. Magari può far immedesimare qualcun altrǝ 💜
🗓 Dove ci vediamo?
12 settembre, MILANO — questa sera, alle 19 con Carlotta Cossutta presentiamo Tecnologia della rivoluzione alla Libreria NOI, a Nolo, nel contesto de il Tempo delle Donne del Corriere della Sera.
15 settembre, CASTELFRANCO VENETO — di nuovo a casa, in una cross-presentazione di Grammamanti, di e con Vera Gheno, e Tecnologia della rivoluzione, al Sottosopra Festival (che inizia venerdì con una programmazione musicale 💣)
21 settembre, PIACENZA — ho già le farfalle nello stomaco. Sabato pomeriggio, alle 17, tra una lezione di pensiero e un concerto filosofico, alla seconda edizione del Festival del Pensare Contemporaneo, sarò in dialogo con Judy Wajcman, sociologa che nel 2009 ha scritto Technofeminism (dopo tanti altri), mia ispirazione da tanti anni e a cui Tdr deve moltissimo. Conduce Sabina Minardi de l’Espresso. Difficile non essere di parte, ma nessun Festival mi è mai piaciuto tanto come quello di Piacenza per la qualità degli eventi.
2 ottobre, ROMA — al MAXXI, alle 18, per un talk sulle città e l’intersezione tra virtuale e reale.
5 e 6 ottobre, FERRARA — molto felice di partecipare per la prima volta al Festival di Internazionale in due incontri. Il 5 pomeriggio, alle 17, per una presentazione di Tdr con Riccardo Staglianò. Il 6 mattina, alle 11:30, in dialogo con Roberto Viola, Direttore Generale per le politiche digitali della Commissione europea (DG Connect), per parlare delle normative e politiche europee sul digitale e le tecnologie (soprattutto dopo il rapporto di Draghi!). Conduce Alessio Jacona.
17 ottobre, BOLOGNA — alle 17 alla Libreria Ambasciatori, al Festival di Pandora Rivista, insieme al mio amico Federico Bomba.
18 ottobre, TREVISO — alle 18, a StatisticAll, il Festival dell’ISTAT. Non vedo l’ora di parlare di Tecnologia della rivoluzione, e soprattutto del capitolo dedicato alla statistica, con Giovanni Prattichizzo.
19-21 ottobre, SANTIAGO DE COMPOSTELA — parteciperò alla European Conference on Artificial Intelligence (ECAI), e in particolare con un keynote al workshop di Aequitas, un importante progetto europeo che indaga i bias nell’IA in modo interdisciplinare e a cui lavorano persone straordinarie.
27 ottobre, GENOVA — sono troppo felice di tornare a Genova e non vedo l’ora di visitarla e scoprirla. Ma alle 18 ci vediamo a Palazzo Ducale per la presentazione di Tdr al Festival della Scienza!
19 novembre, PALERMO — nella mia amata Palermo, alle 18, al Magnisi Studio, sempre per presentare Tdr.
Ho preso questa difficile ma necessaria decisione - più un’imposizione a me stessa! - di fermarmi dagli eventi nei mesi di novembre e dicembre. Per iniziare a vivere un po’ Roma, la città in cui mi sono trasferita appena prima di iniziare questo 2024 pazzerello, e per decantare. Per qualsiasi altro appuntamento, ci risentiamo con l’anno nuovo 📆
📬 Se siete arrivatɜ fino a qui, grazie di cuore! Per questo numero è tutto. Mi piacerebbe molto sapere cosa ne pensate, o se avete domande da condividere e/o suggerimenti. Potete sempre scrivermi a info@dilettahuyskes.eu. Se vi va di aiutarmi a creare questa piccola comunità di curiosɜ, potete condividere questa newsletter con altre persone che pensate possano essere interessate.
Ci sentiamo il prossimo mese (forse)!
Diletta