Undertones: se ricevi un sussidio statale, meglio imparare l'olandese ed essere uomo

Immagine di Global Voices.

Questo articolo è parte di Undertones, la newsletter del Civic Media Observatory [en, come tutti i link successivi, salvo diversa indicazione] di Global Voices.

Benvenuti su Undertones, la newsletter che analizza il dibattito pubblico! In questa edizione, attraverso le ricerche di Leon Ingelse, ci focalizzeremo su cosa pensano gli olandesi dell'uso (e l'abuso) dell'intelligenza artificiale da parte delle istituzioni dei Paesi Bassi.

Il data scientist Ingelse ha analizzato i dibattiti sull'uso algoritmi nei Paesi Bassi. Dopotutto, è una questione scottante in questo paese: nel 2021, un intero governo è caduto dopo lo scandalo degli assegni familiari prodotto dai bias dall'intelligenza artificiale. Migliaia di famiglie, principalmente con una storia migratoria alle spalle, sono state ingiustamente accusate di truffare il sistema per beneficiare degli assegni familiari.

I Paesi Bassi, da sempre orgogliosi della loro efficienza, modernità e servizi governativi, sono diventati l'emblema di come l'abuso dell'intelligenza artificiale possa nuocere alle vite degli individui e minare la fiducia nelle autorità.

Nonostante la gravità dell'accaduto, gli algoritmi continuano a essere utilizzati nelle città di tutto il paese per determinare chi probabilmente potrebbe commettere frodi per l'ottenimento dei sussidi statali (una questione critica e senza fine presente in tutta Europa). Inoltre, il funzionamento degli algoritmi alla base delle intelligenze artificiali non è trasparente, poiché le autorità rivendicano preoccupazioni sulla privacy e la proprietà intellettuale. Solo Rotterdam, la seconda città olandese per grandezza, ha recentemente accettato di condividere il codice dei propri algoritmi con i giornalisti dei media investigativi Lighthouse ReportsFollow The Money. Tuttavia, sono stati accidentalmente condivise anche informazioni preziose su come l'algoritmo lavora e viene addestrato.

I giornalisti hanno scoperto che l'algoritmo, sviluppato in collaborazione con la società di consulenza Accenture, assegna un punteggio sulla base di criteri personali come età, sesso, stato civile, ma anche elementi relativi al comportamento e le abilità linguistiche degli individui: “I dati che alimentano l'algoritmo vanno da invasivi (la durata dell'ultima relazione sentimentale) e soggettivi (il grado di abilità nell'influenzare gli altri) a banali (quante email sono state inviate al comune) e apparentemente irrilevanti (se si pratica sport)”, scrive Lighthouse. 

In altre parole, se sei donna, poliglotta, tra i 20 e i 30 anni e madre, l'algoritmo ti classifica come individuo a rischio frode, indipendentemente da qualsiasi comportamento fraudolento passato. Peggio ancora se ti mostri timido agli assistenti sociali. Non saprai mai se sei sulla lista nera, né il motivo. Ne conseguono indagini scomode da parte delle autorità locali e la potenziale perdita dei sussidi.

Screenshot dei punteggi calcolati dall'algoritmo di Rotterdam. Via Lighthouse Reports.

“Gli olandesi tendono a credere di non avere problemi di razzismo strutturale, mentre questo algoritmo dimostra chiaramente il contrario, dal momento che persone con una conoscenza limitata dell'olandese sono discriminate”, afferma Ingelse.

I bias algoritmici non sono una novità

I bias algoritmici entrano nel sistema in modi differenti, ad esempio a causa di un addestramento basato su dati distorti e influenzati dai pregiudizi degli sviluppatori. I giornalisti hanno già segnalato in passato bias intrinseci nei punteggi assegnati dagli algoritmi. Nel 2016, un'indagine di ProPublica ha rivelato che all'interno del sistema di giustizia penale degli Stati Uniti, gli individui neri avevano il doppio delle probabilità di essere erroneamente segnalati ad “alto rischio” di recidiva. Al contrario, gli individui bianchi avevano il doppio delle probabilità di essere categorizzati come a “basso rischio”.

Come sono state accolte queste rivelazioni dall'opinione pubblica?

L'opinione pubblica ha espresso il suo parere sullo scandalo dell'intelligenza artificiale olandese non tanto con tweet o post, ma nella sezione commenti dei social che, sorprendentemente, mostra un'interessante varietà di opinioni.

“Dopo la questione dei sussidi familiari, gli olandesi sembrano più focalizzati su ChatGPT”, afferma Ingelse. “Inoltre, le figure pubbliche e politiche colpite dallo scandalo hanno tatticamente evitato di rispondere a domande sul loro coinvolgimento”. Il data scientist aggiunge che i più danneggiati da questi specifici algoritmi sono coloro che appartengono a categorie già marginalizzate: “Notate come questi algoritmi fraudolenti non siano mai stati utilizzati, ad esempio, per monitorare le tasse sugli utili, il cui target sarebbero i ricchi”.

Abbiamo provato a metterci in comunicazione con le autorità locali di Rotterdam e le famiglie coinvolte nello scandalo dell'algoritmo per capire il loro punto di vista, ma non abbiamo ricevuto risposta.

Opinione 1: “Gli algoritmi che aiutano a contrastare la criminalità dovrebbero essere implementati nonostante i loro bias

In poche parole: “L'algoritmo sta facendo il suo lavoro”

Questa opinione, diffusa ormai da anni, implica che l'algoritmo lavori per prevenire le frodi, nonostante la sua fallacia. Ad esempio nel 2019, al culmine dello scandalo sugli assegni familiari, il blogger di estrema destra Pim Beaart, chiamato anche Hannibal, ha affermato in un articolo che i politici “vogliono utilizzare gli algoritmi soltanto quando validano le loro opinioni politiche”.

Più di recente EW, una delle più autorevoli riviste conservatrici olandesi, ha affermato che le decisioni automatizzate nelle richieste di visto dovrebbero essere la norma, nonostante prendano sempre di mira persone di determinate nazionalità, come gli abitanti delle ex colonie olandesi del Suriname. Anche altri, come il famoso blog mediatico GeenStijl, argomentano a favore dell'efficienza degli algoritmi, che tra l'altro è una delle opinioni più popolari nei Paesi Bassi.

“Gli olandesi ritengono di privilegiare l'efficienza al di sopra di ogni altra cosa”, afferma Ingelse. i Paesi Bassi sono all'avanguardia nell'implementazione delle identità digitali e nell'integrazione della tecnologia nell'ambito educativo, sanitario e governativo. Qualunque cosa facciano – e il modo in cui gestiscono i bias algoritmici – potrebbero influenzare lo sviluppo dell'intelligenza artificiale in altri paesi. Tuttavia, non molti comprendono il funzionamento degli algoritmi.

“Nonostante la presenza di commenti xenofobi e razzisti, questa idea sarà probabilmente sempre presente fin quando le persone non capiranno come lavorano gli algoritmi e la differenza tra dati oggettivi e l'interpretazione di questi. La correlazione non implica la causalità”, afferma Ingelse.

Opinione 2: “Le autorità olandesi stanno danneggiando i loro cittadini attraverso l'uso di algoritmi discriminatori”

In poche parole: “Stop all'uso di intelligenze artificiali discriminatorie”

In tweet e commenti, le persone affermano che i Paesi Bassi hanno uno storia di algoritmi discriminatori che rendono le categorie vulnerabili doppiamente vittime. Ad esempio, concentrarsi sulle scarse competenze linguistiche di qualcuno è, per molti, un sottotesto che prende di mira gli immigrati.

Alcuni vanno oltre, affermando che il funzionamento degli algoritmi dovrebbe essere trasparente per avere la garanzia che non sia viziato. Così, mentre alcune persone si indignavano per l'uso degli algoritmi da parte di Rotterdam, molte altre lodavano la città per averli condivisi con il giornalisti.

Molti di questi post e commenti provengono da persone che difendono i diritti umani, non dalle persone direttamente coinvolte nelle frodi dell'algoritmo stesso. Forse proprio perché le categorie più vulnerabili sono meno visibili online. Tuttavia, quando direttamente intervistate, le persone si dimostrano molto sfavorevoli all'uso delle intelligenze artificiali discriminatorie. La testata Vers Breton è andata al mercato di Rotterdam, spesso frequentato da persone con scarsi mezzi economici, dove ha intervistato diversi acquirenti, i quali hanno tutti criticato l'uso degli algoritmi.

Anche i legislatori olandesi spingono per una maggiore regolamentazione dell'intelligenza artificiale: “Il problema principale dello sviluppo dell'intelligenza artificiale è il fatto di essere interamente guidato dal mercato: è un'industria multimiliardaria senza regole”, scrive su twitter Kim van Sparrentak, membro del Parlamento europeo con i Verdi/Alleanza Libera Europea.

Prossima legge UE sull'intelligenza artificiale

L'Unione Europea sta negoziando una legge sull'intelligenza artificiale con lo scopo di regolare questo tipo di situazioni. A metà giugno, il Parlamento Europeo ha inviato la bozza all'Consiglio europeo, dove è attualmente in fase di discussione. Allo stato attuale della scrittura, uno dei punti della normativa è proibire la classificazione dei cittadini sulla base di un punteggio in modo da evitare discriminazioni.


Questa newsletter è pubblicata attraverso la Community CMO. Se vuoi saperne di più o farne parte, prendi in considerazione l'idea di presentarci o unirti al nostro prossimo corso di formazione sulla metodologia dal vivo il 7 luglio alle 12:00 UTC.

avvia la conversazione

login autori login »

linee-guida

  • tutti i commenti sono moderati. non inserire lo stesso commento più di una volta, altrimenti verrà interpretato come spam.
  • ricordiamoci di rispettare gli altri. commenti contenenti termini violenti, osceni o razzisti, o attacchi personali non verranno approvati.