[1]Foto di Clara Juliano per Coding Rights. Utilizzata su autorizzazione.
Rising Voices (RV) è partner di Association for Progressive Communications (APC) [2][en, come tutti i link successivi, salvo diversa indicazione], che ha pubblicato l'edizione 2019 del Global Information Society Watch (GISWatch) [3]intitolato “Intelligenza Artificiale (IA): Diritti Umani, Giustizia Sociale e Sviluppo”. Nei prossimi mesi, Rising Voices pubblicherà altri report, in particolare quelli che evidenziano come l'IA può influenzare l'esistenza delle comunità storicamente sottorappresentate o marginalizzate.
Quest’articolo [4] è stato scritto da Paz Peña [5] e Joana Varon [6], di Coding Rights [7]. Il report è stato inizialmente pubblicato all'interno di una raccolta di più ampia portata: “Global Information Society Watch 2019: Intelligenza artificiale: Diritti umani, giustizia sociale e sviluppo”. Si può consultare il sito del GISWatch per scaricare il report completo [8], disponibile su licenza CC BY 4.0.
Immaginate di avere accesso a un database contenete informazioni su 12.000 giovani ragazze tra i 10 e 19 anni, residenti in una regione povera dell'America del Sud. I dati includono età, quartiere di residenza, etnia, paese di origine, livello di istruzione del capofamiglia, disabilità mentali e fisiche, numero di persone che vivono nella stessa casa, e accesso o meno a servizi primari, come l'acqua calda corrente. A quali conclusioni potreste giungere sulla base di questi dati? O meglio, è davvero auspicabile trarre delle conclusioni? A volte, e purtroppo nella maggior parte dei casi, la semplice possibilità di estrarre una grande quantità di dati è una scusa sufficiente per “far parlare le cifre” e, peggio ancora, prendere decisioni sulla base di esse.
Il database appena descritto esiste realmente, ed è stato utilizzato dalle autorità pubbliche per prevenire la dispersione scolastica e le gravidanze adolescenziali. “Gli algoritmi intelligenti ci consentono di identificare le caratteristiche di quelle persone che potrebbero incorrere in problemi del genere. Così, grazie alla tecnologia, possiamo avvertire il governo e sollecitarlo a lavorare sulla prevenzione di fenomeni di questo tipo” ha affermato [9] [es] un rappresentante di Microsoft Azure. L'azienda è responsabile del sistema di apprendimento automatico [10][it] utilizzato dalla Piattaforma Tecnologica d'Intervento Sociale, istituita dal Ministero dell'infanzia nella provincia di Salta, in Argentina.
“Con questa tecnologia, in base a nome, cognome e indirizzo, possiamo prevedere con cinque o sei anni di anticipo quale bambina, o giovane ragazza, ha l'86% di possibilità di incorrere in una gravidanza durante l'età adolescenziale” ha affermato [11] [es] Juan Manuel Urtubey, politico conservatore e governatore di Salta. Il Ministero dell'infanzia di questa provincia ha lavorato per anni [12] [es] con l'ONG antiabortista Fundación CONIN per mettere a punto questo sistema [13] [es]. La dichiarazione di Urtubey è stata fatta nel 2018, quando l'Argentina si trovava nel mezzo di una campagna per la legalizzazione dell'aborto. Condotta da un gruppo sociale per i diritti sessuali impegnato in prima linea nei dibattiti pubblici locali, la campagna ha anche catturato l'attenzione [14] della stampa internazionale. La creazione di un algoritmo che possa prevedere le gravidanze adolescenziali rappresenta una scusa perfetta per gli attivisti misogini [15]e conservatori, secondo i quali non è necessario legiferare sui diritti sessuali e riproduttivi. Dal loro punto di vista, se si dispone di una quantità sufficiente di dati sulle famiglie meno abbienti, le politiche pubbliche più conservatrici possono essere sviluppate per prevenire gli aborti delle donne indigenti. Tra l'altro, sostengono che “se è suggerito da un algoritmo, è matematico, quindi vero e inconfutabile”.
È importante sottolineare che il database della piattaforma contiene informazioni unicamente sulle persone di genere femminile. Quest'attenzione particolare per un sesso piuttosto che l'altro rafforza il patriarcato e, di conseguenza, fa ricadere sulle adolescenti la colpa delle gravidanze indesiderate, come se un bambino potesse essere concepito senza il contributo maschile.
Per questi ed altri motivi, la Piattaforma Tecnologica d'Intervento Sociale è stata aspramente criticata. Alcuni l'hanno definita “ingannevole”, “un'allucinazione” e “un'intelligenza che non pensa”, sottolineando [11] [es] che questi dati sensibili su giovani ragazze e bambine povere non sono sufficientemente protetti. Un'analisi tecnica completa sulle falle del sistema è stata pubblicata dal Laboratorio d'Intelligenza Artificiale Applicata (LIAA) dell'Università di Buenos Aires. Secondo il LIAA, che ha esaminato la metodologia pubblicata su GitHub [16] [es] da un ingegnere di Microsoft, i risultati attesi sono falsati a causa di errori statistici e non permetterebbero di formulare previsioni attendibili.
Malgrado le critiche e lo studio che ne smentisce la credibilità, l'uso della piattaforma non è stato messo in discussione. Anzi, le cattive idee mascherate da innovazione si sono rapidamente diffuse: il sistema è attualmente in fase di sviluppo in altre province argentine [17] [es], come La Rioja, Tierra del Fuego e Chaco, ed è stato esportato in Colombia, nella municipalità di La Guarija [18] [es].
La Piattaforma Tecnologica d'Intervento Sociale è l'esempio lampante del modo in cui i sistemi d'intelligenza artificiale (IA), considerati neutrali e obiettivi dai loro ideatori, sono stati impiegati in alcuni pesi dell'America Latina per il sostegno di politiche pubbliche potenzialmente discriminatorie che calpestano i diritti umani delle persone meno abbienti. Ciò include il monitoraggio e la censura delle donne e dei loro diritti sessuali e riproduttivi, come mostra la piattaforma.
Crediamo che una delle cause principali dell'uso nocivo dell'apprendimento automatico e di altre tecnologie di intelligenza artificiale sia da attribuire a una cieca fiducia nei big data che, secondo molti, sono destinati a risolvere i problemi più scottanti con cui l'umanità si confronta. Al contrario, noi proponiamo una critica e una chiave di lettura transfemministe [19] [es] che offrono non solo il potenziale per analizzare gli effetti negativi dell'IA, ma anche una forma di comprensione proattiva su come immaginare, creare e sviluppare un'IA emancipatrice che superi il consumismo, la misoginia, il razzismo e le norme sociali eteropatriarcali e del binarismo di genere.
I big data: soluzione o discriminazione mascherata da formule matematiche?
L'IA può essere definita a grandi linee come una tecnologia che effettua previsioni sulla base del rilevamento automatico di uno schema di dati. Come nel caso del governo di Salta, sempre più Stati nel mondo si servono di algoritmi per determinare la distribuzione di beni e servizi, inclusi istruzione, sanità pubblica, sicurezza, alloggio, ecc. Inoltre, i programmi che mirano a contrastare la povertà sono sul punto di essere ridotti a meri dati per i governi. Gli algoritmi sono utilizzati per determinare l'accesso ai servizi sociali da parte di persone indigenti e disoccupate, trasformando “il dramma della povertà e della vulnerabilità in dati sfruttabili da una macchina, con effetti tangibili nella vita e nei mezzi di sussistenza dei cittadini coinvolti”.
Cathy O'Neil [20], nella sua analisi sull'uso dell'IA negli Stati Uniti, afferma che molti sistemi “tendono a penalizzare i poveri”. Spiega così il fenomeno:
This is, in part, because they are engineered to evaluate large numbers of people. They specialize in bulk, and they’re cheap. That’s part of their appeal. The wealthy, by contrast, often benefit from personal input. […] The privileged, we’ll see time and again, are processed more by people, the masses by machines.
Il problema è, in parte, dovuto al fatto che questi sistemi sono progettati per valutare un numero elevato di persone. Sono specializzati nelle grandi dimensioni, e sono economici. Questo li rende attrattivi. I ricchi, invece, beneficiano spesso di un canale privilegiato. […] Il trattamento dei dati di persone benestanti, come vedremo a più riprese, è spesso processato da esseri umani, a differenza delle masse che invece sono valutate da macchine.
I sistemi di IA si basano su modelli di rappresentazioni astratte, generalizzazioni e semplificazioni delle realtà complesse, in cui numerose informazioni vengono tralasciate o meno a discrezione dei creatori. O'Neil osserva:
[M]odels, despite their reputation for impartiality, reflect goals and ideology. […] Our own values and desires influence our choices, from the data we choose to collect to the questions we ask. Models are opinions embedded in mathematics.
I modelli, nonostante siano considerati imparziali, riflettono obiettivi e ideologie. […] I nostri valori e desideri influenzano le scelte che facciamo, dai dati che scegliamo di raccogliere alle domande che ci poniamo. I modelli sono opinioni incastrate in strutture matematiche.
In questo contesto, l'IA rifletterà i valori dei suoi creatori, per questo molti critici hanno posto l'accento sulla necessità di garantire la diversità e l'inclusione:
So inclusivity matters [21] – from who designs it to who sits on the company boards and which ethical perspectives are included. Otherwise, we risk constructing machine intelligence that mirrors a narrow and privileged vision of society, with its old, familiar biases and stereotypes.
L'inclusione è fondamentale [21], e deve riguardare sia il team di progettazione e il consiglio di amministrazione dell'impresa, sia le prospettive etiche messe a punto. Altrimenti, rischiamo di costruire un'intelligenza artificiale che calca una visione limitata e classista della società, piena di pregiudizi e stereotipi vecchi e profondamente radicati.
Ma la diversità e l'inclusione non sono sufficienti per creare un'IA emancipatrice. Se seguiamo l'idea di Marcuse [22], secondo cui “la modalità di produzione tecnologica è una forma specifica o un insieme di condizioni che la nostra società ha adottato tra le tante condizioni possibili, ed è questa modalità che gioca un ruolo fondamentale nell'elaborazione delle tecniche, così come l'orientamento della loro diffusione e proliferazione”, è fondamentale immergersi profondamente in quelli che sono gli interessi dominanti di questo progetto storico-sociale. In questo senso, le teorie sulla “giustizia dei dati” [23] hanno preso in considerazione la necessità di collegare le lotte politiche per la giustizia sociale da una parte, e la rivoluzione dei dati sostenuta da alcuni Stati, imprese e agenzie internazionali dall'altra. Ciò garantirebbe un trattamento equo delle persone da parte dello Stato e settore privato, o di entrambi gli attori in partnership.
Ad esempio, secondo il quadro proposto da Payal Arora [24], i dibattiti che ruotano attorno i big data hanno una connotazione estremamente positiva a causa dell'ideologia neoliberista, secondo cui lo sfruttamento a scopo di lucro dei dati delle persone povere da parte di imprese private avviene unicamente a beneficio della popolazione. Questa concezione è, per molti aspetti, l'esempio lampante che il capitalismo e il colonialismo sono sempre presenti non appena un sistema di IA priva le persone della loro autonomia, trattandole “come dei semplici dati grezzi da elaborare” [25]. Similmente, Couldry e Mejias ritengono che l'appropriazione e lo sfruttamento dei dati per il loro valore di mercato siano fenomeni riconducibili al capitalismo e al colonialismo.
Recentemente, collegando questa critica alla razzializzazione di cittadini e di comunità attraverso decisioni algoritmiche, Safiya Umoja Noble [26] ha coniato il termine “technological redlining” (ghettizzazione tecnologica), per descrivere i processi di discriminazione dei dati che rafforzano le disuguaglianze e le oppressioni. Questo termine richiama la pratica del “redlining” [27] negli Stati Uniti, che consiste nel negare in modo sistematico alcuni servizi alle comunità, sia direttamente, sia indirettamente attraverso il rincaro dei prezzi o discriminazioni razziali:
I think people of color will increasingly experience it as a fundamental dimension of generating, sustaining, or deepening racial, ethnic and gender discrimination. This process is centrally tied to the distribution of goods and services in society, like education, housing and other human and civil rights, which are often determined now by software, or algorithmic decision-making tools, which might be popularly described as “artificial intelligence”.
Penso che le persone nere saranno sempre più esposte a questo fenomeno, il quale getta le basi per l'ideazione, il mantenimento e il consolidamento delle discriminazioni razziali, etniche e di genere. Questo processo s'inserisce nello schema centrale della distribuzione di beni e servizi nella società, come l'istruzione, l'edilizia abitativa e altri diritti umani e civili, che al giorno d'oggi sono spesso determinati da software e macchine algoritmiche decisionali, comunemente definiti “intelligenza artificiale”.
La questione è in che misura i cittadini e le autorità pubbliche che acquistano, sviluppano e utilizzano questi sistemi sono consapevoli del problema. Il caso di Salta, come molti altri, mostra che la promozione dei big data come soluzione a tutta una serie di interminabili problemi sociali viene esportata in America Latina, accentuando le sfide della decolonizzazione. Questa logica non solo neutralizza i tentativi di critica allo status quo in tutte le aree delle relazioni di potere, dalla geopolitica alle norme di genere passando per il capitalismo, ma crea anche nuovi ostacoli alla promozione e la salvaguardia di stili di vita alternativi.
L'IA, la povertà e lo stigma
“Il futuro è oggi”. Questo sembra essere il mantra quando le autorità pubbliche adottano con entusiasmo le tecnologie digitali, senza prendere il considerazione le voci critiche che dimostrano che i loro effetti sono potenzialmente discriminatori. Negli ultimi anni, ad esempio, l'uso dei big data a scopo preventivo da parte delle forze dell'ordine sembra essere una tendenza popolare in America Latina. Nel corso delle nostre ricerche, abbiamo costatato che sono stati utilizzati (o sono in corso di sperimentazione) diversi tipi di IA in paesi come Argentina, Brasile, Cile, Colombia, Messico, Uruguay [28] [es], a altri. Il modello più diffuso elabora schede di previsione dei crimini, mentre alcuni progetti tentano addirittura di sviluppare dei modelli predittivi in grado di identificare potenziali criminali.
Come afferma [29] Fieke Jansen :
These predictive models are based on the assumption that when the underlying social and economic conditions remain the same crime spreads as violence will incite other violence, or a perpetrator will likely commit a similar crime in the same area.
Questi modelli predittivi si basano sull'assunto che quando le condizioni sociali ed economiche rimangono costanti, il crimine aumenta, così come la violenza inciterà altra violenza o un criminale probabilmente commetterà un reato simile nella stessa area.
Molti critici hanno sottolineato gli effetti dannosi dell'utilizzo di tecnologie predittive da parte della polizia nei quartieri svantaggiati e in altre comunità deboli, tra cui abuso di potere [30], stigma, razzismo e discriminazione. Inoltre, negli Stati Uniti, dove questi sistemi sono già in uso da qualche tempo, molte istituzioni di sicurezza pubblica stanno mettendo in discussione la reale efficacia di questi sistemi [31], sopratutto dopo le critiche di cui sono stati oggetto.
I sistemi di contrasto alla povertà fanno ricorso all'intelligenza artificiale secondo la stessa logica delle tecnologie predittive nella prevenzione della criminalità: raccolgono i dati per prevedere i rischi sociali e sviluppare programmi pubblici. Come abbiamo appena visto, è il caso della Piattaforma Tecnologica d'Intervento Sociale, ma anche di sistemi come Allerta Infanzia in Cile. Ancora una volta, in questo sistema, le previsioni sono applicate a minori di comunità svantaggiate. Il sistema assegna un punteggio di rischio alla comunità, generando avvisi di protezione automatica che consentono di mettere in atto interventi “preventivi”. Secondo informazioni ufficiali [32] [es], questa piattaforma definisce l'indice di rischio seguendo criteri quali, gravidanze adolescenziali, uso eccessivo di alcool e/o droga, delinquenza, malattie mentali croniche, lavoro minorile, sfruttamento sessuale, maltrattamenti o violenze, e abbandono scolastico. Tra le numerose critiche indirizzate al progetto, spicca quella del gruppo della società civile che si batte per i diritti dell'infanzia secondo cui, al di là dei problemi legati alla privacy, il sistema “ha imposto una certa forma di normatività socioculturale che incoraggia e legittima socialmente forme di stigmatizzazione, discriminazione, e anche criminalizzazione della diversità culturale esistente in Cile”. Affermano inoltre [33] [es]:
This especially affects indigenous peoples, migrant populations and those with lower economic incomes, ignoring that a growing cultural diversity demands greater sensitivity, visibility and respect, as well as the inclusion of approaches with cultural relevance to public policies.
Ciò riguarda soprattutto i popoli indigeni, i migranti, e le persone a basso reddito, ignorando il fatto che una crescente diversità culturale richiede una maggiore sensibilità, visibilità e rispetto, oltre che un approccio culturale adatto alle politiche pubbliche.
Ci sono almeno tre caratteristiche che accomunano questi sistemi utilizzati in America Latina e che sono particolarmente preoccupanti, dato il loro potenziale contributo al peggioramento dell'ingiustizia sociale nella regione: in primo luogo, l'identificazione forzata di di individui e comunità povere. Questa quantificazione della persone, dei corpi (intesi come socialmente costruiti) e delle comunità non lascia spazio ad una rinegoziazione. I altri termini la “datafication” sostituisce l'identità sociale con un'identità di sistema.
In relazione a quest'ultimo punto, esiste una seconda caratteristica che rinforza le disuguaglianze sociali: la mancanza di trasparenza e tutela. Nessun sistema è stato progettato attraverso processi partecipativi, con il coinvolgimento di specialisti o comunità interessate. Al contrario, i sistemi di IA sembrano rafforzare il funzionamento gerarchico delle politiche pubbliche, rendendo le persone “beneficiari” e “consumatori”: “Come Ian Hacking [34][it] parla di “fabbricazione delle persone” attraverso la classificazione, la datafication “fabbrica” beneficiari attraverso categorie demografiche cristallizzate nei dati e più facilmente gestibili con un regime di controllo piramidale.
Infine, questi sistemi sono nati da quelli che chiameremmo “consorzi neoliberali”, in cui i governi sviluppano e acquistano i sistemi di IA elaborati da privati o università. L'argomento merita un'attenzione più ampia, poiché i valori neoliberali sembrano onnipresenti nell'ideazione dei sistemi di IA, non solo da parte di aziende, ma anche di università finanziate con fondi pubblici [35][es] destinati all'innovazione e al progresso economico.
Perché un quadro teorico transfemminista?
Come visto negli esempi precedenti, alcuni programmi pubblici di contrasto alla povertà in America Latina abbracciano il pensiero positivista, in cui sembra che la realtà possa essere meglio compresa e modificata se la si quantifica in ogni suo aspetto. Questa logica promuove anche la visione secondo cui l'uomo deve perseguire il “progresso”, inteso come aumento della produzione e del consumo e, di conseguenza, sfruttamento dei corpi e dei territori.
Tutti questi numeri e metriche sulla vita delle persone non privilegiate sono raccolti, catalogati e analizzati secondo una logica di “produttività” che va a sostenere il capitalismo, l'eteropatriarcato, il suprematismo bianco e il colonialismo. Anche se la narrazione del “sé quantificato” sembra focalizzata sull'individuo, non lascia spazio al riconoscimento dei differenti strati che la coscienza umana può raggiungere, né alla forme alternative dell'esistenza o alla promozione di pratiche comunitarie.
È necessario prendere coscienza del modo in cui creiamo approcci metodologici al trattamento dei dati, in modo da sfidare questo quadro di analisi positivista e il dominio di metodi quantitativi che sembrano ottenere un focus fondamentale nello sviluppo e nell'applicazione di algoritmi e processi di decisione automatica.
Come afferma Silvia Rivera Cusicanqui [36] [en]:
How can the exclusive, ethnocentric “we” be articulated with the inclusive “we” – a homeland for everyone – that envisions decolonization? How have we thought and problematized, in the here and now, the colonized present and its overturning?
Come può un “noi” esclusivo ed etnocentrico essere declinato in un “noi” inclusivo – un territorio di appartenenza per tutti – che immagini la decolonizzazione? Come abbiamo pensato e problematizzato, qui e ora, il presente colonizzato e il suo ribaltamento?
Al di là di un quadro teorico dei diritti umani, gli approcci decoloniali e transfemministi della tecnologia sono strumenti eccellenti per immaginare futuri alternativi e ribaltare la logica dominante in cui i sistemi di IA si sono sviluppati. I valori transfemministi devono essere integrati in questi sistemi, in modo che i progressi tecnologici ci aiutino a comprendere e abbattere quello che l'accademica afrofemminista Patricia Hill Collins definisce “la matrice del dominio” (tenendo conto dei diversi strati di oppressione causati da razza, classe, genere, religione e altri aspetti dell'intersezionalità). Questo ci condurrà verso un avvenire che promuove e preserva non solo i diritti umani, ma anche la giustizia sociale e ambientale, poiché questi due elementi sono alla base delle teorie femministe decoloniali.
Immaginare un nuovo futuro
Per concretizzare quest'approccio transfemminista, noi di Coding Rights, in collaborazione con il Co-Design Studio del MIT [37], abbiamo creato un gioco sperimentale [38] chiamato “Oracolo per un futuro transfemminsta”. Attraverso una serie di laboratori, abbiamo condiviso le nostre idee sul tipo di valori transfemministi che ci ispirano e che ci aiutano a immaginare scenari futuri. Come sottolinea la scrittrice di fantascienza Ursula Le Guin:
The thing about science fiction is, it isn't really about the future. It's about the present. But the future gives us great freedom of imagination. It is like a mirror. You can see the back of your own head.
La cosa interessante della narrativa fantascientifica è che non parla davvero del futuro. Parla del presente. Ma il futuro ci dona una grande libertà d'immaginazione. È come uno specchio. Puoi vedere la parte posteriore della tua testa.
Di fatto, nel presente, quando abbiamo immaginato il futuro attraverso questi seminari, sono emerse proposte concrete di cambiamento. Nel tempo, durante i nostri incontri sono emersi valori come il controllo della persona sulla propria vita, la trasparenza, l'autonomia, la giustizia sociale, le identità non binarie, la cooperazione, la decentralizzazione, il consenso, la diversità, i principi decoloniali, l'empatia e la sicurezza.
L'analisi di uno o due di questi valori, presi insieme [39], ci ha fornito uno strumento per valutare come un progetto di IA o la sua diffusione si colloca in un quadro di valori femministi e decoloniali. Su questa base, possiamo proporre tecnologie o pratiche alternative più in linea con il presente e il futuro che sogniamo.