Immagine di Safa, con elementi grafici tratti da La Loma, utilizzati previa autorizzazione.

Questo articolo è stato scritto da Safa per la serie “Digitized Divides” [en, come i link seguenti] pubblicato originariamente su tacticaltech.org. Una versione editata è ripubblicata da Global Voices secondo un accordo di partnership. 

I termini utilizzati per parlare di tecnologia possono forgiare il modo in cui la concepiamo. Nella maggior parte dei casi, la parola “intelligente” ha una connotazione positiva; ma quando si tratta di tecnologia, è generalmente utilizzata in modo intercambiabile con “efficiente”. Immaginiamo se chiamassimo i sistemi di sorveglianza “machiavellici” anziché “intelligenti” – come cambierebbe la nostra narrazione, l'accettazione di questi strumenti e la loro conseguente adozione?

Sistemi inaffidabili

Strumenti di monitoraggio e controllo, come i sistemi TVCC, si basano sulla tecnologia di riconoscimento facciale, che identifica automaticamente dati biometrici unici, inclusa la misurazione della distanza tra gli occhi, la larghezza del naso, la profondità delle orbite oculari, la forma degli zigomi e la lunghezza della mandibola. Il riconoscimento facciale è usato da governi, polizia e altre agenzie in tutto il mondo, con risultati significativi.

Un'operazione senza precedenti delle forze di polizia statunitensi ha portato all'identificazione di centinaia di bambini molestati e dei rispettivi molestatori in sole tre settimane. Questa tecnologia è stata utilizzata anche per trovare persone indigene scomparse e uccise (Missing and Murdered Indigenous People, MMIP), aiutando 57 famiglie ad avere delle risposte in soli tre anni. Sebbene questi risultati siano effettivamente notevoli e indicatori di come l'uso della tecnologia possa aiutare l'umanità, ci sono stati anche numerosi casi in cui il riconoscimento facciale è stato usato dal sistema di polizia degli US in modi pericolosi.

Un'app chiamata CBP One, necessaria per i richiedenti asilo al confine tra Stati Uniti e Messico, richiede che gli utenti si registrino in un sistema di riconoscimento facciale. Ma quello stesso sistema “[fallisce] nel registrare volti umani dalla carnagione scura, precludendogli di fatto il diritto di presentare richiesta di ingresso negli Stati Uniti.” I sistemi che incorporano i dati di richiedenti asilo e migranti rendono possibile un tracciamento longitudinale dei minori. Ma le tecnologie di riconoscimento facciale sono utilizzate dall'ICE (agenzia federale degli Stati Uniti deputata al controllo delle frontiere e dei flussi migratori) anche per monitorare e sorvegliare coloro che sono in attesa delle udienze relative ai procedimenti di espulsione.

In uno studio dedicato ai sistemi di riconoscimento facciale, il ricercatore del MIT Joy Buolamwini ha evidenziato che “individui femminili di pelle scura rappresentano il gruppo più soggetto a erronea classificazione (con un tasso di errore fino al 34,7%). Il tasso di errore più alto rilevato per soggetti maschili di pelle chiara è pari allo 0,8 %.” Il ricercatore di Harvard, Alex Najibi, descrive come “gli afroamericani sono molto più predisposti ad essere arrestati e detenuti per crimini minori rispetto ai bianchi americani. Di conseguenza, la popolazione nera è sovrarappresentata nei database fotosegnaletici, a cui poi i sistemi di riconoscimento facciale attingono per formulare previsioni. Questo spiega perché è più probabile che gli afroamericani restino intrappolati in sistemi e circoli viziosi di controllo e sorveglianza di matrice razzista.

Questa opinione è richiamata in un report del progetto S.T.O.P. — The Surveillance Technology Oversight Project. Anche il Regno Unito e la Cina sono tra quei Paesi che praticano la “sorveglianza predittiva”. Un ricercatore dedicatosi al contesto cinese la descrive come “uno strumento più sofisticato di repressione selettiva verso gruppi già bersagliati dalla polizia, ma che non riduce sostanzialmente la criminalità né aumenta il livello di sicurezza generale.” Quindi, in questo caso la questione non è semplicemente legata alle basi di dati fallaci; si tratta di discriminazione preesistente nella società, nella quale chi detiene posizioni di potere, o esercita potere poliziesco o militare, può usare la tecnologia per potenziare l'oppressione di specifici gruppi di persone. I dataset di grandi dimensioni non rimedieranno né annulleranno il problema di coloro che agiscono guidati da discriminazione, razzismo o altre forme di pregiudizio e odio.

Gli algoritmi sono creati dalle persone (che intrinsecamente possiedono i loro bias, cioè pregiudizi) e sono sviluppati partendo dai nostri dati. Gli strumenti addestrati su questi ultimi possono essere utilizzati per danneggiare altre persone. Gli algoritmi sono utilizzati perfino da governi, polizia e altre agenzie in tutto il mondo. Strumenti e servizi offerti da Google, Amazon e Microsoft sono stati tutti utilizzati da Israele nella sua guerra su Gaza. Negli Stati Uniti, gli algoritmi sono stati utilizzati per calcolare i livelli di rischio per gli individui che avevano commesso dei crimini, al fine di valutare la probabilità che ne commettessero altri in futuro. Eppure i ricercatori hanno evidenziato che tali algoritmi sono “considerevolmente inaffidabili” e contengono una quantità significativa di bias nella loro progettazione e implementazione.

In Spagna, un algoritmo è stato usato per prevedere la probabilità che le vittime di abusi domestici fossero abusate ancora, allo scopo di fornire supporto e distribuire risorse a chi ne necessitasse con massima urgenza, all'interno di un sistema sovraccaricato. Ma l'algoritmo non è perfetto e l'eccessiva fiducia riposta in uno strumento così fallace in situazioni ad alto rischio ha prodotto conseguenze tragiche. In alcuni casi, le vittime sopravvissute etichettate come “a basso rischio” sono state ammazzate dai loro aguzzini, malgrado i loro tentativi di chiedere aiuto e denunciare l'abuso alle autorità.

Nel Paesi Bassi, le autorità fiscali hanno ricorso a un algoritmo per identificare frodi sui sussidi per l'infanzia, causando la penalizzazione di decine di migliaia di famiglie a basso reddito, finite in condizioni di povertà, e l'erroneo allontanamento e affidamento di oltre un migliaio di bambini. “Possedere una doppia cittadinanza è stato identificato come indicatore di alto rischio, così come un reddito basso […e] il possesso di nazionalità turca o marocchina sono stati elementi particolarmente attenzionati.”

Israele sorveglia e reprime i palestinesi

L'apparato di sorveglianza di Israele è famoso in tutto il mondo. Un report 2023 di Amnesty International ha mappato la rete visibile di sorveglianza israeliana,  evidenziando la presenza di una o due telecamere a circuito chiuso ogni cinque metri nella Città Vecchia di Gerusalemme e nel quartiere di Sheikh Jarrah a Gerusalemme Est. 

Dal 2020, è in uso il programma israeliano “Wolf Pack” a gestione militare; si tratta di un database ampio e dettagliato che profila virtualmente tutti i palestinesi in Cisgiordania, includendone foto, connessioni familiari, livello di istruzione e altro. Il Wolf Pack include gli strumenti “Red Wolf”, “White Wolf” e “Blue Wolf”: 

• Red Wolf: Il sistema Red Wolf è parte dell'infrastruttura ufficiale di TVCC basata sulla tecnologia di riconoscimento facciale del governo israeliano, finalizzata a identificare e profilare i palestinesi che attraversano i checkpoint e si muovono per le città. Come è stato riportato, l'esercito israeliano utilizza regolarmente Red Wolf nella città palestinese di Hebron. Secondo un progetto di B'Tselem e Breaking the Silence, l'esercito israeliano ha disposto 86 checkpoint e barriere di separazione che attraversano il 20% di Hebron; l'area circoscritta è denominata “H2” ed è posta sotto controllo militare. Come ha scritto Masha Gessen, i palestinesi che vivono lì “attraversano un checkpoint per andare a fare la spesa e poi di nuovo per tornare a casa”. Secondo l'UNRWA, l’88% dei bambini attraversa i checkpoint per andare e tornare da scuola.
• White Wolf: Un'altra app, White Wolf, è disponibile per il personale militare israeliano incaricato alla protezione degli insediamenti illegali in Cisgiordania, permettendogli di consultare la banca dati della popolazione palestinese. Da quando la guerra di Israele contro Gaza ha avuto inizio dopo gli attacchi del Movimento Islamico di Resistenza (cioè, Hamas) del 7 ottobre 2023, Israele ha implementato un registro per il sistema di riconoscimento biometrico anche per i palestinesi di Gaza.
• Blue Wolf: Attraverso l'uso dell'app Blue Wolf, l'esercito israeliano ha condotto massicce registrazioni biometriche dei palestinesi, spesso ai checkpoint e sotto minaccia delle armi e a volte irrompendo nelle loro abitazioni private nel cuore della notte. In questi casi, i soldati israeliani scattano foto ai palestinesi, inclusi i minori, talvolta anche con la forza. I militari annotano nell'app qualsiasi “impressione negativa che abbiano del comportamento dei palestinesi in cui si imbattono”. Una fonte ha aggiunto che “l'esercito non ha detto ‘creiamo Blue Wolf’ per facilitare i movimenti [dei palestinesi]. L'esercito vuole includerli in questo sistema per controllarli.”

Un articolo del 2025 ha rivelato come l'esercito israeliano abbia ricorso a un Modello Linguistico di Grandi Dimensioni (come quello che sta alla base di strumenti quali ChatGPT) per sorvegliare i palestinesi. Una fonte dell'intelligence israeliana ha affermato: “Dispongo di più strumenti per conoscere cosa sta facendo ciascuna persona che si trova in Cisgiordania. Quando possiedi così tanti dati, puoi utilizzarli per qualsiasi scopo tu voglia.” Sebbene quello israeliano non sia l'unico apparato militare autorizzato dal governo per l'addestramento di modelli di IA per mezzo di dati civili, il caso offre un'importante comprensione di come le tecnologie più moderne possano essere adottate per un monitoraggio capillare e un controllo diffuso.

Come ha affermato il ricercatore Carlos Delclós, “la privacy non è semplicemente invasa; è annientata, nel momento in cui le vite umane sono frammentate in set di dati ottimizzati per il profitto capitalistico” e il medesimo concetto si può estendere al profitto politico. A prescindere che se ne parli in termini positivi o negativi, la tecnologia in sé non può essere separata dagli utenti (ovvero, gli umani) che la adoperano. Se chi utilizza tali strumenti tecnologici è parte della società e lavora all'interno di sistemi noti per la documentata tendenza alla  discriminazione e/o controllo, sembra abbastanza possibile che il loro uso sarà orientato a nuocere agli altri. Non dobbiamo nemmeno immaginarlo. Basta semplicemente guardarci intorno con entrambi gli occhi ben aperti.