Foto di Petra Molnar fatta da Kenya-Jade Pinto, usata con permesso.

Gli attivisti stimano che, nel 2022, 30 milioni di persone in movimento erano rifugiati [en, come tutti i link successivi, salvo diversa indicazione], e molti di questi hanno cercato protezione negli Stati Uniti e nell'Unione europea. Tuttavia, spesso dopo essere entrati nei paesi occidentali, non trovano protezione ma un processo disumanizzante di categorizzazione eccessivamente basato sull'IA e sulla tecnologia non controllata.

Global Voices ha condotto un'intervista via e-mail con Petra Molnar, un'avvocata e antropologa specializzata in tecnologia, migrazione e diritti umani. Molnar è co-creatrice del Migration and Technology Monitor, un gruppo di rappresentanti della società civile, giornalisti, accademici e registi che studiano gli esperimenti tecnologici su chi attraversa i confini. Inoltre, è direttrice associata del Refugee Law Lab all'Università di York e membro del Berkman Klein Centre for Critical Internet all'Università di Harvard. Attualmente sta scrivendo il suo primo libro, “Artificial Borders” (The New Press, 2024).

Filip Noubel (FN): La sua ricerca mostra che i campi per rifugiati e di detenzione, spesso luoghi caratterizzati dall'assenza di leggi, servono per testare nuove tecnologie. Può fare degli esempi?

Petra Molnar (PM) Borders and spaces of humanitarian emergency like refugee camps are increasingly testing out new technologies for migration control. Since 2018, I have been spending time with people who are at the sharpest edges of technological innovation. From the Arizona desert at the US/Mexico border to the Kenya-Somalia border, to various refugee camps in the EU, we have seen first-hand the impacts of border surveillance and automation on people’s lives.

Before you even cross a border, you may be subject to predictive analytics used in humanitarian settings or biometric data collection. At the border, you can see drone surveillance, sound-cannons, and thermal cameras. If you are in a European refugee camp, you will interact with algorithmic motion detection software. You may be subject to projects like voice printing technologies and the scraping of your social media records. Borders themselves are also changing, as surveillance is expanding our understanding of the European border beyond its physical limits, creating a surveillance dragnet as far as north and Sub-Saharan Africa and the Middle East.

These experimental and high-risk technologies occur in an environment where technological solutions are presented as a viable solution to complex social issues, creating the perfect ecosystem for a lucrative ecosystem giving rise to a multi-billion euro border industrial complex.

In my fieldwork, I notice that people share feelings of being constantly surveilled, or being reduced to data points and fingerprints. Many point out how strange it seems that vast amounts of money are being poured into high-risk technologies while they cannot get access to a lawyer or have psychosocial support. There is also a central misapprehension at the centre of many border tech projects – that somehow more technology will stop people from coming. But that is not the case, in fact people will be forced to take more dangerous routes, leading to even more loss of life at the world’s borders.

Petra Molnar (PM) Le frontiere e i luoghi per l'emergenza umanitaria come i campi per rifugiati stanno testando sempre di più nuove tecnologie per il controllo della migrazione. Dal 2018, ho trascorso molto tempo con i massimi esponenti dell'innovazione tecnologica. Dal deserto dell'Arizona al confine tra Stati Uniti e Messico fino alla frontiera tra Kenya e Somalia e a diversi campi per rifugiati nell'UE [it], abbiamo assistito di persona alla sorveglianza di frontiera e all'automazione sulle vite delle persone.

Prima ancora di attraversare un confine, puoi essere oggetto di analisi predittive usate in contesto umanitario o raccolte di dati biometrici. Al confine, puoi vedere droni di sorveglianza, armi soniche e telecamere termiche. Se sei in un campo profughi europeo, entrerai in contatto con software algoritmici di rilevamento del movimento. Puoi far parte di progetti come tecnologie di riconoscimento vocale e estrazione di dati dai tuoi social media. Le frontiere stesse stanno cambiando, in quanto la sorveglianza sta aumentando la nostra comprensione dei confini europei al di là dei limiti fisici, creando una rete di sorveglianza fino all'Africa del Nord e subsahariana e al Medio Oriente.

Tali tecnologie sperimentali e ad alto rischio sono utilizzate in un contesto in cui i sistemi tecnologici sono presentati come una soluzione valida a complessi problemi sociali, creando l'ecosistema perfetto per un ecosistema lucrativo e dando luogo a un complesso industriale di confine da diversi miliardi di euro.

Nelle mie ricerche sul campo, noto che le persone condividono la sensazione di essere continuamente sorvegliate o ridotte a punti dati o impronte digitali. Molti sottolineano com'è strano che grandi quantità di denaro siano destinate alle tecnologie ad alto rischio, mentre i rifugiati non possono avere accesso ad un avvocato o a supporto psicologico. Vi è anche un malinteso primario al centro di molti progetti tecnologici per le frontiere, ovvero che in qualche modo più tecnologia fermerà l'ingresso delle persone. Ma non è così, infatti le persone saranno costrette a percorrere strade più pericolose, che condurranno a una perdita di vite ancora maggiore alle frontiere di tutto il mondo.

FN: Spesso l'innovazione è presentata in termini positivi, eppure certe aziende tech sono impegante nel testare nuove tecnologie sui rifugiati. Perché certi governi lo permettono?

PM: The creation of legal black holes in migration management technologies is deliberate to allow for the creation of opaque zones of technological experimentation that would not be allowed to occur in other spaces. Why does the private sector get to determine what we innovate on and why, in often problematic public-private partnerships which states are increasingly keen to make in today’s global AI arms race? Private companies like Palantir Technologies, Airbus, Thalys, and others that have links to a host of human rights abuses have now become the preferred vendor for various governments and are even working with international organizations like the World Food Program.

PM: La creazione di buchi neri legali nelle tecnologie per la gestione della migrazione è intenzionale per permettere la creazione di zone grigie per la sperimentazione tecnologica, che in altri luoghi non sarebbe autorizzata. Perché il settore privato può stabilire su cosa e perché innovare, spesso tramite collaborazioni problematiche tra pubblico e privato in cui gli Stati sono sempre più entusiasti di riuscire nella corsa globale alle armi IA? Società private come Palantir Technologies, Airbus, Thalys e altre legate a un mare di abusi dei diritti umani ora diventano il fornitore preferito di vari governi e stanno addirittura lavorando con organizzazioni internazionali come il Programma alimentare mondiale.

FN: Documentare la violazione è di per sè una grande sfida. Può spiegare perché?

PM: Trying to document these systems of technological oppression is itself a risky business – one fraught with trying to unravel opaque decisions, secretive private sector players, and witnessing horrific conditions on the frontiers challenging our common humanity. It’s also about asking broader questions. Are human rights framings enough or do they also silence the systemic and collective nature of these harms? And are we doing enough to create space for abolitionist conversations when it comes to technology at the border?

In order to tell this global story of power, violence, innovation, and contestation, I rely on the sometimes-uneasy mix between law and anthropology. It’s a slow and trauma-informed ethnographic methodology, one which requires years of being present to begin unravelling the strands of power and privilege, story and memory that makes up the spaces where people’s lives unfold.

Technology replicates power structures in society. Unfortunately, the viewpoints of those most affected are routinely excluded from the discussion. We also need to recognize that the use of technology is never neutral. It is a political exercise which highlights how the allure of quick fixes and the hubris of innovation does not address the systemic and historical reasons why people are marginalized and why they are forced to migrate in the first place.

PM: Provare a documentare tali sistemi di oppressione tecnologica è di per sè un'operazione rischiosa, significa cercare di svelare decisioni poco chiare, figure clandestine del settore privato e assistere alle condizioni orribili alle frontiere che mettono alla prova la nostra comune umanità. Si tratta anche di porsi domande più ampie. L'inquadramento dei diritti umani è sufficiente o anch'esso mette a tacere la natura sistemica e collettiva di tali pericoli? E noi stiamo facendo abbastanza per dare spazio a conversazioni abolizioniste a proposito della tecnologia alle frontiere?

Per raccontare questa storia globale di potere, violenza, innovazione e contestazione, mi affido al mix a volte non semplice tra legge e antropologia. È una metodologia etnografica lenta e traumatica, che richiede anni di presenza per iniziare a rivelare i giri di potere e privilegi, storia e memoria che creano i luoghi dove scorrono le vite delle persone.

La tecnologia replica le strutture di potere della società. Sfortunatamente, il punto di vista di chi è maggiormente colpito è regolarmente estromesso dalla discussione. Dobbiamo anche riconoscere che l'uso della tecnologia non è mai neutrale. È un esercizio politico che evidenzia come il fascino di correzioni rapide e l'arroganza di innovazione non si rivolgono ai motivi sistemici e storici per cui le persone sono marginalizzate e costrette a migrare in primo luogo.

FN: Come possiamo resistere? 

PM: At the Refugee Law Lab, we are trying to both shine a light on the human rights abuses in the use of technology at the border, as well as to look at technical solutions to these complex problems.

One of the main issues is that little to no regulation exists to govern the development of high-risk border tech. When things go wrong with these high risk experiments, where does responsibility and liability lie – with the designer of the technology, its coder, the immigration officer, or the algorithm itself? Should algorithms have legal personality in a court of law, not unlike a corporation? It is paramount that we begin to answer these questions, since much of the decision-making related to immigration and refugee decisions already sits at an uncomfortable legal nexus: the impact on the rights of individuals is significant and life-changing, even where procedural safeguards are weak.

The EU’s proposed AI Act is a promising step as it will be the first regional attempt in the world to regulate AI. However currently the act does not go far enough to adequately protect people-on-the-move. A moratorium or a ban on high-risk border technologies, like robo-dogs, AI lie detectors, and predictive analytics used for border interdictions is a necessary step in the global conversation. Academia also plays an important role in legitimizing high risk experimental technologies. We also need more transparency and accountability around border tech experiments, and people with lived experiences of migration must be foregrounded in any discussions.

Because in the end, it is not really about technology. What we are talking about is power – and the power differentials between actors like states and the private sector who decide on experimental projects, and the communities who become the testing grounds in this high-risk laboratory. For example, whose priorities really matter when we choose to create violent sound cannons or AI-powered lie detectors at the border instead of using AI to identify racist border guards?

PM: Al Refugee Law Lab, stiamo tentando di mettere in luce gli abusi dei diritti umani a causa dell'uso della tecnologia alle frontiere, nonché di cercare soluzioni tecnologiche a questi problemi complessi.

Uno dei problemi principali è che le regolamentazioni sono poche o assenti per controllare lo sviluppo di tecnologie di frontiera ad alto rischio. Quando questi esperimenti ad alto rischio vanno male, di chi è la responsabilità? Di chi ha progettato la tecnologia, del suo programmatore, del funzionario di migrazione o dell'algoritmo stesso? Gli algoritmi dovrebbero avere personalità legale in un tribunale, come un'azienda? È fondamentale iniziare a rispondere a queste domande, in quanto molti dei processi decisionali relativi all'immigrazione e alle decisioni dei rifugiati si basano già su un nesso legale scomodo: l'impatto sui diritti degli individui è significativo e cambia la vita, anche laddove le tutele procedurali sono deboli.

L'Atto sull'IA proposto dall'UE è un passo promettente in quanto rappresenterebbe il primo tentativo al mondo di regolamentare a livello regionale l'IA. Tuttavia, attualmente l'atto non si spinge sufficientemente oltre per proteggere adeguatamente le persone in movimento. Una moratoria o un divieto sulle tecnologie di frontiera ad alto rischio, come cani robot, macchine della verità IA e analisi predittive usate per i blocchi di frontiera, è un passo necessario nella conversazione globale. Anche il mondo accademico gioca un ruolo importante nel legittimare le tecnologie sperimentali ad alto rischio. Ci serve inoltre maggiore trasparenza e responsabilità sugli esperimenti tecnologici alle frontiere e chi ha vissuto esperienze migratorie deve essere messo in primo piano in ogni discussione.

Perché alla fine il vero problema non è la tecnologia. Stiamo parlando di potere e delle differenze di potere tra diversi attori come gli Stati ma anche il settore privato, che decide a proposito dei progetti sperimentali, e le comunità, che diventano il terreno di prova in questo laboratorio ad alto rischio. Ad esempio, quali priorità importano davvero quando scegliamo di creare violente armi soniche o macchine della verità gestite dall'IA alla frontiera invece di usare l'IA per identificare le guardie di frontiera razziste?

Ecco un video del panel organizzato da Disruption Network Lab, dove Molnar espone il proprio punto di vista sul tema della tecnologia e dei diritti dei rifugiati: