Un sistema di intelligenza artificiale può discriminare le donne anche quando non tratta il genere come dato, e le norme europee attuali non intercettano tutte queste situazioni. È la conclusione di uno studio commissionato dalla commissione Diritti delle donne e uguaglianza di genere (FEMM) del Parlamento europeo, presentato giovedì 5 novembre. Il documento, intitolato “Gender bias and artificial intelligence”, è firmato da Nele Roekens, consulente legale di Equinet, la rete europea degli organismi per la parità, e da Carlotta Rigotti, docente di diritto all’Università di Leida. Copre gli sviluppi fino a settembre 2026.
Gli autori partono da un’ipotesi: il bias di genere nell’intelligenza artificiale non è principalmente un malfunzionamento tecnico, ma il riflesso di disuguaglianze strutturali, che la tecnologia riproduce e in alcuni casi amplifica. Lo studio individua tre origini: il bias preesistente, radicato nelle strutture sociali e nelle assunzioni di chi progetta i sistemi, quello tecnico, che nasce da dati, formulazione del problema e valutazione, e quello emergente, che si sviluppa dopo l’adozione. Un sistema può discriminare senza che l’intenzione sia discriminatoria e senza trattare direttamente il genere.
Anche il ruolo delle donne nel settore pesa sui risultati. Secondo lo studio rappresentano circa il 30% della forza lavoro dell’IA a livello globale e usano gli strumenti di IA generativa meno degli uomini: in Danimarca, ad esempio, hanno il 20% di probabilità in meno di usare ChatGPT a parità di professione.
Lavoro, welfare e credito
Nel lavoro, il bias può comparire in ogni fase della selezione: dalla diffusione degli annunci, con offerte in ambito scientifico e tecnologico mostrate in modo sproporzionato agli uomini anche quando il testo è neutro, allo screening dei curriculum e ai colloqui video. Lo studio cita un’inchiesta tedesca secondo cui i punteggi di personalità prodotti da un sistema di analisi dei video cambiavano in base a elementi come gli occhiali, il velo o l’illuminazione. La gestione algoritmica del lavoro può inoltre penalizzare chi ha responsabilità di cura, che ricadono in prevalenza sulle donne. Tra gli esempi figura la sentenza del Tribunale di Bologna del 2020 che ha giudicato discriminatorio l’algoritmo di valutazione dei rider di Deliveroo, perché penalizzava le assenze senza considerarne i motivi, come la malattia di un figlio. Il servizio pubblico per l’impiego austriaco, inoltre, ha usato un algoritmo che sottraeva punti alle madri e non ai padri.
Per i servizi pubblici lo studio ricostruisce i sistemi di valutazione del rischio di frode nel welfare. Nei Paesi Bassi il modello usato dal fisco per selezionare le richieste di sussidi per l’infanzia, al centro dello scandalo dei sussidi, assegnava punteggi di rischio più alti a chi aveva doppia nazionalità, origini caraibiche o era madre single. Sempre nei Paesi Bassi, a Rotterdam tra il 2017 e il 2021 un modello di apprendimento automatico ha classificato tutti i beneficiari di sussidi e segnalato per i controlli il 10% con il punteggio più alto: essere donna, avere meno di 30 anni, avere figli e parlare poco olandese facevano salire il punteggio. In Svezia l’analisi di oltre 6.000 persone segnalate dall’ente previdenziale per l’indennità parentale per figli malati ha mostrato che l’algoritmo colpiva in modo sproporzionato donne, migranti e lavoratori a basso reddito. In Francia la cassa degli assegni familiari usa dal 2010 un sistema che include criteri come basso reddito e disoccupazione e che finisce per concentrare i controlli sulle famiglie monogenitoriali, per lo più guidate da donne: nel 2024 quindici organizzazioni hanno presentato un ricorso al Consiglio di Stato.
Nel credito, secondo lo studio, togliere il genere dai modelli di valutazione non li rende neutri. Una ricerca su 79.386 prestiti auto concessi da una grande banca europea tra il 2003 e il 2009 ha rilevato che, senza il dato sul genere, le probabilità di ottenere credito per le donne diminuivano e quelle degli uomini aumentavano, benché le donne fossero meno inadempienti, perché altre variabili funzionavano da sostituti.
Sanità e social media
In sanità, gli strumenti diagnostici sono in genere sviluppati su una popolazione trattata come norma universale e poi applicati ad altri gruppi, con una minore accuratezza per chi è sottorappresentato nei dati. Lo studio riporta che quattro modelli per prevedere le malattie del fegato dagli esami del sangue non rilevavano il 44% dei casi tra le donne contro il 23% tra gli uomini. Quattro modelli linguistici, tra cui GPT-4, hanno inoltre commesso circa il 7% di errori in più per le pazienti e hanno consigliato più spesso alle donne di gestire la condizione a casa, anche dopo la rimozione degli indicatori di genere dalle note cliniche. In uno studio sull’assistenza sociale in Inghilterra, il modello Gemma di Google descriveva i bisogni fisici e mentali degli uomini in modo più diretto e quelli delle donne in modo attenuato, mentre Llama 3 di Meta non mostrava differenze.
Per le applicazioni di “femtech”, come le app per il ciclo mestruale, il problema è l’adozione di una norma unica: in un’analisi su oltre 600.000 cicli, solo il 13% durava 28 giorni, la durata che molte app assumono come standard.
Sui social, gli algoritmi di raccomandazione amplificano ideali di bellezza ristretti, mentre la moderazione dei contenuti rimuove o declassa contenuti sul corpo delle donne e sulla salute sessuale e riproduttiva, e approva pubblicità sessualmente esplicite rivolte agli uomini.
La violenza facilitata dalla tecnologia
Un capitolo è dedicato alla violenza di genere facilitata dalla tecnologia, che lo studio considera una forma di discriminazione di genere strettamente collegata al bias. Comprende l’abuso sessuale basato su immagini, i deepfake sessualmente espliciti, la sextortion, le molestie e lo stalking online, l’incitamento all’odio e gli abusi nel metaverso, fino a quelli simulati tramite chatbot e robot sessuali. Secondo gli autori ha effetti psicologici ed economici e contribuisce a silenziare le donne nella vita pubblica.
Le lacune del quadro normativo
Il punto centrale riguarda il diritto europeo. Lo studio sostiene che il Regolamento sull’intelligenza artificiale (AI Act) è rilevante, ma molte delle sue tutele si applicano solo se un sistema rientra nella categoria ad alto rischio o in un’altra categoria regolata, per cui non tutti i casi di discriminazione legata all’IA saranno coperti. Il Regolamento sulla protezione dei dati (GDPR), il Regolamento sui servizi digitali (DSA) e la direttiva (UE) 2024/1385 sulla violenza contro le donne aggiungono garanzie su dati personali, piattaforme online e alcune forme di violenza digitale, ma nessuno integra in modo sistematico un approccio sensibile al genere.
Gli autori ricordano inoltre che il ritiro della direttiva sulla responsabilità per l’IA e il pacchetto Digital Omnibus pongono la questione di come gli obiettivi di parità verranno bilanciati con la competitività. Sul piano della riparazione, osservano che la discriminazione algoritmica è difficile da individuare e da dimostrare, che la responsabilità è frammentata lungo catene di valore complesse e transnazionali e che nessuno strumento dell’Ue affronta gli ostacoli probatori, per cui restano centrali le regole sull’onere della prova del diritto antidiscriminatorio.
Le raccomandazioni
Le raccomandazioni si articolano in quattro priorità. La prima è rafforzare il quadro giuridico sulla parità, in particolare con l’adozione della direttiva orizzontale sulla parità di trattamento, proposta dalla Commissione nel 2008 e ferma al Consiglio, dove serve l’unanimità. Lo studio chiede anche linee guida interpretative che riconoscano la discriminazione per proxy e prevedano una presunzione di discriminazione algoritmica quando non vengono attuate, documentate o divulgate adeguate misure contro il bias.
La seconda priorità è la responsabilità e l’accesso alla giustizia: gli autori invitano il legislatore a reintrodurre la direttiva sulla responsabilità per l’IA, con un regime di responsabilità oggettiva e l’inversione dell’onere della prova, e la Commissione a designare altri sistemi ad alto rischio, tra cui quelli usati in gran parte dei servizi finanziari e delle assicurazioni, i sistemi di raccomandazione e i chatbot.
La terza riguarda un’applicazione del quadro digitale attenta al genere. Le autorità dovrebbero verificare che le valutazioni dei rischi sistemici e gli audit indipendenti di piattaforme e motori di ricerca molto grandi, previsti dal DSA, affrontino esplicitamente violenza e discriminazione contro le donne. Lo studio propone anche la valutazione di conformità da parte di terzi per i sistemi ad alto rischio, oggi basata in larga parte sull’autovalutazione, e valutazioni d’impatto sui diritti fondamentali partecipative. Chiede infine più risorse per le autorità di controllo e gli organismi per la parità.
La quarta priorità riguarda la raccolta di dati comparabili e intersezionali e il finanziamento strutturale delle organizzazioni della società civile nel prossimo quadro finanziario pluriennale, comprese quelle che operano come segnalatori attendibili ai sensi del DSA.
