La distorsione algoritmica si verifica quando errori sistematici negli algoritmi di machine learning producono risultati iniqui o discriminatori. Spesso riflette o rafforza le distorsioni esistenti a livello socioeconomico, razziale e di genere.
I sistemi di intelligenza artificiale (AI) utilizzano algoritmi per scoprire modelli e insight all'interno dei dati o per prevedere i valori di output di un determinato insieme di variabili di input. Gli algoritmi distorti possono influenzare tali insight e output portando a decisioni o azioni dannose, promuovendo o perpetuando la discriminazione e le disuguaglianze, e minando la fiducia nell'AI e nelle istituzioni che la utilizzano. Questi impatti possono creare rischi legali e finanziari per le aziende. Ad esempio, in base all'EU AI Act, la mancata conformità alle pratiche vietate in materia di AI può comportare sanzioni fino a 35.000.000 euro o al 7% del fatturato annuo globale, se tale valore è superiore.
Le distorsioni algoritmiche sono particolarmente preoccupanti se presenti nei sistemi AI che supportano decisioni che cambiano la vita in settori quali l'assistenza sanitaria, le forze dell'ordine e le risorse umane. I pregiudizi possono entrare negli algoritmi in molti modi, come dati di input di addestramento distorti o limitati, decisioni soggettive di programmazione o interpretazione dei risultati.
La mitigazione della distorsione algoritmica inizia con l'applicazione dei principi di governance dell'AI, tra cui la trasparenza e la spiegabilità, durante il ciclo di vita dell'AI.
Resta al passo con le tendenze più importanti e interessanti del settore relative ad AI, automazione, dati e oltre con la newsletter Think. Leggi l' Informativa sulla privacy IBM.
La distorsione algoritmica non è provocata dall'algoritmo stesso, ma dal modo in cui il team di data science raccoglie e codifica i dati di addestramento. Le cause specifiche includono:
I dati difettosi sono caratterizzati come non rappresentativi, privi di informazioni, storicamente distorti o comunque "cattivi". Questo porta ad algoritmi che producono risultati ingiusti e amplificano qualsiasi distorsione nei dati. I sistemi AI che utilizzano risultati distorti come dati di input per il processo decisionale creano un ciclo di feedback che può anche rafforzare le distorsioni nel tempo. Questo ciclo, in cui l'algoritmo apprende e perpetua costantemente gli stessi modelli distorti, porta a risultati sempre più distorti.
Durante la fase di addestramento possono verificarsi anche distorsioni se i dati vengono classificati o valutati in modo non corretto. A volte, gli algoritmi possono "imparare" dalla correlazione dei dati piuttosto che dalla causalità, poiché non possiedono la capacità di comprendere la differenza. Quando questo accade, l'output dell'algoritmo può presentare distorsioni in quanto il modello non ha preso in considerazione altri fattori nei dati che potrebbero avere maggiore importanza.
Un esempio comunemente citato di distorsione della correlazione è un modello ipotetico che stabilisce una relazione causale tra l'aumento degli attacchi di squali e l'aumento delle vendite di gelati. In realtà, entrambe le situazioni tendono a verificarsi durante l'estate e hanno solo una relazione correlata.
La progettazione di algoritmi può anche introdurre delle distorsioni. Gli errori di programmazione, come ad esempio la ponderazione non corretta di fattori nel processo decisionale da parte del progettista dell'AI, possono essere trasferiti inconsapevolmente nel sistema. La ponderazione è spesso una tecnica per evitare distorsioni, in quanto comporta aggiustamenti dei dati in modo che riflettano meglio la popolazione effettiva. Tuttavia, potrebbe richiedere ipotesi da parte dei progettisti, il che può portare a imprecisioni e introdurre distorsioni. Gli sviluppatori potrebbero anche incorporare l'algoritmo con regole soggettive basate sui propri pregiudizi consci oppure distorsioni.
I sistemi di AI a volte utilizzano i proxy come sostituti di attributi protetti, come razza o genere. Tuttavia, i proxy possono essere involontariamente distorti in quanto potrebbero avere una correlazione falsa o accidentale con gli attributi sensibili che dovevano sostituire. Ad esempio, se un algoritmo utilizza i codici postali come proxy per lo stato economico, potrebbe svantaggiare ingiustamente alcuni gruppi in cui i codici postali sono associati a specifici dati demografici razziali.
Le distorsioni nella valutazione si verificano quando i risultati dell'algoritmo vengono interpretati in base ai preconcetti delle persone coinvolte, piuttosto che ai risultati oggettivi. Anche se l'algoritmo è neutrale e basato sui dati, il modo in cui un individuo o un'azienda applica l'output dell'algoritmo può portare a risultati ingiusti a seconda di come interpretano gli output.
Quando la distorsione algoritmica non viene risolta, può perpetuare discriminazioni e disuguaglianze, creare danni legali e reputazionali, nonché erodere la fiducia.
Le decisioni algoritmiche distorte rafforzano le disuguaglianze sociali già esistenti a cui sono soggetti i gruppi emarginati e questi distorsioni dell'uomo portano a risultati ingiusti e potenzialmente dannosi da parte dei sistemi di AI. Sebbene molte delle applicazioni più comuni di AI possano sembrare a basso rischio (come motori di ricerca, chatbot e siti di social), altre applicazioni dell'AI possono influenzare decisioni che cambiano la vita. L'utilizzo di strumenti di AI distorti in settori come la giustizia penale, l'assistenza sanitaria e le assunzioni potrebbe produrre risultati devastanti.
Ad esempio, l'emarginazione degli afroamericani in passato si riflette nei dati storici sugli arresti di Oakland, California, Stati Uniti. Se questi dati venissero utilizzati per addestrare un attuale algoritmo di polizia predittiva (PPA), è probabile che le decisioni prese dal PPA riflettano e rafforzino i pregiudizi razziali del passato.
Le organizzazioni che utilizzano sistemi di AI distorti potrebbero andare incontro a conseguenze legali e danni alla reputazione, in quanto le raccomandazioni distorte possono avere quello che è noto come impatto eterogeneo. Si tratta di un termine legale che si riferisce a situazioni in cui politiche e pratiche apparentemente neutrali possono avere effetti sproporzionati sugli individui appartenenti a classi protette, come coloro che sono soggetti a discriminazioni basate su razza, religione, genere e altre caratteristiche.
I gruppi protetti che subiscono decisioni distorte in materia di AI potrebbero intentare azioni legali, con potenziali responsabilità finanziarie significative, danni alla reputazione a lungo termine e condanne da parte degli stakeholder. Le organizzazioni potrebbero anche incorrere in sanzioni finanziarie se dovessero essere appurate violazioni di qualsiasi legge antidiscriminazione applicabile.
I risultati distorti degli strumenti di AI erodono la fiducia nell'AI in vari modi. Se si scopre che un'organizzazione dispone di sistemi di AI distorti, potrebbe perdere la fiducia degli stakeholder all'interno dell'azienda che non hanno più fiducia nei processi decisionali algoritmici. Questi stakeholder potrebbero anche non ritenere più che il valore di ottimizzazione dell'AI superi il rischio e perdere fiducia nella tecnologia nel suo insieme.
Le distorsioni algoritmiche possono anche far perdere la fiducia dei clienti. Basta un solo caso di discriminazione per rovinare la reputazione del marchio, soprattutto nell'era in cui le notizie si diffondono rapidamente. La fiducia nell'AI è particolarmente importante da mantenere con gruppi emarginati, che già sono vittime di pregiudizi e discriminazioni nel mondo reale.
Una distorsione algoritmica può verificarsi in qualsiasi scenario o settore che utilizzi un sistema di AI per prendere decisioni. Ecco alcuni potenziali esempi concreti di distorsioni algoritmiche:
I tribunali degli Stati Uniti utilizzano lo strumento Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) per valutare il rischio di recidiva degli imputati. Uno studio condotto da ProPublica ha rivelato che l'algoritmo dello strumento potrebbe aver classificato gli imputati bianchi e neri in modo diverso. Ad esempio, nella valutazione del rischio, gli imputati neri avevano il doppio delle probabilità rispetto agli imputati bianchi di essere classificati erroneamente come soggetti a rischio più elevato di recidiva violenta. La società che ha creato lo strumento contesta questa analisi; tuttavia, non rivela i metodi utilizzati per arrivare ai punteggi di rischio.1
I ricercatori hanno creato il proprio algoritmo di polizia predittiva addestrato sui dati delle segnalazioni delle vittime di Bogotà, Colombia. Confrontando le previsioni del modello con i set di dati sulla criminalità effettiva, hanno trovato errori importanti. Ad esempio, vi era una previsione del 20% in più di luoghi ad alto tasso di criminalità rispetto alla realtà nei distretti con un elevato volume di segnalazioni. Ma questo rifletteva una distorsione sociale: i neri hanno maggiori probabilità di essere denunciati per un reato rispetto ai bianchi.2
Nella sanità, la sottorappresentazione dei gruppi minoritari nei dati può distorcere gli algoritmi di AI predittiva. Ad esempio, è stato riscontrato che i sistemi di diagnosi assistita da computer (CAD) restituiscono risultati di accuratezza inferiore per i pazienti neri rispetto ai pazienti bianchi.
Amazon ha abbandonato uno strumento di reclutamento AI dopo aver scoperto che discriminava sistematicamente le candidature femminili. Gli sviluppatori hanno addestrato l'algoritmo di assunzione utilizzando i curriculum delle assunzioni precedenti, prevalentemente di sesso maschile. Di conseguenza, l'algoritmo ha favorito ingiustamente le parole chiave e le caratteristiche presenti nei curriculum degli uomini.3
Le distorsioni all'interno dei servizi finanziari possono avere gravi conseguenze sui mezzi di sussistenza delle persone, poiché i dati storici possono contenere distorsioni demografiche che influiscono sull'affidabilità creditizia, sull'approvazione dei prestiti e altro ancora. Ad esempio, uno studio condotto dall'Università della California, Berkeley, ha dimostrato che un sistema AI per i mutui addebitava regolarmente ai mutuatari appartenenti a minoranze tassi più elevati per gli stessi prestiti rispetto ai mutuatari bianchi.4
I ricercatori accademici hanno scoperto una distorsione di genere nel generatore di immagini AI Midjourney. Durante l'analisi di oltre 100 immagini generate, hanno anche rilevato casi di distorsioni razziali, di classe ed età nei risultati. Ad esempio, quando è stato chiesto di creare immagini di persone che svolgono professioni specializzate, ha mostrato sia i giovani che gli anziani, ma gli anziani erano sempre uomini, rafforzando le distorsioni di genere nei confronti delle donne sul posto di lavoro.5
Una ricerca del MIT ha scoperto che alcuni sistemi di riconoscimento facciale commerciali di uso generale, utilizzati per abbinare i volti nelle foto, ad esempio, non erano in grado di riconoscere gli individui con la pelle più scura. Il riconoscimento era ancora peggiore per le donne dalla pelle scura. I dati di addestramento che non rappresentavano correttamente i dati demografici reali hanno falsato i risultati.6
Dopo che una legge della città di Chicago ha costretto le compagnie di ride-hailing a rivelare le loro tariffe, i ricercatori hanno scoperto che l'algoritmo dei prezzi di Uber e Lyft addebitava un costo maggiore per le corse con destinazione i quartieri con una forte popolazione non bianca.7
La mitigazione delle distorsioni derivanti dai sistemi di AI inizia con la governance dell'AI, che si riferisce ai guardrail che assicurano che gli strumenti e i sistemi di AI siano e rimangano sicuri ed etici. Stabilisce i framework, le regole e gli standard che indirizzano la ricerca, lo sviluppo e l'applicazione dell'AI per contribuire a garantire sicurezza, equità e rispetto dei diritti umani.
Le organizzazioni potrebbero prendere in considerazione i seguenti principi di governance dell'AI per evitare potenziali distorsioni dell'AI nel ciclo di vita del sistema:
L'apprendimento automatico è efficace tanto quanto lo sono i dati con cui viene addestrato. Affinché l'AI rifletta meglio le diverse comunità che serve, una varietà molto più ampia di dati degli esseri umani deve essere rappresentata nei modelli. I dati inseriti nei modelli di apprendimento automatico e nei sistemi di deep learning devono essere completi ed equilibrati, rappresentativi di tutti i gruppi di persone e riflettere i dati demografici effettivi della società.
Nessun sistema informatico è mai completamente "addestrato" o "finito". Il monitoraggio e la verifica costanti (attraverso iniziative come le valutazioni d'impatto, l'audit algoritmico e i test di causalità) possono aiutare a rilevare e correggere potenziali distorsioni prima che creino problemi. Processi come il sistema human-in-the-loop richiedono che le raccomandazioni siano esaminate dagli esseri umani prima che venga presa una decisione per fornire un altro livello di garanzia della qualità.
I sistemi di AI possono essere delle "black box", il che rende difficile comprenderne i risultati. I sistemi di AI trasparenti documentano e spiegano chiaramente la metodologia dell'algoritmo sottostante e chi lo ha addestrato. Più le persone capiscono come vengono addestrati e messi a punto i sistemi di AI e come prendono decisioni, più gli stakeholder e la società in generale possonsuo fidarsi dell'accuratezza e dell'equità dell'AI.
L'AI inclusiva inizia con un team diversificato e interdisciplinare di programmatori di AI, sviluppatori, data scientist, ingegneri di apprendimento automatico (ML) e altre figure diverse dal punto di vista razziale, economico, di istruzione, sesso, descrizione del lavoro e altre metriche demografiche. La diversità nella progettazione e nello sviluppo porterà prospettive diverse per aiutare a individuare e mitigare distorsioni che altrimenti potrebbero passare inosservati.
1. “How We Analyzed the COMPAS Recidivism Algorithm,” ProPublica, 23 maggio 2016.
2. “Predictive policing is still racist—whatever data it uses,” MIT Technology Review, 5 febbraio 2021.
3. “Why Amazon’s Automated Hiring Tool Discriminated Against Women,” ACLU, 12 ottobre 2018.
4. “AI is Making Housing Discrimination Easier Than Ever Before,” The Kreisman Initiative for Housing Law and Policy, University of Chicago, 12 febbraio 2024.
5. “Ageism, sexism, classism and more: 7 examples of bias in AI-generated images,” The Conversation, 9 luglio 2023.
6. "Algorithmic bias detection and mitigation: Best practices and policies to reduce consumer harms", Brookings, 22 maggio 2019.
7. “Algorithmic Bias Explained,” The Greenlining Institute, febbraio 2021.