Distorsioni nei dati

I dati difettosi sono caratterizzati come dati non rappresentativi, privi di informazioni, storicamente con distorsioni o comunque "cattivi".¹ Porta ad algoritmi che producono risultati ingiusti e amplificano qualsiasi distorsione nei dati. I sistemi di AI che utilizzano risultati con distorsioni come dati di input per il processo decisionale creano un ciclo di feedback che può anche rafforzare le distorsioni nel tempo. Questo ciclo, in cui l'algoritmo apprende e perpetua costantemente gli stessi modelli con pregiudizi, porta a risultati sempre più distorti.

Durante la fase di addestramento possono verificarsi anche distorsioni se i dati vengono classificati o valutati in modo non corretto. A volte, gli algoritmi possono "imparare" dalla correlazione dei dati piuttosto che dalla causalità, poiché non possiedono la capacità di comprendere la differenza. Quando questo accade, l'output dell'algoritmo può presentare distorsioni in quanto il modello non ha preso in considerazione altri fattori nei dati che potrebbero avere maggiore importanza.

Un esempio comunemente citato di distorsione della correlazione è un modello ipotetico che stabilisce una relazione causale tra l'aumento degli attacchi di squali e l'aumento delle vendite di gelati. In realtà, entrambe le situazioni tendono a verificarsi durante l'estate e hanno solo una relazione correlata.

Distorsioni nella progettazione algoritmica

La progettazione di algoritmi può anche introdurre delle distorsioni. Gli errori di programmazione, come ad esempio la ponderazione non corretta di fattori nel processo decisionale da parte del progettista dell'AI, possono essere trasferiti inconsapevolmente nel sistema. La ponderazione è spesso una tecnica per evitare distorsioni, in quanto comporta aggiustamenti dei dati in modo che riflettano meglio la popolazione effettiva. Tuttavia, potrebbe richiedere ipotesi da parte dei progettisti, il che può portare a imprecisioni e introdurre distorsioni. Gli sviluppatori potrebbero anche incorporare l'algoritmo con regole soggettive basate sui propri pregiudizi consci oppure distorsioni.

Distorsioni nei dati proxy

I sistemi di AI a volte utilizzano i proxy come sostituti di attributi protetti, come razza o genere. Tuttavia, i proxy possono essere involontariamente distorti in quanto potrebbero avere una correlazione falsa o accidentale con gli attributi sensibili che dovevano sostituire. Ad esempio, se un algoritmo utilizza i codici postali come proxy per lo stato economico, potrebbe svantaggiare ingiustamente alcuni gruppi in cui i codici postali sono associati a specifici dati demografici razziali.

Distorsioni nella valutazione

Le distorsioni nella valutazione si verificano quando i risultati dell'algoritmo vengono interpretati in base ai preconcetti delle persone coinvolte, piuttosto che ai risultati oggettivi. Anche se l'algoritmo è neutrale e basato sui dati, il modo in cui un individuo o un'azienda applica l'output dell'algoritmo può portare a risultati ingiusti a seconda di come interpretano gli output.

Discriminazione e disuguaglianza

Le decisioni algoritmiche distorte rafforzano le disuguaglianze sociali già esistenti a cui sono soggetti i gruppi emarginati e questi distorsioni dell'uomo portano a risultati ingiusti e potenzialmente dannosi da parte dei sistemi di AI. Sebbene molte delle applicazioni più comuni di AI possano sembrare a basso rischio (come motori di ricerca, chatbot e siti di social), altre applicazioni dell'AI possono influenzare decisioni che cambiano la vita. L'utilizzo di strumenti di AI distorti in settori come la giustizia penale, l'assistenza sanitaria e le assunzioni potrebbe produrre risultati devastanti.

Ad esempio, l'emarginazione degli afroamericani in passato si riflette nei dati storici sugli arresti di Oakland, California, Stati Uniti. Se questi dati venissero utilizzati per addestrare un attuale algoritmo di polizia predittiva (PPA), è probabile che le decisioni prese dal PPA riflettano e rafforzino i pregiudizi razziali del passato.

Danni giuridici e reputazionali

Le organizzazioni che utilizzano sistemi di AI distorti potrebbero andare incontro a conseguenze legali e danni alla reputazione, in quanto le raccomandazioni distorte possono avere quello che è noto come impatto eterogeneo. Si tratta di un termine legale che si riferisce a situazioni in cui politiche e pratiche apparentemente neutrali possono avere effetti sproporzionati sugli individui appartenenti a classi protette, come coloro che sono soggetti a discriminazioni basate su razza, religione, genere e altre caratteristiche.

I gruppi protetti che subiscono decisioni distorte in materia di AI potrebbero intentare azioni legali, con potenziali responsabilità finanziarie significative, danni alla reputazione a lungo termine e condanne da parte degli stakeholder. Le organizzazioni potrebbero anche incorrere in sanzioni finanziarie se dovessero essere appurate violazioni di qualsiasi legge antidiscriminazione applicabile.

Erosione della fiducia

I risultati distorti degli strumenti di AI erodono la fiducia nell'AI in vari modi. Se si scopre che un'organizzazione dispone di sistemi di AI distorti, potrebbe perdere la fiducia degli stakeholder all'interno dell'azienda che non hanno più fiducia nei processi decisionali algoritmici. Questi stakeholder potrebbero anche non ritenere più che il valore di ottimizzazione dell'AI superi il rischio e perdere fiducia nella tecnologia nel suo insieme.

Le distorsioni algoritmiche possono anche far perdere la fiducia dei clienti. Basta un solo caso di discriminazione per rovinare la reputazione del marchio, soprattutto nell'era in cui le notizie si diffondono rapidamente. La fiducia nell'AI è particolarmente importante da mantenere con gruppi emarginati come le persone di colore, che già sono vittime di pregiudizi e discriminazioni nel mondo reale.

Distorsioni nella giustizia penale

I tribunali degli Stati Uniti utilizzano lo strumento Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) per valutare il rischio di recidiva degli imputati. Uno studio condotto da ProPublica ha rivelato che l'algoritmo degli strumenti potrebbe aver classificato gli imputati bianchi e neri in modo diverso. Ad esempio, nella valutazione del rischio, gli imputati neri avevano il doppio delle probabilità rispetto agli imputati bianchi di essere classificati erroneamente come soggetti a rischio più elevato di recidiva violenta. La società che ha creato lo strumento contesta questa analisi; tuttavia, non rivela i metodi utilizzati per arrivare ai punteggi di rischio.²

Distorsioni nelle operazioni predittive di polizia

I ricercatori hanno creato il proprio algoritmo delle operazioni predittive di polizia addestrato sui dati delle segnalazioni delle vittime di Bogotà, Colombia. Confrontando le previsioni del modello con i set di dati sulla criminalità effettiva, hanno trovato errori importanti. Ad esempio, vi era una previsione del 20% in più di luoghi ad alto tasso di criminalità rispetto alla realtà nei distretti con un elevato volume di segnalazioni. Ma questo rifletteva una distorsione sociale: i neri hanno maggiori probabilità di essere denunciati per un reato rispetto ai bianchi.³

Distorsioni nell'assistenza sanitaria

Nella sanità, la sottorappresentazione dei gruppi minoritari nei dati può distorcere gli algoritmi di AI predittiva. Ad esempio, è stato riscontrato che i sistemi di diagnosi assistita da computer (CAD) restituiscono risultati di accuratezza inferiore per i pazienti di colore rispetto ai pazienti bianchi.

Distorsioni nel reclutamento

Amazon ha abbandonato uno strumento di reclutamento AI dopo aver scoperto che discriminava sistematicamente le candidature femminili. Gli sviluppatori hanno addestrato l'algoritmo di assunzione utilizzando i curriculum delle assunzioni precedenti, prevalentemente di sesso maschile. Di conseguenza, l'algoritmo ha favorito ingiustamente le parole chiave e le caratteristiche presenti nei curriculum degli uomini.⁴

Distorsioni nei servizi finanziari

Le distorsioni all'interno dei servizi finanziari possono avere gravi conseguenze sui mezzi di sussistenza delle persone, poiché i dati storici possono contenere distorsioni demografiche che influiscono sull'affidabilità creditizia, sull'approvazione dei prestiti e altro ancora. Ad esempio, uno studio condotto dall'Università della California, Berkeley, ha dimostrato che un sistema di AI per i mutui addebitava regolarmente ai mutuatari di minoranza tassi più elevati per gli stessi prestiti rispetto ai mutuatari bianchi.⁵

Distorsioni nella generazione di immagini

I ricercatori accademici hanno scoperto una distorsione di genere nel generatore di immagini AI Midjourney. Durante l'analisi di oltre 100 immagini generate, hanno anche rilevato casi di distorsioni razziali, di classe ed età nei risultati. Ad esempio, quando è stato chiesto di creare immagini di persone che svolgono professioni specializzate, ha mostrato sia i giovani sia gli anziani, ma gli anziani erano sempre uomini, rafforzando le distorsioni di genere nei confronti delle donne sul posto di lavoro.⁶

Distorsioni nei sistemi di riconoscimento facciale

Una ricerca del MIT ha scoperto che alcuni sistemi di riconoscimento facciale commerciali generici, utilizzati per abbinare i volti nelle foto, ad esempio, non erano in grado di riconoscere gli individui con la pelle più scura. Il riconoscimento era ancora peggiore per le donne dalla pelle scura. I dati di addestramento che non rappresentano i dati demografici reali hanno falsato i risultati.⁷

Distorsioni nei prezzi

Dopo che una legge di Chicago ha costretto le compagnie di ride-hailing a rivelare le loro tariffe, i ricercatori hanno scoperto che l'algoritmo dei prezzi di Uber e Lyft addebitava era maggiore per le riconsegne nei quartieri con una forte popolazione non bianca.⁸

Dati diversificati e rappresentativi

L'apprendimento automatico è efficace tanto quanto lo sono i dati con cui viene addestrato. Affinché l'AI rifletta meglio le diverse comunità che serve, una varietà molto più ampia di dati degli esseri umani deve essere rappresentata nei modelli. I dati inseriti nei modelli di apprendimento automatico e nei sistemi di deep learning devono essere completi ed equilibrati, rappresentativi di tutti i gruppi di persone e riflettere i dati demografici effettivi della società.

Rilevamento e mitigazione delle distorsioni

Nessun sistema informatico è mai completamente "addestrato" o "finito". Il monitoraggio e la verifica costanti (attraverso iniziative come le valutazioni d'impatto, l'audit algoritmico e i test di causalità) possono aiutare a rilevare e correggere potenziali distorsioni prima che creino problemi. Processi come il sistema human-in-the-loop richiedono che le raccomandazioni siano esaminate dagli esseri umani prima che venga presa una decisione per fornire un altro livello di garanzia della qualità.

Trasparenza e interpretabilità

I sistemi di AI possono essere delle "black box", il che rende difficile comprenderne i risultati. I sistemi di AI trasparenti documentano e spiegano chiaramente la metodologia dell'algoritmo sottostante e chi lo ha addestrato. Più le persone capiscono come vengono addestrati e messi a punto i sistemi di AI e come prendono decisioni, più gli stakeholder e la società in generale possonsuo fidarsi dell'accuratezza e dell'equità dell'AI.

Progettazione e sviluppo inclusivi

L'AI inclusiva inizia con un team diversificato e interdisciplinare di programmatori di AI, sviluppatori, data scientist, ingegneri di apprendimento automatico (ML) e altre figure diverse dal punto di vista razziale, economico, di istruzione, sesso, descrizione del lavoro e altre metriche demografiche. La diversità nella progettazione e nello sviluppo porterà prospettive diverse per aiutare a individuare e mitigare distorsioni che altrimenti potrebbero passare inosservati.