Che cos'è il bias AI?

Se le distorsioni dell'AI non vengono risolte, possono influire sul successo di un'organizzazione e ostacolare la capacità delle persone di partecipare all'economia e alla società. Le distorsioni riducono l'accuratezza dell'AI e quindi il suo potenziale.

È più difficile, per le aziende, trarre vantaggio da sistemi che producono risultati distorti. Inoltre, gli scandali derivanti da casi di distorsioni dell'AI potrebbero alimentare la sfiducia tra le persone di colore, le donne, le persone con disabilità, la comunità LGBTQ o altri gruppi di persone emarginate.

I modelli su cui si basano le iniziative di AI assorbono i pregiudizi della società che possono essere silenziosamente incorporati nell'enorme quantità di dati su cui vengono addestrati. Una raccolta di dati influenzata nel tempo da distorsioni, che riflette le disuguaglianze sociali, può danneggiare i gruppi storicamente emarginati in casi come assunzioni, controlli di polizia, valutazioni del credito e molti altri. Secondo il Wall Street Journal, "Con l'aumento della diffusione dell'intelligenza artificiale, le aziende continuano a lottare per affrontare le distorsioni pervasive".¹

Quando l'AI commette errori a causa di distorsioni, ad esempio, negando opportunità a determinati gruppi di persone, identificandole erroneamente nelle foto o punendole ingiustamente, l'organizzazione responsabile subisce danni al proprio brand e alla propria reputazione. Allo stesso tempo, le persone di quei gruppi e la società nel suo complesso possono subire danni senza nemmeno rendersene conto. Di seguito, alcuni esempi noti di disparità e distorsioni nell'AI e dei danni che possono causare.

Nel settore sanitario, la mancanza di dati sufficienti su donne o gruppi minoritari può influenzare negativamente gli algoritmi predittivi dell'AI.² Ad esempio, è stato riscontrato che i sistemi di diagnosi assistita da computer (CAD) restituiscono risultati di accuratezza inferiore per i pazienti afroamericani rispetto ai pazienti bianchi.

Sebbene gli strumenti di intelligenza artificiale possano semplificare l'automazione della scansione dei curriculum durante una ricerca per aiutare a identificare i candidati ideali, informazioni richieste e risposte scartate possono dare luogo a risultati sproporzionati tra i gruppi. Ad esempio, se un annuncio di lavoro utilizza la parola "ninja", potrebbe attrarre più uomini che donne, anche se questo non è in alcun modo un requisito lavorativo.³

Come test sulla generazione di immagini, Bloomberg ha richiesto la creazione di oltre 5.000 immagini di AI e ha scoperto che "il mondo, secondo Stable Diffusion, è gestito da CEO maschi bianchi. Le donne sono raramente medici, avvocati o giudici. Gli uomini neri commettono crimini, mentre le donne nere grigliano hamburger".⁴ Midjourney ha condotto uno studio simile sulla generazione di opere d'arte tramite l'AI, richiedendo immagini di persone che svolgono professioni specializzate. Il risultato ha mostrato sia giovani che anziani, ma gli anziani erano sempre uomini, rafforzando le distorsioni di genere sul ruolo delle donne sul posto di lavoro.⁵ 

Gli strumenti di polizia predittiva con tecnologia AI utilizzati da alcune organizzazioni del sistema di giustizia penale dovrebbero identificare le aree in cui è probabile che si verifichino reati. Tuttavia, spesso si basano su dati storici sugli arresti, che possono rafforzare i modelli esistenti di profilazione razziale e prendere di mira in modo sproporzionato le comunità minoritarie.⁶

Risultati distorti possono danneggiare le organizzazioni e la società in generale. Ecco alcuni dei tipi più comuni di bias AI⁷:

• Bias dell'algoritmo: può verificarsi la diffusione di disinformazione se il problema o la domanda posta non sono del tutto corretti o specifici, oppure se il feedback all'algoritmo di machine learning non aiuta a orientare la ricerca di una soluzione.
  
  
• Bias cognitivo: la tecnologia AI richiede un input umano, e gli umani sono fallibili. Possono infiltrarsi dei pregiudizi personali senza che i professionisti se ne rendano conto. Ciò può avere un impatto sul set di dati o sul comportamento del modello.
  
  
• Bias di conferma: strettamente correlato al bias cognitivo, si verifica quando l'AI si basa troppo su convinzioni o tendenze preesistenti nei dati, raddoppiando i pregiudizi esistenti e non è in grado di identificare nuovi schemi o tendenze.

• Bias di esclusione: questo tipo di distorsione si verifica quando vengono esclusi dati importanti dai dati utilizzati, spesso perché lo sviluppatore non è riuscito a vedere fattori nuovi e importanti.
  
  
• Bias di misurazione: il bias di misurazione è causato da dati incompleti. Nella maggior parte dei casi si tratta di una svista o di una mancanza di preparazione che fa sì che il set di dati non includa l'intera popolazione che dovrebbe essere presa in considerazione. Ad esempio, se un college volesse prevedere i fattori che determinano il conseguimento di una laurea con successo, ma includesse solo i laureati, le risposte trascurerebbero completamente i fattori che determinano l'abbandono degli studi da parte di alcuni.

• Bias di omogeneità dell'out-group: si verifica quando "non si conosce ciò che non si conosce". C'è la tendenza, da parte delle persone, ad avere una migliore comprensione dei membri del proprio ingroup (il gruppo a cui si appartiene) e a pensare che siano più diversi rispetto ai membri dell'outgroup. Il risultato potrebbe essere la creazione di algoritmi meno capaci di distinguere tra individui che non fanno parte del gruppo di maggioranza nei dati di addestramento, portando a pregiudizi razziali, classificazioni sbagliate e risposte errate.

• Distorsione da pregiudizio: si verifica quando stereotipi e presupposti sociali errati si insinuano nel set di dati dell'algoritmo, il che porta inevitabilmente a risultati distorti. Ad esempio, l'AI potrebbe restituire risultati che mostrano che solo i maschi sono dottori e tutte le infermiere sono donne.
  
  
• Bias da rievocazione: si verifica durante l'etichettatura dei dati, quando le etichette vengono applicate in modo incoerente a causa di osservazioni soggettive.
  
  
• Bias di campionamento/selezione: si verifica quando il set di dati utilizzato per l'addestramento del modello di machine learning non è abbastanza ampio, non sufficientemente rappresentativo o troppo incompleto per addestrare sufficientemente il sistema. Se tutti gli insegnanti consultati per addestrare un modello AI hanno gli stessi titoli accademici, allora tutti gli insegnanti futuri presi in considerazione dovranno avere gli stessi titoli accademici.
  
  
• Bias da stereotipi: si verifica quando un sistema AI, di solito inavvertitamente, rafforza stereotipi dannosi. Ad esempio, un sistema di traduzione linguistica potrebbe associare alcune lingue a determinati generi o stereotipi etnici. McKinsey mette in guardia dal tentativo di rimuovere i pregiudizi dai set di dati: "Un approccio ingenuo è quello che consiste nel rimuovere le classi protette (come sesso o razza) dai dati ed eliminare le etichette che rendono l'algoritmo distorto. Questo approccio potrebbe non funzionare, perché la rimozione delle etichette potrebbe influire sulla comprensione del modello e ridurre l'accuratezza dei risultati".⁸

Il primo passo per evitare la trappola delle distorsioni è fare un passo indietro all'inizio e riflettere su un progetto di AI prima di attuarlo. Come accade per quasi tutte le sfide aziendali, i problemi sono molto più facili da risolvere fin da subito, piuttosto che aspettare che si verifichi un disastro e poi cercare di sistemare i danni. Ma molte organizzazioni hanno fretta di portare a termine i propri progetti: risparmiano sulle piccole cose e poi pagano il prezzo sulle cose più grandi.

L'identificazione e la risoluzione delle distorsioni nell'AI richiedono una governance dell'AI, ovvero la capacità di dirigere, gestire e monitorare le attività di AI di un'organizzazione. In pratica, la governance dell'AI crea una serie di politiche, pratiche e framework per guidare lo sviluppo e l'uso responsabile delle tecnologie AI. Se applicata nel modo corretto, la governance dell'AI aiuta a garantire un equilibrio di vantaggi per le aziende, i clienti, i dipendenti e la società nel suo complesso.

La governance dell'AI include spesso metodi che mirano a valutare la correttezza, l'equità e l'inclusione. Approcci come la correttezza controfattuale identificano le distorsioni nel processo decisionale di un modello e garantiscono risultati equi, anche quando sono inclusi attributi sensibili, come il genere, la razza o l'orientamento sessuale.

A causa della complessità dell'AI, un algoritmo può essere un sistema black box, con una scarsa conoscenza dei dati utilizzati per crearlo. Le pratiche e le tecnologie di trasparenza aiutano a garantire che vengano utilizzati dati imparziali per costruire il sistema e che i risultati siano equi. Le aziende che lavorano per proteggere le informazioni dei clienti creano fiducia nel brand e sono più propense a creare sistemi AI affidabili.

Per fornire un ulteriore livello di garanzia della qualità, è possibile istituire un sistema "human-in-the-loop" per offrire opzioni o fare raccomandazioni che possano poi essere approvate da decisioni umane.

Ecco una lista di controllo che include sei passaggi che possono aiutare a mantenere i programmi di AI privi di distorsioni.

1. Seleziona il modello di apprendimento corretto:

• Quando si usa un modello supervisionato, sono gli stakeholder a selezionare i dati di addestramento. È fondamentale che il team degli stakeholder sia diversificato, e non composto unicamente da data scientist, e che abbia ricevuto una formazione adeguata per aiutare a prevenire pregiudizi inconsci.
  
• I modelli non supervisionati utilizzano solo l'AI per individuare i bias. Tuttavia, gli strumenti di prevenzione devono essere incorporati direttamente nella rete neurale affinché essa impari a riconoscere ciò che è distorto.

2. Addestra utilizzando i dati giusti: modelli di machine learning addestrati sui dati sbagliati produrranno risultati errati. Qualunque dato venga immesso nell'AI deve essere completo e bilanciato per replicare i dati demografici reali del gruppo in esame.

3. Scegli un team equilibrato: quanto più vario è il team di AI (per razza, economia, livello di istruzione, genere e descrizione del lavoro), tanto più è probabile che riconosca i pregiudizi. I talenti e i punti di vista di un team di AI ben equilibrato dovrebbero includere innovatori nel campo dell'AI, creatori di AI, implementatori di AI e una rappresentanza dei consumatori di quel particolare progetto di AI.⁹

4. Elabora i dati con attenzione: le aziende devono essere consapevoli di eventuali distorsioni in ogni fase del trattamento dei dati. Il rischio non riguarda solo la selezione dei dati: le distorsioni possono insinuarsi in qualunque momento durante la pre-elaborazione, l'elaborazione o la post-elaborazione, e immettersi nell'AI.

5. Effettua un monitoraggio continuo: nessun modello è mai completo o permanente. Monitoraggi e test continui con dati reali provenienti dall'intera organizzazione possono aiutare a rilevare e correggere le distorsioni prima che causino danni. Per evitare ulteriori distorsioni, le organizzazioni dovrebbero considerare la possibilità di effettuare valutazioni tramite un team indipendente all'interno dell'organizzazione o soggetti terzi affidabili.

6. Evita i problemi infrastrutturali: oltre l'influenza delle persone e dei dati, a volte l'infrastruttura stessa può causare distorsioni. Ad esempio, utilizzando dati raccolti da sensori meccanici, l'attrezzatura stessa potrebbe introdurre distorsioni se i sensori non funzionano correttamente. Questo tipo di distorsione può essere difficile da rilevare e richiede investimenti nelle più recenti infrastrutture digitali e tecnologiche.