Cos’è il bias AI ?
Esplora IBM ® watsonx.governance
Primo piano di occhi che guardano lo spettatore

Collaboratore: James Holdsworth

Giorno: 22/12/23

Cos’è il bias AI ?

Il bias AI , chiamato anche bias machine learning o bias dell'algoritmo, si riferisce al verificarsi di risultati distorti dovuti a pregiudizi umani che distorcono i dati di training originali o l'algoritmo AI , portando a risultati distorti e risultati potenzialmente dannosi.

Quando i pregiudizi legati AI non vengono affrontati, possono avere un impatto sul successo di un’organizzazione e ostacolare la capacità delle persone di partecipare all’economia e alla società. Il bias riduce la precisione AIe quindi il suo potenziale.

Le imprese hanno meno probabilità di beneficiare di sistemi che producono risultati distorti. E gli scandali derivanti da pregiudizi legati AI potrebbero alimentare la sfiducia tra le persone di colore, le donne, le persone con disabilità, la comunità LGBTQ o altri gruppi emarginati.

I modelli su cui si basano gli sforzi AI assorbono i pregiudizi della società che possono essere silenziosamente incorporati nelle montagne di dati su cui vengono addestrati. La raccolta di dati storicamente distorta che riflette l'iniquità sociale può provocare danni a gruppi storicamente emarginati in caso d'uso, tra cui assunzioni, attività di polizia, punteggio di credito e molti altri.  Secondo il Wall Street Journal, “Mentre l’uso dell’intelligenza artificiale diventa sempre più diffuso, le aziende stanno ancora lottando per affrontare i pregiudizi pervasivi”.1

Fai un tour di IBM ® watsonx.governance

Accelera il flusso di lavoro AI responsabile, trasparente e spiegabile.

Contenuto correlato

abbonarsi alla newsletter IBM

Esempi e rischi del mondo reale 

Quando AI commette un errore a causa di pregiudizi, ad esempio gruppi di persone a cui vengono negate opportunità, identificati erroneamente nelle foto o puniti ingiustamente, l’Organizzazione colpevole subisce danni al proprio marchio e alla propria reputazione. Allo stesso tempo, le persone di quei gruppi e la società nel suo insieme possono nuocere all'esperienza senza nemmeno rendersene conto. Ecco alcuni esempi di alto profilo di disparità e pregiudizi nell’intelligenza AI e dei danni che possono causare.

Nel settore sanitario, la sottorappresentazione dei dati relativi alle donne o ai gruppi minoritari può distorcere gli algoritmi predittivi AI .2 Ad esempio, è stato riscontrato che i sistemi di diagnosi assistita da computer (CAD) restituiscono risultati con una precisione inferiore per i pazienti afroamericani rispetto ai pazienti bianchi.

Mentre gli strumenti AI possono semplificare l'automazione della scansione del curriculum durante una ricerca per aiutare a identificare i candidati ideali, le informazioni richieste e le risposte selezionate possono ottenere risultati sproporzionati tra i gruppi. Ad esempio, se un annuncio di lavoro utilizza la parola "ninja", potrebbe attirare più uomini che donne, anche se questo non è in alcun modo un requisito di lavoro.3   

Come test di generazione delle immagini, Bloomberg ha richiesto la creazione di più di 5.000 immagini AI e ha scoperto che “Il mondo secondo Stable Diffusion è gestito da un CEO maschio bianco. Le donne sono raramente dottoresse, avvocate o giudici. Gli uomini con la pelle scura commettono crimini, mentre le donne con la pelle scura girano gli hamburger".4  Midjourney ha condotto uno studio simile sulla generazione artistica AI , richiedendo immagini di persone che svolgono professioni specializzate. I Risultati mostravano sia persone più giovani che più anziane, ma gli anziani erano sempre uomini, rafforzando il pregiudizio di genere sul ruolo delle donne sul posto di lavoro.5 

basato su AI/con tecnologia Gli strumenti di polizia predittiva utilizzati da alcune organizzazioni nel sistema di giustizia penale dovrebbero identificare le aree in cui è probabile che si verifichi il crimine. Tuttavia, spesso si basano su dati storici sugli arresti, che possono rafforzare i modelli esistenti di profilazione razziale e di prendere di mira in modo sproporzionato le comunità minoritarie.6

Fonti di distorsione 

Risultati distorti possono danneggiare l’Organizzazione e la società in generale. Ecco alcuni dei tipi più comuni di bias AI 7

  • Bias da algoritmo: la disinformazione può risultare se il problema o la domanda posta non è del tutto corretta o specifica, o se il feedback all’algoritmo machine learning non aiuta a guidare la ricerca di una soluzione. 

  • Bias cognitivo: l'intelligenza AI richiede input umani e gli esseri umani sono fallibili. I pregiudizi personali possono insinuarsi senza che i praticanti se ne rendano conto. Ciò può influire sul comportamento del set di dati o del modello. 
     

  • Bias di conferma: strettamente correlato al bias cognitivo, questo accade quando AI fa troppo affidamento su convinzioni o tendenze preesistenti nei dati, raddoppiando i pregiudizi esistenti e incapace di identificare nuovi modelli o tendenze. 
     

  • Bias di esclusione: questo tipo di distorsione si verifica quando i dati importanti vengono esclusi dai dati utilizzati, spesso perché lo sviluppatore non è riuscito a vedere fattori nuovi e importanti. 
     

  • Distorsione di misurazione: la distorsione di misurazione è causata da dati incompleti. Molto spesso si tratta di una svista o di una mancanza di preparazione per cui i risultati nel set di dati non includono l'intera popolazione che dovrebbe essere considerata. Ad esempio, se un college volesse prevedere i fattori per una laurea di successo, ma includesse solo i laureati, le risposte mancherebbero completamente i fattori che causano l'abbandono di alcuni. 
     

  • Bias di omogeneità out-group: questo è un caso in cui non si sa ciò che non si sa. C'è la tendenza da parte delle persone ad avere una migliore comprensione dei membri dell'ingroup - il gruppo a cui si appartiene - e a Think che siano più diversi rispetto ai membri dell'outgroup. I Risultati possono essere sviluppatori che creano algoritmi meno capaci di distinguere tra individui che non fanno parte del gruppo maggioritario nei dati di addestramento, portando a pregiudizi razziali, classificazioni errate e risposte errate. 

  • Distorsione da pregiudizio: si verifica quando stereotipi e presupposti sociali errati si insinuano nel set di dati dell'algoritmo, il che porta inevitabilmente a risultati distorti. Ad esempio, AI potrebbe restituire Risultati dimostrando che solo i maschi sono medici e tutte le infermiere sono donne. 
     

  • Bias di richiamo: si sviluppa durante l'etichettatura dei dati, in cui le etichette vengono applicate in modo incoerente da osservazioni soggettive.  
     

  • Distorsione da campione/selezione: questo è un problema quando i dati utilizzati per addestrare il modello di machine learning non sono abbastanza grandi, non abbastanza rappresentativi o sono troppo incompleti per addestrare sufficientemente il sistema. Se tutti gli insegnanti delle scuole consultati per addestrare un modelli AI avessero le stesse qualifiche accademiche, allora tutti i futuri insegnanti presi in considerazione dovrebbero avere identiche qualifiche accademiche. 
     

  • Bias da stereotipi: ciò accade quando un sistema AI , di solito inavvertitamente, rafforza stereotipi dannosi. Ad esempio, un sistema di traduzione linguistica potrebbe associare alcune lingue a determinati generi o stereotipi etnici. McKinsey mette in guardia dal tentativo di rimuovere i pregiudizi dai set di dati: “Un Approach ingenuo consiste nel rimuovere le classi protette (come il sesso o la razza) dai dati ed eliminare le etichette che rendono l’algoritmo distorto. Tuttavia, questo Approach potrebbe non funzionare perché le etichette rimosse potrebbero influenzare la comprensione del modello e la precisione dei risultati potrebbe peggiorare.8

Principi per evitare i pregiudizi 

Il primo passo per evitare la trappola dei pregiudizi è semplicemente fare un passo indietro all’inizio e riflettere un po’ sullo sforzo AI . Come è vero per quasi tutte le sfide aziendali, è molto più facile correggere i problemi in anticipo piuttosto che aspettare il relitto dell'addestramento e poi sistemare i risultati danneggiati. Ma molte Organizzazioni hanno fretta: sono sciocche, e questo costa loro. 

Identificare e indirizzare i bias AI richiede la governanceAI , ovvero la capacità di dirigere, gestire e monitorare le attività AI di un’Organizzazione. In pratica, la governance AI crea una serie di politiche, pratiche e quadri per guidare lo sviluppo e l’uso responsabile AI Tecnologia. Se eseguita correttamente, la governance AI aiuta a garantire che vi sia un equilibrio tra i benefici conferiti alle imprese, ai clienti, ai dipendenti e alla società nel suo insieme.

La governance AI spesso include metodi che mirano a valutare l’equità, l’equità e l’inclusione. Un approccio come l'equità controfattuale identifica i pregiudizi nel processo decisionale di un modello e garantisce risultati equi, anche quando sono inclusi attributi sensibili, come il genere, la razza o l'orientamento sessuale.

 A causa della complessità AI, un algoritmo può essere un sistema black box con poche insight sui dati utilizzati per crearlo. Le pratiche di trasparenza e la Tecnologia aiutano a garantire che per costruire il sistema vengano utilizzati dati imparziali e che i risultati siano equi. Le aziende che lavorano per proteggere le informazioni dei clienti costruiscono la fiducia nel marchio e sono più propense a creare sistemi affidabili di intelligenza artificiale.

Per fornire un ulteriore livello di garanzia della qualità, istituire un sistema "human-in-the-loop" per offrire opzioni o formulare raccomandazioni che possano poi essere approvate da decisioni umane.

Come evitare i pregiudizi

Ecco un elenco di controllo di sei fasi del processo che possono mantenere i programmi AI liberi da pregiudizi.

1. Selezionare il modello di apprendimento corretto:

  • Quando si utilizza un modello supervisionato, le parti interessate selezionano i dati di addestramento. È fondamentale che il team stakeholder sia diversificato, non solo data scientist, e che abbia ricevuto una formazione per aiutare a prevenire pregiudizi inconsci.  
  • I modelli non supervisionati utilizzano solo AI per identificare i bias. Gli strumenti di prevenzione dei pregiudizi devono essere integrati nella rete neurale in modo che impari a riconoscere ciò che è distorto.

2. addestrare con i dati giusti: machine learning addestrato sui dati sbagliati produrrà risultati errati. Qualunque dato venga inserito nell’intelligenza AI dovrebbe essere completo ed equilibrato per replicare i dati demografici effettivi del gruppo preso in considerazione.     

3. Scegli un team equilibrato: quanto più vario è il team AI – dal punto di vista razziale, economico, per livello di istruzione, genere e descrizione del lavoro – tanto più è probabile che riconosca i pregiudizi. I talenti e i punti di vista di un team AI a tutto tondo dovrebbero includere innovatori aziendali AI , creatori AI , implementatori AI e una rappresentanza dei consumatori di questo particolare sforzo AI .9  

4. Effettuare il trattamento dei dati in modo consapevole: le aziende devono essere consapevoli dei pregiudizi in ogni fase del trattamento dei dati. Il rischio non risiede solo nella selezione dei dati: durante la pre-elaborazione, l’elaborazione o la post-elaborazione, i bias possono insinuarsi in qualsiasi momento ed essere immessi nell’intelligenza AI.  

5. Monitoraggio continuo: nessun modello è mai completo o permanente. Il monitoraggio e i test continui con dati del mondo reale provenienti da tutta l’organizzazione possono aiutare a rilevare e correggere i bias prima che causino danni. Per evitare ulteriormente pregiudizi, l'Organizzazione dovrebbe prendere in considerazione la valutazione da parte di un team indipendente interno all'Organizzazione o di una terza parte fidata.  

6. Evitare problemi infrastrutturali: A parte le influenze umane e dei dati, a volte l'infrastruttura stessa può causare distorsioni. Ad esempio, utilizzando i dati raccolti dai sensori meccanici, l’attrezzatura stessa potrebbe iniettare bias se i sensori non funzionano correttamente. Questo tipo di pregiudizio può essere difficile da rilevare e richiede investimenti nelle più recenti infrastrutture digitali e tecnologiche.

Soluzioni correlate
Soluzioni AI IBM

Rendi operativa AI in tutta la tua azienda per fornire benefici in modo rapido ed etico. Il nostro ricco portafoglio di prodotti AI e soluzioni analytics di livello aziendale è progettato per ridurre gli ostacoli all'adozione AI e stabilire la giusta base di dati ottimizzando al tempo stesso i risultati e l'uso responsabile.

Esplora Soluzioni AI
Master Data Management

Ottieni insight più rapidi offrendo una visione completa dei dati e delle relazioni di un'entità nel Data Fabricaziendale

Esplora strumenti di gestione dei dati

Risorse Fiducia, trasparenza e governance nell’intelligenza AI

In questa puntata di AI Academy, Esplora <asset name> questioni tra cui allucinazioni, pregiudizi e rischi AI e scopri come l&#39;applicazione dell&#39;etica e della governance AI crea fiducia.

Costruisci un flusso di lavoro responsabile dell'IA con la governance AI

Maggiori informazioni sulla governance AI per un flusso di lavoro responsabile, trasparente e spiegabile in questo ebook.

Far luce sui pregiudizi AI con esempi del mondo reale

Mentre le aziende aumentano l’uso dell’intelligenza AI, le persone si chiedono fino a che punto i pregiudizi umani si siano fatti strada nei sistemi di AI .

Fai il passo successivo

inizia con la tua strategia di governance e sii tra i primi a provare watsonx.governance. La disponibilità generale è prevista per dicembre.

Esplora IBM ® watsonx.governance
Note

1 The Wall Street Journal: L’ascesa AI mette in luce i bias negli algoritmi

2 Booz Allen Hamilton: pregiudizi dell'intelligenza artificiale nel settore sanitario

3 LinkedIn: Ridurre i bias AI : una guida per i leader delle risorse umane

4 Bloomberg: Gli esseri umani sono di parte. L’intelligenza artificiale generativa è ancora peggio

5 La conversazione USA: ageismo, sessismo, classismo e altro ancora: 7 esempi di pregiudizi nelle immagini generate AI

6 Tecnologia Review: la polizia predittiva è ancora razzista, qualunque sia il dato che utilizza

7 Obiettivo tecnologico: bias machine learning (bias AI )
     Hub AI della Chapman University: pregiudizi nell'intelligenza AI    
     AIMultiple: bias nell'intelligenza AI : cos'è, tipi, esempi e 6 modi per correggerla nel 2023

8 McKinsey: Affrontare i pregiudizi nell'intelligenza artificiale (e negli esseri umani)

9 Forbes: il problema dell'IA distorta (e come AI )