Far luce sulle distorsione dell'AI con esempi del mondo reale

Man mano che le aziende fanno sempre più ricorso all'intelligenza artificiale (AI), le persone si chiedono fino a che punto i pregiudizi umani si siano insinuati nei sistemi AI. Esempi di distorsioni dell'AI nel mondo reale ci mostrano che quando dati e algoritmi discriminatori vengono integrati nei modelli AI, i modelli sviluppano distorsioni su larga scala e amplificano gli effetti negativi risultanti.

Le aziende sono motivate ad affrontare la sfida delle distorsioni nell'AI non solo per raggiungere l'equità, ma anche per garantire risultati migliori. Tuttavia, proprio come i pregiudizi sistemici razziali e di genere si sono dimostrati difficili da eliminare nel mondo reale, eliminare le distorsioni nell'AI non è un compito facile.

Nell'articolo, What AI can and can’t do (yet) for your business, gli autori Michael Chui, James Manyika e Mehdi Miremadi di McKinsey hanno osservato: "Tali distorsioni hanno la tendenza a rimanere radicate perché riconoscerle e adottare misure per affrontarle richiede una profonda padronanza delle tecniche di data science, nonché una maggiore meta-comprensione delle forze sociali esistenti, compresa la raccolta dei dati. Nel complesso, la rimozione delle distorsioni si sta rivelando tra gli ostacoli più scoraggianti, e sicuramente tra i più difficili dal punto di vista sociale, fino ad oggi".

Esempi di distorsione dell'AI tratti dalla vita reale forniscono alle organizzazioni utili insight su come identificare e affrontare le distorsioni. Osservando in modo critico questi esempi e i successi nel superare le distorsioni, i data scientist possono iniziare a costruire una roadmap per identificare e prevenire le distorsioni nei loro modelli di machine learning.

La distorsione dell'AI, nota anche come distorsione del machine learning o distorsione degli algoritmi, si riferisce ai sistemi AI che producono risultati distorti che riflettono e perpetuano i pregiudizi umani all'interno di una società, inclusa la disuguaglianza sociale storica e attuale. Le distorsioni si trovano nei dati di addestramento iniziale, nell'algoritmo o nelle previsioni prodotte dall'algoritmo.

Quando le distorsioni non vengono affrontate, ostacolano la capacità delle persone di partecipare all'economia e alla società. Riducono inoltre il potenziale dell'AI. Le aziende non possono trarre beneficio da sistemi che producono risultati distorti e favoriscono la sfiducia tra le persone di colore, le donne, le persone con disabilità, la comunità LGBTQ o altri gruppi di persone emarginate.

L'eliminazione delle distorsioni dell'AI richiede l'analisi approfondita dei set di dati, degli algoritmi di machine learning e di altri elementi dei sistemi AI per identificare le fonti di potenziali distorsioni.

Distorsione dei dati di addestramento

I sistemi AI imparano a prendere decisioni basate sui dati di addestramento, quindi è essenziale valutare i set di dati per la presenza di distorsioni. Un metodo consiste nell'esaminare il campionamento dei dati per i gruppi sovra o sottorappresentati all'interno dei dati di addestramento. Ad esempio, i dati di addestramento per un algoritmo di riconoscimento facciale che rappresenta eccessivamente le persone bianche possono creare errori nel tentativo di riconoscimento facciale per persone di colore. Allo stesso modo, i dati sulla sicurezza che includono informazioni raccolte in aree geografiche a prevalenza nera potrebbero creare distorsioni razziali negli strumenti AI utilizzati dalla polizia.

La distorsione può anche derivare dal modo in cui i dati di addestramento sono etichettati. Ad esempio, gli strumenti di reclutamento con AI che utilizzano un'etichettatura incoerente o escludono o sovrarappresentano determinate caratteristiche potrebbero eliminare dalla considerazione i candidati qualificati.

Distorsione algoritmica

L'utilizzo di dati di addestramento difettosi può portare ad algoritmi che producono ripetutamente errori, risultati ingiusti o addirittura amplificano la distorsione insita nei dati difettosi. Le distorsioni algoritmiche possono anche essere causate da errori di programmazione, come ad esempio uno sviluppatore che pondera ingiustamente i fattori nel processo decisionale dell'algoritmo in base ai propri pregiudizi consci o inconsci. Ad esempio, indicatori come reddito o vocabolario possono essere utilizzati dall'algoritmo per discriminare involontariamente le persone di una certa razza o sesso.

Distorsione cognitiva

Quando elaboriamo informazioni ed esprimiamo giudizi, siamo inevitabilmente influenzati dalle nostre esperienze e dalle nostre preferenze. Di conseguenza, le persone possono integrare questi pregiudizi nei sistemi AI attraverso la selezione dei dati o il modo in cui i dati vengono ponderati. Ad esempio, le distorsioni cognitive potrebbero portare a favorire i set di dati raccolti dagli americani piuttosto che il campionamento da una serie di popolazioni in tutto il mondo.

Secondo il NIST, questa fonte di distorsione è più comune di quanto si possa pensare. Nel suo report Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (NIST Special Publication 1270), il NIST ha osservato che "i fattori istituzionali e sociali umani e sistemici sono anche fonti significative di distorsione dell'AI e sono attualmente trascurati. Affrontare con successo questa sfida richiederà di tenere conto di tutte le forme di distorsione. Ciò significa espandere la nostra prospettiva oltre la pipeline di machine learning per riconoscere e studiare come questa tecnologia viene creata all'interno della nostra società e influisce su di essa".

Man mano che la società diventa più consapevole del funzionamento dell'AI e della possibilità di distorsioni, le organizzazioni hanno scoperto numerosi esempi di distorsioni di alto profilo nell'AI in un'ampia gamma di casi d'uso.

• Sanità: i dati sottorappresentati di donne o gruppi minoritari possono distorcere gli algoritmi di AI predittiva. Ad esempio, è stato riscontrato che i sistemi di diagnosi assistita da computer (CAD) restituiscono risultati di accuratezza inferiore per i pazienti neri rispetto ai pazienti bianchi.

• Sistemi di tracciamento dei candidati: i problemi con gli algoritmi di elaborazione del linguaggio naturale possono produrre risultati distorti all'interno dei sistemi di tracciamento dei candidati. Ad esempio, Amazon ha smesso di utilizzare un algoritmo di assunzione dopo aver scoperto che favoriva i candidati in base a parole come "executed" (eseguito) o "captured" (acquisito), che si trovavano più comunemente nei curriculum degli uomini.

• Pubblicità online: le distorsioni negli algoritmi pubblicitari dei motori di ricerca possono rafforzare le distorsioni di genere relative al ruolo professionale. Una ricerca indipendente della Carnegie Mellon University di Pittsburgh ha rivelato che il sistema pubblicitario online di Google mostrava posizioni ben pagate agli uomini più spesso che alle donne.

• Generazione di immagini: una ricerca accademica ha rilevato distorsioni in Midjourney, un'applicazione di generazione di arte tramite AI generativa. Quando è stato chiesto di creare immagini di persone che svolgono professioni specializzate, ha mostrato sia i giovani che gli anziani, ma gli anziani erano sempre uomini, rafforzando le distorsioni di genere sul ruolo delle donne sul posto di lavoro.

• Strumenti di polizia predittiva: gli strumenti di polizia predittiva con tecnologia AI utilizzati da alcune organizzazioni del sistema di giustizia penale dovrebbero identificare le aree in cui è probabile che si verifichino reati. Tuttavia, spesso si basano su dati storici sugli arresti, che possono rafforzare i modelli esistenti di profilazione razziale e prendere di mira in modo sproporzionato le comunità minoritarie.

L'identificazione e la risoluzione delle distorsioni nell'AI iniziano con la governance dell'AI, o la capacità di dirigere, gestire e monitorare le attività di AI di un'organizzazione. In pratica, la governance dell'AI crea una serie di politiche, pratiche e framework per guidare lo sviluppo e l'uso responsabile delle tecnologie AI. Se fatta bene, la governance dell'AI assicura un equilibrio di benefici per le aziende, i clienti, i dipendenti e la società nel suo complesso.

Attraverso le politiche di governance dell'AI, le aziende possono costruire le seguenti pratiche:

• Conformità: le soluzioni AI e le decisioni relative all'AI devono essere coerenti con le normative di settore e i requisiti legali.
• Fiducia: le aziende che lavorano per proteggere le informazioni dei clienti creano fiducia nel marchio e sono più propense a creare sistemi AI affidabili.
• Trasparenza: a causa della complessità dell'AI, un algoritmo può essere un sistema black box, con pochi insight sui dati utilizzati per crearlo. La trasparenza aiuta a garantire che i dati imparziali vengano utilizzati per costruire il sistema e che i risultati siano equi.
• Efficienza: una delle maggiori promesse dell'intelligenza artificiale è la riduzione del lavoro manuale, con conseguenti risparmi di tempo per i dipendenti. L'AI deve essere progettata per aiutare a raggiungere gli obiettivi aziendali, migliorare i tempi di commercializzazione e ridurre i costi.
• Correttezza: la governance dell'AI include spesso metodi che mirano a valutare la correttezza, l'equità e l'inclusione. Approcci come la correttezza controfattuale identificano le distorsioni nelle decisioni di un modello e garantiscono risultati equi anche quando vengono modificati gli attributi sensibili, come il sesso, la razza o l'orientamento sessuale.
• Tocco umano: processi come il sistema "human-in-the-loop" offrono opzioni o formulano raccomandazioni che vengono poi esaminate dagli esseri umani prima di prendere una decisione per fornire un altro livello di garanzia della qualità.
• Apprendimento rinforzato: questa tecnica di apprendimento senza supervisione utilizza ricompense e punizioni per insegnare a un sistema ad apprendere compiti. McKinsey sottolinea che l'apprendimento rinforzato trascende i pregiudizi umani e ha il potenziale di produrre "soluzioni e strategie precedentemente inimmaginabili che anche i professionisti esperti non avrebbero mai potuto prendere in considerazione".

Un corretto mix di tecnologie può essere fondamentale per una strategia efficace di governance dei dati e dell'AI, con un'architettura dei dati moderna e una piattaforma AI affidabile come componenti chiave. L'orchestrazione delle policy all'interno di un'architettura di data fabric è uno strumento eccellente in grado di semplificare i complessi processi di audit dell'AI. Integrando l'audit dell'AI e i processi correlati nelle politiche di governance dell'architettura dei dati, la tua organizzazione può comprendere meglio le aree che richiedono un'ispezione continua.

Noi di IBM Consulting abbiamo aiutato i clienti a impostare un processo di valutazione per le distorsioni e altre aree. Man mano che l'adozione dell'AI si espande e le innovazioni si evolvono, matureranno anche le linee guida sulla sicurezza, come nel caso di ogni tecnologia che è stata incorporata nel tessuto di un'azienda nel corso degli anni. Di seguito, condividiamo alcune best practice di IBM per aiutare le organizzazioni a prepararsi per l'implementazione sicura dell'AI nei loro ambienti:

1. Sfrutta l'AI affidabile valutando le politiche e le pratiche dei fornitori.
2. Consentire l'accesso sicuro a utenti, modelli e dati.
3. Proteggere i modelli AI, i dati e l'infrastruttura dagli attacchi avversari.
4. Implementare la protezione della privacy dei dati nelle fasi di addestramento, test e operazioni.
5. Conduci la modellazione delle minacce e le pratiche di codifica sicura nel ciclo di vita dello sviluppo dell'AI.
6. Eseguire il rilevamento e la risposta alle minacce per le applicazioni e l'infrastruttura AI.
7. Valutare e decidere la maturità dell'AI attraverso il framework IBM per l'AI.