Che cos'è la black box AI?

Consideriamo un modello black box che valuta i curriculum dei candidati. Gli utenti possono vedere gli input, ovvero i curriculum che inseriscono nel modello AI. Inoltre, gli utenti possono vedere gli output, ovvero le valutazioni che il modello restituisce per quei curriculum. Tuttavia, gli utenti non sanno esattamente come il modello arrivi alle sue conclusioni, ovvero i fattori che considera, il peso di questi fattori e così via. 

Molti dei modelli di machine learning più avanzati attualmente disponibili, tra cui modelli linguistici di grandi dimensioni come ChatGPT di OpenAI e Llama di Meta, sono delle AI black box. Questi modelli di intelligenza artificiale sono addestrati su enormi set di dati attraverso complessi processi di deep learning e persino i loro stessi creatori non comprendono appieno come funzionano. 

Queste black box complesse possono fornire risultati incredibili, tuttavia la mancanza di trasparenza può talvolta rendere difficile fidarsi dei loro output. Gli utenti non possono convalidare facilmente i risultati di un modello se non sanno cosa sta succedendo dietro le quinte. Inoltre, l'opacità di un modello black box può nascondere vulnerabilità, pregiudizi, violazioni della privacy e altri problemi di cybersecurity. 

Per affrontare queste sfide, i ricercatori nel campo dell'AI stanno lavorando allo sviluppo di strumenti di AI spiegabili che bilancino le prestazioni dei modelli avanzati con la necessità di trasparenza sui risultati dell'AI. 

I modelli AI black box nascono per uno di due motivi: i loro sviluppatori li trasformano volutamente in black box oppure diventano black box in seguito all'addestramento. 

Alcuni sviluppatori e programmatori di AI oscurano il funzionamento interno degli strumenti di AI prima di rilasciarli al pubblico. Questa tattica ha spesso lo scopo di proteggere la proprietà intellettuale. I creatori del sistema sanno esattamente come funziona, tuttavia mantengono segreti il codice sorgente e il processo decisionale. Per questo motivo, molti algoritmi di AI tradizionali basati su regole sono black box.

Tuttavia, molte delle tecnologie di AI più avanzate, compresi gli strumenti di AI generativa, sono quelle che si potrebbero chiamare "black box". I creatori di questi strumenti non oscurano intenzionalmente le loro operazioni. Piuttosto, i sistemi di deep learning che alimentano questi modelli sono così complessi che nemmeno i creatori stessi capiscono esattamente cosa succeda al loro interno.

Gli algoritmi di deep learning sono un tipo di algoritmo di machine learning che utilizza reti neurali multilivello. Laddove un modello di machine learning tradizionale potrebbe utilizzare una rete con uno o due livelli, i modelli di deep learning possono avere centinaia o addirittura migliaia di livelli. Ogni livello contiene più neuroni, ovvero insiemi di codice progettati per imitare le funzioni del cervello umano.

Le reti neurali possono consumare e analizzare big data grezzi e non strutturati con un intervento umano minimo. Possono acquisire enormi quantità di dati, identificare modelli, apprendere da questi schemi e utilizzare ciò che apprendono per generare nuovi output, come immagini, video e testo. 

Questa capacità di apprendimento su larga scala senza supervisione consente ai sistemi di AI svolgere attività come l'elaborazione avanzata del linguaggio, la creazione di contenuti originali e altre attività che possono sembrare vicine all'intelligenza umana.

Tuttavia, queste reti neurali profonde sono intrinsecamente opache. Gli utenti, compresi gli sviluppatori AI, possono vedere cosa succede agli input e output, chiamati anche "livelli visibili". Possono vedere i dati che entrano e le previsioni, le classificazioni o altri contenuti che ne derivano. Tuttavia, non sanno cosa succede a tutti i livelli di rete intermedi, i cosiddetti "livelli nascosti".

Gli sviluppatori di AI sanno, in linea di massima, come i dati si spostano attraverso ogni livello della rete e hanno un'idea generale di cosa fanno i modelli con i dati che inseriscono. Tuttavia, non conoscono tutti i dettagli. Ad esempio, potrebbero non sapere cosa significa quando una determinata combinazione di neuroni si attiva, o esattamente come il modello trova e combina gli embedding per rispondere a un prompt. 

Anche i modelli AI open source che condividono il codice sottostante sono in definitiva delle black box, poiché gli utenti non riescono ancora a interpretare cosa succede all'interno di ogni livello del modello quando è attivo.

I modelli di AI e ML più avanzati attualmente disponibili sono estremamente potenti, tuttavia questa potenza paga il prezzo di una minore interpretabilità. 

I modelli di AI generativa si basano su reti neurali per rispondere ai comandi del linguaggio naturale, risolvere nuovi problemi e creare contenuti originali, ma è difficile interpretare cosa succede all'interno di quelle reti. I modelli AI più semplici e basati su regole sono più facili da spiegare, ma generalmente non sono così potenti o flessibili come i modelli di AI generativa.

Pertanto, le organizzazioni non possono risolvere il problema delle black box semplicemente utilizzando strumenti di AI tradizionali, più spiegabili. I modelli AI tradizionali possono svolgere molte funzioni, ma ci sono alcune cose che solo un modello AI avanzato può fare.

Sebbene ci possano essere ragioni pratiche per utilizzare modelli di machine learning black box, la mancanza di trasparenza può essere un ostacolo nell'ottenere il massimo valore da questi modelli avanzati.  

Nello specifico, le AI black box introducono sfide quali:

Gli utenti non sanno come un modello black box prende le decisioni che prende, ovvero i fattori che pesa e le correlazioni che traccia. Anche se gli output del modello sembrano accurati, la convalida può essere difficile senza una chiara comprensione dei processi che portano a tali output. 

Senza che gli utenti ne siano a conoscenza, i modelli black box possono giungere alle conclusioni giuste per motivi sbagliati. Questo fenomeno viene talvolta chiamato "effetto Clever Hans", dal nome di un cavallo che pare potesse contare ed eseguire semplici calcoli aritmetici battendo uno zoccolo. Di fatto, Hans raccoglieva sottili segnali dal linguaggio del corpo del suo proprietario per capire quando era ora di smettere di calpestare.

L'effetto Clever Hans può avere gravi conseguenze quando i modelli vengono applicati a campi come l'assistenza sanitaria. Ad esempio, è noto che i modelli AI addestrati per diagnosticare il COVID-19 sulla base delle radiografie polmonari raggiungono livelli di precisione elevati con i dati di addestramento, tuttavia offrono prestazioni meno efficaci nel mondo reale. 

Questo divario di prestazioni si verifica spesso perché i modelli stanno imparando a identificare il COVID sulla base di fattori irrilevanti. Un modello sperimentale ha "diagnosticato" il COVID in base alla presenza di annotazioni sui raggi X anziché sulle radiografie stesse. Ciò è accaduto perché i raggi X positivi al COVID avevano maggiori probabilità di essere annotati nei dati di addestramento del modello, poiché i medici evidenziavano le caratteristiche rilevanti per gli altri medici.¹

Se un modello black box prende decisioni sbagliate o produce costantemente output imprecisi o dannosi, può essere difficile modificare il modello per correggere questo comportamento. Senza sapere esattamente cosa succede all'interno del modello, gli utenti non possono individuare esattamente dove c'è un problema.

Questo problema rappresenta una sfida significativa nel campo dei veicoli autonomi, dove gli sviluppatori addestrano sofisticati sistemi AI per prendere decisioni di guida in tempo reale. Se un veicolo autonomo prende la decisione sbagliata, le conseguenze possono essere fatali. Ma poiché i modelli alla base di questi veicoli sono così complessi, capire perché prendono decisioni sbagliate e come correggerle può essere difficile. 

Per ovviare a questo problema, molti sviluppatori di veicoli autonomi integrano le loro AI con sistemi più spiegabili, come sensori radar e lidar. Sebbene questi sistemi non facciano luce sull'AI stessa, forniscono agli sviluppatori insight sugli ambienti e sulle situazioni che sembrano far sì che i modelli AI facciano scelte sbagliate.²

Poiché le organizzazioni non riescono a vedere tutto ciò che accade in un modello black box, potrebbero non accorgersi delle vulnerabilità nascoste al suo interno. I modelli di AI generativa sono anche suscettibili alla prompt injection e agli attacchi di data poisoning che possono modificare segretamente il comportamento di un modello senza che gli utenti lo sappiano. Se gli utenti non riescono a vedere i processi di un modello, non sapranno quando questi processi sono stati modificati.

I modelli black box potrebbero essere soggetti a distorsioni. Qualsiasi strumento AI può riprodurre i pregiudizi umani se tali pregiudizi sono presenti nei suoi dati di addestramento o nella sua progettazione. Con i modelli black box, può essere particolarmente difficile individuare l'esistenza di pregiudizi o le loro cause.

I pregiudizi possono portare a risultati non ottimali, assolutamente dannosi e illegali. Ad esempio, un modello AI addestrato per selezionare i candidati per un lavoro può imparare a filtrare le candidate di talento se i dati di addestramento applicano un pregiudizio verso i maschi. 

Alcuni sistemi di giustizia penale utilizzano modelli AI sofisticati per valutare il rischio di recidiva di una persona. Questi modelli sono spesso delle black box, almeno per il pubblico, che potrebbe non sapere esattamente quali fattori i modelli prendono in considerazione. Se l'algoritmo non è trasparente, può essere difficile fidarsi delle sue previsioni o impugnarle quando sono sbagliate.³

Alcune normative, come l'European Union AI Act e il California Consumer Privacy Act (CCPA), stabiliscono regole su come le organizzazioni possono utilizzare i dati personali sensibili negli strumenti di processo decisionale basati su AI. Con i modelli black box, può essere difficile per un'organizzazione sapere se è conforme o dimostrare la conformità in caso di audit.

L'AI white box, chiamata anche AI spiegabile (XAI) o AI glass box, è l'opposto dell'AI black box. Si tratta di un sistema di AI con un funzionamento interno trasparente. Gli utenti comprendono come l'AI acquisisce i dati, li elabora e arriva a una conclusione. 

I modelli AI white box semplificano la fiducia e la convalida dei risultati, nonché la modifica dei modelli per correggere errori e adattare le prestazioni. Tuttavia, non è facile trasformare ogni AI in una white box. 

I modelli di AI tradizionali possono spesso essere resi trasparenti condividendo il loro codice sorgente. Tuttavia, modelli sofisticati di machine learning sviluppano i propri parametri attraverso algoritmi di deep learning. Il semplice accesso alle architetture di questi modelli non sempre spiega completamente cosa stiano facendo.

Detto questo, sono in corso delle iniziative per rendere i modelli AI avanzati più spiegabili. Ad esempio, i ricercatori di Anthropic stanno applicando gli autoencoder, un tipo di reti neurali, al Claude 3 Sonnet LLM dell'azienda per capire quali combinazioni di neuroni corrispondano a quali concetti. Finora, i ricercatori hanno identificato combinazioni che significano cose come il Golden Gate Bridge e il campo delle neuroscienze.⁴ 

Il recente modello o1 di OpenAI condivide informazioni sui passaggi necessari per raggiungere i suoi output, il che può aiutare a illustrare come arriva alle sue risposte. Tuttavia, questo non è uno sguardo diretto all'interno del modello, bensì una spiegazione generata dal modello in merito alla propria attività. Gran parte delle operazioni del modello, incluso il chain of thought grezzo, rimangono nascoste.⁵

Altri ricercatori hanno sviluppato tecniche per aiutare a spiegare come i modelli arrivano a conclusioni specifiche. Ad esempio, la local interpretable model-agnostic explanation (LIME) è un processo che utilizza un modello di machine learning separato per analizzare le relazioni tra gli input e gli output di una black box, con l'obiettivo di identificare le caratteristiche che potrebbero influenzare gli output del modello. 

Queste tecniche basate sulle conclusioni sono spesso progettate per funzionare su modelli con input e output chiaramente strutturati. Ad esempio, LIME può aiutare a spiegare previsioni e classificazioni, ma getta meno luce sui sistemi di AI aperti con reti neurali profonde.

Le organizzazioni possono optare per modelli trasparenti laddove possibile, tuttavia alcuni workflow richiedono sofisticati strumenti di AI black box. Detto questo, ci sono modi per rendere i modelli black box più affidabili e mitigarne i rischi.