Che cos'è l'interpretabilità dell'AI?

I modelli AI utilizzano una complessa rete di input di dati, algoritmi, logica, data science e altri processi per restituire insight. Più il modello è complesso, più difficile può essere per gli umani comprendere i passaggi che hanno portato agli insight, anche se sono stati gli umani a progettarlo e svilupparlo. Un modello interpretabile è un modello le cui decisioni possono essere comprese facilmente dagli utenti.

L'uso dell'AI si sta ampliando. I sistemi che utilizzano modelli linguistici di grandi dimensioni (LLM) stanno entrando a far parte della vita quotidiana, dai dispositivi domestici intelligenti al rilevamento delle frodi con carta di credito all'ampio uso di ChatGPT e altri strumenti di AI generativa. Man mano che i modelli altamente complessi (inclusi gli algoritmi di deep learning e reti neurali) diventano più comuni, l'interpretabilità dell'AI diventa più importante.

Inoltre, i sistemi AI e gli algoritmi di machine learning sono sempre più diffusi nel settore sanitario, finanziario e in altri settori che comportano decisioni di importanza critica o vitale. Con una posta in gioco così alta, il pubblico deve potersi fidare che i risultati siano equi e affidabili. Questa fiducia dipende dalla comprensione del modo in cui i sistemi di AI elaborano le loro previsioni e prendono le loro decisioni.

I modelli AI white-box hanno input e logica facili da vedere e comprendere. Ad esempio, alberi decisionali di base, che mostrano un flusso chiaro tra ogni fase, facili da decifrare per quasi chiunque. I modelli white-box tendono a utilizzare sistemi decisionali più lineari e facili da interpretare, ma possono comportare una minore precisione o un minor numero di insight o applicazioni convincenti.

I modelli AI black box sono più complicati e offrono meno trasparenza sul loro funzionamento interno. L'utente in genere non sa come il modello raggiunge i risultati. Questi modelli più complessi tendono ad essere più accurati e precisi. Ma poiché sono difficili o impossibili da capire, nascondono preoccupazioni su affidabilità, equità, distorsioni e altre questioni etiche. Rendere i modelli black box più interpretabili è un modo per rafforzare la fiducia nel loro utilizzo.

L'interpretabilità dell'AI si concentra sulla comprensione del funzionamento interno di un modello AI mentre la spiegabilità mira a fornire ragioni per gli output.

L'interpretabilità riguarda la trasparenza, che consente agli utenti di comprendere l'architettura di un modello, le caratteristiche che utilizza e il modo in cui le combina per fornire previsioni. I processi decisionali di un modello interpretabile sono facilmente comprensibili per gli esseri umani. Una maggiore interpretabilità richiede una maggiore divulgazione delle sue operazioni interne.

La spiegabilità consiste nel verificare o nel fornire giustificazioni per gli output del modello, spesso dopo che ha formulato le sue previsioni. L'AI spiegabile (XAI) viene utilizzata per identificare i fattori che hanno portato ai risultati. È possibile utilizzare vari metodi di spiegabilità per presentare i modelli in modo da rendere chiari a un essere umano i loro processi complessi e la data science utilizzando il linguaggio naturale.

L'interpretabilità dell'AI aiuta a eseguire il debug dei modelli, rilevare distorsioni, garantire la conformità alle normative e rafforzare la fiducia degli utenti. Consente agli sviluppatori e agli utenti di vedere in che modo i loro modelli influenzano le persone e le aziende e di svilupparli in modo responsabile.

L'interpretabilità è importante per diversi motivi:

• Fiducia
• Distorsioni ed equità
• Debugging
• Conformità normativa
• Trasferimento delle conoscenze

Senza interpretabilità, gli utenti vengono lasciati all'oscuro. Questa mancanza di responsabilità può erodere la fiducia del pubblico nella tecnologia. Quando gli stakeholder comprendono appieno come un modello prende le sue decisioni, è più probabile che ne accettino gli output. L'interpretabilità del modello consente trasparenza e chiarezza, il che fa sì che gli utenti si sentano a proprio agio nell'affidarsi ad esso in applicazioni del mondo reale come diagnosi mediche o decisioni finanziarie.

Le distorsioni all'interno dei dati di addestramento possono essere amplificate dai modelli AI. I risultati discriminatori che ne derivano perpetuano le disuguaglianze sociali ma espongono anche le organizzazioni a rischi legali e di reputazione. I sistemi AI interpretabili possono aiutare a rilevare se un modello sta prendendo decisioni distorte in base a caratteristiche sensibili, come razza, età o sesso. L'interpretabilità consente agli sviluppatori di modelli di identificare e mitigare i modelli discriminatori, contribuendo a garantire risultati più equi.

L'apprendimento automatico interpretabile consente ai creatori di algoritmi e modelli di apprendimento automatico di identificare e correggere gli errori. Nessun modello di apprendimento automatico è preciso al 100% fin dall'inizio. Senza comprendere il ragionamento dell'AI, il debug è un processo inefficiente e rischioso. Comprendendo il funzionamento del modello di apprendimento automatico, gli sviluppatori e i data scientist possono individuare le fonti di previsioni errate e ottimizzare le prestazioni del modello. Questo processo, a sua volta, aumenta l'affidabilità complessiva e favorisce l'ottimizzazione.

Alcune normative, come l'Equal Credit Opportunity Act (ECOA) negli Stati Uniti o il Regolamento generale sulla protezione dei dati (GDPR) nell'Unione europea, richiedono che le decisioni prese da sistemi automatizzati siano trasparenti e spiegabili. Inoltre, un numero crescente di normative specifiche sull'AI, inclusa la legge sull'IA dell'UE, stanno stabilendo standard per lo sviluppo e l'uso dell'AI. I modelli AI interpretabili possono fornire spiegazioni chiare per le loro decisioni, contribuendo a soddisfare questi requisiti normativi. L'interpretabilità può anche aiutare con problemi di revisione, responsabilità e protezione della privacy dei dati.

Senza interpretabilità, sviluppatori e ricercatori potrebbero avere difficoltà a tradurre gli insight dell'AI in risultati attuabili o far progredire la tecnologia con i cambiamenti. L'interpretabilità facilita il trasferimento delle conoscenze sulle basi e sulle decisioni di un modello tra gli stakeholder e l'uso delle sue conoscenze per informare lo sviluppo di altri modelli.

Il ricercatore della Stanford University Nigam Shah identifica tre tipi principali di interpretabilità: interpretabilità degli ingegneri, interpretabilità causale e interpretabilità che genera fiducia.¹

Questa tipologia si concentra sul modo in cui il modello AI ha raggiunto il suo output. Implica la comprensione del funzionamento interno del modello ed è rilevante per sviluppatori e ricercatori che devono eseguire il debug o migliorare il modello.

Questo tipo si concentra sul motivo per cui il modello ha prodotto l'output. Implica l'identificazione dei fattori che hanno la maggiore influenza sulle previsioni del modello e il modo in cui i cambiamenti di questi fattori influenzano i risultati.

Questa tipologia si concentra sul fornire spiegazioni che rafforzano la fiducia negli output del modello. Si tratta di presentare il processo decisionale del modello in modo comprensibile e riconoscibile per gli utenti, anche se non dispongono di competenze tecniche.

Diverse caratteristiche influenzano l'interpretabilità dei modelli AI:

• Intrinseco e post-hoc
• Locale vs. globale
• Specifico del modello vs. indipendente dal modello

L'interpretabilità intrinseca si riferisce a modelli intrinsecamente interpretabili, come alberi decisionali e modelli di regressione lineare. Le loro strutture semplici sono facili da comprendere. Tuttavia, l'interpretabilità post-hoc comporta l'applicazione di metodi di interpretazione a modelli pre-addestrati per spiegarne il comportamento. L'interpretazione post-hoc è la migliore per i modelli più complessi o black box.

L'interpretabilità locale si concentra sulla spiegazione delle singole previsioni e aiuta a mostrare perché il modello ha raggiunto un determinato risultato. L'interpretabilità globale mira a comprendere il comportamento del modello nell'intero set di dati, mostrandone i modelli e le tendenze generali.

I metodi di interpretabilità specifici del modello utilizzano la struttura interna del modello per fornire spiegazioni. I metodi "indipendenti dal modello" funzionano con qualsiasi tipo di modello.

Esistono vari metodi per stabilire l'interpretabilità nei modelli AI.

Alcuni modelli sono abbastanza semplici per l'interpretazione intrinseca. Questi modelli intrinsecamente interpretabili si basano su strutture semplici come alberi decisionali, sistemi basati su regole e regressioni lineari. Gli esseri umani possono facilmente comprendere i modelli decisionali e i processi dei modelli lineari.

I modelli più complessi richiedono un'interpretazione post-hoc, in cui i metodi di interpretazione vengono applicati a modelli pre-addestrati per spiegare l'output del modello. Alcuni metodi comuni di interpretazione post-hoc includono:

• Spiegazioni indipendenti dal modello interpretabile locale (LIME)
• Spiegazioni additive tramite i valori di Shapley (SHAP)
• Grafici di dipendenza parziale (PDP)
• Grafici dell'aspettativa condizionale individuale (ICE)

La spiegazione LIME aiuta a capire le previsioni di un modello concentrandosi su una singola previsione alla volta. Lo fa creando un modello più interpretabile che imita il comportamento del modello complesso per quella specifica previsione. Utilizza l'attribuzione delle caratteristiche per determinare l'influenza di una particolare caratteristica (come forma, colore o un altro punto dati) sull'output del modello. Ad esempio, prende una stima specifica e quindi genera molte istanze simili modificando o regolando leggermente i valori delle funzionalità. Da lì, crea un modello più interpretabile basato su questi valori delle caratteristiche "alterati" e sui risultati. In breve, LIME fornisce una spiegazione locale semplificata di come si comporterebbe il modello complesso.

SHAP è un approccio cooperativo all'interpretabilità in stile teoria dei giochi che considera tutte le possibili combinazioni di caratteristiche e il modo in cui influenzano la previsione. Assegna un valore (chiamato valore di Shapley) a ciascuna caratteristica in base a quanto contribuisce alla predizione in diversi scenari. SHAP può funzionare con qualsiasi sistema di apprendimento automatico. Offre sia spiegazioni locali per le previsioni individuali fornite da algoritmi di apprendimento automatico sia spiegazioni globali per il modello nel suo insieme. Tuttavia, a causa della sua complessità computazionale, SHAP può essere un metodo più lento e costoso.

I PDP mostrano in che modo una funzionalità influisce in media sulle previsioni del modello in tutto il set di dati. Aiutano a visualizzare la relazione tra una funzionalità e l'output del modello, mantenendo costanti tutte le altre funzionalità. Questo metodo è utile per interpretare un numero ridotto di funzionalità o quando gli stakeholder desiderano concentrarsi su un sottoinsieme specifico di funzionalità.

I grafici ICE mostrano quanto un risultato previsto dipenda da una caratteristica specifica. Sono simili ai PDP ma mostrano la relazione tra una funzione e l'output del modello per le singole istanze, anziché fare la media sul set di dati. Possono integrare i PDP fornendo una visione più dettagliata del comportamento del modello, ad esempio evidenziando la variabilità e mostrando le interazioni tra le funzionalità a livello di istanza. Inoltre, sono utili quando i ricercatori di informatica o gli stakeholder vogliono identificare outlier o tendenze insolite nelle operazioni del modello.

L'interpretabilità dell'AI è importante in qualsiasi settore che utilizza modelli AI per prendere decisioni che riguardano gli individui o la società. Alcuni settori in cui l'interpretabilità dell'AI è rilevante includono:

L'interpretabilità comporta alcune sfide e limitazioni.

Spesso c'è un compromesso tra le prestazioni del modello e l'interpretabilità. I modelli più semplici o white box sono più interpretabili, ma potrebbero avere un'accuratezza inferiore rispetto ai modelli black box complessi, come le reti neurali profonde.

L'interpretabilità risente anche della mancanza di standardizzazione. Metodi diversi possono fornire spiegazioni diverse per lo stesso modello, rendendo difficile il confronto e la convalida senza framework. Inoltre, l'interpretabilità è spesso soggettiva e ciò che può essere considerato di facile comprensione per un utente potrebbe non esserlo per un altro.

Alcuni esperti affermano che l'interpretabilità non è necessaria in alcuni casi o può essere controproducente in altri. Se il modello è privato o non ha un impatto significativo, o il problema è già oggetto di studi accreditati, una maggiore interpretabilità potrebbe essere ridondante o non necessaria. In alcuni casi, una maggiore interpretabilità potrebbe comportare problemi di sicurezza, poiché una maggiore trasparenza potrebbe consentire ai malintenzionati di utilizzare un sistema o consentire agli utenti di ingannarlo in un modo che ne comprometta l'efficacia.