Data di pubblicazione: 6 settembre 2024
Collaboratori: Alexandra Jonker, Alice Gomstyn, Amanda McGrath
La trasparenza dell'AI aiuta le persone ad accedere alle informazioni per capire meglio come è stato creato un sistema di AI e come questo prende le decisioni.
I ricercatori a volte descrivono l'AI come una "black box", in quanto può essere ancora difficile spiegare, gestire e regolare i risultati dell'AI a causa della crescente complessità della tecnologia. La trasparenza dell'AI aiuta ad aprire questa black box per comprendere meglio i risultati dell'AI e il modo in cui i modelli prendono le decisioni.
Un numero crescente di settori ad alto rischio (tra cui finanza, sanità, risorse umane (HR) e forze dell'ordine) si affidano a modelli AI per il processo decisionale. Migliorare la conoscenza delle persone su come vengono addestrati questi modelli e su come determinano i risultati crea fiducia nelle decisioni di AI e nelle organizzazioni che le utilizzano.
I creatori di AI possono ottenere un'AI trasparente e affidabile attraverso la divulgazione. Possono documentare e condividere la logica e il ragionamento dell'algoritmo di AI sottostante, gli input di dati utilizzati per addestrare il modello, i metodi utilizzati per la valutazione e la convalida del modello e altro ancora. Questo consente agli stakeholder di valutare l' accuratezza predittiva del modello rispetto a equità, deriva e distorsioni.
Un elevato livello di trasparenza è essenziale per un'AI responsabile. L'AI responsabile è un insieme di principi che aiutano a guidare la progettazione, lo sviluppo, l'implementazione e l'uso dell'AI. Considera il più ampio impatto sociale dei sistemi di AI e le misure necessarie per allineare queste tecnologie ai valori degli stakeholder, agli standard legali e alle considerazioni etiche.
Le applicazioni di AI come i chatbot di AI generativa, gli agenti virtuali e i motori di raccomandazioni sono ora utilizzati nel mondo ogni giorno da decine di milioni di persone. La trasparenza sul funzionamento di questi strumenti di AI probabilmente non è un problema per questo livello di processo decisionale a basso rischio: se il modello si rivelasse impreciso o distorto, semplicemente gli utenti potrebbero perdere del tempo oppure un potenziale guadagno.
Tuttavia, sempre più settori stanno adottando applicazioni di AI per dare forma al processo decisionale ad alto rischio. Ad esempio, l'AI ora aiuta le aziende e gli utenti a fare scelte negli investimenti, diagnosi mediche, decisioni in materia di assunzione, condanne penali e altro ancora. In questi casi, le potenziali conseguenze di output dell'AI distorti o imprecisi sono molto più pericolose. La gente può perdere i risparmi di una vita, opportunità di carriera o persino anni della propria vita.
Affinché gli stakeholder abbiano fiducia nel fatto che l'AI stia prendendo decisioni efficaci ed eque per loro conto, hanno bisogno di visibilità su come funzionano i modelli, sulla logica degli algoritmi e su come il modello viene valutato per accuratezza ed equità. Devono inoltre saperne di più sui dati utilizzati per addestrare e ottimizzare il modello, comprese le fonti dei dati e il modo in cui i dati vengono trattati, ponderati ed etichettati.
Oltre a creare fiducia, la trasparenza dell'AI favorisce la condivisione delle conoscenze e la collaborazione nell'intero ecosistema di AI, contribuendo ai progressi nello sviluppo dell'AI. Ed essendo trasparenti per impostazione predefinita, le organizzazioni possono concentrarsi maggiormente sull'uso delle tecnologie di AI per raggiungere gli obiettivi aziendali e preoccuparsi meno dell'affidabilità dell'AI.
La rete di requisiti normativi che circondano l'uso dell'AI è in continua evoluzione. I processi modello trasparenti sono fondamentali per la conformità a queste normative e per rispondere alle richieste di revisori, regolatori e validatori di modelli. L'EU AI Act è considerato il primo quadro normativo completo al mondo per l'AI.
L'EU AI Act
La legge sull'AI dell'Unione europea (UE) adotta un approccio alla regolamentazione basato sul rischio, applicando norme diverse all'AI a seconda del rischio che rappresentano. Proibisce alcuni usi dell'AI e implementa rigidi requisiti di governance, gestione del rischio e trasparenza per altri. Esistono ulteriori obblighi di trasparenza per tipi specifici di AI. Ad esempio:
- I sistemi di AI destinati a interagire direttamente con le persone dovrebbero essere progettati per informare gli utenti che stanno interagendo con un sistema di AI, a meno che questo non sia ovvio per l'individuo dal contesto. Un chatbot, ad esempio, dovrebbe essere progettato per far sapere agli utenti che si tratta di un chatbot.
- I sistemi AI che generano testo, immagini o altri contenuti devono utilizzare formati leggibili dalla macchina per contrassegnare gli output come generati o manipolati dall'AI. Questo include, ad esempio, l'AI che genera deepfake, immagini o video alterati per mostrare qualcuno che fa o dice qualcosa che non ha fatto o detto.
L'implementazione del Regolamento generale sulla protezione dei dati (GDPR) dell'UE ha portato altri Paesi ad adottare norme sulla privacy dei dati personali. Allo stesso modo, gli esperti prevedono che la legge sull'AI dell'UE stimolerà lo sviluppo di una governance dell'AI e di norme etiche in tutto il mondo.
Guida ai quadri per la trasparenza dell'AI
La maggior parte dei Paesi e delle regioni deve ancora emanare una legislazione o regolamenti completi sull'uso dell'AI; tuttavia, sono disponibili diversi quadri normativi completi. Sebbene non siano sempre applicabili, esistono per guidare la regolamentazione futura e lo sviluppo e l'uso responsabili dell'AI. Ecco alcuni esempi degni di nota:
- L'ordine esecutivo della Casa Bianca sullo sviluppo e l'uso sicuri e affidabili dell'AI: pubblicato il 30 ottobre 2023, l'ordine affronta la trasparenza in diverse sezioni. Nella Sezione 8 si affronta in particolare la protezione dei consumatori, dei pazienti, dei passeggeri e degli studenti. Incoraggia le agenzie di regolamentazione indipendenti a prendere in considerazione l'uso della loro autorità in materia per proteggere i consumatori americani dai rischi dell'AI, anche "enfatizzando o chiarendo i requisiti e le aspettative relative alla trasparenza dei modelli di AI e alla capacità delle entità regolamentate di spiegare il loro uso dei modelli AI". 1
- Il Blueprint for an AI Bill of Rights: il Blueprint è un insieme di cinque principi e pratiche associate per aiutare a guidare la progettazione, l'uso e l'implementazione dei sistemi di AI. Il quarto principio, "Avviso e spiegazione", riguarda direttamente la trasparenza: "I progettisti, gli sviluppatori e gli implementatori di sistemi automatizzati dovrebbero fornire una documentazione in linguaggio semplice e generalmente accessibile che includa descrizioni chiare del funzionamento generale del sistema e del ruolo svolto dall'automazione, notare che tali sistemi sono in uso, l'individuo o l'organizzazione responsabile del sistema e spiegazioni dei risultati che siano chiare, tempestive e accessibili".2
- Il Quadro politico globale del Processo di Hiroshima sull'AI: lanciato nel 2023 in seguito allo sviluppo del Vertice di Hiroshima del G7, il Processo di Hiroshima sull'AI è un insieme di principi guida per lo sviluppo mondiale di sistemi avanzati di AI che promuovono un'AI sicura, protetta e affidabile. Il quadro invita le organizzazioni a rispettare 11 principi, molti dei quali incoraggiano la "pubblicazione di rapporti sulla trasparenza" e la "condivisione responsabile delle informazioni".3
La trasparenza dell'AI è strettamente correlata ai concetti di spiegabilità e interpretabilità dell'AI. Questi concetti forniscono spunti che aiutano ad affrontare l'annoso problema della "black box", ovvero il problema pratico ed etico che i sistemi di AI sono così sofisticati da essere impossibili da interpretare per gli esseri umani. Tuttavia, hanno definizioni e casi d'uso distinti:
- Spiegabilità dell'AI: come è arrivato il modello a questo risultato?
- Interpretabilità dell'AI: come prende le decisioni il modello?
- Trasparenza dell'AI: come è stato creato il modello, quali dati lo hanno addestrato e come prende le decisioni?
Spiegabilità dell'AI: come è arrivato il modello a quel risultato?
Spiegabilità dell'AI, o AI spiegabile (XAI), è un insieme di processi e metodi che consentono agli utenti umani di comprendere e ritenere affidabili i risultati e gli output creati dai modelli di apprendimento automatico. La spiegabilità del modello esamina il modo in cui un sistema AI arriva a un risultato specifico e aiuta a caratterizzare la trasparenza del modello.
Interpretabilità dell'AI: come prende le decisioni il modello?
L'interpretabilità dell'AI si riferisce alla possibilità di rendere il processo complessivo dell'AI comprensibile per un essere umano. L'interpretabilità dell'AI fornisce informazioni significative sulla logica sottostante, sulla significatività e sulle conseguenze previste del sistema di AI. È la percentuale di successo del risultato di un output AI che gli esseri umani possono prevedere. La spiegabilità, invece, compie un ulteriore passo avanti per analizzare in che modo il modello AI è giunto al risultato.
Trasparenza dell'AI: come è stato creato il modello, quali dati lo hanno addestrato e come prende le decisioni?
La trasparenza dell'AI va oltre la semplice spiegazione dei processi decisionali dell'AI. Comprende i fattori legati allo sviluppo dei sistemi di AI e al loro impiego, come i dati di formazione dell'AI e chi vi ha accesso.
Sebbene la trasparenza dell'AI differisca in base al caso d'uso, all'organizzazione e al settore, esistono alcune strategie che le aziende potrebbero tenere a mente quando creano sistemi di AI. Ad alto livello, queste strategie includono l'adozione di principi chiari di fiducia e trasparenza, la messa in pratica di tali principi e la loro integrazione nell'intero ciclo di vita dell'AI.
Una strategia più specifica per la trasparenza dell'AI consiste in una divulgazione completa in ogni fase del ciclo di vita dell'AI. Per garantire la divulgazione, le organizzazioni devono stabilire quali informazioni condividere e come farlo.
Informazioni necessarie nella documentazione sulla trasparenza dell'AI
Il modello di caso d'uso, il settore, il pubblico e altri fattori contribuiranno a stabilire quali informazioni è necessario divulgare. Ad esempio, gli usi più elevati dell'AI (come le valutazioni dei mutui) richiederanno probabilmente una divulgazione più completa rispetto alle applicazioni a rischio inferiore (come la classificazione audio per gli assistenti virtuali).
La divulgazione potrebbe includere tutte o alcune delle seguenti informazioni sul modello:
- Nome del modello
- Scopo
- Livello di rischio
- Modello di politica
- Generazione del modello
- Dominio previsto
- Dati di addestramento
- Accuratezza nei test e nella formazione
- Distorsione
- Metriche di resistenza agli attacchi
- Metriche di equità
- Metriche di spiegabilità
- Recapiti
Ogni ruolo nel ciclo di vita dell'AI può contribuire alle informazioni, distribuendo la responsabilità nell'ecosistema piuttosto che a un singolo individuo. Sono disponibili strumenti e piattaforme software che possono aiutare ad automatizzare la raccolta di informazioni e altre attività di governance dell'AI.
Come condividere le informazioni sulla trasparenza dell'AI
Le organizzazioni possono presentare informazioni sulla trasparenza dell'AI in vari formati, come documenti stampati o video. Il formato dipende sia dal pubblico, sia dal caso d'uso. Le informazioni sono destinate a un consumatore e quindi devono essere facilmente assimilabili? Oppure sono destinate a un data scientist o a un regolatore e quindi necessitano di un elevato livello di dettagli tecnici?
I formati potrebbero includere:
- Un documento in evoluzione modellato sulla dichiarazione di conformità del fornitore (SDoC), un documento utilizzato in numerosi settori per dimostrare che un prodotto è conforme a determinati standard o regolamenti tecnici
- Pagine ufficiali di politica sul sito Web dell'azienda che descrivono in dettaglio come l'organizzazione sta mettendo in atto iniziative di AI trasparenti
- Risorse didattiche come documenti e video per aiutare gli utenti a capire come viene utilizzata l'AI nei prodotti e nei servizi e come influisce sull'esperienza del cliente
- Dibattito pubblico con il punto di vista etico dell'organizzazione sull'AI attraverso attività ufficiali di pubbliche relazioni, eventi, social media e altre comunicazioni.
- Documenti di ricerca, serie di dati e altre comunicazioni basate sui dati per offrire insight sull'uso, lo sviluppo e i vantaggi dell'AI nel settore o nei casi d'uso dell'organizzazione.
Le pratiche di AI trasparenti presentano numerosi vantaggi, ma sollevano anche problemi di sicurezza e privacy. Ad esempio, più informazioni vengono fornite sul funzionamento interno di un progetto di AI, più facile sarà per gli hacker individuare e sfruttare le vulnerabilità. OpenAI ha affrontato proprio questa sfida nel suo rapporto tecnico GPT-4, affermando:
"Dato sia il panorama competitivo, sia le implicazioni sulla sicurezza dei modelli su larga scala come GPT-4, questo report non contiene ulteriori dettagli sull'architettura (compresa la dimensione del modello), sull'hardware, sul calcolo di addestramento, sulla costruzione di set di dati, sul metodo di addestramento o simili."4
La citazione rivela anche un'altra sfida alla trasparenza dell'AI: il compromesso tra trasparenza e protezione della proprietà intellettuale. Altri ostacoli potrebbero includere la difficoltà di spiegare in modo chiaro programmi complessi e intricati e algoritmi di apprendimento automatico (come le reti neurali) a persone non esperte, nonché la mancanza di standard di trasparenza a livello globale per l'AI.
Dirigi, gestisci e monitora le attività di AI della tua organizzazione.
Il nostro team globale e diversificato, composto da oltre 20.000 esperti di AI, può aiutarti a progettare e a scalare in modo rapido e sicuro soluzioni AI all'avanguardia e l'automazione in tutta la tua azienda.
IBM Research sta sviluppando strumenti per rendere l'AI più spiegabile, equa, solida, privata e trasparente.
Gestisci i requisiti di conformità normativa e di governance interna con i servizi IBM Cloud.
Un FactSheet è una raccolta di informazioni pertinenti (fatti) sulla creazione e la distribuzione di un modello o di un servizio di AI.
L'EU AI Act è una legge che regolamenta lo sviluppo e/o l'utilizzo dell'AI nell'UE.
La distorsione algoritmica si verifica quando errori sistematici negli algoritmi di apprendimento automatico producono risultati iniqui o discriminatori.
L'AI responsabile è un insieme di principi che aiutano a guidare la progettazione, lo sviluppo, l'implementazione e l'uso dell'AI.
Note a piè di pagina
Tutti i link sono esterni a ibm.com
1. "Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence", la Casa Bianca, 30 ottobre 2023.
2. “Notice and Explanation", la Casa Bianca.
3. "Principi guida internazionali del processo di Hiroshima per le organizzazioni che sviluppano sistemi avanzati di AI", Ministero degli Affari Esteri del Giappone, 2023.
4. "GPT-4 Technical Report", arXiv, 15 marzo 2023.