La governance dell'AI è la capacità di monitorare e gestire le attività di AI all'interno di un'organizzazione. Include processi e procedure per tracciare e documentare l'origine dei dati e dei modelli implementati all'interno dell'azienda, nonché le tecniche utilizzate per addestrare, convalidare e monitorare la continua accuratezza dei modelli. Una governance dell'AI efficace offre alle aziende tre risultati chiave:
Conformità. Contribuisce a garantire che le soluzioni di AI e le decisioni prese con l'AI siano coerenti con le pratiche accettate dal settore, così come con gli standard normativi e i requisiti legali.
Fiducia. Aumenta la fiducia nelle decisioni fornite dall'AI contribuendo a garantire che i modelli AI siano spiegabili ed equi.
Efficienza. Migliora il time-to-market e riduce i costi di sviluppo dell'AI standardizzando e ottimizzando le pratiche di sviluppo e implementazione dell'AI.
Le aziende che non adottano la governance dell'AI rischiano molteplici conseguenze negative. Il processo di machine learning è iterativo e richiede collaborazione. Senza una buona governance e documentazione, i data scientist o i validator non possono essere sicuri della genealogia dei dati di un modello o di come il modello è stato costruito. Produrre risultati può essere difficile. Se gli amministratori addestrano un modello utilizzando dati errati o incompleti, mesi di lavoro potrebbero andare persi.
La mancanza di governance dell'AI può anche comportare sanzioni significative. Alcune banche hanno ricevuto multe a sette cifre per avere utilizzato modelli distorti nella determinazione dell'idoneità a ricevere prestiti. L’UE prevede di aggiungere regole sull’AI al Regolamento generale sulla protezione dei dati (GDPR). Le violazioni del GDPR attualmente possono "comportare una multa fino a 20 milioni di euro, o il 4% del fatturato annuo mondiale dell'azienda rispetto all'esercizio finanziario precedente, a seconda di quale importo sia superiore".
Anche la reputazione del brand è a rischio. Un esperimento ha utilizzato un software di AI per apprendere i modelli di linguaggio dei giovani sui social media. I funzionari amministrativi hanno rimosso il software rapidamente dopo che i troll di internet hanno "insegnato" allo strumento come creare post razzisti, sessisti e antisemiti.
Architettura concettuale
Il diagramma sopra mostra i componenti principali di una soluzione di governance dell'AI per una soluzione di AI generativa che utilizza un modello linguistico di grandi dimensioni (LLM).
Il componente Model Governance è il "centro di smistamento" centrale per la governance dell'AI. Fornisce dashboard, report e funzionalità di avviso utilizzate dal personale aziendale per garantire, verificare e segnalare che i modelli AI soddisfano i requisiti di equità, trasparenza e conformità. Il componente Model Governance dei modelli consente inoltre alle aziende di stabilire criteri di gating e altre regole che influiscono sui tempi e sulle modalità con cui i modelli passano dallo sviluppo alla produzione.
Il componente Model Monitoring monitora attivamente l'output dei modelli per garantire che i modelli siano spiegabili, equi e conformi alle normative e rimangano tali quando vengono implementati. Se i modelli iniziano a deviare o presentano distorsioni nei loro output, il componente Model Monitoring li segnala affinché siano esaminati dal personale addetto alle operazioni di AI.
Procedura dettagliata concettuale
Il seguente diagramma illustra le interazioni di alto livello tra i componenti per garantire la governance dell'AI.
Una panoramica della governance dell'AI che mostra il flusso di informazioni e le interazioni tra i componenti per lo sviluppo del modello e il monitoraggio continuo.
I membri del team di governance aziendale utilizzano il componente Model Governance per (i) visualizzare i modelli di AI (foundation e non-foundation) implementati all'interno dell'azienda su infrastrutture private, hyperscaler e piattaforme basate su cloud e (ii) impostare criteri operativi minimi e altre policy per i modelli da implementare e gestire all'interno dell'azienda. I criteri e i controlli delle policy vengono propagati al componente Model Monitoring per il monitoraggio e gli avvisi successivi.
Un prompt Model Developer adatta un modello linguistico di grandi dimensioni (LLM) e valuta la risposta del modello ai prompt di prova. I risultati di questi test, insieme alle statistiche di riepilogo, vengono acquisiti e propagati al componente Model Monitoring, dove vengono registrati per fornire il modello e il data lineage.
Un Model Validator controlla i risultati dell'ottimizzazione e dei test e, con l'aiuto del componente Model Monitoring, li confronta con i criteri e i controlli di gating stabiliti dal team di governance aziendale. Una volta soddisfatti i criteri e i controlli, il modello viene approvato per l'uso in produzione.
Uno Model Developer utilizza il componente Model Monitoring per monitorare le prestazioni del modello nel tempo; in particolare, il Developer cerca di garantire che le risposte del modello continuino a soddisfare i criteri aziendali di equità (assenza di bias), accuratezza (risposte corrette) e trasparenza (risposte spiegabili).
Il componente Model Monitoring monitora costantemente i modelli AI implementati (foundation/generativi e modelli di machine learning "tradizionali") per acquisire statistiche relative all'accuratezza e alle prestazioni.
Il componente di monitoraggio dei modelli acquisisce anche i prompt degli utenti e le risposte del modello per (i) prevenire ulteriormente la deriva del modello (deviazioni nel bias e/o nella precisione del modello) e (ii) acquisire i dati di test e agevolare l'individuazione di aree tematiche o domini di dati in cui sarà utile un'ulteriore messa a punto.
L'attuale soluzione IBM
La mappatura attuale di IBM watsonx.governance e le soluzioni IBM OpenPages al modello concettuale sono mostrate nel diagramma seguente. I foundation model in esecuzione sul toolkit end-to-end watsonx.ai, on-premise, su un'infrastruttura basata su cloud o su piattaforme di AI di terze parti come Amazon Sagemaker, sono monitorati in fase di esecuzione da watsonx.governance. watsonx.governance fornisce anche funzionalità per creare, aggiornare e gestire schede sul modello, note come AI Factsheet all'interno di watsonx.governance, e catturare e segnalare metriche delle prestazioni dei modelli. Il modulo Model Risk Management di IBM OpenPages offre funzionalità di reportistica e gestione del rischio, oltre a funzionalità di gestione delle policy di sviluppo e implementazione del componente Model Governance.
Un'illustrazione di come IBM OpenPages e IBM watsonx.governance si inseriscono nella soluzione, fornendo rispettivamente funzionalità di Model Governance e Model Monitoring.
Il futuro delle soluzioni di prodotto IBM
watsonx.governance fornirà in futuro funzionalità di governance dei modelli e di monitoraggio dei modelli.
Un'illustrazione di come IBM watsonx.governance fornirà funzionalità di Model Governance e Model Monitoring nel prossimo futuro.
La governance delle soluzioni di AI generativa è simile a quella dei modelli AI "tradizionali", ma le loro funzionalità generative richiedono una gestione più attenta degli input e degli output dei modelli rispetto ai modelli tradizionali, per evitare prompt inappropriati o dannosi e per garantire che i modelli producano output corretti e accettabili. Questa sezione illustra come IBM watsonx.governance viene applicato ai foundation model in due casi d'uso principali: gestione del ciclo di vita dei modelli e conformità normativa e del rischio del modello.
Gestione del ciclo di vita del modello
Una panoramica della soluzione che mostra le interazioni degli utenti e di altri componenti con IBM watsonx.governance per gestire il ciclo di vita del modello AI.
Il diagramma sopra riportato illustra come watsonx.governance viene utilizzato per gestire il ciclo di vita del modello dal test e la convalida iniziali fino all'implementazione.
Un prompt di Model Developer adatta un modello nella soluzione on-premise watsonx.ai, nel servizio watsonx.ai o su un'altra piattaforma on-premise o basata su cloud e sviluppa e testa i prompt in base a esso.
I dati dei prompt e delle risposte del modello, insieme alle metriche delle prestazioni del modello, come ROUGE, SARI, Chrf e BLEU, vengono catturati nella funzionalità watsonx.governance di gestione dell'inventario del modello. Vengono acquisite più versioni dei prompt e dei dati di risposta, per consentire un confronto incrociato e la selezione della combinazione di modello e prompt che meglio soddisfa i requisiti dell'azienda.
Un validatore di modelli esamina i risultati delle singole combinazioni di prompt e modello e seleziona una versione da approvare per la distribuzione in produzione.
Gli sviluppatori di modelli utilizzano la stessa funzionalità per monitorare le combinazioni modello / prompt e le loro prestazioni per specifici casi d'uso aziendali.
Rischi e conformità normativa del modello
Di seguito viene illustrato il percorso dei componenti per i rischi e la conformità normativa del modello all'interno di watsonx.governance.
Una panoramica della soluzione che mostra le interazioni degli utenti e di altri componenti con IBM OpenPages e IBM watsonx.governance per gestire i rischi dei modelli e mantenere la conformità normativa.
I membri del team di governance dell'AI dell'azienda determinano e stabiliscono i criteri, specificati come minimo, massimo e varianze consentite delle metriche, come ROUGE, che devono essere soddisfatte dai modelli in produzione. Questi criteri sono stabiliti all'interno dello strumento IBM OpenPages Model Risk Management e successivamente propagati a watsonx.governance.
Un Model Developer adatta e sviluppa i prompt dei test rispetto a un foundation model implementato all'interno della soluzione on-premise watsonx.ai, del servizio watsonx.ai o su un'altra soluzione on-premise o cloud come Sagemaker.
Le informazioni dei prompt e i dati di risposta del modello, insieme alle metriche di performance del modello, vengono propagati a watsonx.governance dove le metriche sono confrontate con le soglie stabilite dal team di governance.
I risultati del confronto delle metriche vengono trasmessi a IBM OpenPages ai fini del controllo e della reportistica da parte del team di governance. In particolare, se la combinazione prompt/modello soddisfa tutti i criteri impostati, può essere contrassegnata come pronta per la produzione o priva di rischi. Se il modello soddisfa solo alcuni dei criteri, potrebbe essere contrassegnato come potenzialmente poco performante e non ancora adatto alla produzione, a seconda della severità con cui il team di governance ha definito la policy.
Decisioni e considerazioni sull'architettura
Prevedi un meccanismo per rendere operativa l'AI iin tutta sicurezza. La valutazione del modello durante lo sviluppo e l'implementazione è fondamentale per verificare che le risposte dell'LLM non siano il risultato di un'allucinazione e che siano prive di parole offensive o che incitano all'odio. Assicurati che le risposte dell'LLM siano spiegabili, etiche, affidabili e imparziali. Le metriche di qualità per gli LLM sono molto diverse dai modelli AI tradizionali e il data scientist è in grado di scegliere le metriche giuste in modo coerente.
Le soluzioni di AI generativa implementate devono essere coerenti, senza che alcuna distorsione o deriva sia stata introdotta nel tempo. Non è raro che un'azienda utilizzi LLM diversi su cloud diversi, perciò la possibilità di una governance generale centralizzata è fondamentale. Avere un approccio di governance in vari ambienti di distribuzione su più cloud è una considerazione fondamentale.
Garantire che le applicazioni di AI generativa implementate siano aggiornate e conformi alle normative di settore in continua evoluzione. Ottenere la visibilità di tutti i modelli e dello stato di salute implementati dall'azienda in un'unica visualizzazione.
Assicurati che nei dati di addestramento non venga utilizzato alcun linguaggio scurrile, offensivo e volgare. Inoltre, essere in grado di indennizzare l'azienda da qualsiasi utilizzo di dati proprietari, garantendo al contempo che non vi siano fughe di dati PII o IP. Essere in grado di controllare e ottenere il data lineage per una soluzione di AI generativa è fondamentale.
Questo descrive come un modello RAG viene implementato end-to-end con funzionalità di monitoraggio e governance per tutto il ciclo di vita. Oltre alla governance dei modelli, è importante anche la governance dei dati. Dimostriamo come, utilizzando componenti IBM watsonx.governance come AI OpenScale, FactSheets e IBM Open Pages possiamo garantire che le applicazioni di AI generativa siano gestite e governate. L'IBM Watson Knowledge Catalog consente una corretta gestione dei dati, inclusa la catalogazione dei dati, il data lineage e la gestione dei dati PII.
L'architettura di AI generativa di IBM è l'architettura generale di AI generativa in IBM IT Architect Assistant (IIAA), uno strumento di sviluppo e gestione dell'architettura. Utilizzando IIAA, gli architetti possono elaborare e personalizzare l'architettura per creare le proprie soluzioni di AI generativa.