Che cos'è la gestione dell'AI?

I sistemi di intelligenza artificiale si comportano in modo diverso rispetto al software tradizionale. Un programma software convenzionale segue istruzioni esplicite per produrre un output deterministico: fornire lo stesso input nelle stesse circostanze a un programma tradizionale produrrà sempre lo stesso output. Un sistema basato su AI produce output probabilistici guidati da machine learning: il suo output potrebbe variare anche se l'input e le circostanze rimangono invariate.

Questa logica dinamica è particolarmente potente, ma l'imprevedibilità che comporta nasconde potenziali rischi. Ad esempio, le organizzazioni affrontano rischi reputazionali derivanti da output distorti o dannosi. Le allucinazioni dell'AI non controllate o non notate presentano la loro ampia suite di rischi, che vanno dal semplice fastidio o confusione degli utenti alle imprecisioni in scenari mission-critical con conseguenze importanti. Gli attacchi avversari basati su AI o i set di dati compromessi possono introdurre rischi di cybersecurity. Il mancato rispetto delle normative sull'AI in un contesto in rapido cambiamento comporta rischi finanziari e legali.

Un AIMS è progettato per prevedere e tenere conto di tali rischi. In termini più tangibili, un AIMS può essere inteso come politiche e protocolli per l'embedding di una governance dell'AI in qualsiasi workflow rilevante per l'uso di strumenti e prodotti basati sull'AI da parte di un'organizzazione. Ciò include misure quali valutazioni proattive standardizzate del rischio, meccanismi di segnalazione, controlli di routine e monitoraggio in tempo reale degli output e delle prestazioni dei modelli.

Eseguiti bene, i sistemi di gestione dell'AI non solo mitigano i rischi, ma ottimizzano anche l'efficienza operativa e rafforzano la fiducia tra sviluppatori, utenti finali e altri stakeholder il cui consenso è essenziale per un'adozione efficace dell'AI.

Un sistema completo di gestione dell'intelligenza artificiale dovrebbe occuparsi dei seguenti aspetti:

Chi potrebbe essere coinvolto nelle controversie relative all'equità e alle distorsioni, e in che modo ne risentirebbe? Il tuo progetto AI potrebbe involontariamente causare discriminazione? A parte i requisiti normativi, quali sono le tue responsabilità etiche riguardo alla privacy dei dati e alla trasmissione accurata delle funzionalità e dei limiti del sistema? Una trasparenza sincera su tali questioni etiche mantiene la fiducia degli stakeholder e migliora il processo decisionale in futuro.

Quali sono le minacce specifiche inerenti allo sviluppo o alla distribuzione della tua applicazione AI? Ad esempio, l'uso di strumenti di AI nei settori sanitario o giuridico deve tenere conto delle conseguenze normative, mentre gli errori dell'AI nei contesti del servizio clienti rischiano conseguenze reputazionali. Dato che la mitigazione di queste minacce è uno degli scopi principali del tuo AIMS, l'identificazione dei rischi specifici dell'AI derivanti dal tuo caso d'uso dovrebbe essere uno dei primi e più importanti passaggi del processo.

Una corretta governance dei dati è essenziale per mantenere la qualità e la sicurezza costanti dei dati utilizzati per addestrare modelli AI (e dei dati da essi generati). È particolarmente importante nei settori che richiedono la conformità ai framework. Ad esempio, se un utente rivendica il suo "diritto all'oblio" derivato dal GDPR, il tuo sistema deve consentire di individuare e cancellare facilmente i dati di quella persona. I sistemi che operano in contesti sanitari devono salvaguardare le informazioni sensibili in conformità ai requisiti HIPAA.

I protocolli e le politiche per affrontare queste considerazioni devono essere integrati non solo nello sviluppo e nell'implementazione iniziale dei sistemi di AI, ma anche nella loro manutenzione. Una corretta gestione del ciclo di vita dell'AI è necessaria per individuare e attenuare i rischi introdotti dalla deriva del modello o da altre problematiche che possono emergere nel tempo.

Una strategia per interrogare attivamente lo stato di salute del tuo sistema AI nel tempo è uno dei mezzi più importanti per mantenere gli obiettivi che il tuo AIMS dovrebbe contribuire a raggiungere. La struttura specifica e la frequenza dei controlli di routine sono tra le considerazioni operative più importanti della gestione dell' AI.

A chi spetta il compito di attuare e supervisionare tutto ciò? È necessario definire chiaramente i ruoli e le responsabilità di ciascuno affinché una strategia di gestione dell'AI non rimanga solo una buona idea sulla carta, ma diventi uno strumento in grado di tutelare attivamente l'innovazione nel campo dell'AI all'interno della tua organizzazione.

Stabilire questi principi e processi nelle prime fasi dello sviluppo dell'AI aiuta a ottimizzare e snellire il processo decisionale in seguito.

Esistono molti modi per implementare una gestione efficace dell'AI, e alcune organizzazioni potrebbero scegliere di adottare approcci completamente su misura per le loro iniziative di gestione dell'AI. Tuttavia, per molti sarà utile attenersi (o almeno trarre ispirazione) da framework come ISO 42001, il NIST AI Risk Management Framework o i principi prescritti dall'EU AI Act.

ISO 42001 (abbreviazione di ISO/IEC 42001:2023) è il primo standard internazionale al mondo per stabilire, implementare, mantenere e continuare a migliorare AIMS. Sviluppato nel 2023, l'obiettivo dichiarato dell'ISO 42001 è offrire alle organizzazioni "la guida completa di cui hanno bisogno per utilizzare l'AI in modo responsabile ed efficace, anche se la tecnologia è in rapida evoluzione". Le organizzazioni possono richiedere la certificazione formale ISO 42001, che prevede un controllo di terze parti su sistemi e processi per valutarne la conformità alle pratiche di AI prescritte dall'ISO 42001.

Più specificamente, l'ISO 42001 prescrive uno standard di sistema di gestione (MSS) per una solida governance organizzativa dell'AI utilizzando il ciclo di Deming (Plan-Do-Check-Act).

La fase Plan è quella in cui un AIMS definisce le regole di funzionamento del tuo sistema AI.

• Contesto e ambito: definisce esattamente cosa fanno e cosa non fanno i tuoi strumenti di AI. Ad esempio, potresti specificare che un chatbot di supporto clienti può rispondere a domande di supporto o segnalare problemi a un essere umano, ma non può autorizzare direttamente i rimborsi. 

• Valutazione del rischio: traccia le minacce specifiche derivanti da quel contesto e ambito. Ad esempio, il bot del supporto clienti potrebbe inventarsi una politica aziendale, causando confusione o aspettative fuorvianti. L'atlante del rischio AI di IBM può aiutarti a iniziare.

• Definizione degli obiettivi: definisce metriche tangibili per stabilire cosa si intende per "successo". Questo dipende generalmente dal problema che stai cercando di risolvere implementando strumenti di AI. Se l'obiettivo del tuo progetto di AI è quello di liberare la larghezza di banda dei dipendenti per query più complesse, ad esempio, potresti definire il successo come una certa percentuale di casi risolti senza bisogno di ulteriore intervento umano. 

Nella fase Do, i principi e gli obiettivi definiti nella fase precedente vengono resi operativi in un effettivo workflow di sviluppo dell'AI.

• Le potenziali minacce dovrebbero essere prese in considerazione nelle politiche di governance dei dati.

• Dovrebbero essere istituite guardrail di sicurezza e ridondanze per prevenire rischi noti.

• L'automazione della valutazione delle prestazioni del sistema, ove possibile, minimizza il lavoro necessario per misurare oggettivamente il successo e successivamente migliorare il sistema.

Il sistema di AI dovrebbe essere attivamente supervisionato. Ogni azione intrapresa dal sistema deve essere registrata, al fine di facilitarne la spiegabilità. Se un determinato risultato del sistema AI è in qualche modo preoccupante o insoddisfacente, può essere migliorato solo se si riesce a identificare esattamente dove si sono verificati gli errori nel processo.

I controlli di routine dovrebbero garantire che i team seguano i protocolli AIMS e che lo facciano in modo concreto, non solo a livello formale.

Quando si verificano incidenti, è in atto un sistema per interrompere il lavoro e apportare i miglioramenti necessari. Se le verifiche rivelano salvaguardie inadeguate, problemi imprevisti o vulnerabilità emergenti di sicurezza, vengono adottate nuove misure per affrontarle.

Il National Institute of Standards and Technology (NIST) è un'agenzia con sede all'interno del Dipartimento del Commercio degli Stati Uniti. Il framework di gestione del rischio dell'AI (AI RMF) del NIST è un playbook adattabile per un uso responsabile dell'AI, integrato da una vasta letteratura di materiali di supporto tra cui:

• Il Playbook AI RMF, che fornisce suggerimenti sulle azioni da intraprendere per raggiungere i risultati definiti nel modello AI RMF vero e proprio.

• La roadmap AI RMF, che mira a "colmare le lacune nella conoscenza, nella pratica o nell'orientamento", con l'obiettivo di identificare modi per rafforzare l'AI RMF stesso e la capacità del NIST di aiutare le organizzazioni del settore pubblico e privato a metterlo in atto.

• I crosswalk AI RMF, che sono progettati per aiutare le organizzazioni a mappare le pratiche esistenti ai concetti e ai termini in una varietà di framework di gestione dell'AI, tra cui (ma non solo) ISO 42001.

• Casi d'uso nel governo, nei settori e nel mondo accademico.

Il playbook AI RMF utilizza una metodologia Govern, Map, Measure, Manage.

Viene istituito un "comitato per i rischi dell'AI". Questo comitato definisce la "tolleranza al rischio" dell'organizzazione e produce un documento di Politica sui rischi dell'AI, che deve essere firmato dai vertici aziendali e specifica esplicitamente chi è responsabile di eventuali fallimenti dell'AI.

Una fase di scoperta identifica i rischi specifici relativi sia agli strumenti di AI che al modo in cui le persone li utilizzeranno. Questo processo produce infine il profilo di rischio, che elenca in dettaglio ogni minaccia identificata.

Ogni minaccia mappata è quantificata in termini di come potrebbe influenzare l'azienda o i suoi clienti. Questo tipicamente comporta il red teaming e lo stress teaming, che producono un rapporto TEVV (Test, Evaluation, Verification e Validation) che funziona come "scheda di valutazione" per l'accuratezza e l'affidabilità del sistema.

I problemi e le potenziali vulnerabilità riscontrate durante la fase di misurazione vengono affrontati e tenuti in considerazione.

Mentre ISO 42001 e il NIST AI RMF sono framework volontari, le disposizioni dell'EU AI Act sono prescrizioni obbligatorie per qualsiasi organizzazione coinvolta nello sviluppo e nella distribuzione di sistemi di AI nel mercato UE.

Le disposizioni dell'EU AI Act includono:

• Documentazione tecnica obbligatoria per l'addestramento, il collaudo e la valutazione dei modelli.

• La comunicazione delle funzionalità e dei limiti dei modelli AI in questione a tutti i fornitori a valle che ne faranno uso.

• Conformità alla direttiva UE sul copyright

• Riepiloghi pubblici dei dati di addestramento

Se un modello AI supera le 1.025 operazioni in virgola mobile (FLOP, Floating Point Operation) durante l'addestramento, è considerato un rischio sistemico e diventa soggetto a ulteriori salvaguardie.

L'UE fornisce strumenti e risorse per aiutare le aziende a rispettare l'AI Act, tra cui uno strumento di verifica interattivo della conformità che specifica quali disposizioni si applicano alla tua azienda, una breve guida alle imprese per piccole e medie imprese (PMI) e una serie di articoli specifici per tema.