Cos'è la convalida del modello?

Invece di chiedersi semplicemente: "Il modello produce una risposta?", la convalida del modello chiede se la progettazione, le assunzioni, i dati, l'implementazione, gli output, le limitazioni e il comportamento costante del modello siano sufficientemente affidabili per le decisioni che le persone prenderanno con questo.

La convalida del modello consente alle aziende di ridurre il rischio del modello, il rischio che un modello produca risultati non accurati, distorti, instabili, non sicuri o usati in modo improprio, valutando proattivamente quanto bene il modello svolge i propri compiti.

Per una semplice convalida, agli sviluppatori di modelli è sufficiente valutare il modello candidato rispetto a un insieme di convalida, l'insieme di esempi che ingegneri di apprendimento automatico (ML) e data scientist usano per verificare quanto bene un modello stia apprendendo, durante lo sviluppo.

Tuttavia, a livello di gestione del rischio del modello, la convalida del modello è molto più ampia. Solitamente, la convalida dei modelli aziendali è una valutazione indipendente dell'intero ciclo di vita del modello. Il modello di apprendimento automatico (ML) viene esaminato da persone che non sono i creatori del modello e la revisione interessa il modo in cui il modello è stato sviluppato, lanciato, utilizzato, monitorato, modificato e, infine, ritirato.

Un processo di convalida efficace stabilisce cinque elementi.

1. Il modello di apprendimento automatico (ML) ha uno scopo chiaro e una popolazione, un ambito e un contesto decisionale definiti.
2. L'approccio concettuale (il metodo di mappatura input-output sottostante, la logica e le ipotesi) del modello è adeguato a tale scopo.
3. I dati utilizzati dal modello e la sua implementazione sono accurati e controllati.
4. Il modello funziona adeguatamente su dati pertinenti, inclusi dati non visti durante lo sviluppo.
5. L'organizzazione capisce i limiti del modello e agisce se le prestazioni peggiorano.

La rigorosità del processo di convalida del modello corrisponde tipicamente allo scopo del modello. Uno strumento di previsione interno a basso impatto non ha bisogno di un'analisi approfondita come quella di un modello che approva i mutui o rileva transazioni bancarie fraudolente.

È importante sottolineare che la convalida del modello non è un evento di approvazione una tantum. Anche se inizialmente sono efficaci, i modelli possono derivare e degradarsi dopo il rilascio, per cui la convalida costante dei modelli di apprendimento automatico (ML) è spesso integrata nelle pratiche di governance dell'AI di un'azienda.

Secondo il NIST AI Risk Management Framework, i pilastri del modello di fiducia includono validità e affidabilità, sicurezza e resilienza, responsabilità e trasparenza, spiegabilità e interpretabilità, miglioramento della privacy e gestione dell'equità e dei pregiudizi.

La convalida del modello per la machine learning aiuta a stabilire e mantenere la fiducia nel modello (il livello di fiducia giustificata che un modello si comporterà in modo appropriato). Le aziende prendono decisioni in base agli output dei modelli di apprendimento automatico (ML), per cui la fiducia nei modelli non è solo un obiettivo di reputazione. È fondamentale per un utilizzo sicuro, efficace e scalabile dell'AI. Di fatto, gli obiettivi di affidabilità del modello spesso influenzano le pratiche di convalida del modello stesso.

Inoltre, un modello non può essere considerato affidabile semplicemente perché il suo sviluppatore lo chiama "AI responsabile". I modelli devono essere in grado di svolgere i propri compiti in modo affidabile, proteggere persone e dati, resistere agli usi impropri ed essere compresi e governati. Questo livello di fiducia deve essere guadagnato attraverso controlli dimostrabili e una raccolta persistente di prove durante la convalida del modello AI.

Un modo ampiamente adottato per comprendere i pilastri della fiducia nei modelli è l'AI Risk Management Framework del del National Institute of Standards and Technology (NIST)). Individua sette caratteristiche interdipendenti dell'AI affidabile.

Un modello affidabile deve essere valido per il suo compito e affidabile nel tempo, in tutte le condizioni previste. La validità chiede se il modello sta effettivamente misurando, prevedendo, classificando o generando quanto afferma.

L'affidabilità chiede se il modello funziona in modo costante e affidabile quando riceve input comparabili, inclusi input provenienti da utenti, ambienti, fonti di dati e periodi di tempo diversi.

Il pilastro della sicurezza si concentra sulla possibilità che il modello possa causare danni a persone, cose, organizzazioni o alla società, anche quando tecnicamente funziona nel modo previsto.

Un modello può essere al contempo accurato ma non sicuro. Ad esempio, il chatbot di un customer service potrebbe recuperare correttamente le informazioni degli account, ma se può essere manipolato per esporre dati sensibili, risulta comunque pericoloso per l’implementazione. La sicurezza richiede ai team di individuare i danni prevedibili prima dell'implementazione e di indirizzarli in modo proattivo attraverso la progettazione del sistema.

La sicurezza protegge il modello, i suoi dati, le sue interfacce e l'applicazione circostante da accessi o manipolazioni dannose. Per i sistemi AI moderni, la superficie di attacco si estende ben oltre i pesi del modello. Include anche dati di addestramento, fonti di recupero, prompt, application programming interface (API), plug-in, identità utente, implementazione, log e supply chain. I controlli di sicurezza devono essere in grado di gestire l'intera superficie di attacco.

La resilienza si riferisce alla capacità del modello di continuare a funzionare in tutta sicurezza, di recuperare adeguatamente o di non riuscire senza provocare danni gravi se qualcosa va storto. Questo significa convalidare che i modelli siano in grado di gestire interruzioni non dannose e attacchi informatici. In un contesto ad alto impatto, fallire in modo sicuro è spesso più importante che rimanere semplicemente disponibili.

Responsabilità significa che i proprietari nominati sono responsabili della progettazione, dell'implementazione, dei risultati e della correzione del modello. Senza responsabilità, un'azienda può dire "l'AI ha deciso" quando c'è un problema.

Trasparenza significa che tutte le informazioni pertinenti sul sistema, i suoi output, le limitazioni e la governance sono disponibili per chi ne ha bisogno. La trasparenza non richiede alle aziende di rivelare codici sorgente proprietari o dettagli di sicurezza sensibili. Significa divulgare un numero sufficiente di informazioni accurate e utilizzabili affinché gli stakeholder possano comprendere l'intera portata del sistema.

La spiegabilità e l'interpretabilità aiutano le persone a capire come funziona un modello e cosa significano i suoi output nel contesto di una decisione reale. In un linguaggio semplice, la spiegabilità chiede: "Quali fattori o processi hanno portato a questo output?" e l'interpretabilità chiede: "Cosa significa questo output e come dovrebbe usarlo una persona?"

Questo pilastro assume particolare importanza quando le decisioni sono pertinenti, controverse, regolamentate o difficili da annullare (come ad esempio la modellizzazione del rischio di credito).

La privacy è strettamente legata alla sicurezza, ma i due concetti sono distinti. La sicurezza impedisce a parti non autorizzate di accedere ai dati, mentre la privacy aiuta a garantire che i dati vengano raccolti, utilizzati, memorizzati e condivisi in modo appropriato.

I modelli possono creare rischi per la privacy anche quando non sono esplicitamente progettati per trattare i dati personali. I set di addestramento dei modelli potrebbero contenere informazioni sensibili e i log potrebbero conservare i dati degli utenti che dovevano essere memorizzati solo temporaneamente. Le pratiche di convalida dei modelli aiutano le aziende a garantire che gli strumenti di AI siano sicuri e conformi alle norme sulla privacy.

L'equità richiede che un'organizzazione individui, misuri, riduca e monitori i pregiudizi dannosi. Questo non significa che ogni persona debba ricevere sempre lo stesso output. Piuttosto, le differenze di trattamento o di esito devono essere giustificate, lecite, pertinenti al compito e non determinate da pregiudizi evitabili o dannosi.

La convalida del modello in genere include una serie di controlli e tecniche di convalida differenti.

La solidità concettuale valuta la logica e la progettazione alla base del modello. Valuta se la metodologia, gli input, le ipotesi, i giudizi qualitativi e le scelte di progettazione sono appropriati per le decisioni che il modello è destinato a supportare. I controlli di solidità includono:

• Valutazione della metodologia del modello per capire in che modo il modello trasforma i dati in output.

• Esaminare caratteristiche e input per confermare che ogni caratteristica importante sia pertinente, disponibile e legale.

• Ipotesi impegnative per la documentazione e il monitoraggio.

• Individuare limitazioni e fattori mancanti per scoprire quello che il modello non sa e scoprire i contesti in cui diventa meno affidabile.

• Valutare l'interpretabilità e l'adeguatezza d'uso per stabilire perché un modello produce i suoi output e dove potrebbe non riuscire.

La convalida dei dati aiuta i team a stabilire se i dati utilizzati per creare, adattare, testare ed eseguire un modello sono affidabili. La convalida dei dati include:

• Valutazione della qualità dei dati. I controlli di qualità dei dati mirano a garantire che i record di dati siano accurati, completi, pertinenti, rappresentativi, correttamente contrassegnati, ottenuti legalmente, protetti e separati.

• Stabilire la provenienza e la discendenza. Le recensioni di convalida dovrebbero essere in grado di ricondurre ogni set di dati e caratteristiche a una fonte identificabile.

• Confermare la pertinenza per l'attività. Confermare la pertinenza significa verificare se ogni elemento di dato nel modello riflette informazioni significativamente correlate allo scopo del modello.

• Verifica delle etichette e della realtà sul campo. La convalida delle etichette garantisce che le etichette producano output accurati, appropriati e coerenti e rappresentazioni coerenti dell'esito obiettivo. Individua inoltre lo standard di riferimento, ovvero la migliore base disponibile per decidere cosa sia vero.

L'analisi dei risultati serve a due scopi principali. Innanzitutto, stabilisce se gli output del modello corrispondono alle condizioni reali che sostiene di prevedere. In secondo luogo, si chiede se l'utilizzo degli output aiuti effettivamente un'azienda a raggiungere il suo obiettivo senza creare danni, costi o rischi inaccettabili. L'analisi dei risultati potrebbe richiedere ai team di:

• Confronta le previsioni con i risultati. L'analisi degli esiti attende, raccoglie o stabilisce la "verità fondamentale" del modello e la confronta con gli output.

• Usa il back-testing. Il backtesting applica un modello a casi passati utilizzando solo le informazioni che sarebbero state disponibili in quel preciso momento storico e confronta quindi le previsioni del modello con ciò che è effettivamente accaduto.

• Esamina gli errori di richiamo e previsione. I modelli problematici possono produrre falsi positivi e falsi negativi. Le analisi degli esiti misurano entrambi i tipi di errore, ne valutano le conseguenze e decidono se superano la soglia di rischio dell'organizzazione.

• Controlla la calibrazione. La calibrazione chiede se le probabilità dichiarate da un modello corrispondono alle frequenze osservate. Se un modello assegna una probabilità di frode del 70% a 1.000 transazioni, circa 700 di queste transazioni dovrebbero essere alla fine confermate come frodi. Se vengono confermati solo 250 casi oppure 850, il modello stima il rischio in modo errato.

• Valuta l'impatto aziendale e operativo. L'analisi dei risultati esamina se il modello promuove il reale obiettivo per cui è stato implementato.

La convalida della robustezza e della sensibilità di un modello contribuisce a garantire che questo continui a comportarsi in modo affidabile anche in condizioni imperfette, anomale o deliberatamente ostili.

La sensibilità non è di per sé una cosa negativa. Alcuni input dovrebbero influenzare fortemente l'output di un modello. Una recente modifica a un account privilegiato, ad esempio, modifica ragionevolmente il punteggio di rischio di cybersecurity dell'account. Il problema è la sensibilità ingiustificata, dove piccoli cambiamenti irrilevanti o di routine hanno un effetto sproporzionato sul comportamento del modello.

I team possono contestare il modello con:

• Input rumorosi e incompleti. I controlli di robustezza simulano condizioni come dati mancanti e input errati per scoprire in che modo i dati disordinati influenzano le prestazioni del modello e le sue risposte. Questo aiuta a prevenire l'underfitting (quando un modello non impara abbastanza dai dati di addestramento e non riesce di conseguenza a riconoscere i pattern) e l'overfitting (quando un modello memorizza troppi dati di addestramento, incluso il rumore).

• Cambiamenti nelle condizioni. I modelli di machine learning devono essere in grado di gestire cambiamenti di distribuzione (nuove policy, interruzioni di servizio, deriva concettuale), laddove i dati di produzione non assomigliano più ai dati di sviluppo. Chi si occupa dei controlli potrebbe utilizzare periodi di tempo successivi, nuovi contesti e casi appositamente creati al di fuori della distribuzione per verificare se le prestazioni del modello si deteriorano oltre i livelli accettabili.

• Casi edge e incertezza. I casi edge spesso rivelano assunzioni nascoste in un modello. Verificare in che modo il modello risponde a tali scenari consente ai team di verificare se il modello riconosce l'incertezza e utilizza un apposito fallback.

• Input avversari. La convalida dell'input avversario valuta se qualcuno può manipolare intenzionalmente il modello per generare un output errato, non sicuro, non autorizzato o fuorviante.

• Deriva del modello. I team possono utilizzare la simulazione della deriva per creare deliberatamente scenari in cui dati di produzione, comportamento dell'utente o la relazione tra input ed output sono cambiati e poi vedere se il modello si degrada in modo omogeneo e i controlli rispondono correttamente.

Il benchmarking e il challenge testing valutano se un modello sta davvero aggiungendo valore confrontandolo con alternative credibili. Le organizzazioni utilizzano queste pratiche per capire se un modello funziona concretamente meglio di un metodo più semplice, di un modello precedente, di un processo umano o di un modello challenger sviluppato in modo indipendente (un modello sviluppato o selezionato specificamente per convalidare il comportamento del modello candidato).

• I benchmark (come modelli di produzione precedenti o challenger) sono punti di riferimento utilizzati per giudicare i modelli di apprendimento automatico (ML). Il modello primario non deve battere ogni alternativa su ogni metrica di prestazione. I team devono semplicemente capire i compromessi, in modo da poter giustificare i modelli che scelgono.

• Il challenge testing si riferisce alla pratica più ampia di cercare di confutare l'idoneità di un modello per l'uso previsto. Oltre a testare situazioni in cui si prevede che il modello funzioni correttamente, il challenge testing verifica gli scenari di guasto più probabili.

I controlli di sicurezza, protezione e privacy valutano i vari rischi che un modello può comportare, ma numerose vulnerabilità risiedono nell'integrazione che ruota attorno a un modello di apprendimento automatico (ML), piuttosto che nel modello stesso.

Ad esempio, un modello potrebbe avere una policy interna rigorosa nei riguardi della divulgazione di informazioni riservate, ma un'applicazione potrebbe comunque esporre documenti privati se il suo sistema di recupero non applica correttamente le autorizzazioni di accesso ai documenti. Allo stesso modo, un modello può essere resistente a un jailbreak di base, ma un agente sviluppato su questo può comunque intraprendere un'azione non sicura perché una pagina web recuperata conteneva una prompt injection indiretta.

Pertanto, una convalida efficace richiede ai team di valutare il modello e l'intero ecosistema circostante.

La documentazione e la riproducibilità rendono la convalida un insieme di prove verificabili, anziché una semplice affermazione informale secondo cui un modello "funziona".

La documentazione segue l'intero ciclo di vita di un modello di apprendimento automatico (ML), dal business case iniziale fino a sviluppo, convalida, implementazione, monitoraggio, cambiamenti materiali e, infine, ritiro. Include l'acquisizione del lineage di un modello e il mantenimento di un chiaro controllo delle versioni, il che consente ai revisori di capire in che modo il modello cambia nel tempo.

La riproducibilità aiuta a garantire che un revisore indipendente qualificato possa utilizzare i materiali documentati per ripetere lo sviluppo o la convalida del modello e ottenere, più o meno, gli stessi risultati.

La convalida del modello, il test del modello e il monitoraggio del modello sono pratiche correlate di assicurazione della qualità, ma rispondono a domande diverse in diversi momenti del ciclo di vita di un modello di machine learning:

• La convalida chiede: "il modello è adatto, affidabile e progettato in modo appropriato per l'uso previsto?"

• Il test chiede: "il modello finalizzato soddisfa i criteri di accettazione predefiniti in termini tecnici, commerciali, di sicurezza e operativi?"

• Il monitoraggio chiede: "il modello implementato continua a funzionare con dati reali in condizioni reali?"

Il test del modello avviene durante tutto il processo di sviluppo, ma la valutazione formale del set di test solitamente avviene dopo che i team hanno finalizzato le principali scelte di progettazione e le decisioni di messa a punto. I test spesso vengono condotti da persone esterne al team che prende le decisioni relative allo sviluppo del modello. Nel caso delle tecniche train_test_split, utilizza anche un set di dati di test separato che non è stato utilizzato per l'addestramento, la messa a punto degli iperparametri, la selezione della soglia o la selezione del modello per ottenere una stima credibile e imparziale delle prestazioni del modello finalizzato su dati realmente invisibili.

Le aziende possono scegliere una serie di approcci di valutazione dei modelli.

I set di holdout, ad esempio, tengono una parte dei dati separata dall'addestramento e dallo sviluppo del modello, quindi usano i dati trattenuti per valutare quanto bene il modello finale si comporta su casi non visti. I team possono utilizzare la convalida incrociata k-fold, in cui il modello viene addestrato e testato su diverse porzioni dei dati k volte, per poi calcolare la media dei risultati. Oppure, per una forma più rigorosa di convalida incrociata k-fold, un team potrebbe condurre la convalida incrociata leave-one-out (LOOCV), in cui il modello viene testato simultaneamente su ogni singolo punto dati. Indipendentemente dal metodo, il test del modello mira a prevedere la qualità reale di un modello di apprendimento automatico (ML) prima che venga implementato.

Mentre il test si concentra sulla valutazione della qualità, il monitoraggio del modello si concentra sull'assicurare che un modello addestrato e l'ecosistema circostante si comportino come previsto dopo l'implementazione. Il monitoraggio, che può essere implementato in modo continuo o in base a una tabella di marcia prestabilita, osserva gli input, gli output e il comportamento operativo di un modello in tempo reale, in modo che i team di gestione del rischio possano rilevare cambiamenti prima che diventino regressioni complete o, peggio, problemi.

Il monitoraggio offre alle aziende un sistema di allerta tempestivo per i comportamenti problematici dei modelli, ma non sostituisce la convalida. La convalida del modello è un processo di valutazione iterativa che solitamente avviene mentre i team di sviluppo stanno sviluppando un modello, ma i team possono anche convalidare i modelli come processo indipendente prima dell'approvazione e periodicamente dopo.

Sebbene convalida, test e monitoraggio siano processi separati, le aziende di solito hanno bisogno di tutti e tre i processi per ottimizzare le prestazioni e l'affidabilità dei modelli di apprendimento automatico (ML) durante tutta la loro vita.

AI generativa (gen AI) e agenti AI richiedono le stesse pratiche di convalida di base degli altri sistemi di apprendimento automatico (ML). Tuttavia, questi strumenti possono creare il rischio che la convalida predittiva del modello non riesce a tenere pienamente in considerazione. I sistemi di gen AI producono output aperti e gli agenti possono utilizzare tali output per pianificare ed eseguire azioni in sistemi interconnessi.

Con l'apprendimento automatico (ML) standard, il risultato di un modello può spesso essere valutato direttamente rispetto al contrassegno di ground-truth. Se un modello di frode prevede la "frode" per una transazione e un'indagine successiva conferma la frode, la previsione era corretta. Se un modello di previsione della domanda prevede 1.150 unità e la domanda reale è 1.600, i team possono utilizzare l'errore quadratico medio, una metrica di regressione che valuta quanto le previsioni del modello sono vicine ai valori reali, per misurare con precisione la discrepanze.

Gli output dell'AI generalmente non hanno una sola formulazione corretta e potrebbero non avere un'unica "risposta giusta" completa. Alcune attività vincolate (estrazione strutturata, selezione dello strumento) possono comunque essere valutate rispetto a output esplicitamente attesi. Ma in generale, il comportamento di un modello dipende molto dal contesto del tempo di esecuzione che può cambiare da un'interazione all'altra. La gen AI può anche avere allucinazioni, presentando con sicurezza informazioni false o errate in risposta a un prompt.

Pertanto, la convalida della gen AI richiede ai team l'utilizzo di un set di valutazione che contiene prompt realistici, materiale sorgente approvato, elementi di risposta prevista e griglie di punteggio. Le rubriche consentono al modello di generare più risposte accettabili, richiedendo al contempo che ciascuna risposta contenga determinati fatti, evitare affermazioni non supportate e rivelare l'incertezza laddove sia presente.

Gli agenti AI possono formare piani, concedere accessi, modificare record, inviare messaggi e lanciare workflow completamente nuovi (con nuovi agenti). Di conseguenza, gli agenti AI richiedono tutti gli stessi controlli incentrati sull'output dell'AI generativa, ma richiedono anche agli sviluppatori di convalidare le decisioni e le azioni che seguono dagli output. Qualsiasi cambiamento materiale, ad esempio, una modifica al foundation model o una nuova connessione al repository di recupero, dovrebbe attivare la riconvalida.