Cos'è la deviazione del modello?

Per rilevare e mitigare la deriva, le organizzazioni possono monitorare e gestire le prestazioni sulla propria piattaforma di dati e intelligenza artificiale (AI). Se non adeguatamente monitorati nel tempo, anche i modelli AI meglio addestrati e più imparziali possono "deviare" dai loro parametri originali e produrre risultati indesiderati una volta implementati. Il rilevamento della deriva è una componente fondamentale di una solida governance dell'AI.

I modelli creati con dati storici possono diventare rapidamente statici. Spesso, ci sono sempre nuovi punti dati come nuove variazioni, nuovi schemi, nuove tendenze, che i vecchi dati storici non sono in grado di catturare. Se l'addestramento di un modello AI non è allineato con i dati in entrata, questo non è in grado di interpretarli accuratamente o di utilizzarli in tempo reale per eseguire previsioni puntuali in modo affidabile.

Se la deriva non viene rilevata e mitigata in tempi rapidi, può aumentare ulteriormente, comportando un maggiore danno alle operazioni. Il rilevamento della deriva consente alle organizzazioni di ricevere continuamente output accurati dai propri modelli.

Il mondo è in continua evoluzione, quindi, con dati in costante cambiamento, i modelli utilizzati per interpretarlo devono essere continuamente rivisti e aggiornati. Ecco 3 tipi di deriva del modello che devono essere affrontati, ciascuno con una causa diversa.

La deriva del concetto si verifica quando c'è una divergenza tra le variabili di input e la variabile di destinazione: in quel momento, l'algoritmo inizia a fornire risposte errate perché le definizioni non sono più valide. Il cambiamento nelle variabili indipendenti può avere effetto su diversi periodi che sono:

La deriva del concetto si ripresenta e scompare a intervalli regolari, come nel caso della stagionalità del comportamento di acquisto in risposta ai cambiamenti climatici. Nei Paesi dai climi invernali, le vendite di pale da neve e spazzaneve normalmente aumentano nel tardo autunno e all'inizio dell'inverno. Devono essere effettuati anche aggiustamenti geografici per le nevicate previste.

Uno sviluppo improvviso può portare a nuovi modelli di acquisto. Un esempio potrebbe essere la pubblicità improvvisa intorno a ChatGPT che ha provocato un aumento della domanda di prodotti hardware e software per l'AI e un aumento del valore delle azioni delle società legate all'AI. Un modello di previsione addestrato prima della pubblicazione di tali notizie non avrebbe potuto prevedere i risultati successivi.

Un altro esempio è l'arrivo della pandemia di Covid-19, che ha anche creato un improvviso cambiamento nei comportamenti: le vendite di giochi e di attrezzature per l'esercizio fisico sono aumentate, mentre ristoranti e hotel hanno registrato molte meno visite.

Alcune derive si verificano gradualmente o a un ritmo previsto. Ad esempio, spammer e hacker hanno usato diversi strumenti e trucchi nel corso degli anni. Con l'evolversi dei software di protezione e dei filtri anti-spam, i malintenzionati hanno dovuto alzare il tiro. Qualsiasi AI progettata per fornire protezione per le interazioni digitali deve essere al passo con i tempi; un modello statico risulterà presto inutile.

La deriva dei dati, nota anche come spostamento delle covariate, si verifica quando la distribuzione dei dati sottostanti dei dati di input è cambiata. Nella vendita al dettaglio, la vendita di un prodotto potrebbe essere influenzata dall'immissione nel mercato di un altro nuovo prodotto o dal ritiro di un prodotto concorrente. Ad esempio, se un sito web viene inizialmente utilizzato dai giovani, ma successivamente guadagna popolarità anche tra le persone più anziane, il modello originale, basato sui comportamenti degli utenti giovani, potrebbe non funzionare altrettanto bene con gli utenti più anziani.

Una modifica dei dati a monte si verifica in caso di modifica alla pipeline dei dati. Ad esempio, i dati a monte potrebbero essere modificati in una valuta diversa, ad esempio USD e non euro, oppure misurazioni in miglia anziché chilometri o temperature in Fahrenheit anziché Celsius. Una modifica di questo tipo eliminerebbe un modello che non era stato creato per tenere conto del cambiamento nel modo in cui i dati sono stati contrassegnati.

Le aziende e i data scientist possono utilizzare diversi metodi di rilevamento della deriva dei dati per rimanere al passo con la deriva dei modelli di machine learning e correggere la rotta prima che i modelli diventino obsoleti.

Molti dei metodi più popolari si basano sulla distribuzione temporale e misurano le potenziali deviazioni tra due distribuzioni di probabilità. Se i risultati sono notevolmente divergenti, è probabile che le proprietà statistiche dei dati di input siano cambiate, con conseguente deriva dei dati.

Il rilevamento della deriva dei dati è un aspetto fondamentale dell'osservabilità dei dati, ovvero la pratica di monitorare continuamente la qualità e l'affidabilità dei dati utilizzati da un'organizzazione. Il linguaggio di programmazione Python è particolarmente popolare nella data science per la creazione di rilevatori di deriva open source.

Il test di Kolmogorov-Smirnov (K-S) misura se due serie di dati provengono dalla stessa distribuzione. Nel campo della data science, il test K-S è non parametrico, il che significa che non richiede che la distribuzione soddisfi ipotesi o criteri prestabiliti.

I data scientist utilizzano il test di Kolmogorov-Smirnov per due motivi principali:

• Per determinare se un campione di dati proviene da una certa popolazione.

• Per confrontare due campioni di dati e vedere se provengono dalla stessa popolazione.

Se i risultati del test K-S mostrano che due serie di dati sembrano provenire da popolazioni diverse, è probabile che si sia verificata una deriva dei dati, il che rende il test K-S un rilevatore di deriva affidabile.

La distanza di Wasserstein, che prende il nome dal matematico Leonid Vaserstein, utilizza una semplice metafora per visualizzare la gravità della deriva dei dati. Bisogna immaginare due piccoli mucchi di terra: la deriva dei dati è rappresentata dalla quantità di lavoro necessaria per creare un mucchio di terra utilizzando la terra prelevata dal primo. Per questo motivo, la distanza di Wasserstein è anche conosciuta in informatica e nella data science come earth mover’s distance (EMD).

Come metodo di rilevamento della deriva, la distanza di Wasserstein confronta i dati di addestramento con i nuovi dati di input che vengono inseriti in un modello di machine learning. È in grado di identificare relazioni complesse tra le caratteristiche e di gestire gli outlier per ottenere risultati coerenti.

L'indice di stabilità della popolazione (PSI) confronta la distribuzione di una caratteristica categorica in due serie di dati per determinare il grado di variazione della distribuzione nel tempo.

Una divergenza maggiore nella distribuzione, rappresentata da un valore PSI più alto, indica la presenza di una deriva del modello. Il PSI può valutare sia le caratteristiche indipendenti che quelle dipendenti, ovvero quelle che cambiano in base ad altre variabili.

Se la distribuzione di una o più caratteristiche categoriche restituisce un PSI elevato, è probabile che il modello della macchina debba essere ricalibrato o persino ricostruito.

Le aziende possono gestire meglio il rilevamento e la correzione della deriva dei dati seguendo queste best practice:

L'accuratezza di un modello AI può deteriorarsi entro pochi giorni dalla sua implementazione, poiché i dati di produzione si discostano dai dati utilizzati per l'addestramento del modello. Ciò può portare a previsioni errate e a un'esposizione significativa al rischio.

Per proteggersi dalla deriva e dalle distorsioni del modello, le organizzazioni dovrebbero utilizzare un rilevatore di deriva AI e strumenti di monitoraggio che rilevano automaticamente quando la precisione di un modello cala (o deriva) al di sotto di una soglia prestabilita.

Il programma utilizzato per rilevare la deriva del modello dovrebbe anche tenere traccia delle transazioni che hanno causato la deriva, consentendo loro di essere contrassegnate nuovamente e utilizzate per riqualificare il modello, ripristinando il suo potere predittivo durante il tempo di esecuzione.

Il rilevamento statistico della deriva utilizza metriche statistiche per confrontare e analizzare campioni di dati. Questo modo spesso è più facile da implementare in quanto la maggior parte delle metriche sono già in uso all'interno dell'azienda. Il rilevamento della deriva basato su modello misura la somiglianza tra un punto o gruppi di punti rispetto alla base di riferimento.

Le organizzazioni dovrebbero testare periodicamente i propri modelli AI, in particolare i modelli di AI generativa, durante il loro intero ciclo di vita. Questo test idealmente include:

1. Convalida dei modelli in pre-produzione con test per rilevare distorsioni e derive, per poi generare report di prova.
2. Trasferimento delle configurazioni di test pre-implementazione di un modello alla versione implementata del modello e proseguimento dei test automatizzati.
3. Sincronizzazione di modelli, dati e informazioni sui risultati dei test con sistemi di registrazione.
4. Automazione in grado di fornire notifiche coerenti e affidabili e di dare ai team più tempo per concentrarsi sullo sviluppo del modello invece che sul suo monitoraggio.

Secondo uno studio Total Economic Impact condotto da Forrester, "Costruendo, eseguendo e gestendo modelli in un ambiente unificato di dati e AI, le organizzazioni possono essere sicure che i modelli AI rimangano equi, spiegabili e conformi ovunque. Questo approccio end-to-end all'AI consente inoltre a un'organizzazione di individuare e correggere le derive e le distorsioni del modello e di gestire il rischio del modello quando questo è in produzione".

Una best practice consiste nel gestire tutti i modelli da una dashboard centrale. Un approccio integrato può aiutare un'organizzazione a monitorare costantemente le metriche e avvisare i team in caso di derive in termini di accuratezza e coerenza dei dati attraverso lo sviluppo, la convalida e l'implementazione. Una visione centralizzata e olistica può aiutare le organizzazioni ad abbattere i silos e a fornire maggiore trasparenza lungo l'intera data lineage.

Rilevare scenari di deriva e la loro entità tramite un modello AI che confronta i dati di produzione, i dati di addestramento e le previsioni del modello in tempo reale. In questo modo è possibile individuare rapidamente le derive e iniziare subito la riqualificazione. Questo rilevamento è iterativo, proprio come sono iterative le operazioni di machine learning (MLOps).

L'analisi basata sul tempo aiuta a vedere come si è evoluta la deriva e quando si è verificata. Ad esempio, se i controlli vengono eseguiti ogni settimana, questo mostrerà come si è evoluta la deriva giorno dopo giorno.

L'analisi dei tempi può essere utile anche per determinare se la deriva è stata graduale o improvvisa. L'approccio dell'AI spiegabile applica questa trasparenza all'uso dell'AI e aiuta le organizzazioni a monitorare come e perché i loro modelli hanno prodotto i risultati che hanno ottenuto.

Utilizza un nuovo set di dati di addestramento a cui sono stati aggiunti campioni più recenti e pertinenti. L'obiettivo è quello di far rientrare rapidamente e correttamente in produzione i tuoi modelli linguistici di grandi dimensioni (LLM). Se il nuovo addestramento del modello non risolve il problema, potrebbe essere necessario un nuovo modello. Le tecniche Large Language Model Operazioni (LLMOps) possono aiutare le organizzazioni a monitorare e riqualificare i propri LLM.

Anziché addestrare un modello con i dati in batch, le organizzazioni possono adottare l'"apprendimento online", aggiornando i propri modelli di machine learning (ML) con i dati più recenti del mondo reale non appena sono disponibili.

Un modello può sembrare soggetto a una deriva se i dati utilizzati per addestrarlo sono diversi da quelli che verranno effettivamente utilizzati in produzione. In un caso d'uso in ambito medico, se vengono utilizzate scansioni ad alta risoluzione durante l'addestramento, ma sul campo sono disponibili solo scansioni a bassa risoluzione, i risultati non saranno corretti.