Insegnare ai modelli linguistici di grandi dimensioni a "dimenticare" i contenuti indesiderati

Mentre i modelli linguistici di grandi dimensioni (LLM) stanno diventando eccezionalmente bravi nell'apprendere da enormi quantità di dati, una nuova tecnica sta facendo emozionare le aziende tecnologiche: il machine unlearning.

Questo approccio relativamente nuovo insegna agli LLM a dimenticare o "disimparare" i dati sensibili, non attendibili o protetti da copyright. È più veloce rispetto alla riqualificazione dei modelli da zero e rimuove retroattivamente dati o comportamenti specifici indesiderati.

Non sorprende quindi che giganti della tecnologia come IBM, Google e Microsoft si stiano dando da fare per preparare il machine unlearning al grande pubblico. L'attenzione crescente all'unlearning, tuttavia, evidenzia anche alcuni intoppi con questa tecnica: modelli che dimenticano troppo e la mancanza di strumenti a livello industriale per valutare l'efficacia dell'unlearning.

Addestrati su terabyte di dati, gli LLM "imparano" a prendere decisioni e fare previsioni senza essere esplicitamente programmati per farlo. Questo ramo dell'AI noto come machine learning è cresciuto molto in popolarità poiché gli algoritmi di machine learning imitano il modo in cui gli esseri umani apprendono e migliorano gradualmente l'accuratezza dei contenuti che generano.

Ma più dati significa anche più problemi. O, come afferma Nathalie Baracaldo, Senior Research Scientist presso IBM: "Tutti i dati che vengono appresi, sia quelli giusti che quelli sbagliati, rimangono lì".

E così, modelli sempre più grandi possono anche generare un linguaggio più tossico e pieno d'odio, e contenere dati sensibili che violano gli standard di cybersecurity. Perché? Questi modelli sono addestrati su dati non strutturati e non affidabili provenienti da internet. Anche con tentativi rigorosi di filtrare i dati, allineare i modelli per definire a quali domande non rispondere, quali domande porre fornire e le barriere da utilizzare per ispezionare l'output di un modello, comportamenti indesiderati, malware, materiale tossico e protetto da copyright emergono comunque.

Riaddestrare questi modelli per rimuovere i dati indesiderati richiede mesi e costa milioni di dollari. Inoltre, quando i modelli sono open source, qualsiasi vulnerabilità del modello di base viene trasmessa a molti altri modelli e applicazioni.

Gli approcci di unlearning mirano ad alleviare questi problemi. Identificando obiettivi di unlearning come dati specifici come contenuti contenenti linguaggio dannoso, non etico o protetto da copyright, o prompt di testo indesiderati, gli algoritmi di unlearning rimuovono efficacemente l'effetto dei contenuti mirati.

Un team di ricercatori di Microsoft ha utilizzato questo approccio di unlearning per vedere se riuscivano a far dimenticare al modello Llama2-7b di Meta materiale protetto da copyright di Harry Potter, su cui era stato addestrato da internet. Prima dell’unlearning, quando i ricercatori hanno inserito un prompt come “Chi è Harry Potter?”, il modello ha risposto: “Harry Potter è il protagonista principale della serie di romanzi fantasy di J.K. Rowling”.

Dopo aver messo a punto il modello per “disimparare” il materiale protetto da copyright, il modello ha risposto con quanto segue allo stesso prompt: “Harry Potter è un attore, scrittore e regista britannico...”.

“In sostanza, ogni volta che il modello incontra un contesto legato ai dati target, “dimentica” il contenuto originale”, hanno spiegato i ricercatori Ronen Elden e Mark Russinovich in un post sul blog. Il team ha condiviso il proprio modello su Hugging Face così che la comunità AI potesse esplorare l’unlearning e sperimentarlo.

Oltre a rimuovere materiale protetto da copyright, rimuovere materiale sensibile per proteggere la privacy degli individui è un altro caso d’uso ad alto rischio. Un team, guidato da Radu Marculescu della University of Texas ad Austin, in collaborazione con specialisti di AI di JP Morgan Chase, sta lavorando sul machine unlearning per modelli generativi image-to-image. In un recente lavoro, hanno dimostrato di essere in grado di eliminare gli elementi indesiderati delle immagini (il “set da dimenticare”) senza degradare le prestazioni del set di immagini complessivo.

Questa tecnica può essere utile in scenari come i rilievi con droni di edifici immobiliari, ha detto il professor Marculescu. “Se i volti dei bambini fossero chiaramente visibili, è possibile oscurarli per proteggere la loro privacy.”

Anche Google è impegnata ad affrontare l’unlearning all’interno della più ampia comunità di sviluppatori open-source. Nel giugno 2023, Google ha lanciato la sua prima sfida di machine unlearning. Il concorso prevedeva un predittore di età che era stato addestrato sulle immagini del viso. Dopo l’addestramento, un determinato sottoinsieme delle immagini della formazione ha dovuto essere dimenticato per proteggere la privacy o i diritti delle persone interessate.

Anche se non è perfetto, i primi risultati delle varie squadre sono promettenti. Utilizzando il machine unlearning su un modello Llama, ad esempio, il team di Baracaldo in IBM è riuscito a ridurre il punteggio di tossicità dal 15,4% al 4,8% senza compromettere l’accuratezza di altri compiti svolti dall’LLM. E invece di impiegare mesi per riqualificare un modello (per non parlare dei costi) l’unlearning ha richiesto 224 secondi.

Allora perché il machine unlearning non è ampiamente utilizzato?

"I metodi di unlearning sono ancora agli inizi e non sono ancora ben scalabili", spiega Baracaldo.

La prima sfida che incombe è la "dimenticanza catastrofica", ovvero quando un modello dimentica più di quanto i ricercatori desiderassero, e quindi non riesce più a svolgere le attività chiave per cui era stato progettato.

Il team IBM ha sviluppato un nuovo framework per migliorare il funzionamento dei modelli dopo l'addestramento. Utilizzando un approccio che descrivono come split-unlearn-then-merge o SPUNGE, sono riusciti a disimparare comportamenti indesiderati come la tossicità e conoscenze pericolose come i rischi di biosicurezza o i rischi di cybersecurity, preservando al contempo le funzionalità generali dei modelli.

Sviluppare strumenti di valutazione completi e affidabili per misurare l'efficacia degli sforzi di unlearning rimane anch'esso una questione da risolvere, affermano i ricercatori di tutti i livelli.

Sebbene l'unlearning stia ancora trovando la sua strada, i ricercatori stanno raddoppiando gli sforzi, poiché esiste un'ampia gamma di potenziali applicazioni, settori e aree geografiche in cui potrebbe rivelarsi utile.

In Europa, ad esempio, il Regolamento generale sulla protezione dei dati dell'UE protegge il "diritto all'oblio" delle persone. Se una persona sceglie di rimuovere i propri dati, il machine unlearning può aiutare a garantire che le aziende aderiscano a questa legislazione e rimuovano i dati critici. Oltre alla sicurezza e alla privacy, il machine unlearning può essere utile anche in qualsiasi situazione in cui i dati debbano essere aggiunti o rimossi quando scadono le licenze o quando i clienti, ad esempio, lasciano un grande istituto finanziario o un consorzio ospedaliero.

"Ciò che amo dell'unlearning", afferma Baracaldo, "è che possiamo continuare a utilizzare tutte le altre nostre linee di difesa, come il filtraggio dei dati. Ma possiamo anche "correggere" o modificare il modello ogni volta che vediamo che qualcosa non va, per rimuovere tutto ciò che non è desiderato".