Cos'è l'apprendimento continuo?

L'apprendimento incrementale consente ai modelli di acquisire nuove conoscenze e di tenere il passo con l'imprevedibilità del mondo reale senza dimenticare le vecchie conoscenze. I dati non stazionari significano che le distribuzioni dei dati non sono statiche. Se implementato con successo, l'apprendimento continuo si traduce in modelli che mantengono le conoscenze specifiche delle attività e possono anche generalizzarsi su distribuzioni dinamiche di dati. 

I modelli di apprendimento continuo sono progettati per applicare i nuovi dati in modo adattivo in ambienti in evoluzione. Conosciuto anche come apprendimento permanente, l'apprendimento continuo si ispira ai concetti delle neuroscienze relativi al modo in cui gli esseri umani imparano cose nuove pur conservando ciò che già sanno. Se una persona impara a fare skateboard, non dimentica subito come andare in bicicletta.

I sistemi di machine learning tradizionali addestrano i modelli su grandi set di dati statici. Il set di dati passa attraverso l'algoritmo del modello in batch man mano che il modello aggiorna i pesi o i parametri. Il modello elabora l'intero set di dati più volte, con ogni ciclo noto come epoca. 

Gli sviluppatori identificano in anticipo lo scopo del modello di deep learning, assemblano un set di dati di formazione per soddisfare l'obiettivo di apprendimento e addestrano il modello su tali dati. Quindi, il modello viene testato, convalidato e implementato. La messa a punto del modello di machine learning con più dati può adattarne le prestazioni a nuove attività. 

I metodi di apprendimento tradizionali non riflettono appieno il dinamismo del mondo reale. L'apprendimento supervisionato utilizza set di dati statici con risultati noti. L'apprendimento non supervisionato consente a un modello di ordinare i dati da solo, ma i dati di addestramento sono ancora limitati e immutabili. L'apprendimento per rinforzo è altrettanto sicuro e limitato. 

A differenza dei metodi di apprendimento tradizionali, l'apprendimento continuo tenta di applicare la plasticità del cervello umano alle reti neurali artificiali. La neuroplasticità è la qualità del cervello che gli consente di adattarsi, apprendere senza dimenticare le conoscenze precedenti man mano che incontra circostanze mutevoli. 

Alcuni tipi di apprendimento continuo iniziano ancora con l'addestramento offline in batch in più epoche, in modo simile all'addestramento offline tradizionale. L'apprendimento continuo online addestra esclusivamente i modelli con un flusso di dati a passaggio singolo. 

L'apprendimento continuo aiuta le reti neurali a ottimizzare e adattarsi in ambienti dinamici. Il machine learning tradizionale richiede set di dati estesi e fissi, tempo e calcolo sufficienti per l'addestramento e uno scopo noto per il modello. Quando uno o più di questi requisiti non sono soddisfatti, l'apprendimento continuo fornisce un'alternativa. 

• Mitigare l'oblio catastrofico

• Set di dati di addestramento di piccole dimensioni 

• Modifica delle distribuzioni dei dati

• Ottimizzazione delle risorse 

• Tolleranza al rumore 

Quando i modelli di deep learning vengono addestrati su nuovi dati o nuove distribuzioni, possono perdere le conoscenze precedenti. Noto come oblio catastrofico, questo fenomeno è una conseguenza di un modello che adatta eccessivamente i suoi parametri ai nuovi dati. I modelli aggiornano i loro pesi interni in modo tale che i nuovi parametri non siano più pertinenti al lavoro originale del modello. 

L'apprendimento continuo trasmette i dati di addestramento in modo incrementale attraverso il modello AI. Il modello viene alimentato con una sequenza di piccoli set di dati, a volte costituiti da un solo campione. L'apprendimento per trasferimento, quando un modello applica l'apprendimento precedente a nuove attività, aiuta a ridurre al minimo la quantità di nuovi dati richiesti. 

Il mondo è in un costante stato di flusso. Gli esseri umani e gli altri animali hanno sviluppato la capacità di apprendere per riuscire a sopravvivere alle avversità. Ad esempio, se una scorta di cibo si esaurisce, capire come mangiare qualcos'altro può garantire la sopravvivenza. 

Ma non tutti gli animali sono altrettanto capaci. I koala non riescono nemmeno a riconoscere la loro fonte di cibo principale, le foglie di eucalipto, se le foglie vengono rimosse da un albero e messe in una pila su un piatto. Mentre i koala a volte mangiano altre foglie di altri alberi, possono concepire il cibo solo come "foglie sugli alberi". I loro cervelli lucidi non possono discostarsi da questa aspettativa. 

Consideriamo un modello di computer vision pensato per essere utilizzato nelle auto a guida autonoma. Il modello deve saper riconoscere gli altri veicoli sulla strada, ma anche pedoni, ciclisti, motociclisti, animali e pericoli. Deve percepire e adattarsi perfettamente ai cambiamenti delle condizioni meteorologiche e del traffico, come un acquazzone improvviso o se un veicolo di emergenza si avvicina con le luci e la sirena accese. 

Le lingue cambiano nel tempo. Un modello di elaborazione del linguaggio naturale (NLP) dovrebbe essere in grado di elaborare i cambiamenti nel significato delle parole e nel modo in cui vengono utilizzate. Allo stesso modo, un modello progettato per la robotica deve essere in grado di adattarsi se l'ambiente del robot cambia. 

I modelli AI richiedono molte risorse. Possono costare milioni di dollari per essere addestrati e consumare grandi quantità di elettricità e acqua. Non è sempre possibile implementare nuovi modelli ogni volta che si presentano nuove attività. Né è computazionalmente fattibile conservare ogni singola attività precedente nella memoria disponibile di un modello. 

L'apprendimento continuo consente ai modelli linguistici di grandi dimensioni (LLM) e ad altre reti neurali di adattarsi ai mutevoli casi d'uso senza dimenticare come gestire le sfide precedenti. Le aziende possono ridurre al minimo il numero di modelli in funzione ampliando le potenziali funzionalità di ogni modello che utilizzano. 

Se ben addestrati, gli algoritmi di apprendimento continuo dovrebbero essere in grado di identificare con sicurezza i dati rilevanti ignorando il rumore: punti dati privi di significato che non riflettono accuratamente i valori del mondo reale. Il rumore deriva da errori di segnale, errori di misurazione ed errori di input e comprende anche gli outlier. Gli outlier sono punti dati così dissimili dal resto dei dati da essere irrilevanti. 

Le sfide dell'apprendimento continuo possono essere suddivise sostanzialmente in tre categorie, a seconda di come il flusso di dati cambia nel tempo¹:

• Apprendimento continuo incrementale per attività
   

• Apprendimento continuo incrementale per domini
   

• Apprendimento continuo incrementale per classi

L'apprendimento incrementale per attività è un approccio graduale all'apprendimento multitasking in cui un algoritmo deve imparare a svolgere una serie di attività diverse. Deve essere chiaro all'algoritmo quale attività ci si aspetta da esso, sia che le attività siano sufficientemente distinte l'una dall'altra sia etichettando gli input con l'output appropriato. 

Un esempio reale di apprendimento incrementale delle attività è imparare a parlare giapponese, poi mandarino, poi ceco e infine spagnolo. Di solito è chiaro quale lingua deve usare l'oratore in un determinato momento. 

Poiché le attività vengono trasmesse al modello in sequenza, la sfida consiste nel garantire che il modello possa trasferire in modo sufficiente l'apprendimento da una all'altra. Inoltre, il numero totale di attività non è sempre noto in anticipo, soprattutto con modelli già in distribuzione. 

La prevenzione dell'oblio catastrofico è un dato di fatto: far sì che il modello applichi l'apprendimento per trasferimento è il vero obiettivo con le metodologie di apprendimento incrementale per attività. 

L'apprendimento incrementale per domini copre le sfide in cui la distribuzione dei dati cambia, ma il tipo di sfida rimane lo stesso. Le condizioni che circondano l'attività sono cambiate in qualche modo, ma i potenziali output non sono cambiati. A differenza dell'apprendimento incrementale per attività, il modello non è necessario per identificare l'attività specifica da risolvere. 

Ad esempio, un modello costruito per il riconoscimento ottico dei caratteri (OCR) dovrebbe riconoscere diversi formati di documenti e stili di carattere. Non è importante sapere come o perché l'ambiente è cambiato, ma riconoscerlo e completare l'attività a prescindere. 

I cambiamenti nella distribuzione dei dati sono una sfida di lunga data nell'apprendimento automatico perché i modelli sono in genere addestrati su un set di dati statico e discreto. Quando le distribuzioni dei dati cambiano dopo la distribuzione, l'apprendimento incrementale per domini può aiutare i modelli a mitigare le perdite di prestazioni.

L'apprendimento incrementale per classi è quando un modello di classificazione deve eseguire una serie di attività di classificazione con un numero crescente di classi di output. Il modello deve essere in grado di risolvere correttamente ogni istanza e allo stesso tempo di richiamare le classi incontrate nelle istanze precedenti. 

Un modello addestrato a classificare i veicoli come automobili o camion potrebbe in seguito dover identificare autobus e motociclette. Ci si aspetta che il modello mantenga la sua comprensione di tutte le classi apprese nel tempo, non solo delle opzioni in ogni istanza. Se addestrato su "auto contro camion" e successivamente su "autobus contro motociclette", il modello dovrebbe riuscire anche a determinare se un veicolo è un'auto o un autobus. 

L'apprendimento incrementale per classi all'avanguardia è una delle sfide di apprendimento continuo più difficili perché l'emergere di nuove classi può erodere le distinzioni tra le classi precedentemente stabilite.

L'obiettivo di tutte le tecniche di apprendimento continuo è quello di bilanciare il dilemma stabilità-plasticità: rendere un modello abbastanza stabile da conservare le conoscenze apprese in precedenza e allo stesso tempo sufficientemente plastico da coltivare nuove conoscenze. Sebbene i ricercatori abbiano identificato numerosi approcci all'apprendimento continuo, molti possono essere assegnati a una delle tre categorie:

• Tecniche di regolarizzazione
   

• Tecniche di isolamento dei parametri
   

• Tecniche di replay

La regolarizzazione è un insieme di tecniche che limitano la capacità di un modello di adattarsi eccessivamente ai nuovi dati. Al modello non è consentito aggiornare la sua architettura durante la formazione incrementale, mentre tecniche come la distillazione della conoscenza, in cui un modello più grande "insegna" a uno più piccolo, aiutano a preservare la conoscenza. 

• L'Elastic Weight Consolidation (EWC) aggiunge una penalità alla funzione di perdita dell'algoritmo di apprendimento che ne impedisce di apportare modifiche drastiche ai parametri di un modello. Gli algoritmi di ottimizzazione utilizzano il gradiente della funzione di perdita come metrica per misurare le prestazioni del modello. 

• Intelligenza sinaptica (SI), che limita gli aggiornamenti dei parametri in base a una comprensione cumulativa dell'importanza relativa di ciascun parametro. 

• Learning Without Forgetting (LWF) addestra i modelli con nuovi dati sulle attività e mantiene le vecchie conoscenze preservando le probabilità di output delle attività precedenti.

I metodi di isolamento dei parametri modificano una parte dell'architettura di un modello per accogliere nuove attività, congelando i parametri per le attività precedenti. Il modello si ricostruisce da solo per ampliare le sue funzionalità, ma con l'avvertenza che alcuni parametri non possono essere regolati. La formazione successiva viene eseguita solo sui parametri idonei per le nuove attività. 

Ad esempio, le reti neurali progressive (PNN) creano colonne di reti neurali specifiche per attività nuove. Le connessioni parallele ad altre colonne consentono il trasferimento dell'apprendimento impedendo la modifica di queste colonne.

Le tecniche di replay prevedono l'esposizione regolare di un modello durante le attivazioni di addestramento a campioni provenienti da set di dati di addestramento precedenti. L'apprendimento continuo basato su replay salva campioni di dati più vecchi in un buffer di memoria e li integra nei cicli di addestramento successivi. L'esposizione continua a dati meno recenti impedisce al modello di cadere preda dell'overfitting ai nuovi dati. 

Le tecniche di memoria sono affidabili ed efficaci, ma richiedono un accesso regolare ai dati precedenti, il che richiede uno spazio di storage sufficiente. Le situazioni che comportano l'uso di dati personali sensibili possono anche prevenire problemi di implementazione della tecnica di memoria. 

Il replay generativo utilizza un modello generativo per sintetizzare campioni di dati precedenti da inviare al modello in fase di addestramento, come un classificatore che deve imparare nuove classi senza dimenticare quelle vecchie.