Cos'è la data augmentation?

Nel suo senso più generale, la data augmentation denota metodi per integrare i cosiddetti set di dati incompleti fornendo punti dati mancanti al fine di aumentare l'analizzabilità del set di dati.¹ Ciò si manifesta nel machine learning generando copie modificate di dati preesistenti per aumentare le dimensioni e la diversità di un set di dati. Pertanto, per quanto riguarda il machine learning, i dati aumentati possono essere intesi come la fornitura artificiale di dati del mondo reale potenzialmente assenti.

La data augmentation migliora l'ottimizzazione e la generalizzazione dei modelli di machine learning. In altre parole, la data augmentation può ridurre l'overfitting e migliorare la robustezza del modello.² Il fatto che set di dati grandi e diversificati equivalgano a migliori prestazioni del modello è un assioma del machine learning. Tuttavia, per una serie di ragioni (da problemi di etica e privacy al semplice dispendioso sforzo di compilazione manuale dei dati necessari), acquisire dati sufficienti può essere difficile. La data augmentation fornisce un mezzo efficace per aumentare le dimensioni e la variabilità dei set di dati. In effetti, i ricercatori utilizzano ampiamente la data augmentation per correggere i set di dati sbilanciati.³

Molti framework di deep learning, come PyTorch, Keras e Tensorflow, forniscono funzioni per aumentare i dati, principalmente set di dati di immagini. Il pacchetto Python Ablumentations (disponibile su Github) è adottato anche in molti progetti open source. Albumentations consente di aumentare i dati di immagini e testo.

Tieni presente la data augmentation è distinta dai dati sintetici. Certo, entrambi sono algoritmi generativi che aggiungono nuovi dati a una raccolta di dati per migliorare le prestazioni dei modelli di machine learning. I dati sintetici, tuttavia, si riferiscono alla generazione automatica di dati completamente artificiali. Un esempio è l'utilizzo di immagini generate al computer, anziché di dati del mondo reale, per addestrare un modello di rilevamento di oggetti. Al contrario, la data augmentation copia i dati esistenti e li trasforma per aumentare la diversità e la quantità di dati in un determinato set.

Esistono diversi metodi di data augmentation. Le tecniche specifiche utilizzate per aumentare i dati dipendono dalla natura dei dati con cui un utente sta lavorando. Si noti che la data augmentation viene in genere implementata durante la pre-elaborazione del set di dati di addestramento. Alcuni studi indagano l'effetto della data augmentation sulla convalida o sul set di test, ma le applicazioni della data augmentation al di fuori dei set di addestramento sono più rare.⁴

La data augmentation è stata ampiamente implementata nella ricerca per una serie di attività di computer vision, dalla classificazione delle immagini al rilevamento degli oggetti. Pertanto, c'è una vasta ricerca su come le immagini aumentate migliorino le prestazioni delle reti neurali convoluzionali (CNN) all'avanguardia nell'elaborazione delle immagini.

Molti tutorial e risorse non accademiche classificano la data augmentation relativa alle immagini in due categorie: trasformazioni geometriche e trasformazioni fotometriche (o spazio colore). Entrambe consistono in una manipolazione relativamente semplice di file immagine. La prima categoria indica tecniche che alterano lo spazio e il layout dell'immagine originale, come il ridimensionamento, lo zoom o i cambiamenti di orientamento (ad esempio, capovolgimento orizzontale). Le trasformazioni fotometriche alterano i canali RGB (rosso-verde-blu) di un'immagine. Esempi di trasformazione fotometrica includono la regolazione della saturazione e la scala di grigi di un'immagine.⁵

Alcune fonti classificano l'iniezione di rumore con le trasformazioni geometriche,⁶ mentre altre la classificano con le trasformazioni fotometriche.⁷ L'iniezione di rumore inserisce pixel casuali neri, bianchi o a colori in un'immagine secondo una distribuzione gaussiana.

Come illustra l'iniezione di rumore, la classificazione binaria delle tecniche di image augmentation in geometriche e fotometriche non riesce a coprire l'intera gamma di possibili strategie di image augmentation. Le tecniche di image augmentation escluse sono il filtraggio con kernel (nitidezza o sfocatura di un'immagine) e la miscelazione di immagini. Un esempio di quest'ultima è il ritaglio casuale e il patching. Questa tecnica campiona in modo casuale sezioni da diverse immagini per creare una nuova immagine. Questa nuova immagine è un composito composto dalle sezioni campionate delle immagini di input. Una tecnica correlata è la cancellazione casuale, che elimina una parte casuale di un'immagine.⁸ Tali attività sono utili nelle attività di riconoscimento delle immagini, poiché i casi d'uso del mondo reale possono richiedere alle macchine di identificare oggetti parzialmente oscurati.

Un altro tipo di augmentation è l'instance-level augmentation. L'instance-level augmentation copia essenzialmente le regioni etichettate (ad esempio, i riquadri di delimitazione) da un'immagine e le inserisce in un'altra immagine. Questo approccio addestra l'immagine a identificare gli oggetti su sfondi diversi e gli oggetti oscurati da altri oggetti. L'instance-level augmentation è un approccio particolarmente importante per le attività di riconoscimento specifiche della regione, come il rilevamento degli oggetti e le attività di segmentazione delle immagini.⁹

Come l'image augmentation, la text augmentation è costituita da molte tecniche e metodi utilizzati in una serie di attività di elaborazione del linguaggio naturale (NLP). Alcune risorse dividono la text augmentation in metodi basati su regole (o "facili") e neurali. Naturalmente, come per la divisione binaria delle tecniche di image augmentation, questa categorizzazione non è onnicomprensiva.

Gli approcci basati su regole includono tecniche di ricerca e sostituzione relativamente semplici, come la cancellazione o l'inserimento casuale. Gli approcci basati su regole comprendono anche la sostituzione dei sinonimi. In questa strategia, una o più parole in una stringa vengono sostituite con i rispettivi sinonimi registrati in un thesaurus predefinito, come WordNet o il Paraphrase Database. L'inversione e la passivazione della frase, in cui l'oggetto e il soggetto vengono scambiati, sono anch'essi esempi di approcci basati su regole.¹⁰

Secondo la loro classificazione, i metodi neurali utilizzano reti neurali per generare nuovi campioni di testo dai dati di input. Un metodo neurale degno di nota è la traduzione inversa. Utilizza la traduzione automatica per tradurre i dati di input in una lingua di destinazione e poi di nuovo nella lingua di input originale. In questo modo, la traduzione inversa utilizza le variazioni linguistiche che risultano dalle traduzioni automatiche per generare variazioni semantiche nel set di dati in una sola lingua, ai fini dell'augmentation. La ricerca suggerisce che ciò è efficace per migliorare le prestazioni del modello di traduzione automatica.¹¹

Un'altra strategia è la combinazione di text augmentation. Questo approccio implementa metodi di eliminazione e inserimento basati su regole utilizzando incorporamenti di reti neurali. In particolare, i trasformatori pre-addestrati (ad esempio, BERT) generano incorporamenti di testo a livello di parola o frase, trasformando il testo in punti vettoriali, come in un modello bag of words. La trasformazione del testo in punti vettoriali mira generalmente a catturare la similitudine linguistica, ovvero si ritiene che parole o frasi più vicine l'una all'altra nello spazio vettoriale condividano significati o frequenze simili. La combinazione di augmentation interpola stringhe di testo entro una distanza specificata l'una dall'altra per produrre nuovi dati che sono un'aggregazione dei dati di input.¹²

Molti utenti hanno difficoltà a identificare quali strategie di data augmentation implementare. Le tecniche di data augmentation variano in termini di efficacia tra set di dati e attività? La ricerca comparativa sulle tecniche di data augmentation suggerisce che più forme di augmentation hanno un impatto positivo maggiore di una, ma la determinazione della combinazione ottimale di tecniche dipende dal set di dati e dalle attività.¹³ Ma come si fa a selezionare le tecniche ottimali?

Per risolvere questo problema, la ricerca si è rivolta all'automazione della data augmentation. Un approccio di automazione dell'augmentation utilizza l'apprendimento per rinforzo per identificare le tecniche di augmentation che restituiscono la massima precisione di convalida su un set di dati.¹⁴ Questo approccio ha dimostrato di implementare strategie che migliorano le prestazioni sia sui dati in entrata che in uscita dai campioni.¹⁵ Un altro approccio promettente per l'automazione dell'augmentation identifica e aumenta i falsi positivi dagli output dei classificatori. In questo modo, l'automazione dell'augmentation identifica le migliori strategie per correggere gli elementi spesso classificati in modo errato.¹⁶

Più recentemente, la ricerca si è rivolta a reti e modelli generativi per identificare strategie di augmentation ottimali dipendenti dall'attività¹⁷ e dalla classe.¹⁸ Questo include anche il lavoro con le reti generative avversarie (GAN). Le GAN sono reti di deep learning in genere utilizzate per generare dati sintetici e una ricerca recente ne indaga l'utilizzo per la data augmentation. Ad esempio, alcuni esperimenti suggeriscono che l'augmentation di dati sintetici di set di immagini mediche migliorano le prestazioni dei modelli di classificazione¹⁹ e segmentazione²⁰ più delle augmentation classiche. Allo stesso modo, la ricerca sulla text augmentation utilizza i modelli linguistici di grandi dimensioni (LLM) e i chatbot per generare dati aumentati. Questi esperimenti utilizzano gli LLM per generare campioni aumentati di dati di input con tecniche di combinazione e sinonimizzazione, mostrando un impatto positivo maggiore per i modelli di classificazione del testo rispetto all'augmentation classica.²¹

Ricercatori e sviluppatori adottano ampiamente tecniche di data augmentation durante l'addestramento di modelli per varie attività di machine learning. Al contrario, i dati sintetici sono un'area di ricerca relativamente più recente. Gli esperimenti comparativi su dati sintetici rispetto a quelli reali mostrano risultati contrastanti, con modelli addestrati interamente su dati sintetici a volte con prestazioni superiori e a volte inferiori a modelli addestrati su dati del mondo reale. Forse non sorprende che questa ricerca suggerisca che i dati sintetici siano più utili quando riflettono le caratteristiche dei dati del mondo reale.²²