Che cos'è l'upsampling?

L'upsampling è un modo efficace per affrontare lo squilibrio all'interno di un set di dati. Un set di dati sbilanciato è definito come un set di dati in cui una classe è fortemente sottorappresentata nel set di dati rispetto alla popolazione reale, creando distorsioni non intenzionali. Ad esempio, immagina che un modello sia addestrato a classificare le immagini come raffiguranti un gatto o un cane. Il set di dati utilizzato è composto da 90% di gatti e 10% di cani. I gatti in questo scenario sono sovrarappresentati e, se abbiamo un classificatore che prevede i gatti ogni volta, produrrà una precisione del 90% per la classificazione dei gatti, ma dello 0% per la classificazione dei cani. Il set di dati squilibrato in questo caso farà sì che i classificatori favoriscano l'accuratezza per la classe maggioritaria a spese della classe minoritaria. Lo stesso problema può verificarsi con i set di dati multi-classe.¹

Il processo di upsampling contrasta il problema del set di dati sbilanciato. Popola il set di dati con punti sintetizzati dalle caratteristiche della classe minoritaria del set di dati originale. In questo modo si bilancia il set di dati aumentando di fatto il numero di campioni per una classe di minoranza sottorappresentata, fino a quando il set di dati non contiene un rapporto di punti uguale in tutte le classi.

Anche se gli squilibri possono essere visti semplicemente tracciando i conteggi dei punti dati in ciascuna classe, non ci dice se influiranno molto sul modello. Fortunatamente, possiamo utilizzare le metriche delle prestazioni per valutare l'efficacia di una tecnica di upsampling nella correzione dello squilibrio di classe. La maggior parte di queste metriche riguarderà la classificazione binaria, in cui sono presenti solo due classi: una positiva e una negativa. Di solito, la classe positiva è la classe di minoranza, mentre la classe negativa è la classe di maggioranza. Due metriche popolari sono le curve ROC (Receiver Operating Characteristic) e curve di richiamo preciso.¹

• Nessuna perdita di informazioni: a differenza del downsampling, che elimina i punti dati dalla classe maggioritaria, l'upsampling genera nuovi punti dati, evitando qualsiasi perdita di informazioni.
• Aumenta i dati a bassi costi: l'upsampling è particolarmente efficace e spesso è l'unico modo per aumentare le dimensioni del set di dati su richiesta nei casi in cui i dati possono essere acquisiti solo attraverso l'osservazione. Ad esempio, alcune condizioni mediche sono semplicemente troppo rare per consentire la raccolta di più dati.

• Overfitting: poiché l'upsampling crea nuovi dati in base ai dati della classe di minoranza esistente, il classificatore può essere sovraadattato ai dati. L'upsampling presuppone che i dati esistenti catturino adeguatamente la realtà; in caso contrario, il classificatore potrebbe non essere in grado di generalizzare molto bene.
• Rumore dei dati: l'upsampling può aumentare la quantità di rumore nei dati, riducendo l'affidabilità e le prestazioni del classificatore.²
• Complessità computazionale: aumentando la quantità di dati, la formazione del classificatore sarà più costosa dal punto di vista computazionale, il che può essere un problema quando si utilizza il cloud computing.²

L'oversampling casuale è il processo di duplicazione di punti dati casuali nella classe minoritaria fino a quando la dimensione della classe minoritaria non è uguale alla classe maggioritaria.

Sebbene siano di natura simile, l'oversampling casuale è distinto dal bootstrapping. Il bootstrapping è una tecnica di apprendimento dell'insieme che ricampiona da tutte le classi. Al contrario, l'oversampling casuale ricampiona solo dalla classe di minoranza. L'oversampling casuale può quindi essere inteso come una forma più specializzata di bootstrapping.

Nonostante la sua semplicità, l'oversampling casuale presenta tuttavia dei limiti. Dal momento che l'oversampling casuale aggiunge solo punti di dati duplicati, può comportare l'overfitting.³ Ma presenta ancora numerosi vantaggi rispetto ad altri metodi: la sua facilità di implementazione, la mancanza di assunzioni estese sui dati e la complessità a breve termine a causa di un algoritmo semplice.²

La Synthetic Minority Oversampling Technique, o SMOTE, è una tecnica di upsampling proposta per la prima volta nel 2002 che sintetizza nuovi punti dati dai punti esistenti nella classe di minoranza.⁴ È costituita dal seguente processo:²

1. Trova i quartieri K più vicini per tutti i punti dati delle classi minoritarie. K è solitamente 5.
2. Ripeti i passaggi da 3 a 5 per ogni punto dati della classe di minoranza:
3. Scegli uno dei K-nearest neighbors (KNN) del punto dati.
4. Seleziona un punto casuale sul segmento di linea che collega questi due punti nello spazio della funzione per generare un nuovo esempio di output. Questo processo prende il nome di interpolazione.
5. A seconda della quantità di upsampling desiderata, ripeti i passaggi 3 e 4 utilizzando un altro nearest neighbor.

SMOTE contrasta il problema dell'overfitting nell'oversampling casuale, aggiungendo nuovi dati inediti al set di dati, anziché duplicare semplicemente i dati preesistenti. Per questo motivo, alcuni ricercatori considerano SMOTE una tecnica di upsampling migliore rispetto all'oversampling casuale.

D'altro canto, la generazione di punti dati artificiali di SMART aggiunge ulteriore rumore al set di dati, rendendo potenzialmente più instabile il classificatore.¹ Anche i punti sintetici e il rumore proveniente dalla SMOTE possono inavvertitamente causare sovrapposizioni tra le classi di minoranza e maggioranza che non riflettono la realtà, causando un'eccessiva generalizzazione.⁵

Un'estensione popolare, Borderline SMOTE, viene utilizzata per combattere il problema del rumore artificiale del set di dati e per creare punti di dati "più difficili". I punti dati "più difficili" sono punti dati vicini al limite decisionale e quindi più difficili da classificare. Questi punti più difficili sono più utili per l'apprendimento del modello.²

Borderline SMOTE individua i punti della classe di minoranza che sono vicini a numerosi punti della classe di maggioranza e li inserisce in un set di PERICOLO. I punti PERICOLO sono i punti dati "difficili" da apprendere, il che è ancora una volta dovuto al fatto che sono più difficili da classificare rispetto ai punti circondati da punti di classe minoritaria. Questo processo di selezione esclude i punti i cui nearest neighbors sono punti solo della classe maggioritaria, conteggiati come rumore. Da lì, l'algoritmo SMOTE continua normalmente utilizzando questo set PERICOLO.³

L'Adaptive Synthetic Sampling Approach (ADASYN) è simile alla Borderline SMOTE in quanto genera dati più difficili da apprendere per il modello. Tuttavia, mira anche a preservare la distribuzione dei dati delle classi di minoranza.⁶ Lo fa creando innanzitutto una distribuzione ponderata di tutti i punti di minoranza in base al numero di esempi di classe di maggioranza nel suo neighborhood. Da lì, utilizza più spesso i punti delle classi di minoranza più vicini alla classe di maggioranza per generare nuovi dati.

Il processo è il seguente:²

1. Crea un modello KNN sull'intero set di dati.
2. A ogni punto della classe di minoranza viene assegnato un "fattore di difficoltà", indicato con r, che rappresenta il rapporto tra il numero di punti della classe di maggioranza rispetto al numero totale di neighbors nel KNN.
3. Come SMOTE, i punti generati sinteticamente sono un'interpolazione lineare tra i dati di minoranza e i suoi neighbors, ma il numero di punti generati scala in base al fattore di difficoltà del punto. Quello che fa è generare più punti nelle aree con meno dati di minoranza e meno punti nelle aree con più dati.

L'aumento dei dati crea nuovi dati attraverso la creazione di varianti dei dati stessi. L'aumento dei dati si applica in una varietà di campi dell'apprendimento automatico.

La forma più elementare di aumento dei dati consiste nel trasformare gli input grezzi del set di dati. Ad esempio, nella computer vision, gli aumenti delle immagini (ritaglio, sfocatura, mirroring e così via) possono essere utilizzati per creare più immagini che il modello deve classificare. Allo stesso modo, l'aumento dei dati può essere utilizzato anche in attività di elaborazione del linguaggio naturale, come la sostituzione di parole con sinonimi o la creazione di frasi semanticamente equivalenti.

I ricercatori hanno scoperto che l'aumento dei dati aumenta in modo efficace l'accuratezza del modello per le attività di computer vision e NLP, in quanto aggiunge dati simili a basso costo. Tuttavia, è importante rispettare alcune precauzioni prima di mettere in pratica queste tecniche. Per gli aumenti geometrici tradizionali, la "sicurezza" delle trasformazioni deve essere esaminata prima dell'esecuzione. Ad esempio, la rotazione l'immagine del numero "9", lo farebbe sembrare un "6", cambiandone il significato semantico.⁷

Negli ultimi anni le estensioni SMOTE e il deep learning sono stati al centro delle tecniche di upsampling. Questi metodi tendono a migliorare le prestazioni del modello e a risolvere alcune delle carenze dell'upsampling, come l'introduzione di distorsioni nella distribuzione della classe di minoranza.

Alcuni sviluppi nella SMOTE includono una SMOTE (MPP-SMOTE), che si basa sulle probabilità stimate di vedere i campioni di ciascuna classe di minoranza.⁸ La MLBOTE (Multi-Label Borderline Oversampling Technique) è stata proposta per estendere la SMOTE nella classificazione a più classi.⁹ Entrambe hanno superato le prestazioni di tutte le varianti SMOTE esistenti e hanno mantenuto i modelli nei dati originali.

Le reti neurali sono state utilizzate anche per sviluppare tecniche di oversampling. Le Generative Adversarial Networks hanno suscitato un certo interesse, producendo risultati promettenti, anche se l'elevato tempo di addestramento rende questa tecnica più lenta rispetto ad altri metodi tradizionali di upsampling.¹⁰