Il downsampling è un modo efficace per affrontare gli squilibri all'interno di un set di dati. Un set di dati sbilanciato è definito come un set di dati in cui una classe è fortemente sottorappresentata nel set di dati rispetto alla popolazione reale, creando distorsioni non intenzionali. Ad esempio, immagina che un modello sia addestrato a classificare le immagini come raffiguranti un gatto o un cane. Il set di dati utilizzato è composto da 90% di gatti e 10% di cani. I gatti in questo scenario sono sovrarappresentati e, se abbiamo un classificatore che prevede i gatti ogni volta, produrrà una precisione del 90% per la classificazione dei gatti, ma dello 0% per la classificazione dei cani. Il set di dati squilibrato in questo caso farà sì che i classificatori favoriscano l'accuratezza per la classe maggioritaria a spese della classe minoritaria. Lo stesso problema può verificarsi con i set di dati multi-classe.¹

Il processo di downsampling contrasta il problema del set di dati sbilanciato. Identifica i punti della classe di maggioranza da rimuovere in base a criteri specificati. Questi criteri possono cambiare a seconda della tecnica di downsampling scelta. In questo modo si bilancia il set di dati riducendo in modo efficace il numero di campioni per una classe di maggioranza sovrarappresentata, fino a quando il set di dati non contiene un rapporto di punti uguale in tutte le classi.

Anche se gli squilibri possono essere visti semplicemente tracciando i conteggi dei punti dati in ciascuna classe, non ci dice se influiranno molto sul modello. Fortunatamente, possiamo utilizzare le metriche delle prestazioni per valutare l'efficacia di una tecnica di downsampling nella correzione dello squilibrio di classe. La maggior parte di queste metriche riguarderà la classificazione binaria, in cui sono presenti solo due classi: una positiva e una negativa. Di solito, la classe positiva è la classe di minoranza, mentre la classe negativa è la classe di maggioranza. Due metriche popolari sono le curve ROC (Receiver Operating Characteristic) e curve di richiamo preciso.¹

• Minori requisiti di storage: quando lo storage costa denaro, ad esempio per lo storage su cloud, il downsampling sarebbe preferito all'upsampling per evitare un aumento dei costi.²
  
• Addestramento più rapido: il downsampling riduce i set di dati e rende meno intensivo l'addestramento per la CPU o la GPU, il che è più rispettoso dell'economia e dell'ambiente.
• Meno incline all'overfitting: l'upsampling genera nuovi dati dai vecchi dati, il che può far sì che i modelli si adattino eccessivamente ai dati forniti. Il downsampling, essendo l'opposto (elimina i dati), non soffre di questo problema.²

• Perdita di informazioni: l'eliminazione di punti dalla classe di maggioranza può causare una perdita importante di informazioni. Questo può essere un problema se la classificazione della classe di maggioranza deve essere accurata. Un altro problema è se il set di dati diventa troppo piccolo per il modello su cui eseguire l'addestramento.²
  
• Distorsione introdotta: i restanti punti campione della classe di maggioranza possono essere un set parziale dei dati originali, che influisce negativamente sulle prestazioni del classificatore.

Il downsampling casuale è una tecnica di eliminazione in cui i punti casuali nella classe di maggioranza vengono scelti senza sostituzione ed eliminati dal set di dati fino a quando la dimensione della classe di maggioranza non è uguale alla dimensione della classe di minoranza. Questo è un modo semplice per eliminare in modo casuale un sottoinsieme di dati a scopo di bilanciamento. Tuttavia, questa tecnica può causare la scomparsa di modelli o distribuzioni importanti nella classe di maggioranza, influenzando negativamente le prestazioni del classificatore.²

Il downsampling Near Miss è una tecnica che mira a bilanciare la distribuzione delle classi eliminando casualmente alcuni esempi di classi di maggioranza.

Concettualmente, Near Miss opera secondo il principio che i dati dovrebbero essere conservati in luoghi in cui le classi di maggioranza e di minoranza sono molto vicine, poiché questi luoghi ci forniscono informazioni chiave per distinguere le due classi.³ Questi punti sono generalmente noti come punti dati "difficili" da apprendere. Il downsampling Near Miss generalmente avviene in due fasi:

• Fase 1: calcola la distanza a coppie tra tutte le istanze della classe di maggioranza-minoranza.
• Fase 2: in base alle distanze calcolate, rimuovi i casi della classe di maggioranza che sono più lontani dai punti di minoranza.

Esistono tre varianti dell'algoritmo Near Miss che forniscono un modo più definitivo per selezionare le istanze della classe di maggioranza da rimuovere.

• Versione 1: questa versione mantiene le istanze della classe di maggioranza con la distanza media minima dalle N istanze della classe di minoranza più vicine. I dati risultanti possono potenzialmente essere distribuiti in modo non uniforme, con alcuni punti della classe di maggioranza vicini a molti punti della classe di minoranza e altri vicini a pochissimi, causando sia una bassa precisione che un richiamo.⁴

• Versione 2: questa versione di downsampling Near Miss mantiene le istanze della classe maggioritaria con la distanza media minima dalle N istanze della classe di minoranza più lontane. A differenza della prima versione, questa versione crea una distribuzione più uniforme della classe di maggioranza, ottenendo risultati migliori dal classificatore.⁴

• Versione 3: questa versione conserva i campioni della classe di maggioranza più vicini per le istanze della classe di minoranza più vicine alla classe di maggioranza. Funziona in due fasi. In primo luogo, vengono mantenuti gli M vicini di classe di maggioranza più vicini di ciascuna istanza di classe di minoranza. Quindi, dalle restanti istanze della classe di maggioranza, vengono identificate e mantenute quelle con la distanza media maggiore. Poiché questa versione mantiene le istanze della classe di maggioranza che sono vicine a molte istanze della classe di minoranza, può avere un'elevata precisione ma un basso richiamo.⁴

Condensed Nearest Neighbor (in breve CNN, da non confondere con Convolutional Neural Networks) cerca di trovare un sottoinsieme di un set di dati che possa essere utilizzato per l'addestramento senza perdita di prestazioni del modello. Questo si ottiene identificando un sottoinsieme di dati che può essere utilizzato per addestrare un modello che predice correttamente l'intero set di dati.

Il downsampling CNN può essere suddiviso nelle seguenti fasi:⁵

1. Creare un nuovo set di dati, S, che contenga tutte le istanze della classe di minoranza e una singola istanza campionata in modo casuale della classe di maggioranza.
2. Addestrare un classificatore 1-NN sul nuovo set di dati S.
3. Per tutti i punti dati di classe di maggioranza non presenti in S, utilizzare il classificatore 1-NN per prevedere la sua etichetta. Se il classificatore 1-NN prevede correttamente l'etichetta, scartare il punto. In caso contrario, aggiungerlo a S.

Come Near Miss, questo processo essenzialmente rimuove tutti i casi della classe di maggioranza ben lontani dal confine decisionale, che, ancora una volta, sono punti facili da classificare. Garantisce inoltre che tutti i dati del nostro set di dati originale possano essere previsti correttamente utilizzando solo i dati all'interno di S. In questo modo, il set di dati può essere ridotto in modo significativo preservando ragionevolmente bene il limite decisionale.

Questa immagine mostra un esempio di applicazione della regola CNN utilizzando 1 vicino e 21 vicini più prossimi a due set di dati. Le prime due immagini sono prima dell'applicazione della regola, mentre le due inferiori sono dopo. Come si può vedere, il confine decisionale è ragionevolmente ben conservato.

La premessa del downsampling Tomek Link è quella di ridurre il rumore nei dati rimuovendo i punti vicino al confine decisionale e aumentando la separazione delle classi. Il modo in cui funziona è che identifica i "tomek link", un raggruppamento di due punti di classi diverse senza un terzo punto esistente che sia il più vicino a nessuno dei due.²

Per tutti i tomek link, il punto all'interno della classe di maggioranza viene eliminato. Rimuovendo un punto di classe di maggioranza che è vicino a un punto di classe di minoranza, la separazione di classe aumenta. Uno svantaggio di questo metodo è la complessità computazionale del calcolo di tutte le distanze a coppie tra i punti della classe di maggioranza e di minoranza.² Il downsampling Tomek Link è più efficace se combinato con altre tecniche.

Il downsampling Edited Nearest Neighbor (ENN) è simile al downsampling Tomek Link, in cui l'obiettivo è rimuovere gli esempi vicini al limite decisionale per aumentare la separazione tra le classi. In generale, questo metodo rimuove i punti dati che differiscono per classe dalla maggior parte dei suoi vicini.² Ciò significa che il processo rimuove i punti dati della classe di maggioranza con la maggioranza dei suoi vicini più prossimi appartenenti alla classe di minoranza e viceversa. La maggioranza in questo contesto può essere definita liberamente: potrebbe significare che almeno un vicino è di una classe diversa o che la proporzione di vicini in una classe diversa supera una certa soglia.

Il downsampling ENN viene solitamente effettuato con 3 vicini più prossimi, come illustrato di seguito.

Si tratta di una strategia a grana più grossa, perché esamina un insieme generale di punti vicini piuttosto che un singolo vicino, ma è un modo efficiente per eliminare il rumore all'interno dei dati. Il downsampling ENN è più efficace se combinato con altre tecniche.