Cos'è l'underfitting?

L'underfitting si verifica quando un modello è troppo semplice, il che può essere il risultato di un modello che necessita di più tempo di addestramento, di più caratteristiche di input o di una minore regolarizzazione.

Come l'overfitting, quando un modello è in underfitting non può stabilire la tendenza dominante all'interno dei dati, con conseguenti errori di addestramento e scarse prestazioni. Se un modello non può essere generalizzato correttamente a nuovi dati, non può essere utilizzato per attività di classificazione o previsione . La generalizzazione di un modello sui nuovi dati è in definitiva ciò che ci consente di utilizzare ogni giorno algoritmi di machine learning per fare previsioni e classificare i dati.

Elevato bias e bassa varianza sono buoni indicatori di underfitting. Poiché questo comportamento può essere visto durante l'utilizzo del set di dati di addestramento, i modelli non adattati sono generalmente più facili da identificare rispetto a quelli in overfitting.

In parole semplici, l'overfitting è l'opposto dell'underfitting, che si verifica quando il modello è stato addestrato eccessivamente o quando contiene troppa complessità, con conseguenti tassi di errore elevati nei dati di test. L'overfitting di un modello è più comune dell'underfitting; l'underfitting solitamente si verifica nel tentativo di evitare l'overfitting attraverso un processo chiamato "arresto anticipato".

Se l'addestramento insufficiente o la mancanza di complessità si traducono in un underfitting, una buona strategia di prevenzione logica sarebbe rappresentata dall'aumento della durata dell'addestramento o dall'aggiunta di input più pertinenti. Tuttavia, se si addestra troppo il modello o si aggiungono troppe caratteristiche, il modello potrebbe andare in overfitting, con conseguente bassa distorsione ma elevata varianza (ovvero il compromesso tra bias e varianza). In questo scenario, il modello statistico si adatta troppo strettamente ai dati di training, rendendolo incapace di generalizzare correttamente a nuovi punti dati. È importante notare che alcuni tipi di modelli possono essere più inclini all'overfitting rispetto ad altri, come gli alberi decisionali o il KNN.

L'identificazione dell'overfitting può essere più difficile dell'underfitting, perché a differenza dell'underfitting, i dati di addestramento hanno un'elevata precisione in un modello overfitted. Per valutare l'accuratezza di un algoritmo, in genere si utilizza una tecnica chiamata convalida incrociata k-fold.

Nella convalida incrociata k-fold, i dati vengono suddivisi in k sottoinsiemi di uguali dimensioni, che sono anche chiamati "fold". Uno dei k-fold fungerà da set di test, noto anche come set di holdout o set di convalida, e i restanti fold addestreranno il modello. Questo processo si ripete fino a quando ogni fold non avrà funto da fold di holdout. Dopo ogni valutazione, viene mantenuto un punteggio e, al termine di tutte le iterazioni, viene calcolata la media dei punteggi per valutare le prestazioni del modello complessivo.

Lo scenario ideale quando si adatta un modello consiste nel trovare l'equilibrio tra overfitting e underfitting. L'identificazione dell'equilibrio perfetto tra i due permette ai modelli di machine learning di fare previsioni precise.

Poiché siamo in grado di rilevare l'underfitting in base al set di addestramento, possiamo aiutare a stabilire più facilmente la relazione dominante tra le variabili di input e output all'inizio. Mantenendo un'adeguata complessità del modello, possiamo evitare l'underfitting e fare previsioni più accurate. Di seguito sono elencate alcune tecniche utilizzabili per ridurre l'underfitting:

La regolarizzazione viene solitamente utilizzata per ridurre la varianza con un modello applicando una penalità ai parametri di input con i coefficienti maggiori. Esistono diversi metodi, come la regolarizzazione L1, la regolarizzazione Lasso, il dropout, ecc. che aiutano a ridurre il rumore e gli outlier all'interno di un modello. Tuttavia, se le caratteristiche dei dati diventano troppo uniformi, il modello non è in grado di identificare la tendenza dominante, con conseguente underfitting. Riducendo la quantità di regolarizzazione, nel modello vengono introdotte più complessità e variazioni, rendendo più efficace l'addestramento del modello.

Come accennato in precedenza, interrompere l'addestramento troppo presto può generare un modello in underfitting. Pertanto, prolungando la durata dell'addestramento, questo può essere evitato. Tuttavia, è importante essere consapevoli dell'addestramento eccessivo e, successivamente, dell'overfitting. Trovare l'equilibrio tra i due scenari è fondamentale.

Con qualsiasi modello vengono utilizzate caratteristiche specifiche per determinare uno specifico risultato. Se non sono presenti abbastanza caratteristiche predittive, è opportuno introdurre ulteriori caratteristiche o caratteristiche con maggiore importanza. Ad esempio, in una rete neurale si potrebbero aggiungere più neuroni nascosti oppure, in una foresta casuale, si potrebbero aggiungere più decision tree. Questo processo introduce maggiore complessità nel modello, producendo migliori risultati di addestramento.