Se un eccessivo addestramento o la complessità del modello determinano un overfitting, allora una risposta logica di prevenzione sarebbe quella di sospendere anticipatamente il processo di addestramento, noto anche come "arresto anticipato", o di ridurre la complessità del modello eliminando input meno rilevanti. Tuttavia, se si fa una pausa troppo precoce o si escludono troppe funzioni importanti, è possibile che si verifichi il problema opposto, ovvero l'underfitting del modello. L'underfitting si verifica quando il modello non è stato addestrato per un tempo sufficiente o le variabili di input non sono sufficientemente significative da determinare una relazione significativa tra le variabili di input e di output.

In entrambi gli scenari, il modello non può stabilire la tendenza dominante all'interno del set di dati di addestramento. Di conseguenza, l'underfitting generalizza male anche i dati non visti. Tuttavia, a differenza dell'overfitting, i modelli soggetti a underfitting presentano un'elevata distorsione e una minore varianza all'interno delle loro previsioni. Questo illustra il compromesso distorsione-varianza, che si verifica quando un modello in uno stato di underfitting passa a uno stato di overfitting. Man mano che il modello apprende, la sua distorsione si riduce, ma può aumentare di varianza man mano che diventa soggetto a overfitting. Quando si adatta un modello, l'obiettivo è quello di trovare il punto di equilibrio ottimale tra underfitting e overfitting, in modo da poter stabilire una tendenza dominante e applicarla ampiamente a nuovi set di dati.

Per comprendere l'accuratezza dei modelli di machine learning, è importante testarne l'idoneità. La convalida incrociata k-fold è una delle tecniche più diffuse per valutare l'accuratezza del modello.

Nella convalida incrociata k-fold, i dati vengono suddivisi in k sottoinsiemi di uguali dimensioni, che sono anche chiamati "fold". Uno dei k-fold fungerà da set di test, noto anche come set di holdout o set di convalida, e i restanti fold addestreranno il modello. Questo processo si ripete fino a quando ogni fold non avrà funto da fold di holdout. Dopo ogni valutazione, viene mantenuto un punteggio e, al termine di tutte le iterazioni, viene calcolata la media dei punteggi per valutare le prestazioni del modello complessivo.

Sebbene l'utilizzo di un modello lineare ci aiuti a evitare l'overfitting, molti problemi del mondo reale sono non lineari. Oltre a capire come rilevare l'overfitting, è importante capire come evitare del tutto l'overfitting. Di seguito sono elencate alcune tecniche che è possibile utilizzare per prevenire l'overfitting:

• Arresto anticipato: come accennato in precedenza, questo metodo cerca di sospendere l'addestramento prima che il modello inizi a imparare il rumore all'interno del modello. Questo approccio rischia di arrestare troppo presto il processo di addestramento, portando al problema opposto dell'underfitting. Trovare il punto di equilibrio ottimale tra underfitting e overfitting è l'obiettivo finale.
• Addestramento con più dati: l'ampliamento del set di addestramento con un maggior numero di dati può aumentare l'accuratezza del modello, offrendo maggiori opportunità di individuare la relazione dominante tra le variabili di input e di output. Detto questo, questo è un metodo più efficace quando nel modello vengono inseriti dati puliti e pertinenti. Altrimenti, potresti semplicemente continuare ad aggiungere ulteriore complessità al modello, causandone l'overfitting.
• Aumento dei dati: sebbene sia meglio iniettare dati puliti e pertinenti nei dati di addestramento, a volte si aggiungono dati rumorosi per rendere un modello più stabile. Tuttavia, questo metodo dovrebbe essere eseguito con parsimonia.
• Selezione delle funzioni: quando si crea un modello, si dispone di una serie di parametri o funzioni che vengono utilizzati per prevedere un determinato risultato, ma molte volte queste funzioni possono essere ridondanti per altre. La selezione delle funzioni è il processo di identificazione di quelle più importanti all'interno dei dati di addestramento ed eliminazione di quelle irrilevanti o ridondanti. Ciò viene comunemente scambiato per riduzione della dimensionalità, ma è diverso.  Tuttavia, entrambi i metodi aiutano a semplificare il modello per stabilire la tendenza dominante nei dati.
• Regolarizzazione: se l'overfitting si verifica quando un modello è troppo complesso, ha senso ridurre il numero di funzioni. Ma cosa succede se non sappiamo quali input eliminare durante il processo di selezione delle funzioni? Se non sappiamo quali funzioni rimuovere dal nostro modello, i metodi di regolarizzazione possono essere particolarmente utili. La regolarizzazione applica una "penalità" ai parametri di input con i coefficienti maggiori, che successivamente limita la quantità di varianza nel modello.  Sebbene esistano numerosi metodi di regolarizzazione, come la regolarizzazione Lasso, la regressione ridge e il dropout, tutti cercano di identificare e ridurre il rumore all'interno dei dati.
• Metodi d'insieme: i metodi di apprendimento d'insieme sono costituiti da un insieme di classificatori (ad esempio, strutture ad albero decisionali) e le relative previsioni vengono aggregate per identificare il risultato più popolare. I metodi d'insieme più noti sono il bagging e il boosting. Nel bagging, un campione casuale di dati in un set di addestramento viene selezionato con sostituzione, il che significa che i singoli punti dati possono essere scelti più di una volta. Dopo aver generato diversi campioni di dati, questi modelli vengono addestrati in modo indipendente e, a seconda del tipo di attività, ossia regressione o classificazione, la media o la maggior parte di tali previsioni producono una stima più accurata. Questo approccio è comunemente usato per ridurre la varianza all'interno di un set di dati rumoroso.

Mentre quella sopra riportata è la definizione consolidata di overfitting, una recente ricerca (link esterno a IBM) indica che i modelli complessi, come i modelli di deep learning e le reti neurali, ottengono un'elevata precisione nonostante siano stati addestrati per "adattarsi esattamente o interpolare". Questo risultato è in netto contrasto con la letteratura storica sull'argomento e si spiega con la curva di rischio a "doppia discesa" riportata di seguito. Si può notare che, man mano che il modello apprende oltre la soglia di interpolazione, le prestazioni del modello migliorano. I metodi che abbiamo menzionato in precedenza per evitare l'overfitting, come l'arresto anticipato e la regolarizzazione, possono in realtà impedire l'interpolazione.