Qu’est-ce que le sous-ajustement ?

Il se produit lorsqu’un modèle est trop simple, ce qui peut être dû à un temps d’entraînement insuffisant, à un nombre insuffisant de caractéristiques d’entrée ou à une régularisation insuffisante.

Tout comme le surajustement, lorsqu’un modèle est sous-ajusté, il ne peut pas établir la tendance dominante dans les données, ce qui entraîne des erreurs d’entraînement et de mauvaises performances du modèle. Si un modèle n’est pas capable d’intégrer correctement de nouvelles données, il ne peut pas être utilisé pour des tâches de classification ou de prédiction. La généralisation d’un modèle à de nouvelles données est finalement ce qui nous permet d’utiliser quotidiennement des algorithmes de machine learning pour faire des prédictions et classer des données.

Un biais élevé et une variance faible sont de bons indicateurs de sous-ajustement. Comme ce comportement peut être observé lors de l’utilisation du jeu de données d’entraînement, les modèles sous-ajustés sont généralement plus faciles à identifier que ceux qui sont surajustés.

En termes simples, le surajustement est l’opposé du sous-ajustement. Il se produit lorsque le modèle a été trop entraîné ou lorsqu’il est trop complexe, ce qui entraîne des taux d’erreur élevés sur les données de test. Le surajustement d’un modèle est plus courant que le sous-ajustement, qui survient généralement lorsque l’on tente d’éviter le surajustement par le biais d’un processus appelé « arrêt anticipé ».

Si un sous-entraînement ou un manque de complexité entraîne un sous-ajustement, une stratégie de prévention logique consisterait à augmenter la durée de l’entraînement ou à ajouter des entrées plus pertinentes. Cependant, si vous entraînez trop le modèle ou si vous y ajoutez trop de fonctionnalités, vous risquez un surajustement. Cela se traduira alors par un biais faible, mais une variance élevée (c’est-à-dire un compromis entre le biais et la variance). Dans ce scénario, le modèle statistique s’adapte trop étroitement aux données d’entraînement, ce qui le rend incapable de réaliser une bonne généralisation à de nouveaux points de données. Il est important de noter que certains types de modèles peuvent être plus sujets au surajustement que d’autres, comme les arbres de décision ou les KNN.

L’identification du surajustement peut s’avérer plus difficile que celle du sous-ajustement car, contrairement à ce dernier, les données d’entraînement offrent une grande précision dans un modèle surajusté. Pour évaluer la précision d’un algorithme, on utilise généralement une technique appelée validation croisée K-fold.

Dans la technique de validation croisée des K-folds, les données sont divisées en k sous-ensembles de taille égale, également appelés « folds ». L’un de ces k-folds servira de jeu test, également appelé ensemble d’exclusion ou ensemble de validation, et les autres serviront à entraîner le modèle. Ce processus se répète jusqu’à ce que chaque fold ait agi comme un fold de rétention. Après chaque évaluation, un score est retenu et lorsque toutes les itérations sont terminées, la moyenne des scores est calculée pour évaluer la performance du modèle global.

Le scénario idéal lors de l’ajustement d’un modèle consiste à trouver l’équilibre entre le surajustement et le sous-ajustement. En identifiant ce « juste milieu » entre les deux, les modèles de machine learning peuvent effectuer des prédictions avec précision.

Comme nous pouvons détecter le sous-ajustement à partir du jeu de données d’entraînement, il est plus facile d’établir dès le départ la relation dominante entre les variables d’entrée et de sortie. En maintenant une complexité adéquate du modèle, nous pouvons éviter le sous-ajustement et faire des prédictions plus précises. Voici quelques techniques pour réduire le sous-ajustement :

La régularisation est généralement employée pour réduire la variance d’un modèle en appliquant une pénalité aux paramètres d’entrée présentant les coefficients les plus élevés. Il existe différentes méthodes, telles que la régularisation L1, la régularisation Lasso ou l’abandon, qui permettent de réduire le bruit et les données aberrantes dans un modèle. Cependant, si les caractéristiques des données deviennent trop uniformes, le modèle est incapable d’identifier la tendance dominante, ce qui conduit à un sous-ajustement. En diminuant le degré de régularisation, on introduit davantage de complexité et de variation dans le modèle, ce qui permet de l’entraîner efficacement.

Comme évoqué précédemment, l’arrêt prématuré de l’entraînement peut également conduire à un sous-ajustement du modèle. Ce problème peut donc être évité en prolongeant la durée de l’entraînement. Il est toutefois important de rester vigilant quant au surentraînement et, par conséquent, au surajustement. La clé réside dans la recherche d’un équilibre entre ces deux scénarios.

Quel que soit le modèle, des caractéristiques spécifiques sont employées pour déterminer un résultat donné. Si les caractéristiques prédictives sont insuffisantes, il faut introduire davantage de caractéristiques ou des caractéristiques plus importantes. Par exemple, dans un réseau de neurones, vous pouvez ajouter des neurones cachés supplémentaires, ou ajouter des arbres supplémentaires dans une forêt d’arbres décisionnels. Ce processus rendra le modèle plus complexe, ce qui permettra d’obtenir de meilleurs résultats d’entraînement.