Was ist Unteranpassung?

Eine Unteranpassung tritt auf, wenn ein Modell zu einfach ist, was darauf zurückzuführen sein kann, dass ein Modell mehr Trainingszeit, mehr Eingabemerkmale oder weniger Regularisierung benötigt.

Wie bei der Überanpassung kann ein Modell bei der Unteranpassung den vorherrschenden Trend in den Daten nicht ermitteln, was zu Trainingsfehlern und einer schlechten Leistung des Modells führt. Wenn ein Modell nicht gut auf neue Daten verallgemeinert werden kann, kann es nicht für Klassifizierungs- oder Vorhersageaufgaben genutzt werden. Die Generalisierung eines Modells auf neue Daten ist letztlich das, was es uns ermöglicht,Algorithmen des maschinellen Lernens jeden Tag zu nutzen, um Vorhersagen zu treffen und Daten zu klassifizieren.

Eine hohe Verzerrung und eine geringe Varianz sind starke Indikatoren für eine Unteranpassung. Da dieses Verhalten bei der Verwendung des Trainingsdatensatzes sichtbar wird, sind unterangepasste Modelle normalerweise leichter zu identifizieren als überangepasste.

Einfach ausgedrückt: Überanpassung ist das Gegenteil von Unteranpassung. Sie tritt auf, wenn das Modell übertrainiert wurde oder wenn es zu komplex ist, was zu hohen Fehlerraten bei den Testdaten führt. Eine Überanpassung eines Modells ist häufiger als eine Unteranpassung und eine Unteranpassung erfolgt in der Regel dann, wenn einer Überanpassung durch einen Prozess, der als „early Stopping“ bezeichnet wird, vorgebeugt werden soll.

Wenn unzureichendes Training oder mangelnde Komplexität zu einer Unteranpassung führt, dann wäre eine logische Strategie, die Dauer des Trainings zu verlängern oder relevante Eingaben hinzuzufügen. Wenn Sie das Modell jedoch zu stark trainieren oder zu viele Merkmale hinzufügen, kann es zu einer Überanpassung Ihres Modells kommen, was zu einer geringen Verzerrung, aber einer hohen Varianz (dem Verzerrung-Varianz-Dilemma) führt. In diesem Szenario passt sich das statistische Modell zu eng an die Trainingsdaten an, sodass die Generalisierung auf neue Datenpunkte nicht funktioniert. Es ist wichtig zu beachten, dass einige Arten von Modellen anfälliger für eine Überanpassung sind als andere, wie z. B. Entscheidungsbäume oder KNN.

Eine Überanpassung ist eventuell schwieriger zu entdecken als eine Unteranpassung, da die Trainingsdaten in einem überangepassten Modell im Gegensatz zu einem unterangepassten Modell mit hoher Genauigkeit ausgeführt werden. Um die Genauigkeit eines Algorithmus zu bewerten, wird in der Regel eine Technik verwendet, die als k-fache Kreuzvalidierung bezeichnet wird.

Bei der k-fachen Kreuzvalidierung werden die Daten in k gleich große Teilmengen aufgeteilt, die auch als „Folds“ bezeichnet werden. Eine der k-Folds dient als Testset, auch Holdout-Set oder Validierungsset genannt, und die übrigen Folds dienen zum Trainieren des Modells. Dieser Prozess wird so lange wiederholt, bis jeder Fold als Holdout-Fold fungiert hat. Nach jeder Auswertung wird eine Punktzahl festgehalten. Wenn alle Iterationen abgeschlossen sind, werden die Punktzahlen zur Bewertung der Leistung des Gesamtmodells ermittelt.

Das ideale Szenario beim Anpassen eines Modells besteht darin, das Gleichgewicht zwischen Über- und Unteranpassung zu finden. Die Identifizierung dieses Sweetspots zwischen den beiden ermöglicht den Modellen des maschinellen Lernens, genaue Vorhersagen zu treffen.

Da wir eine Unteranpassung anhand des Trainingssatzes erkennen können, können wir zu Beginn besser dabei helfen, die dominante Beziehung zwischen den Eingabe- und Ausgabevariablen herzustellen. Durch eine angemessene Modellkomplexität können wir eine Unteranpassung vermeiden und genauere Vorhersagen treffen. Im Folgenden finden Sie einige Techniken, mit denen eine Unteranpassung reduziert werden kann:

Die Regularisierung wird in der Regel verwendet, um die Varianz mit einem Modell zu reduzieren, indem ein Malus auf die Eingabeparameter mit den größeren Koeffizienten angewendet wird. Es gibt eine Reihe verschiedener Methoden, wie z. B. L1-Regularisierung, Lasso-Regularisierung, Dropout usw., die dazu beitragen, das Rauschen und die Ausreißer innerhalb eines Modells zu reduzieren. Wenn die Datenmerkmale jedoch zu einheitlich werden, kann das Modell den vorherrschenden Trend nicht mehr erkennen, was zu einer Unteranpassung führt. Durch die Verringerung des Grads der Regularisierung werden mehr Komplexität und Variation in das Modell eingebracht, was ein erfolgreiches Training des Modells ermöglicht.

Wie bereits erwähnt, kann ein zu frühes Trainingsende ebenfalls zu einer Unteranpassung des Modells führen. Durch die Verlängerung der Dauer des Trainings kann dies daher vermieden werden. Es ist jedoch wichtig, sich des Übertrainings und der damit verbundenen Überanpassung bewusst zu sein. Der entscheidende Punkt ist, die Balance zwischen den beiden Szenarien zu finden.

Bei jedem Modell werden bestimmte Merkmale verwendet, um ein vorgegebenes Ergebnis zu bestimmen. Wenn nicht genügend Vorhersagemerkmale vorhanden sind, sollten mehr Merkmale oder Merkmale von höherer Bedeutung hinzugefügt werden. In einem neuronalen Netz können Sie beispielsweise mehr versteckte Neuronen oder in einem Random Forest mehr Bäume hinzufügen. Dieser Prozess verleiht dem Modell mehr Komplexität, was zu besseren Trainingsergebnissen führt.