Überanpassung ist ein Konzept in der Datenwissenschaft, das auftritt, wenn ein statistisches Modell genau auf seine Trainingsdaten passt. Wenn dies der Fall ist, kann der Algorithmus leider nicht genau mit Daten arbeiten, die er noch nicht gesehen hat, was seinen Zweck verfehlt. Die Generalisierung eines Modells auf neue Daten ist letztlich das, was es uns ermöglicht, Algorithmen des maschinellen Lernens täglich für Vorhersagen und die Klassifizierung von Daten zu nutzen.
Bei der Entwicklung von Algorithmen für maschinelles Lernen wird ein Beispieldatensatz verwendet, um das Modell zu trainieren. Wenn das Modell jedoch zu lange mit Beispieldaten trainiert oder wenn das Modell zu komplex ist, kann es beginnen, das „Rauschen“ oder irrelevante Informationen innerhalb des Datenbestands zu lernen. Wenn sich das Modell das Rauschen merkt und sich zu sehr an das Trainingsset anpasst, wird es „überangepasst“ und kann nicht gut auf neue Daten verallgemeinert werden. Wenn ein Modell nicht gut auf neue Daten verallgemeinert werden kann, ist es nicht in der Lage, die Klassifizierungs- oder Vorhersageaufgaben zu erfüllen, für die es gedacht war.
Niedrige Fehlerquoten und eine hohe Varianz sind gute Indikatoren für eine Überanpassung. Um diese Art von Verhalten zu verhindern, wird in der Regel ein Teil des Trainingsdatensatzes als „Testsatz“ außen vor gelassen, um auf Überanpassung zu prüfen. Wenn die Trainingsdaten eine niedrige und die Testdaten eine hohe Fehlerquote haben, deutet dies auf eine Überanpassung hin.
Wenn Übertraining oder Modellkomplexität zu einer Überanpassung führen, wäre eine logische Vorbeugungsmaßnahme entweder eine frühere Unterbrechung des Trainingsprozesses, auch bekannt als „Early Stopping“, oder eine Reduzierung der Komplexität des Modells durch Eliminierung weniger relevanter Eingaben. Wenn Sie jedoch zu früh eine Pause einlegen oder zu viele wichtige Merkmale ausschließen, kann es sein, dass Sie das gegenteilige Problem haben und Ihr Modell zu wenig passt. Eine Unteranpassung tritt auf, wenn das Modell nicht lange genug trainiert wurde oder die Eingabevariablen nicht signifikant genug sind, um eine sinnvolle Beziehung zwischen den Eingabe- und Ausgabevariablen zu bestimmen.
In beiden Szenarien kann das Modell den vorherrschenden Trend innerhalb des Trainingsdatensatzes nicht feststellen. Infolgedessen verallgemeinert sich die Unteranpassung auch schlecht auf Daten, die noch nicht gesehen wurden. Im Gegensatz zur Überanpassung weisen unterangepasste Modelle jedoch eine hohe Verzerrung und eine geringere Varianz innerhalb ihrer Vorhersagen auf. Dies veranschaulicht den Kompromiss zwischen Verzerrung und Varianz, der auftritt, wenn ein unterangepasstes Modell in einen überangepassten Zustand versetzt wird. Wenn das Modell lernt, verringert sich seine Verzerrung, aber die Varianz kann zunehmen, wenn es überangepasst wird. Bei der Anpassung eines Modells besteht das Ziel darin, den idealen Punkt zwischen Unter- und Überanpassung zu finden, sodass ein dominanter Trend ermittelt und auf neue Datensätze übertragen werden kann.
Um die Genauigkeit von Modellen des maschinellen Lernens zu verstehen, ist es wichtig, die Eignung des Modells zu testen. Die k-fache Kreuzvalidierung ist eine der beliebtesten Techniken zur Bewertung der Genauigkeit des Modells.
Bei der k-fachen Kreuzvalidierung werden Daten in k gleich große Untergruppen aufgeteilt, die auch „Folds" (Teilmengen) genannt werden. Eine der k-Teilmengen fungiert als Testmenge, auch bekannt als Holdout-Menge oder Validierungsmenge, und die restlichen Teilmengen trainieren das Modell. Dieser Prozess wiederholt sich, bis jede der Teilmengen als Holdout-Menge verwendet wurde. Nach jeder Auswertung wird ein Score festgehalten, und wenn alle Iterationen abgeschlossen sind, werden die Scores gemittelt, um die Leistung des Gesamtmodells zu bewerten.
Die Verwendung eines linearen Modells hilft uns zwar, eine Überanpassung zu vermeiden, aber viele reale Probleme sind nichtlinear. Es ist nicht nur wichtig zu wissen, wie man eine Überanpassung erkennt, sondern auch, wie man eine Überanpassung ganz vermeiden kann. Nachfolgend finden Sie eine Reihe von Techniken, die Sie anwenden können, um eine Überanpassung zu verhindern:
Während dies die gängige Definition von Überanpassung ist, deuten neuere Forschungsergebnisse (PDF, 1,2 MB) (Link befindet sich außerhalb von IBM) darauf hin, dass komplexe Modelle wie Deep-Learning-Modelle und neuronale Netze eine hohe Genauigkeit aufweisen, obwohl sie auf „exakte Anpassung oder Interpolation“ trainiert wurden. Dieses Untersuchungsergebnis steht in direktem Widerspruch zur archivierten Fachliteratur zu diesem Thema und wird durch die nachstehende „doppelt absteigende“ Risikokurve erklärt. Sie können sehen, dass sich die Leistung des Modells verbessert, wenn das Modell über den Schwellenwert der Interpolation hinaus lernt. Die bereits erwähnten Methoden zur Vermeidung von Überanpassung, wie z. B. Early Stopping und Regularisierung, können die Interpolation tatsächlich verhindern.
IBM® Watson Studio ist eine offene Datenplattform, die es Datenwissenschaftlern ermöglicht, KI-Modelle in jeder beliebigen Cloud im großen Maßstab zu erstellen, auszuführen, zu testen und zu optimieren.
IBM® Cloud Pak for Data ist eine offene, erweiterbare Datenplattform, die ein Data Fabric zur Verfügung stellt, um alle Daten für KI und Analytics in jeder Cloud verfügbar zu machen.
Empirische Beweise zeigen, dass überparametrisierte Meta-Lernmethoden immer noch gut funktionieren – ein Phänomen, das oft als unkritische Überanpassung bezeichnet wird.
Untersuchen Sie zwei empirische Methoden, um mehr gelernte Glättung während Adversarial Training (AT) einzufügen.