Was ist Regularisierung?

Die Regularisierung umfasst eine Reihe von Techniken zur Korrektur der Überanpassung in maschinellen Lernmodellen. Daher dient die Regularisierung als Methode zur Erhöhung der Generalisierbarkeit eines Modells, d. h. der Fähigkeit, genaue Vorhersagen für neue Datensätze zu erstellen.¹ Die Regularisierung bietet diese erhöhte Generalisierbarkeit auf Kosten eines erhöhten Trainingsfehlers. Mit anderen Worten führen Regularisierungsmethoden in der Regel zu weniger genauen Vorhersagen für Trainingsdaten, aber zu genaueren Vorhersagen für Testdaten.

Die Regularisierung unterscheidet sich von der Optimierung. Im Wesentlichen erhöht Ersteres die Verallgemeinerbarkeit des Modells, während Letzteres die Genauigkeit des Modelltrainings erhöht. Beide sind wichtige Konzepte im Bereich maschinelles Lernen und Data Science.

Es gibt viele Formen der Regularisierung. Alles, was über eine vollständige Anleitung hinausgeht, erfordert eine viel längere Behandlung in Buchlänge. Dennoch bietet dieser Artikel einen Überblick über die Theorie, die notwendig ist, um den Zweck der Regularisierung beim maschinellen Lernen zu verstehen, sowie eine Übersicht über mehrere beliebte Regularisierungstechniken.

Diese Inkaufnahme eines erhöhten Trainingsfehlers zugunsten eines verringerten Testfehlers wird als Kompromiss zwischen Verzerrung und Varianz bezeichnet. Der Zielkonflikt zwischen Verzerrung und Varianz ist ein bekanntes Problem beim maschinellen Lernen. Zunächst müssen die Begriffe „Verzerrung“ und „Varianz“ definiert werden. Um es kurz zu machen:

- Verzerrung misst die durchschnittliche Differenz zwischen vorhergesagten Werten und tatsächlichen Werten. Wenn die Verzerrung zunimmt, sagt ein Modell anhand eines Trainingsdatensatzes weniger genau voraus. Eine hohe Verzerrung bezieht sich auf einen hohen Fehler im Training.

- Varianz misst die Differenz zwischen den Vorhersagen verschiedener Realisierungen eines bestimmten Modells. Mit zunehmender Varianz sagt ein Modell weniger genau über nicht sichtbare Daten voraus. Eine hohe Varianz bezieht sich auf einen hohen Fehler bei der Prüfung und Validierung.

Verzerrung und Varianz repräsentieren somit umgekehrt die Modellgenauigkeit bei Trainings- bzw. Testsätzen.² Entwickler streben natürlich danach, sowohl die Verzerrung als auch die Varianz des Modells zu reduzieren. Eine gleichzeitige Reduzierung beider Werte ist nicht immer möglich, sodass eine Regularisierung erforderlich ist. Die Regularisierung verringert die Modellvarianz auf Kosten einer erhöhten Verzerrung.

Durch die Erhöhung der Verzerrung und die Verringerung der Varianz löst die Regularisierung die Überanpassung des Modells. Eine Überanpassung liegt vor, wenn der Fehler bei den Trainingsdaten abnimmt, während der Fehler bei den Testdaten nicht mehr abnimmt oder sogar zunimmt.³ Mit anderen Worten: Die Überanpassung beschreibt Modelle mit geringer Verzerrung und hoher Varianz. Wenn die Regularisierung jedoch zu viel Verzerrung mit sich bringt, wird das Modell unterdimensioniert.

Trotz seines Namens bezeichnet Unteranpassung nicht das Gegenteil der Überanpassung. Vielmehr beschreibt die Unteranpassung Modelle, die durch hohe Verzerrung und hohe Varianz gekennzeichnet sind. Ein unterdimensioniertes Modell führt während des Trainings und der Tests zu unbefriedigenden, fehlerhaften Vorhersagen. Dies ist oft auf unzureichende Trainingsdaten oder -parameter zurückzuführen.

Eine Regularisierung kann jedoch möglicherweise auch zu einer Unteranpassung des Modells führen. Wenn durch die Regularisierung zu viel Verzerrung entsteht, kann die Modellvarianz aufhören, abzunehmen, und sogar zunehmen. Die Regularisierung kann diesen Effekt vor allem bei einfachen Modellen haben, d. h. bei Modellen mit wenigen Parametern. Bei der Festlegung der Art und des Umfangs der durchzuführenden Regularisierung müssen daher die Komplexität eines Modells, der Datensatz usw. berücksichtigt werden.⁴

Lineare Regression und logistische Regression sind beides Vorhersagemodelle, die dem maschinellem Lernen zugrunde liegen. Die lineare Regression (oder gewöhnliche kleinste Quadrate) zielt darauf ab, die Auswirkungen eines oder mehrerer Prädiktoren auf eine bestimmte Ausgabe zu messen und vorherzusagen, indem die am besten passende Linie durch bereitgestellte Datenpunkte (d.h. Trainingsdaten) gefunden wird. Die logistische Regression zielt darauf ab, die Klassenwahrscheinlichkeiten für eine binäre Ausgabe bei einer Reihe von Prädiktoren zu bestimmen. Mit anderen Worten: Die lineare Regression macht kontinuierliche quantitative Vorhersagen, während die logistische Regression diskrete kategoriale Vorhersagen liefert⁵

Natürlich ist die Eingabe-Ausgabe-Beziehung nicht immer eindeutig, wenn die Anzahl der Prädiktoren in einem der Regressionsmodelle zunimmt, und erfordert eine Anpassung der Regressionsformel. Hier kommt die Regularisierung ins Spiel. Es gibt drei Hauptformen der Regularisierung für Regressionsmodelle. Beachten Sie, dass es sich bei dieser Liste nur um eine kurze Übersicht handelt. Die Anwendung dieser Regularisierungstechniken bei der linearen oder der logistischen Regression variiert geringfügig.

- Lasso-Regression (oder L1-Regularisierung) ist eine Regularisierungstechnik, die hochwertige, korrelierte Koeffizienten bestraft. Sie führt einen Regularisierungsterm (auch Strafterm genannt) in die Verlustfunktion der Summe der quadrierten Fehler (SSE) des Modells ein. Dieser Strafterm ist der absolute Wert der Summe der Koeffizienten. Gesteuert wiederum durch den Hyperparameter Lambda (λ) reduziert er ausgewählte Merkmalsgewichte auf Null. Die Lasso-Regression entfernt dadurch multikollineare Merkmale vollständig aus dem Modell.

- Ridge-Regression (oder L2-Regularisierung) ist eine Regularisierungstechnik, die hochwertige Koeffizienten auf ähnliche Weise bestraft, indem sie einen Strafterm in die SSE-Verlustfunktion einführt. Sie unterscheidet sich jedoch von der Lasso-Regression. Erstens ist der Strafterm bei der Ridge-Regression die quadrierte Summe der Koeffizienten und nicht der absolute Wert der Koeffizienten. Zweitens führt die Ridge-Regression keine Merkmalsauswahl durch. Während der Strafterm der Lasso-Regression Merkmale aus dem Modell entfernen kann, indem er die Koeffizientenwerte auf Null schrumpft, schrumpft die Ridge-Regression die Merkmalsgewichte nur in Richtung Null, aber nie auf Null.

– Die Elastic Net-Regularisierung kombiniert im Wesentlichen sowohl die Ridge- als auch die Lasso-Regression, fügt aber sowohl die L1- als auch die L2-Strafbegriffe in die SSE-Verlustfunktion ein. L2 und L1 leiten ihren Straftermwert ab, indem sie den absoluten Wert der Summe der Merkmalsgewichte quadrieren oder verwenden. Elastic Net fügt diese beiden Strafwerte in die Gleichung der Kostenfunktion (SSE) ein. Auf diese Weise adressiert Elastic Net die Multikollinearität und ermöglicht gleichzeitig die Auswahl von Funktionen.⁶

In der Statistik werden diese Methoden auch als „Koeffizientenschrumpfung“ bezeichnet, da sie die Koeffizientenwerte der Prädiktoren im Vorhersagemodell schrumpfen lassen. Bei allen drei Techniken wird die Stärke des Strafterms durch Lambda gesteuert, das mithilfe verschiedener Kreuzvalidierungsverfahren berechnet werden kann.

Datenerweiterung ist eine Regularisierungstechnik, die die Trainingsdaten des Modells verändert. Sie erweitert den Umfang des Trainingssatzes durch die Erstellung künstlicher Datenproben, die aus bereits vorhandenen Trainingsdaten abgeleitet werden. Durch das Hinzufügen weiterer Proben zum Trainingssatz, insbesondere von Fällen, die in realen Daten selten vorkommen, wird ein Modell einer größeren Menge und Vielfalt von Daten ausgesetzt, aus denen es lernt. Die Forschung im Bereich des maschinellen Lernens hat sich kürzlich mit der Datenanreicherung für Klassifikatoren befasst, insbesondere als Mittel zur Lösung unausgewogener Datensätze.⁷ Die Datenanreicherung unterscheidet sich jedoch von synthetischen Daten. Bei Letzterem werden neue, künstliche Daten erstellt, während bei Ersterem modifizierte Duplikate bereits vorhandener Daten erstellt werden, um den Datensatz zu diversifizieren und zu vergrößern.

Frühes Stoppen ist vielleicht die am einfachsten umzusetzende Regularisierungstechnik. Kurz gesagt: Sie begrenzt die Anzahl der Iterationen während des Modelltrainings. Hier durchläuft ein Modell kontinuierlich die Trainingsdaten und stoppt, sobald keine Verbesserung (und möglicherweise sogar eine Verschlechterung) der Trainings- und Validierungsgenauigkeit mehr zu verzeichnen ist. Das Ziel besteht darin, ein Modell so lange zu trainieren, bis es den geringstmöglichen Trainingsfehler erreicht hat, bevor ein Plateau oder ein Anstieg des Validierungsfehlers eintritt.⁸

Viele Python-Pakete für maschinelles Lernen bieten Optionen für Trainingsbefehle, um das Training frühzeitig zu beenden. Tatsächlich ist das vorzeitige Beenden in einigen Fällen eine Standard-Trainingseinstellung.

Neural Networks sind komplexe Modelle des maschinellen Lernens, die vielen Anwendungen und Services der künstlichen Intelligenz zugrunde liegen. Neural Networks bestehen aus einer Eingabeschicht, einer oder mehreren verborgenen Schichten und einer Ausgabeschicht, wobei jede Schicht wiederum aus mehreren Knoten besteht.

Dropout reguliert Neural Networks, indem es während des Trainings nach dem Zufallsprinzip Knoten zusammen mit ihren Ein- und Ausgangsverbindungen aus dem Netz entfernt (Abbildung 3). Dropout trainiert mehrere Varianten einer Architektur mit fester Größe, wobei jede Variante unterschiedliche zufällige Knoten aufweist, die nicht in die Architektur einbezogen werden. Ein einzelnes Neural Network ohne Dropout wird für Tests verwendet, wobei eine ungefähre Mittelwertmethode angewendet wird, die aus den zufällig modifizierten Trainingsarchitekturen abgeleitet wurde. Auf diese Weise entspricht der Dropout dem Training einer großen Menge von Neural Networks mit einer Vielzahl diversifizierter Architekturen.⁹

Gewichtsabbau ist eine weitere Form der Regularisierung, die für tiefe Neural Networks verwendet wird. Es reduziert die Summe der quadrierten Networkgewichte durch einen Regularisierungsparameter, ähnlich wie die L2-Regularisierung in linearen Modellen.¹⁰ Aber wenn sie in Neural Networks eingesetzt wird, hat diese Reduzierung einen ähnlichen Effekt wie die L1-Regularisierung: Die Gewichte ausgewählter Neuronen sinken auf Null.¹¹ Dadurch werden Knoten effektiv aus dem Netzwerk entfernt, wodurch die Netzwerkkomplexität durch geringe Dichte reduziert wird.¹²

Der Gewichtsabbau mag oberflächlich betrachtet dem Ausfall in tiefen Neural Networks ähneln, aber die beiden Techniken unterscheiden sich. Ein Hauptunterschied besteht darin, dass bei einem Abbruch der Strafwert in der Tiefe des Netzwerks exponentiell ansteigt, während der Strafwert bei einem Gewichtsabbau linear ansteigt. Einige glauben, dass Dropout die Komplexität des Netzwerks sinnvoller bestrafen kann als Gewichtsabbau.¹³

In vielen Online-Artikeln und -Tutorials werden L2-Regularisierung und -Gewichtsabbau fälschlicherweise miteinander vermischt. Tatsächlich ist die Wissenschaft uneinheitlich – einige unterscheiden zwischen L2 und Gewichtsabbau,¹⁴ andere setzen sie gleich, ¹⁵ und wieder andere beschreiben die Beziehung zwischen ihnen uneinheitlich.¹⁶ Die Lösung solcher terminologischer Unstimmigkeiten ist ein notwendiger, aber vernachlässigter Bereich für die zukünftige Forschung.