Was ist Ridge-Regression?

Die Ridge-Regression – auch bekannt als L2-Regularisierung ist eine von mehreren Arten der Regularisierung für lineare Regressionsmodelle. Die Regularisierung ist eine statistische Methode zur Reduzierung von Fehlern, die durch eine Überanpassung von Trainingsdaten entstehen. Die Ridge-Regression korrigiert insbesondere die Multikollinearität in der Regressionsanalyse. Dies ist nützlich bei der Entwicklung von Modellen für maschinelles Lernen, die eine große Anzahl von Parametern aufweisen, insbesondere wenn diese Parameter auch hohe Gewichtungen aufweisen. Während sich dieser Artikel auf die Regularisierung linearer Regressionsmodelle konzentriert, ist zu beachten, dass die Ridge-Regression auch bei der logistischen Regression angewendet werden kann.

Eine Standardgleichung für die lineare Regression mit mehreren Variablen lautet:

Hierbei ist Y der vorhergesagte Wert (abhängige Variable), X ist ein beliebiger Prädiktor (unabhängige Variable), B ist der Regressionskoeffizient, der mit dieser unabhängigen Variablen verbunden ist, und X₀ ist der Wert der abhängigen Variablen, wenn die unabhängige Variable gleich Null ist (auch als y-Achsenabschnitt bezeichnet). Beachten Sie, wie die Koeffizienten die Beziehung zwischen der abhängigen Variablen und einer bestimmten unabhängigen Variablen kennzeichnen.

Multikollinearität bedeutet, dass zwei oder mehr Prädiktoren eine nahezu lineare Beziehung aufweisen. Montgomery et al. bieten ein treffendes Beispiel: Stellen Sie sich vor, wir analysieren einen Lieferdatensatz einer Lieferkette, bei dem Fernlieferungen regelmäßig eine hohe Anzahl von Artikeln enthalten, während Kurzstreckenlieferungen immer kleinere Bestände enthalten. In diesem Fall sind Lieferentfernung und Artikelmenge linear korreliert, wie in Abbildung 1 dargestellt. Dies führt zu Problemen, wenn diese als unabhängige Variablen in einem einzelnen Vorhersagemodell verwendet werden.

Dies ist nur ein Beispiel für Multikollinearität, und die Lösung ist relativ einfach: Sammeln Sie diversifiziertere Daten (zum Beispiel Daten für Kurzstreckenlieferungen mit großen Beständen). Das Sammel  von mehr Daten ist jedoch nicht immer eine praktikable Lösung, z. B. wenn die untersuchten Daten multikollinear sind. Andere Optionen zur Behebung von Multikollinearität sind die Erhöhung der Stichprobengröße, die Reduzierung der Anzahl unabhängiger Variablen oder einfach die Verwendung eines anderen Modells. Solche Korrekturen führen jedoch nicht immer zur Beseitigung der Multikollinearität, und die Ridge-Regression dient als weitere Methode zur Regularisierung eines Modells, um die Multikollinearität zu berücksichtigen.¹

Bei der anfänglichen Entwicklung von Vorhersagemodellen müssen wir oft Koeffizienten berechnen, da diese in den Trainingsdaten nicht explizit angegeben sind. Zur Schätzung der Koeffizienten verwenden wir einen gewöhnlichen Matrixkoeffizientenschätzer der kleinsten Quadrate (OLS):

Um die Funktionsweise dieser Formel zu kennen, ist es erforderlich, mit der Matrixnotation vertraut zu sein. Es genügt zu sagen, dass diese Formel darauf abzielt, die am besten passende Gerade für einen gegebenen Datensatz zu finden, indem Koeffizienten für jede unabhängige Variable berechnet werden, die zusammen die kleinste Quadratsumme der Residuen (auch als Summe der quadratischen Fehler bezeichnet) ergeben.²

Die Residualsumme der Quadrate (RSS) misst, wie gut ein lineares Regressionsmodell mit den Trainingsdaten übereinstimmt. Sie wird durch die Formulierung dargestellt:

Diese Formel misst die Genauigkeit der Modellvorhersage für die Ground-Truth-Werte in den Trainingsdaten. Wenn RSS = 0 ist, sagt das Modell abhängige Variablen perfekt voraus. Ein Wert von null ist jedoch nicht immer wünschenswert, da er auf eine Überanpassung an die Trainingsdaten hinweisen kann, insbesondere wenn der Trainingsdatensatz klein ist. Multikollinearität kann eine Ursache dafür sein.

Schätzungen mit hohem Koeffizienten können oft ein Symptom für eine Überanpassung sein.³ Wenn zwei oder mehr Variablen eine hohe lineare Korrelation aufweisen, kann OLS fälschlicherweise hohe Koeffizienten zurückgeben. Wenn ein oder mehrere Koeffizienten zu hoch sind, reagiert das Modell empfindlich auf geringfügige Änderungen in den Eingabedaten.Mit anderen Worten: Das Modell hat sich auf einen bestimmten Trainingssatz überangepasst und kann nicht genau auf neue Testsätze übertragen werden. Ein solches Modell gilt als instabil.⁴

Die Ridge-Regression modifiziert die OLS durch die Berechnung von Koeffizienten, die potenziell korrelierte Prädiktoren berücksichtigen. Insbesondere korrigiert die Ridge-Regression hochwertige Koeffizienten durch die Einführung eines Regularisierungsterms (oft auch als Strafterm bezeichnet) in die RSS-Funktion. Dieser Strafterm ist die Summe der Quadrate der Modellkoeffizienten.⁵ Es ist in der Formulierung dargestellt:

Der L2-Strafterm wird als Ende der RSS-Funktion eingefügt, was zu einer neuen Formulierung, dem Ridge-Regressionsschätzer, führt. Darin wird seine Wirkung auf das Modell durch den Hyperparameter Lambda (λ) gesteuert:

Denken Sie daran, dass Koeffizienten die Auswirkung eines bestimmten Prädiktors (d. h. einer unabhängigen Variable) auf den vorhergesagten Wert (d. h. eine abhängige Variable) kennzeichnen. Sobald der L2-Strafterm in die RSS-Formel aufgenommen wurde, wirkt er besonders hohen Koeffizienten entgegen, indem er alle Koeffizientenwerte reduziert. In der Statistik wird dies als Koeffizientenschrumpfung bezeichnet. Der obige Ridge-Schätzer berechnet somit neue Regressionskoeffizienten, die die RSS eines gegebenen Modells reduzieren. Dadurch wird der Effekt jedes Prädiktors minimiert und die Überanpassung der Trainingsdaten reduziert.⁶

Beachten Sie, dass bei der Ridge-Regression nicht jeder Koeffizient um den gleichen Wert schrumpft. Stattdessen werden die Koeffizienten proportional zu ihrer ursprünglichen Größe verkleinert. Mit zunehmendem λ schrumpfen hochwertige Koeffizienten stärker als Koeffizienten mit geringem Wert.⁷ Hochwertige Koeffizienten werden somit stärker penalisuert als Koeffizienten mit geringem Wert.

Beachten Sie, dass die L2-Strafe die Koeffizienten in Richtung Null schrumpfen lässt, aber nie auf den absoluten Nullpunkt; obwohl die Gewichtung der Modellmerkmale vernachlässigbar klein werden kann, ist sie bei der Ridge-Regression nie gleich Null. Durch die Reduzierung eines Koeffizienten auf Null wird der gepaarte Prädiktor effektiv aus dem Modell entfernt. Dies wird als Merkmalsauswahl bezeichnet und ist eine weitere Möglichkeit, Multikollinearität zu korrigieren.⁸ Da die Ridge-Regression die Regressionskoeffizienten nicht auf Null reduziert, führt sie keine Merkmalsauswahl durch.⁹ Dies wird oft als Nachteil der Ridge-Regression angeführt. Ein weiterer oft genannter Nachteil ist die Unfähigkeit der Ridge-Regression, Prädiktoreffekte bei starker Multikollinearität zu trennen.¹⁰

Die Lasso-Regression – auch L1-Regularisierung genannt – ist eine von mehreren anderen Regularisierungsmethoden in der linearen Regression. Die L1-Regularisierung funktioniert, indem Koeffizienten auf Null reduziert werden, wodurch diese unabhängigen Variablen im Wesentlichen aus dem Modell entfernt werden. Sowohl die Lasso-Regression als auch die Ridge-Regression reduzieren somit die Modellkomplexität, wenn auch auf unterschiedliche Weise. Die Lasso-Regression reduziert die Anzahl der unabhängigen Variablen, die sich auf die Ausgabe auswirken. Die Ridge-Regression verringert den Einfluss jeder unabhängigen Variablen auf die Ausgabe.

Elastisches Netz ist eine zusätzliche Form der Regularisierung. Während Ridge-Regression seinen Regularisierungsparameter aus der Summe der quadrierten Fehler und Lasso seinen eigenen aus der Summe der absoluten Fehlerwerte erhält, bezieht Elastic Net beide Regularisierungsparameter in die RSS-Kostenfunktion ein.¹¹

Die Hauptkomponentenregression (Principal Component Regression, PCR) kann auch als Regularisierungsverfahren dienen. Die PCR kann zwar Multikollinearität auflösen, tut dies jedoch nicht, indem sie der RSS-Funktion eine Strafe auferlegt, wie bei der Ridge- und Lasso-Regression. Vielmehr erzeugt die PCR lineare Kombinationen korrelierter Prädiktoren, aus denen ein neues Kleinstquadrate-Modell erstellt wird.¹²

Beim maschinellen Lernen hilft die Ridge-Regression dabei, die Überanpassung zu reduzieren, die aus der Modellkomplexität resultiert. Die Komplexität des Modells kann folgende Ursachen haben:

• Ein Modell, das zu viele Funktionen besitzt. Merkmale sind die Prädiktoren des Modells und können im maschinellen Lernen auch als „Parameter“ bezeichnet werden. In Online-Tutorials wird häufig empfohlen, die Anzahl der Funktionen unter der Anzahl der Instanzen in Trainingsdatensätzen zu halten. Dies ist jedoch nicht immer möglich.
• Merkmale mit zu viel Gewichtung. Die Merkmalsgewichtung bezieht sich auf die Auswirkung eines bestimmten Prädiktors auf die Modellausgabe. Ein hohes Merkmalsgewicht entspricht einem hohen Koeffizientenwert.

Einfachere Modelle sind nicht unbedingt besser als komplexe Modelle. Dennoch kann ein hohes Maß an Modellkomplexität die Fähigkeit eines Modells beeinträchtigen, neue Daten außerhalb des Trainingssatzes zu verallgemeinern.

Da bei der Ridge-Regression keine Merkmalsauswahl durchgeführt wird, kann die Modellkomplexität nicht durch Eliminierung von Merkmalen reduziert werden. Wenn sich jedoch ein oder mehrere Features zu stark auf die Ausgabe eines Modells auswirken, kann die Ridge-Regression hohe Feature-Gewichtungen (d. h. Koeffizienten) im gesamten Modell gemäß dem L2-Strafterm verkleinern. Dadurch wird die Komplexität des Modells verringert und die Abhängigkeit der Modellvorhersagen von einem oder mehreren Merkmalen wird verringert.

In Bezug auf maschinelles Lernen bedeutet die Kammregression, dass ein Modell mit einer Verzerrung versehen wird, um die Varianz dieses Modells zu verringern. Der Zielkonflikt zwischen Verzerrung und Varianz ist ein bekanntes Problem beim maschinellen Lernen. Um den Kompromiss zwischen Verzerrung und Varianz zu verstehen, ist es zunächst notwendig zu wissen, was mit „Verzerrung“ und „Varianz“ in der Forschung im Bereich maschinelles Lernen jeweils gemeint ist.

Kurz gesagt: Die Verzerrung misst die durchschnittliche Differenz zwischen vorhergesagten Werten und tatsächlichen Werten; die Varianz misst die Differenz zwischen Vorhersagen über verschiedene Realisierungen eines bestimmten Modells hinweg. Wenn die Verzerrung zunimmt, sagt ein Modell anhand eines Trainingsdatensatzes weniger genau voraus. Wenn die Varianz zunimmt, sagt ein Modell andere Datensätze weniger genau voraus. Verzerrung und Varianz messen somit die Modellgenauigkeit bei Trainings- bzw. Testsätzen. Offensichtlich hoffen die Entwickler, die Modellverzerrung und -varianz zu reduzieren. Eine gleichzeitige Reduzierung beider ist jedoch nicht immer möglich, weshalb Regularisierungstechniken wie die Ridge-Regression erforderlich sind.

Wie bereits erwähnt, führt die Ridge-Regression-Regularisierung zu einer zusätzlichen Verzerrung, um die Varianz zu verringern. Mit anderen Worten: Modelle, die durch Ridge-Regression reguliert werden, liefern weniger genaue Vorhersagen für Trainingsdaten (höhere Verzerrung), aber genauere Vorhersagen für Testdaten (geringere Varianz). Dies ist ein Trade-off zwischen Verzerrung und Varianz. Durch die Ridge-Regression bestimmen die Benutzer einen akzeptablen Verlust an Trainingsgenauigkeit (höhere Verzerrung), um die Generalisierung eines bestimmten Modells zu erhöhen (geringere Varianz).¹³ Auf diese Weise kann eine zunehmende Verzerrung dazu beitragen, die Gesamtleistung des Modells zu verbessern.

Die Stärke der L2-Strafe und damit der Kompromiss zwischen Verzerrung und Varianz des Modells wird durch den Wert λ in der Gleichung der Ridge-Schätzer-Verlustfunktion bestimmt. Wenn λ gleich null ist, bleibt eine gewöhnliche Funktion der kleinsten Quadrate übrig. Dadurch entsteht ein lineares Standardregressionsmodell ohne Regularisierung. Im Gegensatz dazu bedeutet ein höherer λ-Wert mehr Regularisierung. Mit zunehmendem λ steigt die Modellverzerrung, während die Varianz abnimmt. Wenn λ gleich null ist, überanpasst sich das Modell also an die Trainingsdaten, aber wenn λ zu hoch ist, passt sich das Modell an alle Daten an.¹⁴

Der mittlere quadratische Fehler (Mean Square Error, MSE) kann bei der Bestimmung eines geeigneten λ-Wertes helfen. Der MSE steht in engem Zusammenhang mit RSS und ist ein Mittel zur Messung der Differenz zwischen prognostizierten und tatsächlichen Werten im Durchschnitt. Je niedriger der MSE eines Modells ist, desto genauer sind seine Vorhersagen. Der MSE steigt jedoch mit steigendem λ. Dennoch wird argumentiert, dass es immer einen Wert von λ größer als Null gibt, sodass der durch Ridge-Regression erzielte MSE kleiner ist als der durch OLS erzielte^.15 Eine Methode zur Ableitung eines geeigneten λ-Wertes besteht darin, den höchsten Wert für λ zu finden, der den MSE nicht erhöht, wie in Abbildung 2 dargestellt. Zusätzliche Kreuzvalidierungstechniken können Anwendern helfen, optimale λ-Werte für die Abstimmung ihres Modells auszuwählen^.16

Ridge-Regressionsmodelle eignen sich am besten für Datensätze mit zwei oder mehr korrelierten Merkmalen. Darüber hinaus wird die Ridge-Regression in vielen Bereichen eingesetzt, um Modelle mit einer größeren Anzahl von Prädiktoren und kleinen Trainingsdatensätzen zu bewältigen.¹⁷ Solche Situationen können bei der Arbeit mit einer Vielzahl von Daten durchaus üblich sein.

Dies sind nur zwei Beispiele aus dem Bereich der Data Science. Wie diese beiden Beispiele jedoch zeigen, können Sie die Ridge-Regression am effektivsten in Situationen einsetzen, in denen Sie entweder mehr Modellmerkmale als Datenproben haben oder wenn Ihr Modell zwei oder mehr stark korrelierte Merkmale aufweist.

Aktuelle Forschungsarbeiten untersuchen eine modifizierte Variante der Ridge-Regression zum Zweck der Merkmalsauswahl.¹⁸ Diese modifizierte Form der Ridge-Regression verwendet unterschiedliche Regularisierungsparameter für jeden Koeffizienten. Auf diese Weise kann man die Gewichtung der Merkmale individuell bestrafen und so möglicherweise die Merkmalsauswahl durch Ridge-Regression implementieren.¹⁹