Was ist logistische Regression?

Log-Odds können in einer Datenanalyse auf Basis der logistischen Regression schwierig zu interpretieren sein. Daher ist es üblich, die Beta-Schätzungen zu potenzieren, um die Ergebnisse in ein Chancenverhältnis (Odds Ratio, OR) umzuwandeln, was die Interpretation der Ergebnisse erleichtert. Das OR gibt die Wahrscheinlichkeit an, dass ein Ergebnis bei einem bestimmten Ereignis eintritt, verglichen mit der Wahrscheinlichkeit, dass das Ergebnis ohne dieses Ereignis eintritt. Wenn das OR größer als 1 ist, dann ist das Ereignis mit einer höheren Wahrscheinlichkeit verbunden, ein bestimmtes Ergebnis zu erzeugen. Ist das OR dagegen kleiner als 1, dann ist das Ereignis mit einer geringeren Wahrscheinlichkeit für das Eintreten dieses Ergebnisses verbunden. Ausgehend von der obigen Gleichung lässt sich ein Chancenverhältnis wie folgt interpretieren: Die Wahrscheinlichkeit eines Erfolgs ändert sich um das exp(cB_1)-fache für jede c-Einheit, um die sich x erhöht. Nehmen wir als Beispiel an, dass wir die Wahrscheinlichkeit des Überlebens auf der Titanic schätzen sollen, wenn die Person männlich ist, und das Wahrscheinlichkeitsverhältnis für Männer 0,0810 beträgt. Wir würden das Chancenverhältnis so interpretieren, dass die Überlebenschancen von Männern im Vergleich zu Frauen um den Faktor 0,0810 sinken, wobei alle anderen Variablen konstant bleiben.

Sowohl die lineare als auch die logistische Regression gehören zu den beliebtesten Modellen im Bereich Data Science. Open-Source-Tools wie Python und R machen die Berechnung dieser Modelle schnell und einfach.

Modelle der linearen Regression werden verwendet, um die Beziehung zwischen einer kontinuierlichen abhängigen Variable und einer oder mehreren unabhängigen Variablen zu ermitteln. Wenn es nur eine unabhängige Variable und eine abhängige Variable gibt, spricht man von einer einfachen linearen Regression. Wenn jedoch die Anzahl der unabhängigen Variablen zunimmt, spricht man von einer multiplen linearen Regression. Bei jeder Art von linearer Regression wird versucht, eine Linie der besten Anpassung durch eine Reihe von Datenpunkten zu zeichnen, die normalerweise mit der Methode der kleinsten Quadrate berechnet wird.

Ähnlich wie die lineare Regression wird auch die logistische Regression für die Schätzung der Beziehung zwischen einer abhängigen Variable und einer oder mehreren unabhängigen Variablen verwendet. Allerdings wird sie genutzt, um eine Vorhersage über eine kategoriale Variable im Vergleich zu einer kontinuierlichen Variable zu machen. Eine kategoriale Variable kann wahr oder falsch sein, ja oder nein, 1 oder 0, usw. Auch die Maßeinheit unterscheidet sich von der linearen Regression, da sie eine Wahrscheinlichkeit erzeugt. Die Logit-Funktion wandelt die S-Kurve jedoch in eine gerade Linie um.  

Obwohl beide Modelle in der Regressionsanalyse verwendet werden, um Vorhersagen über zukünftige Ergebnisse zu machen, ist die lineare Regression in der Regel einfacher zu verstehen. Die lineare Regression erfordert auch keine so große Stichprobengröße wie die logistische Regression, die eine angemessene Stichprobe benötigt, um die Werte aller Antwortkategorien zu repräsentieren. Ohne eine größere, repräsentative Stichprobe hat das Modell möglicherweise nicht genügend statistische Aussagekraft, um einen signifikanten Effekt nachzuweisen.

Es gibt drei Arten von Modellen der logistischen Regression, die auf der Grundlage von kategorialen Antworten definiert sind.

• Binäre logistische Regression: Bei diesem Ansatz ist die Antwort oder abhängige Variable dichotom, d. h. sie hat nur zwei mögliche Ergebnisse (z. B. 0 oder 1). Gängige Beispiele für die Verwendung dieser Methode sind die Vorhersage, ob es sich bei einer E-Mail um Spam handelt oder nicht oder ob ein Tumor bösartig oder gutartig ist. Innerhalb der logistischen Regression ist dies der am häufigsten verwendete Ansatz und ganz allgemein einer der häufigsten Klassifikatoren für die binäre Klassifizierung.
• Multinomiale logistische Regression: Bei dieser Art von logistischem Regressionsmodell hat die abhängige Variable drei oder mehr mögliche Ergebnisse, wobei diese Werte jedoch keine bestimmte Reihenfolge haben. Filmstudios möchten zum Beispiel vorhersagen, welches Filmgenre ein Kinobesucher wahrscheinlich sehen wird, um ihre Filme effektiver zu vermarkten. Ein multinomiales logistisches Regressionsmodell kann dem Studio dabei helfen, die Stärke des Einflusses zu bestimmen, den die Faktoren Alter, Geschlecht und Beziehungsstatus einer Person auf die Art der von ihr bevorzugten Filme haben. Das Studio kann dann eine Werbekampagne für einen bestimmten Film auf eine Gruppe von Personen abstimmen, die diesen Film wahrscheinlich anschauen werden.
• Ordinale logistische Regression: Diese Art von logistischem Regressionsmodell wird eingesetzt, wenn die Antwortvariable drei oder mehr mögliche Ergebnisse hat. In diesem Fall haben diese Werte jedoch eine bestimmte Reihenfolge. Beispiele für ordinale Antworten sind Benotungsskalen von A bis F oder Bewertungsskalen von 1 bis 5. 

Innerhalb des maschinellen Lernens gehört die logistische Regression zur Familie der überwachten maschinellen Lernmodelle. Sie wird auch als diskriminatives Modell betrachtet, was bedeutet, dass sie versucht, zwischen Klassen (oder Kategorien) zu unterscheiden. Im Gegensatz zu einem generativen Algorithmus (wie z. B. Naïve Bayes), kann er, wie der Name schon sagt, keine Informationen, wie z. B. ein Bild, der Klasse generieren, die er vorherzusagen versucht (z. B. ein Bild einer Katze).

Wir haben bereits erwähnt, wie die logistische Regression die Log-Likelihood-Funktion maximiert, um die Beta-Koeffizienten des Modells zu bestimmen. Dies ändert sich im Kontext des maschinellen Lernens leicht. Im Rahmen des maschinellen Lernens wird die negative Log-Likelihood als Verlustfunktion verwendet, wobei der Prozess des Gradientenabstiegs genutzt wird, um das globale Maximum zu finden. Dies ist nur ein anderer Weg, um zu den gleichen Schätzungen zu gelangen, wie oben beschrieben.

Die logistische Regression kann auch für eine Überanpassung anfällig sein, insbesondere wenn das Modell eine große Anzahl von Prädiktorvariablen enthält. In der Regel wird eine Regularisierung verwendet, um Parameter mit großen Koeffizienten zu bestrafen, wenn das Modell unter einer hohen Dimensionalität leidet.

Scikit-learn (Link befindet sich außerhalb von ibm.com) bietet eine wertvolle Dokumentation, um mehr über das maschinelle Lernmodell der logistischen Regression zu erfahren.

Logistische Regression wird häufig für Vorhersage- und Klassifizierungsprobleme verwendet. Zu diesen Anwendungsfällen gehören:

• Betrugserkennung: Logistische Regressionsmodelle können Teams bei der Identifizierung von Datenanomalien helfen, die auf Betrug hindeuten. Bestimmte Verhaltensweisen oder Merkmale können eine höhere Assoziation mit betrügerischen Aktivitäten aufweisen, was insbesondere für Banken und andere Finanzinstitute beim Schutz ihrer Kunden hilfreich ist. Auch SaaS-Unternehmen haben mit der Einführung dieser Verfahren begonnen, um im Rahmen der Datenanalyse zur Unternehmensleistung gefälschte Benutzerkonten aus ihren Datensätzen zu entfernen.
• Krankheitsvorhersage: In der Medizin kann dieser analytische Ansatz verwendet werden, um die Wahrscheinlichkeit von Krankheiten für eine bestimmte Bevölkerungsgruppe vorherzusagen. Gesundheitseinrichtungen können eine präventive Versorgung für Personen einrichten, die eine höhere Neigung zu bestimmten Krankheiten aufweisen.
• Vorhersage der Fluktuation: Bestimmte Verhaltensweisen können auf Abwanderung in verschiedenen Funktionen eines Unternehmens hinweisen. Die Personal- und Managementteams möchten beispielsweise wissen, ob es im Unternehmen Leistungsträger gibt, bei denen die Gefahr einer Kündigung besteht. Diese Art von Erkenntnissen kann zu Gesprächen führen, um Problembereiche innerhalb des Unternehmens zu verstehen, wie z. B. die Kultur oder die Vergütung. Vielleicht möchte auch der Vertrieb erfahren, welche Kunden Gefahr laufen, ihr Geschäft zu verlagern. Dies kann die Teams zur Entwicklung einer Strategie veranlassen, um potenzielle Umsatzeinbußen zu vermeiden,