Was ist lineare Diskriminanzanalyse (LDA)?

Die lineare Diskriminanzanalyse, auch bekannt als normale Diskriminanzanalyse (NDA) oder Diskriminanzfunktionsanalyse (DFA), folgt einem generativen Modellframework. Das bedeutet, dass LDA-Algorithmen die Datenverteilung für jede Klasse modellieren und das Bayes' Theorem¹ verwenden, um neue Datenpunkte zu klassifizieren. Bayes berechnet bedingte Wahrscheinlichkeiten – die Wahrscheinlichkeit eines Ereignisses, unter der Voraussetzung, dass ein anderes Ereignis eingetreten ist. LDA-Algorithmen treffen Vorhersagen, indem sie Bayes verwenden, um die Wahrscheinlichkeit zu berechnen, mit der ein Eingabedatensatz zu einem bestimmten Ausgabedatensatz gehört. Eine Übersicht über die Bayes'sche Statistik und ihre Auswirkungen auf überwachte Lernalgorithmen finden Sie unter Naive-Bayes-Klassifikatoren. 

LDA arbeitet mit der Identifizierung einer linearen Kombination von Funktionen, die zwei oder mehr Klassen von Objekten oder Ereignissen voneinander trennt oder charakterisiert. LDA projiziert dazu Daten mit zwei oder mehr Dimensionen in eine Dimension, damit sie einfacher klassifiziert werden können. Diese Technik wird daher manchmal auch als „Reduzierung der Dimensionalität“ bezeichnet. Diese Vielseitigkeit stellt sicher, dass LDA für Probleme der Datenklassifizierung in mehreren Klassen verwendet werden kann, im Gegensatz zur logistischen Regression, die auf die binäre Klassifizierung beschränkt ist. LDA wird daher häufig eingesetzt, um die Funktionsweise anderer lernender Klassifizierungsalgorithmen wie Entscheidungsbaum, Zufallswald oder Support Vector Machines (SVM) zu verbessern.

Die lineare Diskriminanzanalyse (LDA) basiert auf der linearen Diskriminanzanalyse von Fisher, einer statistischen Methode, die in den 1930er Jahren von Sir Ronald Fisher entwickelt und später von C. R. Rao als Mehrklassenversion vereinfacht wurde. Die Fisher-Methode zielt darauf ab, eine lineare Kombination von Merkmalen zu identifizieren, die zwischen zwei oder mehr Klassen von gekennzeichneten Objekten oder Ereignissen unterscheidet.

Die Fisher-Methode reduziert die Dimensionen, indem sie Klassen von projizierten Daten trennt. Separation bedeutet, den Abstand zwischen den prognostizierten Mitteln zu maximieren und die prognostizierte Varianz innerhalb der Klassen zu minimieren.

Nehmen wir eine Bank, die entscheidet, ob Kreditanträge genehmigt oder abgelehnt werden sollen. Die Bank stützt sich bei dieser Entscheidung auf zwei Faktoren: die Bonität des Antragstellers und sein Jahreseinkommen.

Hier werden die beiden Merkmale oder Klassen auf einer zweidimensionalen (2D) Ebene mit einer X-Y-Achse dargestellt. Wenn wir versuchen würden, Genehmigungen anhand nur eines Merkmals zu klassifizieren, könnten wir Überschneidungen feststellen. Durch die Anwendung der linearen Diskriminanzanalyse können wir eine gerade Linie zeichnen, die diese beiden Klassendatenpunkte vollständig voneinander trennt. LDA erreicht dies, indem es die X-Y-Achse verwendet, um eine neue Achse zu erstellen, die verschiedenen Klassen durch eine gerade Linie trennt und Daten auf die neue Achse projiziert.

Um diese neue Achse zu erstellen und die Dimensionalität zu reduzieren, folgt LDA diesen Kriterien:

• Maximieren Sie den Abstand zwischen den Mittelwerten zweier Klassen.
• Minimieren Sie die Varianz innerhalb der einzelnen Klassen.

LDA funktionieren, indem sie einen Funktionsraum, d. h. einen Datensatz mit n Dimensionen, auf einen kleineren Raum „k“ projizieren, wobei k kleiner oder gleich n – 1 ist, ohne dass Klasseninformationen verloren gehen. Ein LDA-Modell umfasst die statistischen Eigenschaften, die für die Daten in jeder Klasse berechnet werden. Wenn mehrere Merkmale oder Variablen vorhanden sind, werden diese Eigenschaften mithilfe der multivariaten Gauß-Verteilung³ berechnet.

Die Multivariaten sind:

• Mittelwert
• Kovarianzmatrix, die misst, wie jede Variable oder jedes Merkmal mit anderen innerhalb der Klasse zusammenhängt

Die statistischen Eigenschaften, die aus dem Datensatz geschätzt werden, werden in die LDA-Funktion eingespeist, um Vorhersagen zu treffen und das LDA-Modell zu erstellen. Es sind einige Einschränkungen zu beachten, da das Modell von Folgendem ausgeht:

• Der Eingabedatensatz hat eine Gaußsche Verteilung, bei der die grafische Darstellung der Datenpunkte eine glockenförmige Kurve ergibt.
• Der Datensatz ist linear trennbar, d. h. LDA kann eine gerade Linie oder eine Entscheidungsgrenze zeichnen, die die Datenpunkte trennt.
• Jede Klasse hat die gleiche Kovarianzmatrix.

Aus diesen Gründen funktionieren LDA in Räumen mit vielen Dimensionen möglicherweise nicht gut.

Bei der Dimensionsreduktion werden Datenpunkte durch eine gerade Linie getrennt. Mathematisch werden lineare Transformationen mithilfe von Eigenvektoren und Eigenwerten analysiert. Stellen Sie sich vor, Sie haben einen Datensatz mit mehreren Merkmalen abgebildet, woraus ein mehrdimensionales Streudiagramm resultiert. Eigenvektoren geben die „Richtung“ innerhalb des Streudiagramms vor. Eigenwerte geben die Bedeutung dieser Richtungsdaten an. Ein hoher Eigenwert bedeutet, dass der zugehörige Eigenvektor kritischer ist.

Bei der Dimensionsreduktion werden die Eigenvektoren aus dem Datensatz berechnet und in zwei Streumatrizen gesammelt:

• Streumatrix zwischen den Klassen (Informationen über die Datenstreuung innerhalb jeder Klasse)
• Streumatrix innerhalb der Klasse (wie die Klassen untereinander verteilt sind).

Um LDA effektiv nutzen zu können, ist es wichtig, den Datensatz vorher vorzubereiten. Dies sind die Schritte und Best Practices zur Implementierung von LDA:

Dies wird durch die Übergabe des n-Komponentenparameters des LDA erreicht, der die Anzahl der abzurufenden linearen Diskriminanten identifiziert.

Dies wird durch die Übergabe des n-Komponentenparameters des LDA erreicht, der die Anzahl der abzurufenden linearen Diskriminanten identifiziert.

Die Regularisierung verhindert die Überanpassung, bei der das statistische Modell genau mit den Trainingsdaten übereinstimmt, wobei die Genauigkeit beeinträchtigt wird.

Sie können Klassifikatoren wie LDA bewerten, indem Sie eine Konfusionsmatrix mit tatsächlichen Klassenwerten als Zeilen und prognostizierten Klassenwerten als Spalten erstellen. Anhand einer Konfusionsmatrix lässt sich leicht erkennen, ob ein Klassifikator zwei Klassen verwechselt, d. h. eine Klasse fälschlicherweise als eine andere bezeichnet. Betrachten Sie zum Beispiel eine 10 x 10 Konfusionsmatrix, die Bilder von Null bis 9 vorhersagt. Die tatsächlichen Werte werden in Zeilen auf der y-Achse aufgetragen. Prognosen werden in Spalten auf der X-Achse dargestellt. Um zu sehen, wie oft ein Klassifikator Bilder von 4en und 9en im Beispiel für die 10 x 10-Konfusionsmatrix verwechselt hat, überprüfen Sie die 4. Zeile und die 9. Spalte.

Die lineare Diskriminanzfunktion hilft bei der Entscheidungsfindung bei Klassifizierungsproblemen, indem sie Datenpunkte anhand von Merkmalen trennt und sie in verschiedene Klassen oder Kategorien einteilt. Der Berechnungsprozess lässt sich in diesen Hauptschritten zusammenfassen:

Die Varianz zwischen den Klassen ist die Trennbarkeit zwischen den Klassen – der Abstand zwischen den Klassenmittelwerten.

Die Varianz innerhalb der Klasse ist der Abstand zwischen Klassenmittelwerten und Stichproben.

Dadurch wird die Varianz zwischen den Klassen maximiert und die Varianz innerhalb der Klasse minimiert. Wir können die lineare Diskriminanzfunktion für zwei Klassen mathematisch wie folgt darstellen.

δ(x) = x * ( σ² * (μ₀-μ₁) - 2 * σ² * (μ₀²-μ₁²) + ln(P(w₀) / P(w₁)))

Wo gilt:

• δ(x) stellt die lineare Diskriminanzfunktion dar.
• x stellt den Eingabedatenpunkt dar.
• μ₀ und μ₁ sind die Mittelwerte der beiden Klassen.
• σ² ist die übliche Varianz innerhalb der Klasse.
• P(ω₀) und P(ω₁) sind die A-priori-Wahrscheinlichkeiten der beiden Klassen.

Lassen Sie uns die Gleichung verwenden, um ein Beispiel für die Kreditvergabe durchzugehen. Um es noch einmal zusammenzufassen: Die Bank entscheidet, ob sie Kreditanträge genehmigt oder ablehnt. Die Bank verwendet zwei Kriterien, um diese Entscheidung zu treffen: die Bonität des Antragstellers (x) und das Jahreseinkommen. Die Bank hat historische Daten über frühere Kreditantragsteller und darüber, ob die Kredite genehmigt wurden, gesammelt.

• Klasse ω₀ steht für „Kredit abgelehnt“.
• Klasse ω₁ steht für „Kredit genehmigt“.

Mit Hilfe der linearen Diskriminanzfunktion kann die Bank für jeden Kreditantrag einen Score (δ(x)) berechnen. 

Die Gleichung für die lineare Diskriminanzfunktion könnte in etwa so aussehen:

δ(x) = x * ( σ² * (μ₀-μ₁) - 2 * σ² * (μ₀²-μ₁²) + ln(P(w₀) / P(w₁)))

• x steht für die Kreditwürdigkeit und das Jahreseinkommen des Antragstellers.
• μ₀ und μ₁ sind die Mittelwerte dieser Merkmale für die beiden Klassen: „Kredit abgelehnt“ und „Kredit genehmigt“.
• σ² ist die übliche Varianz innerhalb der Klasse.
• P(ω₀) ist die A-priori-Wahrscheinlichkeit von „Kredit abgelehnt“, und P(ω1) ist die A-priori-Wahrscheinlichkeit von „Kredit genehmigt“.

Die Bank berechnet die lineare Diskriminanzfunktion für jeden Kreditantrag.

• Wenn δ(x) positiv ist, deutet das darauf hin, dass der Kreditantrag eher genehmigt wird.
• Wenn δ(x) negativ ist, deutet das darauf hin, dass der Kreditantrag eher abgelehnt wird.

Die Bank kann so ihren Kreditgenehmigungsprozess automatisieren und schnellere und konsistentere Entscheidungen treffen, während menschliche Vorurteile minimiert werden.

Dies sind typische Szenarien, in denen LDA eingesetzt werden kann, um komplexe Probleme anzugehen und Unternehmen dabei zu helfen, bessere Entscheidungen zu treffen.

Wenn Sie sich eingehender mit der linearen Diskriminanzanalyse mit Python befassen und die scikit-learn-Bibliothek nutzen möchten, können Sie dieses Tutorial erkunden Lernen Sie Klassifizierungsalgorithmen mit Python und scikit-learn in IBM® watsonx. Das Tutorial hilft Ihnen bei den Grundlagen der Lösung eines klassifikationsbasierten maschinellen Lernproblems mit Python und Scikit-Learn (auch bekannt als sklearn).

Für die Schritt-für-Schritt-Anleitung importieren Sie zunächst die erforderlichen Python-Bibliotheken, um mit dem Iris-Datensatz zu arbeiten, führen eine Datenvorverarbeitung durch und erstellen und bewerten Ihr LDA-Modell:

<Python code snippet>

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import sklearn
import seaborn as sns
from sklearn.preprocessing import StandardScaler, LabelEncoder
from sklearn.model_selection import train_test_split
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score, confusion_matrix

Wenn die Bibliotheken nicht installiert sind, können Sie dies mit pip install beheben.

Sehen Sie sich auch diese Scikit-Learn-Dokumentation an, um einen Überblick über wichtige Parameter, Attribute und allgemeine Beispiele für Python-Implementierungen mit sklearn.discriminant_analysis.LinearDiscriminantAnalysis zu erhalten.

Das Verständnis der Vorteile und Grenzen der linearen Diskriminanzanalyse (LDA) ist entscheidend, wenn sie auf verschiedene Klassifizierungsprobleme angewendet wird. Das Wissen um Kompromisse hilft Data Scientists und Machine-Learning-Experten, fundierte Entscheidungen über die Eignung für eine bestimmte Aufgabe zu treffen.

• Nutzen Sie Einfachheit und Effizienz der Berechnung: LDA ist ein einfacher, aber leistungsstarker Algorithmus. Er ist relativ leicht zu verstehen und zu implementieren und somit für Einsteiger in das maschinelle Lernen zugänglich. Außerdem sorgt die effiziente Berechnung für schnelle Ergebnisse.
• Verwalten Sie hochdimensionale Daten: LDA ist effektiv, wenn die Anzahl der Merkmale größer ist als die Anzahl der Trainingsbeispiele.Daher ist LDA bei Anwendungen wie Textanalyse, Bilderkennung und Genomik wertvoll, bei denen die Daten oft hochdimensional sind.
• Umgang mit Multikollinearität: LDA kann Multikollinearität, d. h. das Vorhandensein hoher Korrelationen zwischen verschiedenen Merkmalen, bewältigen. Sie transformiert die Daten in einen Raum mit niedrigerer Dimension, während die Informationsintegrität erhalten bleibt.

- Geteilte Mittelwertverteilungen: LDA stößt auf Herausforderungen, wenn Klassenverteilungen gemeinsame Mittelwerte aufweisen. LDA bemüht sich, eine neue Achse zu schaffen, die beide Klassen linear voneinander trennt. Daher kann es sein, dass LDA nicht effektiv zwischen Klassen mit überlappenden statistischen Eigenschaften unterscheidet. Stellen Sie sich zum Beispiel ein Szenario vor, in dem zwei Blumenarten eine sehr ähnliche Blütenblattlänge und -breite haben. Für die LDA kann es schwierig sein, diese Arten allein anhand dieser Merkmale zu unterscheiden. Alternative Techniken, wie nichtlineare Diskriminanzanalysemethoden, werden hier bevorzugt.

- Nicht für Daten ohne Kennzeichnung geeignet: LDA wird als überwachter Lernalgorithmus angewendet, d. h. er klassifiziert oder trennt Daten mit Kennzeichnung. Im Gegensatz dazu ignoriert die Hauptkomponentenanalyse (PCA), eine andere Technik zur Dimensionsreduktion, die Klassenbezeichnungen und erhält die Varianz.