Klassifizierungsmodelle sind eine Art der prädiktiven Modellierung, bei der Daten anhand von Merkmalswerten in vordefinierte Klassen eingeteilt werden.
Klassifizierungsmodelle sind eine Art von Modellen des maschinellen Lernens, die Datenpunkte in vordefinierte Gruppen, sogenannte Klassen, einteilen. Klassifizierer sind eine Art von prädiktiver Modellierung, die Klassenmerkmale aus den Eingabedaten erlernt und dann lernt, mögliche Klassen anhand dieser Merkmale den neuen Daten zuzuordnen.1 Klassifizierungsalgorithmen werden in der Datenwissenschaft häufig für die Vorhersage von Mustern und Ergebnissen verwendet. In der Tat gibt es eine Reihe von realen Anwendungsfällen, wie z. B. die Klassifizierung von Patienten nach potenziellen Gesundheitsrisiken und die Filterung von Spam-E-Mails.
Klassifizierungsaufgaben können binär oder mehrklassig sein. Bei binären Klassifizierungsproblemen trifft ein Modell eine Vorhersage zwischen zwei Klassen. Ein Spamfilter klassifiziert beispielsweise E-Mails als Spam oder als kein Spam. Multiklassen-Klassifizierungsprobleme klassifizieren Daten in mehr als zwei Klassenbezeichnungen. Ein Bildklassifikator könnte beispielsweise Bilder von Tieren mithilfe einer Vielzahl von Klassenbezeichnungen wie Hund, Katze, Lama, Schnabeltier und mehr klassifizieren.
In einigen Quellen, insbesondere im Internet, wird die Klassifizierung als eine Form des überwachten maschinellen Lernens bezeichnet. Aber Klassifizierer fallen nicht ausschließlich in den Bereich des überwachten Lernens. Unüberwachte Lernansätze für Klassifizierungsprobleme sind ein wichtiger Schwerpunkt der jüngsten Forschung.
Natürlich unterscheidet sich jeder Algorithmus für maschinelles Lernen in seinen internen Abläufen. Dennoch folgen alle einem allgemeinen zweistufigen Datenklassifizierungsprozess:
Lernen. Beim überwachten Lernen ordnet ein menschlicher Kommentator jedem Datenpunkt im Trainingsdatensatz ein Label zu. Diese Punkte werden als eine Reihe von Eingabevariablen (oder unabhängigen Variablen) definiert, bei denen es sich um Zahlen, Textstrings, Bildmerkmale und so weiter handeln kann. Mathematisch ausgedrückt, betrachtet das Modell jeden Datenpunkt als Tupel x. Ein Tupel ist lediglich eine geordnete Zahlenfolge, die als x = ( x1, x2, x3…xn) dargestellt wird. Jeder Wert in dem Tupel ist ein bestimmtes Merkmal des Datenpunkts. Das Modell verwendet die Merkmale jedes Datenpunkts zusammen mit der Klassenbezeichnung, um zu entschlüsseln, welche Merkmale die einzelnen Klassen definieren. Durch die Zuordnung der Trainingsdaten zu dieser Gleichung lernt ein Modell die allgemeinen Merkmale (oder Variablen), die mit jeder Klassenbezeichnung verbunden sind.
Klassifikation. Der zweite Schritt bei den Klassifizierungsaufgaben ist die selbst erstellte Klassifizierung. In dieser Phase setzen Benutzer das Modell auf einem Testsatz mit ungesehenen Daten ein. Bisher ungenutzte Daten sind ideal für die Bewertung der Modellklassifizierung, um eine Überanpassung zu vermeiden. Das Modell verwendet seine erlernte vorhergesagte Funktion y=f(x), um die unsichtbaren Daten verschiedener Klassen entsprechend den Merkmalen der einzelnen Stichproben zu klassifizieren. Die Benutzer bewerten dann die Genauigkeit des Modells anhand der Anzahl der korrekt vorhergesagten Testdaten.2
Klassifizierungsmodelle geben zwei Arten von Vorhersagen aus: diskrete und kontinuierliche.
Diskret. Diskrete Vorhersagen sind die vorhergesagten Klassenbezeichnungen für jeden Datenpunkt. Zum Beispiel können wir einen Prädiktor verwenden, um Patienten auf der Grundlage von Gesundheitsdaten als Diabetiker oder Nicht-Diabetiker zu klassifizieren. Die Klassen Diabetiker und Nicht-Diabetiker sind die diskreten kategorialen Vorhersagen.
Kontinuierlich. Klassifikatoren weisen Klassenvorhersagen als kontinuierliche Wahrscheinlichkeiten zu, sogenannte Konfidenzwerte. Diese Wahrscheinlichkeiten sind Werte zwischen 0 und 1 und stellen Prozentsätze dar. Unser Modell könnte einen Patienten als Diabetiker klassifizieren mit einem Wert von 0,82 Wahrscheinlichkeit. Dies bedeutet, dass das Modell davon ausgeht, dass der Patient mit einer Wahrscheinlichkeit von 82 % Diabetiker ist und mit einer Wahrscheinlichkeit von 18 % nicht an Diabetes leidet.
Forscher bewerten Modelle in der Regel mit diskreten Vorhersagen und fortlaufenden Vorhersagen als Schwellenwerten. Ein Klassifikator ignoriert jede Vorhersage unter einem bestimmten Schwellenwert. Wenn zum Beispiel unser Diabetes-Prädiktor einen Schwellenwert von 0,4 hat (40 %) und stuft einen Patienten mit einer Wahrscheinlichkeit von 0,35 als Diabetiker ein (35 %) dann ignoriert das Modell diese Kennzeichnung und ordnet den Patienten nicht der Diabetikerklasse zu.3
Forscher und Entwickler verwenden eine breite Palette von Bewertungsmaßstäben für Klassifizierungsmodelle. Dabei hängt die gewählte Bewertungsmetrik von der jeweiligen Klassifizierungsaufgabe ab. Alle messen die Genauigkeit, mit der ein Lerner (d. h. ein Klassifikator) die Modellklassen korrekt vorhersagt.
Klassifizierungsmetriken verwenden eine gemeinsame Terminologie. Richtig positive Fälle (True Positives, TP) sind die Datenbeispiele, die das Modell korrekt in ihrer jeweiligen Klasse vorhersagt. Falsch positive Fälle (False Positives, FP) sind die Instanzen der negativen Klasse, die fälschlicherweise als positive Fälle identifiziert wurden. Falsch negative Fälle (False Negatives, FN) sind tatsächlich positive Fälle, die fälschlicherweise als negativ vorhergesagt wurden. Richtige negative Fälle (True Negative, TN) sind die tatsächlichen negativen Fälle, die das Modell korrekt als negativ klassifiziert.
Präzision. Das wird als positiver Vorhersagewert (Positive Predicted Value, PPV) bezeichnet. Es ist der Anteil positiver Klassenvorhersagen, die tatsächlich zu der betreffenden Klasse gehören. In einem Spamfilter ist die Genauigkeit beispielsweise der Anteil der Nachrichten, die das Modell als Spam klassifiziert, bei denen es sich tatsächlich um Spam handelt. Es wird durch die folgende Gleichung dargestellt:4
Rückruf. True-Positive-Rate (TPR) auch bezeichnet als Sensititivität oder Recall bezeichnet den Prozentsatz der von einem Modell erkannten Klasseninstanzen. Um auf den Spamfilter zurückzukommen: Die Recall-Quote gibt an, wie viele Spam-Nachrichten das Modell tatsächlich als Spam klassifiziert. Sie wird durch die folgende Gleichung dargestellt:5
F1-Score. Präzision und Abruf können eine umgekehrte Beziehung Teilen; Da ein Klassifizierer mehr richtig positive Ergebnisse (erhöhter Recall) zurückgibt, klassifiziert der Klassifizierer unweigerlich auch Nicht-Instanzen (d. h. falsch positive Ergebnisse), wodurch die Genauigkeit verringert wird. Der F1-Score zielt darauf ab, diesen Zielkonflikt aufzulösen. F1 (oder F-Score) kombiniert effektiv Präzision und Abruf, um die gesamte klassenweise Genauigkeit eines Modells darzustellen. Sie wird durch die Gleichung dargestellt:6
Datenvisualisierungstools helfen dabei, Ergebnisse der Datenanalyse zu veranschaulichen. Data Scientist und Forscher im Bereich maschinelles Lernen verwenden zwei primäre Tools zur Visualisierung der Leistung:
Konfusionsmatrix. Die Konfusionsmatrix ist eine Tabelle, deren Spalten die vorhergesagten Werte einer bestimmten Klasse darstellen, während die Zeilen die tatsächlichen Werte repräsentieren, oder umgekehrt. Das Kästchen oben links steht für die Anzahl der richtig positiven Werte, das Kästchen darunter für die falsch positiven Werte, das Kästchen oben rechts für die Anzahl der falsch negativen Werte und das Kästchen unten rechts für die Anzahl der richtig negativen Werte. Die Summe all dieser Werte ergibt die Gesamtzahl der Vorhersagen des Modells.7 Eine Konfusionsmatrix für einen binären Klassifikator kann wie folgt aussehen:
ROC-Kurve. Eine ROC-Kurve (Receiver Operating Characteristic) veranschaulicht das Verhältnis von richtig Positiven zu richtig Negativen. Das Diagramm stellt die Rate der richtig Positiven gegen die Rate der richtig Negativen für jeden bei der Modellklassifizierung verwendeten Schwellenwert dar. Die Statistik der Fläche unter der Kurve (Area under Curve, AUC) ergibt sich aus der ROC-Kurve. Die AUC misst, wie wahrscheinlich es ist, dass ein zufällig ausgewähltes positives Ergebnis einen höheren Konfidenzwert hat als ein zufällig ausgewähltes negatives Ergebnis. Die AUC-Werte reichen von 0 bis 1. Ersteres bedeutet, dass das Modell alle Negative mit höherer Wahrscheinlichkeit bewertet als Positive, während 1 bedeutet, dass das Modell jedes Positive mit höherer Wahrscheinlichkeit bewertet.8
Es gibt viele verschiedene Arten von Klassifizierungsalgorithmen. Obwohl sich ihre Anwendungsfälle überschneiden, sind einige für bestimmte Anwendungen besser geeignet als andere. Hier finden Sie einen Überblick über drei beliebte Algorithmen für maschinelles Lernen zur Klassifizierung. Alle drei lassen sich mithilfe verschiedener Scikit-Learn-Bibliotheken problemlos in Python implementieren.
Online-Quellen stellen oft maschinelles Lernen zur Klassifizierung und Regression gegenüber. Doch das ist eine Vereinfachung. Die logistische Regression ist ein Wahrscheinlichkeitsklassifikator, der aus linearen Regressionsmodellen abgeleitet wird. Die lineare Regression verwendet eine oder mehrere unabhängige Variablen, um den Wert einer unabhängigen Variablen vorherzusagen, deren Wert eine beliebige fortlaufende rationale Zahl sein kann. Die logistische Regression ist eine Modifikation der linearen Regression, bei der der Ausgabewert (oder die unabhängige Variable) auf einen beliebigen Wert zwischen 0 und 1 begrenzt wird. Dies geschieht durch eine Logit-Transformation – oder eine Log-Odds – auf die Standardformel der linearen Regression: 9
Regressionmodelle sind nützlich für die binäre Klassifikation von multivariaten Regressionproblemen. Häufige Anwendungen sind Betrugserkennung und biomedizinische Vorhersagen. Zum Beispiel wurde eine logistische Regression eingeführt, um die Patientensterblichkeit aufgrund eines Traumas und einer koronaren Herzkrankheit vorherzusagen.10
Naïve-Bayes-Klassifikatoren (auch Naive Bayes genannt) sind ein beliebter Klassifikatortyp, der auf dem Bayes-Theorem basiert. Einer der Hauptunterschiede zu anderen Klassifikatoren besteht darin, dass er die Posterior-Wahrscheinlichkeit für Klassenvorhersagen berechnet. Dies bedeutet, dass Naïve Bayes die anfänglichen Klassenvorhersagen (sogenannte A-priori-Wahrscheinlichkeiten) mit jedem neuen Datenelement aktualisiert. Nehmen wir beispielsweise an, wir versuchen, die Wahrscheinlichkeit eines Patienten, an Diabetes zu erkranken, einzuschätzen. Die medizinischen Daten dieses Patienten – wie Blutdruck, Alter, Blutzuckerspiegel und mehr – dienen als unabhängige Variablen. Zur Vorhersage berechnet ein Bayes-Klassifikator die aktuell angenommene Prävalenz von Diabetes in einer Bevölkerung (vorherige Wahrscheinlichkeit) mit der Wahrscheinlichkeit, dass die medizinischen Datenwerte unseres Patienten bei jemandem mit Diabetes auftreten (bedingte Wahrscheinlichkeit). Naive Bayes-Klassifikatoren folgen der Gleichung der Bayes-Regel:11
Naïve Bayes ist als generativer Klassifikator bekannt. Das bedeutet, dass der Bayes'sche Klassifikator anhand der Variablenwerte einer gegebenen Beobachtung berechnet, welche Klasse die Beobachtung am wahrscheinlichsten erzeugt hat. Forscher im Bereich der Verarbeitung natürlicher Sprache (NLP) haben Naïve Bayes häufig für Textklassifizierungsaufgaben, wie z. B. die Stimmungsanalyse, eingesetzt. Unter Verwendung eines „Bag-of-Words“-Modells, bei dem jedes Wort eine Variable darstellt, sagt der Naïve Bayes-Klassifikator für die Stimmungsanalyse voraus, ob eine positive oder negative Klasse den fraglichen Text erzeugt hat.12
K-Nearest-Neighbors (KNN) bildet Datenpunkte in einem mehrdimensionalen Raum ab. Anschließend gruppiert er die Datenpunkte mit ähnlichen Merkmalswerten in separate Gruppen oder Klassen. Um neue Datenproben zu klassifizieren, betrachtet der Klassifikator einfach die k Punkte, die einer neuen Datenprobe am nächsten liegen, zählt, wie viele Mitglieder jeder Klasse die Untergruppe der Nachbarn umfasst, und gibt diesen Anteil als Klassenschätzung für den neuen Datenpunkt zurück. Mit anderen Worten: Das Modell ordnet einen neuen Datenpunkt derjenigen Klasse zu, die die Mehrheit der Nachbarn dieses Punktes umfasst. KNN-Modelle vergleichen den Abstand zwischen Datenpunkten normalerweise mit dem euklidischen Abstand:13
Approximate-Nearest-Neighbor (ANN) ist eine Variante von KNN. In hochdimensionalen Datenräumen kann die Ermittlung der exakten Nachbarn eines bestimmten Datenpunkts rechenintensiv werden. Die Reduzierung der Dimensionalität ist eine Möglichkeit zur Lösung dieses Problems. ANN ist eine andere. Anstatt den exakten nächsten Nachbarn eines bestimmten Datenpunkts zu finden, findet ANN einen ungefähren nächsten Nachbarn innerhalb einer bestimmten Entfernung. Jüngste Forschungen haben vielversprechende Ergebnisse für ANN im Zusammenhang mit der Multilabel-Klassifizierung gezeigt.14
Viele dieser Techniken können durch Ausreißer negativ beeinflusst werden. Glücklicherweise kann eine Reihe von Regularisierungstechniken dabei helfen, solche negativen Einflussfaktoren zu berücksichtigen. Es gibt auch viele andere Algorithmen für die Klassifizierung im Bereich des maschinellen Lernens. Zu diesen Algorithmen gehören Entscheidungsbäume, Random Forests, Gradient Boosting und Support Vector Machines (SVM).
Trainieren, validieren, optimieren und implementieren Sie generative KI, Foundation Models und maschinelle Lernfunktionen mit IBM watsonx.ai, einem Studio der nächsten Generation für AI Builder in Unternehmen. Erstellen Sie KI-Anwendungen mit einem Bruchteil der Zeit und Daten.
Setzen Sie KI in Ihrem Unternehmen ein – mit branchenführendem Fachwissen im Bereich KI und dem Lösungsportfolio von IBM an Ihrer Seite.
Erfinden Sie kritische Workflows und Abläufe neu, indem Sie KI einsetzen, um Erfahrungen, Entscheidungsfindung in Echtzeit und den geschäftlichen Nutzen zu maximieren.
1 Chris Drummond, „Classification“, Encyclopedia of Machine Learning and Data Mining, Springer, 2017.
2 Jaiwei Han, Micheline Kamber, und Jian Pei, Data Mining: Concepts and Techniques, 3. Auflage, Morgan Kaufman, 2012.
3 Max Kuhn und Kjell Johnson, Applied Predictive Modeling, Springer, 2016.
4 Ethan Zhang und Yi Zhang, „Precision“, Encyclopedia of Database Systems, Springer, 2018.
5 Ethan Zhang und Yi Zhang, „Recall“, Encyclopedia of Database Systems, Springer, 2018.
6 Ben Carterette, „Precision and Recall“, Encyclopedia of Database Systems, Springer, 2018.
7 Kai Ming Ting, „Confusion matrix“, Encyclopedia of Machine Learning and Data Mining, Springer, 2018.
8 Peter Flach, „ROC Analysis“, Encyclopedia of Machine Learning and Data Mining, Springer, 2017.
9 Max Kuhn und Kjell Johnson, Applied Predictive Modeling, Springer, 2016. Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani und Jonathan Taylor, An Introduction to Statistical Learning with Applications in Python, Springer, 2023.
10 Lisa X. Deng, Abigail May Khan, David Drajpuch, Stephanie Fuller, Jonathan Ludmir, Christopher E. Mascio, Sara L. Partington, Ayesha Qadeer, Lynda Tobin, Adrienne H. Kovacs und Yuli Y. Kim, „Prevalence and Correlates of Post-traumatic Stress Disorder in Adults With Congenital Heart Disease“, The American Journal of Cardiology, Band 117, Nr. 5, 2016, S. 853-857, https://www.sciencedirect.com/science/article/abs/pii/S0002914915023590 .
11 Max Kuhn und Kjell Johnson, Applied Predictive Modeling, Springer, 2016. William Bolstad and James Curran, Introduction to Bayesian Statistics, 3. Edition, Wiley, 2016.
12 Daniel Jurafsky und James Martin, Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition, 3. Auflage, 2023.
13 Max Kuhn und Kjell Johnson, Applied Predictive Modeling, Springer, 2016. Kevin Murphy, Machine Learning: A Probabilistic Perspective, MIT Press, 2012.
14 Ville Hyvönen, Elias Jääsaari, Teemu Roos, „A Multilabel Classification Framework for Approximate Nearest Neighbor Search“, Journal of maschinelles Lernen Research, Vol. 25, Nr. 46, 2024, S. 1−51, https://www.jmlr.org/papers/v25/23-0286.html .