Was ist Merkmalsextraktion?

Die Leistung eines künstlichen Intelligenzmodells (KI) hängt von der Qualität seiner Trainingsdaten ab. Modelle für maschinelles Lernen werden vorverarbeitet, um sicherzustellen, dass die Daten in einem geeigneten Format für ein effizientes Modelltraining und eine effiziente Modellleistung vorliegen. Die Merkmalsextraktion ist ein wichtiger Bestandteil des Workflows.

Während des Extraktionsprozesses werden unstrukturierte Daten in ein besser strukturiertes und verwendbares Format umgewandelt, um die Datenqualität und die Interpretierbarkeit des Modells zu verbessern. Die Merkmalsextraktion ist ein Teilbereich des Feature Engineerings, der umfassendere Prozess der Erstellung, Änderung und Auswahl von Merkmalen innerhalb von Rohdaten zur Optimierung der Modellleistung.  

Seit der frühen Forschung im Bereich der Mustererkennung wurden neue Methoden und Techniken untersucht, um mithilfe einer heuristischen Methode die relevantesten Merkmale eines Datensatzes mithilfe von KI zu extrahieren.¹ Im weiteren Verlauf der Forschung wurden Autoencoder traditionell zur Dimensionsreduzierung beim Erlernen von Merkmalen verwendet.²

Es ist schwierig, mit Daten zu arbeiten, wenn die Anzahl der Merkmalen oder Kovariaten die Anzahl der unabhängigen Datenpunkte übersteigt. Diese Arten von Daten werden als hochdimensionale Daten betrachtet.³ Die Merkmalsextraktion kann als eine Technik zur Dimensionalitätsreduzierung betrachtet werden.⁴

Dies ist von entscheidender Bedeutung, wenn Sie mit großen Datensätzen oder Datensätzen aus mehreren Modalitäten arbeiten. Je mehr extrahierte Merkmale das Modell verwalten muss, desto weniger kompetent und leistungsfähig ist es.⁵ Zu den üblichen Aufgaben, die auf einer effizienten Merkmalsextraktion beruhen, gehören Bildverarbeitung, Verarbeitung natürlicher Sprache (NLP) sowie Signalverarbeitung. 

Die Dimensionalitätsreduzierung ist eine Technik aus dem Bereich der Data Science, die in der Vorverarbeitungsphase des maschinellen Lernens verwendet wird.⁶ Während dieses Prozesses werden irrelevante und redundante Daten entfernt, während die relevanten Informationen des ursprünglichen Datensatzes beibehalten werden.

Merkmale können als die Attribute eines Datenobjekts betrachtet werden. In einem Datensatz mit Tieren würden Sie beispielsweise einige numerische Merkmale (Alter, Größe, Gewicht) und kategorische Merkmale (Farbe, Art, Rasse) erwarten. Die Merkmalsextraktion ist Teil der neuronalen Netzarchitektur des Modells, z. B. eines Convolutional Neural Network (CNN).

Zunächst nimmt das Modell die Eingabe auf. Anschließend wandelt der Merkmalsextraktor die Daten in eine numerische Darstellung um, die zur Berechnung der Methoden zur Dimensionalitätsreduzierung für die Merkmalsextraktion verwendet werden kann. Diese Repräsentationen werden in Merkmalsvektoren gespeichert, damit das Modell Algorithmen zur Datenreduktion ausführen kann. 

Nach der Extraktion ist es manchmal erforderlich, die Daten mithilfe der Merkmalsnormierung zu standardisieren, insbesondere bei Verwendung bestimmter Algorithmen, die empfindlich auf die Größe und den Umfang der Variablen reagieren (gradientbasierte Abstiegsalgorithmen, K-Means-Cluster).

Je nach Aufgabenstellung können unterschiedliche Methoden eingesetzt werden, um bestimmte Ergebnisse zu erzielen. Alle Methoden zielen darauf ab, die Daten zu vereinfachen und gleichzeitig die wertvollsten Informationen zu erhalten.

Die meisten modernen KI-Modelle führen eine automatische Merkmalsextraktion durch, aber es ist dennoch nützlich, die verschiedenen Möglichkeiten des Umgangs zu verstehen. Hier sind einige gängige Methoden zur Merkmalsextraktion, die für die Dimension verwendet werden:

Analyse der Hauptkomponenten (PCA): Diese Technik reduziert die Anzahl der Merkmale in großen Datensätzen auf Hauptkomponenten oder neue Merkmale, die vom Klassifikator des Modells für seine spezifischen Aufgaben verwendet werden.

PCA ist so beliebt, weil es Originaldaten erstellen kann, die nicht korreliert sind. Das bedeutet, dass die neuen Dimensionen, die durch die PCA erstellt werden, unabhängig voneinander sind.⁷ Dies macht die PCA zu einer effizienten Lösung für Overfitting aufgrund der fehlenden Datenredundanz, da jedes Merkmal einzigartig ist.   

Lineare Diskriminanzanalyse (LDA): Diese Technik wird häufig im überwachten maschinellen Lernen eingesetzt, um mehrere Klassen und Merkmale zu trennen und so Klassifizierungsprobleme zu lösen.

Diese Technik wird häufig zur Optimierung von Modellen für maschinelles Lernen verwendet. Die neuen Datenpunkte werden mithilfe der Bayes'schen Statistik klassifiziert, um die Datenverteilung für jede Klasse zu modellieren. 

Verteilte stochastische Nachbar-Einbettung (t-SNE): Diese Technik des maschinellen Lernens wird häufig auf Aufgaben wie die Visualisierung von Funktionen im Deep Learning angewendet.⁸ Dies ist besonders nützlich, wenn es darum geht, Visualisierungen von hochdimensionalen Daten in 2D oder 3D zu rendern.

Sie wird häufig zur Analyse von Mustern und Beziehungen in der Data Science verwendet. Aufgrund ihrer nichtlinearen Natur ist t-SNE rechenintensiv und wird üblicherweise nur für Visualisierungsaufgaben verwendet.

Term Frequency-inverse Document Frequency (TF-IDF): Diese statistische Methode bewertet die Bedeutung von Wörtern anhand ihrer Häufigkeit. Die Begriffshäufigkeit in einem bestimmten Dokument wird damit gewichtet, wie häufig dieser in allen Dokumenten innerhalb einer Sammlung oder eines Korpus vorkommt.⁹ 

Diese Technik wird im NLP häufig zur Klassifizierung, bei Clustern und Informationsabfragen verwendet. Bag of Words (BoW) ist eine ähnliche Technik, aber anstatt die Relevanz des Begriffs zu berücksichtigen, werden alle Wörter gleich behandelt. 

Bildverarbeitung und Computer Vision: Der Prozess zur Merkmalsextraktion identifiziert und extrahiert die wichtigsten Merkmale aus Bildern und Videos. Rohe Bilddaten (Pixel) werden in Merkmale umgewandelt, sodass die Maschine Algorithmen anwenden kann, um einen neuen Satz von Merkmalen zu extrahieren und zu klassifizieren. Zum Beispiel ist das Histogram of Oriented Gradients (HOG) ein Algorithmus zur Merkmalsextraktion, der zur Erkennung verwendet wird.

Verarbeitung natürlicher Sprache: Die Merkmalsextraktion konvertiert Rohtextdaten in eine Formatstruktur, die das maschinelles Lernmodell verarbeiten kann. Dies ist nützlich für Aufgaben wie Klassifizierung, Stimmungsanalyse oder Named Entity Recognition (NER). Diese Technik lässt sich branchenübergreifend in Chat-Schnittstellen und sogar in der Verhaltensgesundheit einsetzen. Die Forschungsergebnisse legen nahe, dass die Merkmalsextraktion bei der multimodalen Emotionserkennung hilft, um den Verhaltenszustand von Patienten zu überwachen.¹⁰

Signalverarbeitung: Mit dieser Technik werden aussagekräftige Informationen aus Rohsignaldaten (Audio, Bilder oder sogar Zeitreihendaten) analysiert und extrahiert, um Aufgaben wie Klassifizierung, Erkennung oder Vorhersage zu erleichtern. Während die Signalverarbeitung traditionell mit Bereichen wie Spracherkennung, Audioverarbeitung und Bildanalyse in Verbindung gebracht wird, kann sie auch in vielen anderen Bereichen eingesetzt werden. So werden beispielsweise im medizinischen Kontext psychologische Signale wie EKG-Messwerte genutzt, um Trends zu erkennen.¹¹