Was ist Funktionsentwicklung?

Die Funktionsentwicklung ist der Prozess der Umwandlung von Rohdaten in relevante Informationen zur Verwendung durch Modelle des maschinellen Lernens. Mit anderen Worten: Die Funktionsentwicklung ist der Prozess der Erstellung vorausschauender Modellfunktionen. Eine Funktion – auch Dimension genannt – ist eine Eingabevariable, die zur Generierung von Modellvorhersagen verwendet wird. Da die Modellleistung weitgehend von der Qualität der während des Trainings verwendeten Daten abhängt, ist die Funktionsentwicklung eine wichtige Vorverarbeitungstechnik, bei der die wichtigsten Aspekte der Trainingsrohdaten sowohl für die betrachtete Vorhersageaufgabe als auch für den betrachteten Modelltyp ausgewählt werden müssen.¹

Wissenswertes zur Terminologie: Viele Quellen verwenden Funktionsentwicklung und Funktionsextraktion synonym, um den Prozess der Erstellung von Modellvariablen zu kennzeichnen.² Manchmal verwenden Quellen auch die Funktionsextraktion, um sich auf die Neuzuordnung eines ursprünglichen Funktionsraums in einen niedrigdimensionalen Funktionsraum zu beziehen.³ Die Funktionsauswahl ist dagegen eine Form der Dimensionalitätsreduzierung. Insbesondere ist es die Verarbeitung der Auswahl einer Teilmenge von Variablen, um ein neues Modell zu erstellen, mit dem Ziel, die Multikollinearität zu reduzieren und so die Generalisierbarkeit und Optimierung des Modells zu maximieren.

Da ein Modell nur so gut ist wie die Daten, auf denen es basiert, verbringen Data Scientists einen großen Teil ihrer Zeit mit der data preparation und der Erstellung von Funktionen, um qualitativ hochwertige Modelle zu erstellen. Abhängig von der Komplexität der Rohdaten und dem gewünschten Vorhersagemodell kann die Funktionsentwicklung viel Versuch und Irrtum erfordern.

Manche Quellen und Online-Tutorials gliedern die Funktionsentwicklung in einzelne Schritte, deren Anzahl und Namen in der Regel variieren. Diese Schritte können das Verstehen von Funktionen, die Strukturierung oder Konstruktion, Transformation, Bewertung, Optimierung und vieles mehr umfassen.⁴ Eine solche Schichtung kann zwar nützlich sein, um einen allgemeinen Überblick über die mit der Funktionsentwicklung verbundenen Aufgaben zu erhalten, aber sie suggeriert, dass die Funktionsentwicklung ein linearer Prozess ist. Tatsächlich ist die Entwicklung von Funktionen ein iterativer Prozess.

Die Funktionsentwicklung ist kontextabhängig. Es erfordert umfangreiche Datenanalysen und Fachkenntnisse. Denn die effektive Codierung für Funktionen kann durch die Art des verwendeten Modells, die Beziehung zwischen Prädiktoren und Output sowie durch das Problem, das ein Modell adressieren soll, bestimmt werden.⁵ Weil verschiedene Arten von Datensätzen, zum Beispiel Text im Vergleich zu Bildern, möglicherweise besser für verschiedene Funktionsentwicklungs-Techniken geeignet sind.⁶ Daher kann es schwierig sein, konkrete Aussagen darüber zu treffen, wie die Funktionsentwicklung am besten innerhalb eines bestimmten Algorithmus für maschinelles Lernen implementiert werden kann.

Obwohl es keine allgemein bevorzugte Funktionsentwicklungs-Methode oder -Pipeline gibt, gibt es eine Handvoll allgemeiner Aufgaben, die verwendet werden, um Funktionen aus verschiedenen Datentypen für verschiedene Modelle zu erstellen. Vor der Umsetzung einer dieser Techniken muss jedoch eine gründliche Datenanalyse durchgeführt werden, um sowohl die relevanten Funktionen als auch die angemessene Anzahl von Funktionen zur Lösung eines bestimmten Problems zu bestimmen. Darüber hinaus ist es am besten, verschiedene Datenreinigungs- und Vorverarbeitungstechniken zu implementieren, wie etwa Imputation für fehlende Daten oder fehlende missing values, und gleichzeitig Ausreißer zu berücksichtigen, die sich negativ auf Modellvorhersagen auswirken können.

Bei der Funktionstransformation handelt es sich um den Prozess der Umwandlung eines Funktionstyps in eine andere, besser lesbare Form für ein bestimmtes Modell. Dabei werden kontinuierliche in kategorische Daten umgewandelt oder umgekehrt.

Binning. Diese Technik wandelt im Wesentlichen fortlaufende, numerische Werte in kategorische Funktionen um. Insbesondere wird beim Binning jeder Wert mit der Nachbarschaft der ihn umgebenden Werte verglichen und dann die Datenpunkte in eine Reihe von Klassen sortiert. Ein einfaches Beispiel für Einteilung ist die Altersdemografie, bei der fortlaufende Altersgruppen in Altersgruppen unterteilt werden, zum Beispiel 18-25, 25-30 usw. Sobald Werte in Klassen eingeteilt wurden, können Sie die Klassen mit Mitteln, Medianen oder Grenzen weiter ausgleich. Durch das Ausgleichen werden die in einer Bin enthaltenen Werte durch von der Bin abgeleitete Werte ersetzt. Wenn wir beispielsweise eine Klasse mit Alterswerten zwischen 18 und 25 durch den Mittelwert ausgleichen, ersetzen wir jeden Wert in dieser Klasse durch den Mittelwert der Werte dieser Klasse. Binning erstellt kategoriale Werte aus kontinuierlichen Werten. Mit dem Ausgleichen wird lokal das Datenrauschen bei der Eingabe reduziert.⁷

One-Hot-Codierung. Dies ist das Gegenteil von Binning; es erstellt numerische Funktionen aus kategorialen Variablen. Bei der One-Hot-Codierung werden kategoriale Merkmale binären Darstellungen zugeordnet, die zur Abbildung des Merkmals in einer Matrix oder einem Vektorraum verwendet werden. In der Literatur wird diese binäre Darstellung oft als Dummy-Variable bezeichnet. Da bei der One-Hot-Codierung die Reihenfolge ignoriert wird, eignet sie sich am besten für nominale Kategorien. Bag-of-Words-Modelle sind ein Beispiel für One-Hot-Codierung, die häufig bei Aufgaben zur Verarbeitung natürlicher Sprache verwendet wird. Ein weiteres Beispiel für One-Hot-Encoding ist die Klassifizierung von Spamfilter, bei der die Kategorien Spam und Kein Spam in 1 bzw. 0 umgewandelt werden.⁸

Die Funktionsextraktion ist eine Technik zur Schaffung eines neuen dimensionalen Raums für ein Modell, indem Variablen zu neuen, stellvertretenden Variablen kombiniert oder um die Dimensionen des Funktionsraums des Modells zu reduzieren.⁹ Im Vergleich dazu bezeichnet die Funktionsauswahl Techniken zur Auswahl einer Teilmenge der relevantesten Funktionen zur Darstellung eines Modells. Sowohl die Funktionsmerkmalsextraktion als auch die -auswahl sind Formen der Dimensionsreduktion und eignen sich daher für Regressionsprobleme mit einer großen Anzahl von Merkmalen und einer begrenzten Anzahl verfügbarer Datenproben.

Hauptkomponentenanalyse. DieHauptkomponentenanalyse (PCA) ist eine gängige Methode zur Funktionsextraktion, bei der die ursprünglichen Funktionen eines Datensatzes kombiniert und transformiert werden, um neue Funktionen zu erzeugen, die als Hauptkomponenten bezeichnet werden. PCA wählt eine Teilmenge von Variablen aus einem Modell aus, die zusammen den Großteil oder die gesamte Varianz der ursprünglichen Variablengruppe des Modells ausmachen. PCA projiziert dann Daten auf einen neuen Raum, der durch diese Teilmenge von Variablen definiert wird.¹⁰

Lineare Diskriminanzanalyse. Die lineare Diskriminanzanalyse (LDA) ähnelt angeblich der PCA insofern, als sie Modelldaten auf einen neuen, niederdimensionalen Raum projiziert. Wie bei der PCA werden die Dimensionen (oder Funktionen) dieses Modellraums von den Funktionen des ursprünglichen Modells abgeleitet. LDA unterscheidet sich jedoch von PCA dadurch, dass die Klassifizierungskennzeichnungen im Originaldatensatz erhalten bleiben. Während PCA neue Komponentenvariablen erzeugt, die die Datenvarianz maximieren sollen, erzeugt LDA Komponentenvariablen, die in erster Linie dazu gedacht sind, den Klassenunterschied in den Daten zu maximieren.¹¹

Bestimmte Funktionen haben dateninterne Ober- und Untergrenzen, die mögliche Funktionswerte einschränken, wie z. B. Zeitreihendaten oder Alter. In vielen Fällen weisen die Modellfunktionen jedoch keine Beschränkung für die möglichen Werte auf, und derart große Funktionsskalen (die Differenz zwischen den niedrigsten und höchsten Werten einer Funktion) können sich negativ auf bestimmte Modelle auswirken. Die Funktionsskalierung (manchmal auch als Funktionsnormalisierung bezeichnet) ist eine Standardisierungstechnik, um Funktionen neu zu skalieren und die Auswirkungen großer Skalen auf Modelle zu begrenzen.¹² Während die Funktionstransformation Daten von einem Typ in einen anderen transformiert, transformiert die Funktionsskalierung die Daten in Bezug auf Bereich und Verteilung, wobei der ursprüngliche Datentyp beibehalten wird.¹³

Min-Max-Skalierung. Bei der Min-Max-Skalierung werden alle Werte für eine bestimmte Funktion so skaliert, dass sie zwischen den angegebenen Minimal- und Maximalwerten liegen, häufig 0 und 1. Der Wert jedes Datenpunktes für das ausgewählte Funktion (dargestellt durch x) wird anhand der festgelegten minimalen und maximalen Funktionswerte, min(x) und max(x), berechnet, wodurch der neue Funktionswert für diesen Datenpunkt (dargestellt durch x CI ) erzeugt wird. Die Min-Max-Skalierung wird mit der Formel berechnet:¹⁴

Z-Score-Skalierung. In der Literatur wird dies auch als Standardisierung und Varianzskalierung bezeichnet. Während die Min-Max-Skalierung die Funktionswerte so skaliert, dass sie in die festgelegten Minimal- und Maximalwerte passen, skaliert die Z-Score-Skalierung die Funktionen neu, sodass sie eine gemeinsame Standardabweichung von 1 mit einem Mittelwert von 0 aufweisen. Die Z-Score-Skalierung wird durch die Formel dargestellt:

Hier wird ein gegebener Funktionswert (x) anhand des Mittelwerts des neu skalierten Funktion berechnet und durch die standardisierte Standardabweichung (dargestellt als sqrt(var(x))) geteilt. Die Skalierung von Z-Scores kann bei der Implementierung von Verfahren zur Funktionsextraktion wie PCA und LDA nützlich sein, da diese beiden Verfahren Funktionen mit derselben Skala erfordern.¹⁵

Automatisierung. Automatisierte Funktionsentwicklung ist allerdings schon seit einigen Jahrzehnten ein Forschungsgebiet in der Entwicklung.¹⁶ Python-Bibliotheken wie „tsflex“ und „featuretools“ helfen bei der Automatisierung der Funktionsextraktion und -transformation für Zeitreihendaten. Die Entwickler stellen weiterhin neue Pakete und Algorithmen bereit, um die Funktionsentwicklung für lineare Regressions-Modelle und andere Datentypen zu automatisieren, die Modellgenauigkeit erhöhen.¹⁷ In jüngerer Zeit ist die automatisierte Funktionsentwicklung Teil größerer Bemühungen, automatisierte Systeme für maschinelles Lernen (AutoML) zu entwickeln, die darauf abzielen, maschinelles Lernen für Nicht-Experten zugänglicher zu machen.¹⁸

Deep Learning. Funktionsentwicklung kann ein mühsamer und zeitaufwändiger Prozess sein, der ein erhebliches Maß an Versuch und Irrtum erfordert. Mit Deep Learning kann ein Benutzer eine kleine Gruppe grundlegender Merkmale spezifizieren, die die Architektur des neuronalen Netzes zu Funktionen, auch als Darstellungen bezeichnet, auf höherer Ebene sammelt .¹⁹ Ein solches Beispiel ist die Bildverarbeitung und Mustererkennung im Computer Vision, bei der ein Modell lernt, semantisch bedeutsame Objekte (z. B. Autos, Personen usw.) in Bezug auf einfache Konzepte (z. B. Kanten, Konturen usw.) durch Verkettung von Merkmalskarten zu identifizieren.²⁰ Neuere Studien haben jedoch Feature Engineering mit Neural Networks und anderen Deep-Learning-Techniken kombiniert, um Aufgaben zur Klassifizierung von Aufgaben, wie z. B. Betrugserkennung, zu vielversprechenden Ergebnisse zu führen.²¹