Was ist ein Feature Store?

Beim maschinellen Lernen ist eine Funktion eine Variable oder ein Attribut, das aus Rohdaten abgeleitet wird und als Eingabe für Modelle zur Generierung von Vorhersagen verwendet wird. Sie stellen messbare Aspekte des Verhaltens, des Kontexts oder des Zustands in Daten dar, wie z. B. die Häufigkeit der Käufe oder die geografische Lage.

Zum Beispiel verlassen sich Modelle bei der Betrugserkennung auf kuratierte Signale statt auf Rohdaten. Features können die Anzahl der Transaktionen in der vergangenen Woche oder der Standort kürzlicher Käufe umfassen – Darstellungen, die darauf abzielen, Muster zu erfassen, die auf betrügerisches Verhalten hindeuten könnten.

Features – oft als ML-Features bezeichnet – werden aus mehreren Datenquellen generiert und in Datensätzen organisiert, die sowohl Data Science als auch maschinelles Lernen unterstützen. Diese Features werden dann verwendet, um Modelle zu trainieren, Metriken zu evaluieren und Modelle in Produktionssysteme einzusetzen.

Modelle für maschinelles Lernen arbeiten mit numerischen Darstellungen von Daten. Jeder Datenpunkt wird als Satz von Feature-Werten ausgedrückt, oft in Vektorform, wobei jede Dimension einem bestimmten Attribut entspricht. Während einige strukturierte Datentypen von Natur aus numerisch sind, wie Buchhaltungsinformationen, sind andere – wie Text, Bilder oder Audio – unstrukturiert und müssen in eine strukturierte numerische Form umgewandelt werden, bevor sie von einem Modell verwendet werden können.

Eine Möglichkeit, unstrukturierte Daten zu transformieren, besteht in der Feature-Entwicklung, bei der Rohdaten mithilfe von Techniken wie Aggregation, Filterung und Kodierung in strukturierte, maschinenlesbare Eingaben umgewandelt werden. Feature-Engineering umfasst auch die Feature-Extraktion (bei der Algorithmen aussagekräftige Darstellungen aus Rohdaten ableiten) und die Feature-Auswahl (bei der die relevantesten Variablen identifiziert werden).

Da maschinelles Lernen Modelltraining und Inferenz umfasst, werden Features sowohl aus historischen Daten als auch aus neuen Produktionsdaten berechnet. Die Aufrechterhaltung der Ausrichtung erfordert die Koordination zwischen Datenpipelines, Feature-Pipelines und Daten-Engineering-Systemen – eine Herausforderung, auf die Feature Stores ausgelegt sind.

In der Praxis unterstützen Feature Stores jede Phase des Lebenszyklus des maschinellen Lernens:

• Feature-Engineering und -entwicklung: Bieten Sie eine strukturierte Umgebung zur Definition neuer Features, die es Teams ermöglicht, Features zu teilen, Features wiederzuverwenden und doppelte Implementierungen zu vermeiden.

• Modelltraining: Liefern Sie historische Feature- und Trainingsdaten, um sicherzustellen, dass die Modelle auf zuverlässigen Datensätzen trainiert werden.

• Inferenz und Bereitstellung: Stellen Sie Feature-Werte in Echtzeit über Online-Feature-Store-Systeme bereit und ermöglichen so Vorhersagen mit geringer Latenz.

• Überwachung und Iteration: Verfolgen Sie Metriken, erkennen Sie Verschiebungen (oder ungleichmäßige Datenverteilung) und überwachen Sie die Feature-Qualität innerhalb von Workflows.

Die Leistung von Modellen für maschinelles Lernen, die vielen heutigen Systemen mit künstlicher Intelligenz (KI) zugrunde liegen, hängt direkt von der Qualität ihrer Eingabevariablen ab. Was hineingeht, bestimmt, was herauskommt.

Feature-Werte bestimmen, wie Modelle Muster in Trainingsdaten interpretieren und diese Muster auf neue Daten anwenden. Diese Koordination verbessert die Modellleistung indem sie zwei Dinge tut: Feature-Daten in großem Maßstab verwalten und gleichzeitig Konsistenz über Training und Inferenz hinweg gewährleisten.

Mit der Skalierung von Systemen für maschinelles Lernen wird die Verwaltung von Feature-Daten immer komplexer. Features werden in mehreren Arbeitsabläufen generiert und verbreitet, oft von Data-Engineering- und ML-Teams, die in verteilten Umgebungen arbeiten.

Ohne ein zentralisiertes System entstehen doppelte Features und inkonsistente Feature-Definitionen. Teams können dasselbe Feature mit einer leicht unterschiedlichen Logik berechnen, was zu Inkonsistenzen innerhalb von Datensätzen und Pipelines führt. Diese Inkonsistenzen erschweren die Wiederverwendung von Features und bringen Risiken in die Modellentwicklung ein.

Während des Modelltrainings werden Features aus historischen Daten berechnet und in Datensätze organisiert. Nach der Bereitstellung müssen dieselben Feature-Definitionen auf neue Daten angewendet und zur Schlussfolgerung neu berechnet werden, oft in nahezu in Echtzeit oder nahezu Echtzeit-Umgebungen.

Selbst kleine Unterschiede bei der Berechnung von Features können zu Inkonsistenzen zwischen Trainings- und Produktions-Eingaben führen – oft als „Training-Serving Skew“ bezeichnet –, was zu einer verminderten Leistung führen kann.

Feature Stores begegnen diesen Herausforderungen durch die Zentralisierung von Feature-Definitionen und die Standardisierung von Transformationen. Features werden einmal definiert, gespeichert und über eine Programmierschnittstellen-(API-) oder Software Development Kit-Schnittstelle abgerufen. Diese Koordination, die oft über eine Feature-Registry verwaltet wird, ermöglicht es Teams, Features über mehrere Pipelines, Modelle und Anwendungsfälle hinweg wiederzuverwenden.

Die Feature-Store-Architektur verbindet Daten zwischen mehreren Schlüsselphasen des maschinellen Lernens, darunter:

• Aufnahme und Umwandlung
• Speicherschichten
• Feature Serving
• Feature Registry und Metadaten
• Orchestrierung und Lebenszyklusmanagement

Daten werden aus mehreren Datenquellen gesammelt und über Aufnahmepipelines verarbeitet. Diese Pipelines wenden Daten- und Feature-Transformationen an, um Rohdaten in Feature-Werte umzuwandeln.

Die Feature-Berechnung kann auf verschiedene Arten erfolgen: Batch-Verarbeitung zuvor gesammelter Daten; Datenstreaming für Echtzeit-Updates; und On-Demand-Feature-Berechnung zur Inferenzzeit. Diese Transformationen werden häufig mit Python, strukturierte Abfragesprache (SQL) oder anderen Systemen innerhalb von automatisierten Workflows umgesetzt.

Feature Stores verwenden ein duales Speichermodell, bestehend aus einem Offline-Shop und einem Online-Shop. Der Offline-Speicher, auch Offline-Feature-Store genannt, verwaltet historische Feature-Daten und unterstützt das Modelltraining, indem er Zugriff auf Trainingsdaten und Trainingsdatensätze ermöglicht. Typischerweise basiert er auf Data Warehouse oder Data Lake.

Der Online-Speicher bzw. Online-Feature-Store verwaltet aktuelle Feature-Werte und unterstützt latenzarme Suchvorgänge während der Modellinferenz. Diese Trennung zwischen Offline- und Online-Speichern ermöglicht sowohl Skalierbarkeit als auch Leistungsfähigkeit bei unterschiedlichen Arbeitslasten.

Feature Serving ist der Prozess der Bereitstellung von Feature-Werten für Modelle des maschinellen Lernens. Eine API- oder SDK-Schicht ermöglicht es Anwendungen, Features zwischen Umgebungen abzurufen, um sicherzustellen, dass die Feature-Definitionen übereinstimmen. Sie hilft außerdem, die Diskrepanz zwischen Trainings- und Bereitstellungsdaten zu minimieren und sicherzustellen, dass die Modelle bei der Erstellung von Vorhersagen aktuelle Features erhalten.

Ein Feature-Register dient als zentrales System für die Aufzeichnung von Feature-Definitionen. Es speichert Metadaten, Herkunfts- und Versionsinformationen und bietet Einblick, wie Features aufgebaut werden und wo sie verwendet werden. Diese Rückverfolgbarkeit erleichtert die Entdeckung wiederverwendbarer Features, die Durchsetzung von Governance und Zugriffskontrollen sowie die Nachverfolgung von Abhängigkeiten innerhalb von Workflows.

Feature Stores orchestrieren Pipelines und Workflows über den gesamten Feature-Lebenszyklus hinweg. Häufige Aufgaben sind die Automatisierung der Feature-Berechnung, das Management von Backfill-Operationen für historische Feature-Daten, das Nachberechnen von Features bei Änderungen der Definitionen sowie die Identifikation doppelter oder veralteter Features. Die Orchestrierung gewährleistet somit, dass die Feature-Pipelines auf der gesamten Datenplattform zuverlässig und skalierbar bleiben.

Während die Implementierungen variieren, bieten die meisten Feature Stores einen konsistenten Satz von Features, die über ihre Kernarchitektur hinausgehen und skalierbare und zuverlässige Workflows für maschinelles Lernen ermöglichen.

Zusammen definieren diese Funktionen, wie Feature-Daten in Workflows für maschinelles Lernen verwaltet werden. Sie spiegeln auch wider, wie Feature Stores in eine umfassendere Datenarchitektur eingebettet sind.

Traditionelle Datensysteme – wie Lagerhäuser und andere Datenspeicher – sind darauf ausgelegt, Daten innerhalb eines Unternehmens zu verarbeiten und zu verschieben. Diese Daten sind jedoch nicht von Natur aus für maschinelles Lernen geeignet.

Feature Stores bauen auf dieser Grundlage auf, indem sie Feature-Daten in wiederverwendbaren Eingaben für Modelle für maschinelles Lernen organisieren und standardisieren, wie Features in der Entwicklungs- und Produktionsphase definiert, berechnet und bereitgestellt werden.

Feature Stores bieten eine Reihe praktischer Vorteile, die die Entwicklung und Wartung von maschinellem Lernen verbessern.

• Verbesserte Effizienz der Modellentwicklung: Wiederverwendbare Feature-Definitionen verringern die Notwendigkeit, Features für jedes neue Projekt neu zu erstellen, sodass Teams sich auf das Modelldesign statt auf die Datenvorbereitung konzentrieren können.

• Konsistenz über maschinelles Lernen: Standardisierte Feature-Pipelines stellen sicher, dass Features während des Trainings und der Inferenz auf die gleiche Weise berechnet werden, wodurch das Risiko einer Verzerrung zwischen Training und Bereitstellung verringert wird.

• Stärkere Zusammenarbeit zwischen Teams: Zentralisierte Feature-Daten ermöglichen es Data Scientists, Data Engineering und ML-Teams, Features zu teilen und mit einem gemeinsamen System of Record (SOR) zu arbeiten.

• Governance und Nachvollziehbarkeit: Feature Stores führen eine strukturierte SOR für Feature-Definitionen ein, die es einfacher macht, zu verstehen, wie Features definiert und modellübergreifend verwendet werden, und gleichzeitig konsistente Standards durchzusetzen.

• Unterstützung für maschinelles Lernen in Echtzeit: Feature Stores ermöglichen den Zugriff auf Feature-Werte mit geringer Latenz über Online-Feature-Store-Systeme und unterstützen Anwendungsfälle wie Hyperpersonalisierung und Empfehlungs-Engines.

• Skalierbare und wiederholbare Workflows: Automatisierte Feature-Pipelines und Orchestrierung unterstützen maschinelles Lernen (MLOps). Dadurch können Unternehmen maschinelles Lernen zwischen Teams und Anwendungsfällen skalieren.

Feature Stores ermöglichen zudem die Bereitstellung von Features mit hohem Durchsatz durch optimierte Speicherschichten und Key-Value-Systeme wie Redis, die üblicherweise als verwaltete In-Memory-Dienste in modernen Datenplattformen eingesetzt werden. Dieser Ansatz hilft sicherzustellen, dass Modelle aktuelle Feature-Werte effizient abrufen.

Die Wahl eines Feature Store hängt von der Datenarchitektur, Infrastruktur und dem Reifegrad des maschinellen Lernens eines Unternehmens ab. Zu den typischen Überlegungen gehören:

• Integration in bestehende Datenplattformen
• Open-Source- und Managed-Optionen
• Architektonische Anforderungen und Workloads
• Governance und Vertrauen

Feature Stores müssen mit bestehenden Datenpipelines, Data Warehouses, Data Lakes und umfassenderen Datenplattformsystemen kompatibel sein. Die Integration von Feature-Pipelines in etablierte Workflows erfordert jedoch oft die Refaktorierung von Datenkonvertierungen und die Koordination über Teams hinweg.

Daher beginnen Organisationen typischerweise damit, zu bewerten, wie ein Feature Store in bestehende Tools wie Snowflake, Databricks und AWS-Diensten wie dem SageMaker Feature Store integriert werden kann. Feature Stores werden häufig als Teil umfassenderer MLOps-Systeme integriert, die Datenaufbereitung und Modellbereitstellung miteinander verbinden.¹

Die Implementierung von Feature Stores variiert stark, da Organisationen ständig zwischen Leistung, Skalierbarkeit und operativer Komplexität abwägen müssen.² Open Source Feature Store Frameworks wie Feast ermöglichen es Organisationen, ihre eigenen Funktion Pipelines und Infrastrukturen zu erstellen und zu verwalten, während Plattformen wie Tecton vollständig verwaltete, produktionsreife Lösungen bieten.

Einige Unternehmen entscheiden sich jedoch dafür, ihre eigenen durchgängigen Plattformen für maschinelles Lernen zu entwickeln, wie Michelangelo von Uber, die Features als Teil eines umfassenderen Systems speichern. Letztlich hängt die Entscheidung, einen Feature Store aufzubauen oder einzuführen, von internem Fachwissen und langfristigen Skalierbarkeit ab.

Architektonische Anforderungen spielen eine zentrale Rolle. Einige Anwendungsfälle erfordern Echtzeit oder Low-Latency Feature Serving, während andere auf Batch-Verarbeitung oder On-Demand-Feature-Berechnung angewiesen sind. Hohe Durchsatzanforderungen stellen mit zunehmendem Datenvolumen auch erhebliche Anforderungen an die Infrastruktur.

Die Unterstützung sowohl der Verarbeitung historischer Daten als auch der Echtzeit-Inferenz wird komplex, wenn die Konsistenz zwischen Offline- und Online-Feature-Werten aufrechterhalten werden soll. Forschung zeigt, wie das Design von Feature Stores häufig von diesen Workload-Anforderungen bestimmt wird, und weist auf Probleme wie Latenz, Skalierbarkeit und Zeitpunktkorrektheit hin.³

Governance ist ebenso wichtig. Feature Stores arbeiten mit gemeinsam genutzten Feature-Daten, daher benötigen Unternehmen einen klaren Überblick darüber, wie Features definiert, getestet und verwendet werden.

Da Feature-Daten teamübergreifend genutzt werden, müssen Organisationen Kontrollmechanismen durchsetzen, um Datenlecks zu verhindern und sicherzustellen, dass Features konsistent berechnet werden. Formelle Governance-Frameworks können Konsistenz, Abstammung und Compliance über Feature-Pipelines hinweg unterstützen und so das Vertrauen in maschinelles Lernen aufrechterhalten .