Traditionelle batchorientierte Datenpipelines haben oft Schwierigkeiten, moderne KI-Workflows zu unterstützen. Ihnen fehlen die Funktionen, um konsistent verwaltete Daten mit geringer Latenz bereitzustellen, und sie sind aufgrund anfälliger Architekturen häufig in ihrer Skalierbarkeit eingeschränkt.
Die Unternehmen von heute spüren die Auswirkungen. In einer Umfrage des IBM Institute for Business Value (IBV) aus dem Jahr 2025 unter Chief Data Officers gaben lediglich 26 % an, dass sie glauben, ihre Datenfunktionen können KI-gestützte Umsatzströme ermöglichen.
Moderne KI-Datenpipelines sind so konzipiert, dass sie große und vielfältige Datenmengen aufnehmen und schnell verarbeiten, um die KI-Anforderungen an die Datenaktualität zu erfüllen. Sie reichern zudem Daten mit Metadaten, Abstammung, Geschäftsdefinitionen und Governance-Regeln an, damit KI-Modelle die Daten sicher und effektiv interpretieren können. Daten werden in der Regel in skalierbaren und verteilten Architekturen gespeichert, die einen schnellen Datenzugriff ermöglichen.
KI-Tools und Data Engineering mit agentischer KI können dazu beitragen, wichtige Prozesse in KI-Datenpipelines zu beschleunigen und zu rationalisieren. Mit anderen Worten: Unternehmen können KI nutzen, um KI selbst zu operationalisieren und zu optimieren.
Traditionelle Datenpipelines wurden für die Verarbeitung und Speicherung strukturierter Daten entwickelt, oft durch vorhersehbare Workloads, die routinemäßig für die Batch-Verarbeitung geplant sind. Daten wurden in der Regel aus Quellsystemen extrahiert und in Data Warehouses zur Analyse durch ETL-Prozesse (Extract, Transform, Load) (mitunter auch als ETL-Pipelines bezeichnet) geladen. Dieser Ansatz hat sich (und weiterhin) für Datenverarbeitungsaufgaben bewährt, bei denen es nicht auf Zeit ankommt, sowie für Datensätze, die in relationalen Datenbanken organisiert sind.
Insbesondere die Batch-Verarbeitung ermöglichte es Unternehmen, die Ressourcennutzung zu optimieren, indem sie Aufträge zu günstigen Zeitpunkten – wie beispielsweise über Nacht – einplanten, wenn die Systeme ansonsten voraussichtlich nicht stark ausgelastet sein werden. Nach Abschluss der Aufträge konnten die Ergebnisse in Dashboards eingespeist und zur Unterstützung von Geschäftsentscheidungen genutzt werden, lange nachdem die Datenerfassung und -verarbeitung abgeschlossen waren.
Daten für KI-Workloads erfordern jedoch einen deutlich anderen Ansatz, den herkömmliche Pipelines oft nicht umsetzen können. Die traditionelle Pipeline-Architektur hat Schwierigkeiten, Folgendes zu berücksichtigen:
Darüber hinaus haben sich herkömmliche Pipelines in der Vergangenheit als starr und spröde erwiesen. Unerwartete Upstream-Änderungen – wie eine Schemaänderung oder eine umbenannte Spalte – können Pipeline-Fehler verursachen und stundenlanges Debugging auslösen.
Gleichzeitig bedeutet die fest codierte Logik in traditionellen Pipelines, dass deren Änderung ein mühsamer Prozess ist, was es schwierig macht, die Skalierbarkeit und Anpassungsfähigkeit zu bieten, die transformative KI-Initiativen erfordern. Wenn sich die Anforderungen ändern, ziehen es Data Engineers oft vor, neue Datenpipelines aufzubauen, anstatt bestehende anzupassen, aus Angst, sie könnten kaputtgehen – was zu einer unkontrollierten Ausbreitung der Pipelines und technischen Schulden führt.
Falls traditionelle Pipelines verwendet werden, um Daten an KI-Modelle zu liefern, können veraltete Daten, schlechte Datenqualität und andere Probleme die Modellleistung beeinträchtigen.
Bleiben Sie mit dem Think-Newsletter über die wichtigsten – und faszinierendsten – Branchentrends in den Bereichen KI, Automatisierung, Daten und mehr auf dem Laufenden. Weitere Informationen finden Sie in der IBM Datenschutzerklärung.
Wie Forscher des IBM Institute for Business Value in einem Bericht von 2025 schrieben: „KI-Bereitschaft beginnt mit mehr als sauberen Daten. Sie erfordert eine Architektur, die qualitativ hochwertige Daten dort und dann bereitstellt, wo und wann die KI sie benötigt.“
KI-Datenpipelines bieten diese Architektur mit Funktionen und Features, die auf die Anforderungen von KI-Modellen und KI-gestützten Anwendungen zugeschnitten sind. KI-Datenpipelines können Informationen aus einer Vielzahl von Datenquellen aufnehmen. Sobald die Daten aufgenommen sind, verfolgen die Pipelines häufig einen „Shift-Left“-Ansatz, indem sie die Daten näher an der Quelle verarbeiten, wodurch die Latenz reduziert und die Aktualität der Daten gewährleistet wird.
Neben der Beschleunigung von Datenflüssen erweitern KI-Datenpipelines auch die Bandbreite der verfügbaren Daten durch ihre Fähigkeit, unstrukturierte Daten zu integrieren. Unstrukturierte Daten machen den Großteil der von Unternehmen generierten Daten aus und sind eine reichhaltige Quelle für umsetzbare Erkenntnisse. Früher waren sie jedoch für Analysen und KI-Anwendungsfälle weitgehend unzugänglich.
In KI-Datenpipelines werden unstrukturierte Daten in Vektoreinbettungen umgewandelt, die generative KI-Modelle unterstützen und Retrieval-Augmented Generation abrufen können.
Das Framework einer KI-Datenpipeline weist eine Reihe von Ähnlichkeiten mit traditionellen Datenpipelines auf. Eine KI-Datenpipeline zeichnet sich jedoch dadurch aus, dass sie Daten aufnimmt, integriert, anreichert und speichert, um das Training und die Leistung von KI-Modellen zu optimieren.
KI-Datenpipelines stellen Verbindungen her und nehmen Rohdaten auf, darunter unstrukturierte Daten und Echtzeitdaten, aus einer Vielzahl von Quellen. Diese Quellen können Event Streams, APIs und Anwendungen umfassen und stammen aus unzähligen Umgebungen, darunter On-Premises- und Hybrid-Cloud-Umgebungen. Event-Streaming-Plattformen wie Apache Kafka ermöglichen die Bereitstellung von KI-Datenpipelines mit geringer Latenz und hohem Durchsatz.
Während der Datenvorverarbeitung werden Daten integriert und transformiert, um sie für KI nutzbar zu machen, unabhängig von ihrem ursprünglichen Format, Datentyp oder Quelle. Die Art der Datenkonvertierung in einer KI-Datenpipeline kann je nach Art und Prozess der Datenintegration variieren.
Durch die Integration von Streaming-Daten können Echtzeitdaten – beispielsweise Messwerte von IoT-Sensoren (Internet der Dinge) – transformiert werden, während diese neuen Daten noch in Bewegung sind, was eine sofortige Nutzung durch KI-gestützte Anwendungen ermöglicht. Die Integration unstrukturierter Daten nutzt Funktionen wie Textextraktion und Datenbereinigung, um vielfältige Daten zu transformieren und sie durch Vektoreinbettung und Speicherung in einer Vektordatenbank für KI-Anwendungsfälle verfügbar zu machen.
Feature Engineering kann als eine Art der Datenkonvertierung betrachtet werden, aber der Zweck ist enger definiert – es bezieht sich auf die Umwandlung von Rohdaten in ein maschinenlesbares Format für die Nutzung durch maschinelle Lernmodelle. Im Vorfeld des Modelltrainings umfasst das Feature Engineering die Auswahl der Datenmerkmale, die für die Art des zu trainierenden Modells und die Aufgabe, für die es trainiert wird, am relevantesten sind.
Feature Engineering kann eine manuelle Aufgabe sein, die von Data Scientists durchgeführt wird, obwohl auch derzeit an automatisiertem Feature Engineering geforscht wird.1
Nachdem ein Datensatz sowohl durch traditionelle Methoden als auch durch Feature Engineering transformiert wurde, wird er oft in drei Sets unterteilt: einen für das Training, einen für das Fitting (Anpassung der Algorithmusparameter) und einen für Tests. Die Anwendung des Modells auf diese drei Datensätze ist ein iterativer Prozess, der so lange fortgesetzt wird, bis das Modell einen bestimmten Genauigkeits- oder Nützlichkeitsstandard erfüllt. KI-Datenpipelines können bei Bedarf auch neue Daten an Modelle liefern, um diese neu zu trainieren.
Die Vorbereitung von Trainingsdatensätzen kann je nach Art des Modelltrainings auch die Annotation umfassen – den Prozess des Hinzufügens aussagekräftiger Bezeichnungen zu Rohdaten. Beispielsweise werden große Sprachmodelle (LLMs) zunächst anhand von nicht gekennzeichneten Daten trainiert, können später jedoch auch anhand von gekennzeichneten Datensätzen optimiert werden.
Die Datenspeicherung in KI-Datenpipelines ist für große Datensätze, schnellen Datenzugriff und hohe Rechenanforderungen konzipiert. Sie verwendet skalierbare Architekturen, einschließlich Object Storage und parallele Dateisysteme, die Daten gleichzeitig über mehrere Knoten hinweg verarbeiten. Diese Funktion ermöglicht KI-Anwendungen, Echtzeitdaten schnell zu verarbeiten.
Speicher für KI ermöglicht den Zugriff über verteilte Datenquellen, einschließlich cloudbasierter und Edge-Umgebungen. Speicher-Repositorys für KI-Datenspeicher können Data Warehouses, Data Lakes und Data Lakehouses umfassen. Da solche Repositorys unterschiedliche Funktionen besitzen, umfassen viele Unternehmensdatenarchitekturen zwei oder alle drei Typen.
Nachdem das trainierte Modell bereitgestellt wurde, liefern KI-Datenpipelines Daten, die für das Inferencing verwendet werden – dabei werden Muster genutzt, die das Modell aus den Trainingsdaten gelernt hat, um auf der Grundlage der neuen Daten die richtige Ausgabe für Anwendungsfälle in der Praxis vorherzusagen.
Zu den Arten des Inferencing gehören Online-Inferencing (Echtzeit-Inferencing) und Batch-Inferencing. Beim Online-Inferencing werden Daten sofort eingegeben, um die Entscheidungsfindung in Echtzeit zu unterstützen. Beim Batch-Inferencing verarbeiten Modelle große Datenmengen asynchron in Gruppen (oder Batches) zu festgelegten Zeiten; es handelt sich um eine kostengünstigere Option, wenn die Aktualität keine Priorität hat.
Context Engineering ist der Prozess der Strukturierung und Optimierung des Kontexts, der KI-Modellen bereitgestellt wird, damit sie die ihnen zur Verfügung gestellten Daten besser interpretieren können. Es findet in verschiedenen Phasen der KI-Datenpipeline statt und umfasst die Definition semantischer Modelle, die Anreicherung von Metadaten, die Standardisierung von Geschäftsdefinitionen sowie die Abbildung von Entitätsbeziehungen systemübergreifend.2
Data-Governance ist ein Bereich der Datenverwaltung, der sich auf die Qualität, Sicherheit und Verfügbarkeit von Daten konzentriert. Es beinhaltet die Einrichtung von Zugriffskontrollen, Richtlinien und Abstammungsverfolgung für KI-Daten und Workloads. Observability-Tools können Verzerrung, Anomalien und andere Probleme erkennen, die die Leistung beeinflussen und möglicherweise ein Modelltraining oder eine Neukalibrierung erfordern.
Data Engineering mit agentischer KI ist die Bereitstellung von KI-Agenten zum Zweck der Verbesserung und Beschleunigung der Erstellung und der Wartung von Systemen, die Daten aggregieren und analysieren – nämlich Datenpipelines.
Unternehmen nutzen zunehmend KI-Agenten, um die Datenlieferung an KI-Modelle zu optimieren und gleichzeitig die Produktivität der Data-Engineering-Teams zu steigern. KI-Agenten können Folgendes:
Gartner prognostiziert, dass bis 2027 der Einsatz von KI-Assistenten und KI-optimierten Workflows in Datenintegrationstools den manuellen Aufwand um 60 % reduzieren wird.3
KI-Datenpipelines optimieren Daten für KI-Initiativen und bieten gleichzeitig weitergehende Vorteile für das Unternehmen. Und so geht's:
KI-Datenpipelines können die Datenprofilierung und Datenvalidierung automatisieren und so dazu beitragen, dass Datensätze die für leistungsfähige KI-Systeme erforderlichen Datenqualitätsmetriken erfüllen.
KI-Datenpipelines mit Streaming-Datenintegration ermöglichen die sofortige Analyse von Echtzeitdaten für sofortige datengestützte Erkenntnisse.
Die Kontextualisierung, die in KI-Datenpipelines stattfindet, verbessert die Interpretation von Daten durch KI-Modelle und ermöglicht so qualitativ hochwertigere Analysen und Erkenntnisse.
Durch die Verbindung zu einer Reihe von Datenquellen und die Integration verschiedener Datenformate können KI-Datenpipelines Datensilos aufbrechen und einheitliche Datenplattformen schaffen.
Kontinuierliche Modellüberwachung und Data-Governance können sicherstellen, dass sensible Daten dem Datenschutz entsprechen.
KI-Datenpipelines sind darauf ausgelegt, enorme Datenmengen zu verarbeiten, sodass Unternehmen wachsende Datenmengen bewältigen können. Darüber hinaus können KI-Agenten verwendet werden, um Pipelines für eine größere Anpassung anzupassen, sodass weniger neue Pipelines erstellt werden müssen, wenn sich die Datenanforderungen im Zuge der Weiterentwicklung der KI-Anwendungsfälle ändern.
KI-Agenten können Datenpipelines anpassungsfähig machen und mit automatischer Fehlerbehebung ausstatten – das heißt, sie können Probleme erkennen und beheben, bevor diese nachgelagerte Prozesse stören.
Dank agentischer Workflows sind KI-Datenpipelines für Nutzer leichter zugänglich als herkömmliche Pipelines. Nutzer ohne umfassende Programmiererfahrung können beispielsweise mithilfe von Prompts in natürlicher Sprache Python-Code generieren, um Dokumente zu verarbeiten und Pipelines zu implementieren.4
Das KI-Agent-gestützte Pipeline-Design und die Automatisierung von Pipeline-Komponenten minimieren die Zeit, die Data Engineers für sich wiederholende Aufgaben aufwenden, sodass sie sich um höherwertige Aufgaben kümmern können.
KI-Datenpipelines sind für jedes Unternehmen wertvoll, das KI-Workloads für Geschäftsergebnisse nutzt.
Streaming-Daten und maschinelles Lernen ermöglichen eine schnelle und präzise Betrugserkennung. Ein neuronales Netzwerk, das eine Art maschinelles Lernmodell ist, kann eingehende Transaktionen überwachen, Daten analysieren und betrügerisches Verhalten markieren.
KI-gestützte Echtzeit-Datenanalysen ermöglichen schnelle, personalisierte Customer Experiences. Beispielsweise ermöglicht die Verfolgung der Browsing-Aktivitäten eines Kunden auf einer Website die sofortige Personalisierung von Produktempfehlungen.
Durch die Organisation von Daten in Vektoreinbettungen unterstützen KI-Datenpipelines RAG, das Informationen aus Vektordatenbanken abruft. RAG wiederum hilft generativen KI-Anwendungen, genaue und aktuelle Ausgaben auf Basis neu abgerufener Daten zu generieren.
Erstellen und verwalten Sie intelligente Streaming-Datenpipelines über eine intuitive grafische Benutzeroberfläche, die eine nahtlose Datenintegration in Hybrid- und Multicloud-Umgebungen ermöglicht.
Watsonx.data ermöglicht es Ihnen, Analysen und KI mit all Ihren Daten zu skalieren, unabhängig davon, wo sie sich befinden, und zwar über einen offenen, hybriden und kontrollierten Datenspeicher.
Erschließen Sie den Wert von Unternehmensdaten mit IBM Consulting® und bauen Sie ein erkenntnisgesteuertes Unternehmen auf, das Ihnen geschäftliche Vorteile verschafft.
1 „Performance evaluation of automated data-driven feature extraction and selection methods for practical and scalable building energy consumption prediction models.“ Journal of Building Engineering. 1. Juni 2025.
2 „Context Engineering: Die fehlende Infrastrukturschicht für KI-Agenten im Unternehmen.“ IBM. 2026.
3 Magic Quadrant for Data Integration Tools. Gartner. 8. Dezember 2025.
4 „Building data pipelines using natural language with Data Prep Kit (DPK).“ IBM. 13. Mai 2025.
