Was ist Datenorchestrierung?

Datenorchestrierung ist die Steuerung und Koordination von Datenflüssen über verschiedene Systeme, Prozesse und Werkzeuge hinweg. Sie hilft dabei, die Phasen der Datenpipeline zu organisieren und zu optimieren, einschließlich Datenerfassung, -aufnahme, -transformation, -integration und -speicherung.

Durch einen erfolgreichen Prozess der Datenorchestrierung fließen die Informationen zuverlässig und effizient zu den verschiedenen Zielorten und stehen dort für die Datenanalyse und andere Zwecke bereit. Diese Kernkompetenzen machen es zu einer unverzichtbaren Datenmanagement-Praxis im Zeitalter von Big-Data--Workloads und datengetriebener Entscheidungsfindung. 

Daten-Ingenieure verlassen sich auf Datenorchestrierung und -plattformen, um den Datenfluss zu optimieren und die Skalierbarkeit von Unternehmensdateninitiativen zu unterstützen. Automatisierung ist ein zentraler Bestandteil vieler moderner Lösungen zur Datenorchestrierung. Sie ermöglicht die Ausführung von Datenaufgaben wie Datenintegration und Transformation in einer logischen Reihenfolge ohne menschliches Eingreifen. 

Um die Leistung ihrer wachsenden Datenmengen nutzen zu können, müssen Unternehmen sich in immer komplexeren Ökosystemen zurechtfinden. Ihre Daten stammen oft aus verschiedenen Quellen und liegen in unterschiedlichen Datenformaten vor. 

  Es wird außerdem häufig sowohl in cloudbasierten als auch in lokalen Speichersystemen wie Data Lakes und Data Warehouses weltweit gespeichert. Und in vielen Unternehmen werden die Daten in verschiedenen Tools von verschiedenen Teams und Mitarbeitern verwendet – CRM-Systeme für Vertriebsteams, Analyseplattformen für Marketingexperten und so weiter. Laut einer IDC-Umfrage von 2024 unter IT- und Geschäftsleitern werden operative Daten aus 35 verschiedenen Systemen bezogen und in durchschnittlich 18 verschiedenen analytischen Datenarchiven integriert.¹

Solche komplexen Datenumgebungen sind anfällig für Datensilos, minderwertige Daten und andere Probleme, die Engpässe in Datenpipelines schaffen und Fehler in die nachgelagerte Analyse einführen. Eine effektive Datenorchestrierung kann Unternehmen dabei helfen, diese Herausforderungen zu meistern und Wert den ihrer Daten zu steigern.

Datenorchestrierung hilft Unternehmen dabei, ihre Daten für wertvolle Erkenntnisse, fundierte Entscheidungsfindung und Innovation zu nutzen. Zu den spezifischen Vorteilen gehören:

Datenorchestrierung und Datenintegration sind eng verwandte, aber nicht identische Konzepte. Beide ermöglichen zwar die Konsolidierung und Vereinheitlichung von Daten für Analyseanwendungen, die Datenintegration ist jedoch differenzierter, während die Datenorchestrierung eine übergreifende Praxis ist. 

Die Datenorchestrierung optimiert die Datenbewegung durch verschiedene Systeme und Prozesse. Datenintegration ist einer dieser Prozesse, bei denen verschiedene Methoden (wie Extract, Transform and Load oder ETL) verwendet werden, um Daten aus verschiedenen Quellen zu kombinieren und zu harmonisieren und sie dann in ein Zielsystem zu laden.

Datenorchestrierung hilft Organisationen dabei, die enorme Komplexität ihrer Datenökosysteme zu bewältigen. Die Vorgehensweise selbst lässt sich üblicherweise in drei grundlegende Schritte unterteilen:

• Organisation: Die Daten werden aus verschiedenen internen und externen Quellen gesammelt und dann – oft an einem zentralen Ort – organisiert, sodass sie für die Transformation bereit sind.
  
  
• Transformation: Rohdaten werden in ein einheitliches Format umgewandelt, bereinigt und validiert, um Konsistenz und Genauigkeit zu bestätigen.
  
  
• Aktivierung: Daten werden für Analysen, Weiterleitung an Dashboard-Tools und andere Zwecke zur Verfügung gestellt.

Den grundlegenden Schritten der Datenorchestrierung liegen mehrere Schlüsselfunktionen zugrunde. Unter ihnen:  

• Definition von Aufgabenabhängigkeiten und Reihenfolge der Aufgaben
• Automatisierung von Daten-Workflows
• Überwachung und Versand von Warnmeldungen

Die Datenorchestrierung beginnt oft mit der Definition von Datenverarbeitungsaufgaben und der Angabe ihrer Ausführungsreihenfolge in Datenpipelines und Workflows. Sie hilft sicherzustellen, dass, wenn eine Aufgabe vom Ergebnis einer anderen abhängt, diese zuerst erledigt wird. Eine solche, auf Abhängigkeiten basierende Abfolge von Aufgaben hilft Unternehmen, kostspielige Ausfälle in der Pipeline zu vermeiden.

Um Aufgabensequenzen zu entwerfen und zu organisieren, verwenden Dateningenieure häufig gerichtete azyklische Graphen oder DAGs – Graphen, in denen Knoten durch einseitige Verbindungen verbunden sind, die keine Zyklen bilden. Verschiedene Knoten in einer DAG können verschiedene Datenprozesse darstellen, wie z. B. Datenaufnahme und Datenkonvertierung, und die Reihenfolge, in der sie ausgeführt werden sollten. Die Kanten, die die Knoten verbinden, stellen die Abhängigkeiten zwischen den Prozessen dar.

Eine Alternative zu DAGs bei der Definition und Anordnung von Aufgaben ist ein code-zentrierter Ansatz. Ein beliebter codezentrierter Ansatz verwendet die Open-Source-Programmiersprache Python, um Funktionen für die Workflow-Verwaltung zu erstellen – ein Aufbau, der oft als besser geeignet für die Anpassung an dynamische Workflows angesehen wird.

Moderne Datenorchestrierung automatisiert multiple Workflows – wie ETL, ELT (Extrahieren, Laden, Transformieren) und Datenkonvertierung innerhalb von Data Warehouse –, um Konsistenz zu gewährleisten und menschliche Eingriffe zu minimieren oder zu eliminieren. Eine Person kann eine automatisierte Daten-Aufgabe initiieren, aber Aufgaben können auch über drei Arten von Triggern geplant werden:²

• Zeitbasierte Auslöser: Aufgaben werden in bestimmten Intervallen oder zu bestimmten Zeiten ausgeführt.
  
  
• Auf Abhängigkeiten basierende Auslöser: Aufgaben werden erst ausgeführt, wenn andere angegebene Aufgaben abgeschlossen sind.
  
  
• Ereignisgesteuerte Auslöser: Reale Signale, wie z. B. API-Aufrufe, aktivieren eine Aufgabe.

Während die Überwachung von Datenpipelines oft als Daten-Observability-Praxis angesehen wird, spielt sie auch eine Rolle bei der Datenorchestrierung, indem sie dazu beiträgt, dass Daten fließen und wie beabsichtigt verarbeitet werden. 

Organisationen können verschiedene Arten von Kennzahlen überwachen, darunter Leistungskennzahlen wie Latenz und Durchsatz, Kennzahlen zur Ressourcennutzung wie CPU- und Speicherauslastung sowie Kennzahlen zur Datenqualität wie Genauigkeit, Vollständigkeit und Konsistenz.³

Wenn ein Problem in der Datenpipeline erkannt wird, wie z. B. ein Aufgabenfehler, können Benachrichtigungstools rechtzeitig Warnmeldungen an die Datenteams senden, damit diese die Adresse des Problems schnell angeben können. Orchestrierungslösungen können auch Wiederholungsversuche ermöglichen, um Probleme zu entschärfen, d. h. eine fehlgeschlagene Aufgabe kann automatisch eine bestimmte Anzahl von Malen erneut ausgeführt werden, bevor Benachrichtigungen zugestellt werden.

Die Datenorchestrierung ist ähnlich, unterscheidet sich aber deutlich von zwei anderen Arten der Orchestrierung: Workflow-Orchestrierung und Prozessorchestrierung. Beide dieser Praktiken sind umfassender als die Datenorchestrierung, und die Datenorchestrierung kann als eine Art von beidem betrachtet werden.
 
Workflow-Orchestrierung konzentriert sich auf die Koordination und Verwaltung einer Reihe miteinander verbundener Aufgaben, Systeme und Werkzeuge, um ein bestimmtes Ergebnis zu erreichen. Sie betont die durchgängige Ausführung und Integration von Workflows in verschiedenen Umgebungen, sodass Aufgaben in der richtigen Reihenfolge ausgeführt werden und Abhängigkeiten eingehalten werden.

Prozessorchestrierung bezieht sich auf die Verwaltung und Integration mehrerer Geschäftsprozesse, die oft Workflows, Menschen und Systeme umfassen. Anstatt sich auf das Workflow-Management zu konzentrieren, beinhaltet sie die durchgängige Koordination ganzer Geschäftsprozesse, wodurch die Ausrichtung auf die Unternehmensziele gefördert wird.

Organisationen und Datenteams können aus einer Vielzahl von Datenorchestrierungslösungen wählen, um ihre Datenverarbeitung zu optimieren. Die beste Lösung für ein Unternehmen hängt von seinen spezifischen Prioritäten ab, wie z. B. den Kosten (Open Source oder kommerziell); Observability-Anforderungen; und Integrationen in andere gängige Datenlösungen (Analysetools wie dbt, Cloud-basierte Datenplattformen wie Snowflake).

Die am weitesten verbreiteten Tools und Plattformen zur Datenorchestrierung bieten in der Regel Optionen zur Anbindung an andere Datenlösungen, unterscheiden sich aber in anderen Aspekten. Nachfolgend ein genauerer Blick auf verschiedene Datenorchestrierungslösungen:

• Apache Airflow
• AWS Step Functions
• Azure Data Factory
• Dagster
• IBM DataOps-Plattformen
• Prefect

Apache Airflow, die bekannteste Lösung zur Datenorchestrierung, ist eine Open-Source-Plattform, die hauptsächlich für die  Stapelverarbeitung entwickelt wurde. Es ermöglicht die Planung von Daten-Workflows. Dabei werden die Workflows als DAGs definiert. Airflow verfügt über eine Architektur, die Skalierung und parallele Ausführung unterstützt, was sie für die Verwaltung komplexer, datenintensiver Pipelines geeignet macht.

AWS Step Functions ist ein Serverlos-Orchestrierungsservice von Amazon mit einer visuellen Oberfläche zur Koordination verteilter Anwendungen und Microservices. Es wird oft für Unternehmen empfohlen, die bereits auf die Amazon-Infrastruktur angewiesen sind, aber es kann auch in Anwendungen von Drittanbietern integriert werden.

Azure Data Factory von Microsoft ist ein vollständig verwalteter, serverloser Datenintegrationsdienst, der sich nativ in andere Azure-Dienste integrieren lässt. Es bietet eine visuelle Benutzeroberfläche für die Integration von Datenquellen und die Orchestrierung von ETL- und ELT-Datenpipelines.

Dagster ist bekannt für seinen Fokus auf Observability und Datenqualität mit Funktionen wie Datenabstammung und  Metadatenverfolgung. Zu seinen Funktionen gehören auch lokale Tests und wiederverwendbare Komponenten zur Unterstützung von KI-fähigen Datenprodukten und modernen Softwareentwicklungsverfahren. 

®IBM bietet eine Auswahl an DataOps-Tools und -Plattformen mit Datenorchestrierungsfunktionen an. IBM® watsonx.data intelligence bietet einen Datenkatalog zur Automatisierung der Datenentdeckung und des Qualitätsmanagements. IBM® watsonx.data integration bietet eine einheitliche Steuerungsebene zum Aufbau wiederverwendbarer Pipelines. Und IBM Cloud Pak for Data verwendet Datenvirtualisierung, Pipelines und Konnektoren, um Daten aus isolierten Quellen zu kombinieren, während physische Datenverschiebungen überflüssig werden.

Prefect ist ein Tool zur Datenorchestrierung, das in einer Open-Source-Version und einer Cloud-verwalteten Lösung mit zusätzlichen Funktionen für Unternehmen erhältlich ist. Im Gegensatz zu anderen Lösungen für die Datenorchestrierung stützt sich Prefect nicht auf DAGs und verfolgt stattdessen einen codezentrierten Ansatz, den einige für eine dynamischere Orchestrierung bevorzugen.