Was versteht man unter einer Datenpipeline?

Eine Datenpipeline ist eine Methode, bei der Rohdaten aus verschiedenen Datenquellen erfasst, konvertiert und dann zur Analyse in einen Datenspeicher wie einen Data Lake oder ein Data Warehouse übertragen werden. 

Bevor Daten in einen Speicher eingespeist werden, werden sie in der Regel vorverarbeitet. Dies beinhaltet Konvertierungen wie Filterung, Maskierung und Aggregationen, die eine angemessene Datenintegration und Standardisierung sicherstellen. Dies ist besonders wichtig, wenn der Datensatz in eine relationale Datenbank übertragen wird. In dieser Art von Datenspeicher müssen Spalten und Datentypen ein bestimmtes Muster einhalten, damit vorhandene Daten durch neue aktualisiert werden können.

Wie der Name nahelegt, fungieren Datenpipelines als „Leitungssysteme“ für Data-Science-Projekte oder Business-Intelligence-Dashboards. Daten können aus den verschiedensten Quellen stammen – z. B. APIs, SQL- und NoSQL-Datenbanken, Dateien usw. – sind aber meist nicht direkt verwendbar. Beim Bereitstellen wird die Datenabstammung verfolgt, um die Beziehung zwischen Unternehmensdaten in verschiedenen Geschäfts- und IT-Anwendungen zu dokumentieren, z. B. wo sich Daten aktuell befinden und wie sie in einer Umgebung gespeichert werden, z. B. lokal, in einem Data Lake oder Data Warehouse.

In der Regel übernehmen Data Scientists oder Dateningenieure die Aufbereitung der Daten, um sie so zu strukturieren, dass sie die Anforderungen der geschäftlichen Anwendungsfälle erfüllen und riesige Datenmengen verarbeiten können. Wie die Daten in einer Datenpipeline zu verarbeiten sind, ergibt sich normalerweise durch eine Mischung aus explorativer Datenanalyse und definierten Geschäftsanforderungen. Sobald die Daten entsprechend gefiltert, zusammengeführt und zusammengefasst wurden, können sie gespeichert und zur Nutzung bereitgestellt werden. Gut organisierte Datenpipelines stellen die Grundlage für die verschiedensten Datenprojekte bereit, wie explorative Datenanalysen, Datenvisualisierungen und Aufgaben des maschinellen Lernens. 

Drei zentrale Schritte bilden die Architektur einer Datenpipeline. 

1. Datenaufnahme: Daten werden aus verschiedenen Datenquellen erfasst, darunter Software-as-a-Service-Plattformen (SaaS), IoT-Geräte (Internet der Dinge) und mobile Geräte, und mit unterschiedlichen Datenstrukturen, sowohl strukturiert als auch unstrukturiert. Bei Streaming-Daten werden diese Rohdatenquellen üblicherweise als Produzenten, Bereitsteller oder Absender bezeichnet. Zwar können Unternehmen entscheiden, Daten erst dann zu extrahieren, wenn sie zur Verarbeitung bereit sind, doch ist es besser, die Rohdaten zuerst bei einem Cloud-Anbieter für Data Warehouses zu speichern. So können historische Daten aktualisiert werden, wenn Datenverarbeitungsjobs anzupassen sind.Bei der Datenaufnahme können verschiedene Validierungen und Prüfungen durchgeführt werden, um die Konsistenz und Genauigkeit der Daten sicherzustellen.

2. Datenkonvertierung: In diesem Schritt werden mehrere Jobs ausgeführt, um Daten in das vom Zieldatenspeicher benötigte Format zu konvertieren. Diese Jobs führen sich wiederholende Workstreams, wie beispielsweise das Erstellen von Geschäftsberichten, mit Automatisierung und Governance aus, damit die Daten konsistent bereinigt und konvertiert werden. Bei der Datenkonvertierung kann beispielsweise versucht werden, einen geschachtelten JSON-String so aufzulösen, dass die wichtigen Felder zur Analyse extrahiert werden.

3. Datenspeicherung: Die konvertierten Daten werden dann in einem Datenspeicher abgelegt, wo die verschiedenen Stakeholder auf sie zugreifen können. Bei Streamingdaten werden diese konvertierten Daten in der Regel als Verbraucher, Abonnenten oder Empfänger bezeichnet.  

Manchmal werden die Begriffe Datenpipeline und ETL-Pipeline synonym verwendet. Streng genommen sollten Sie jedoch ETL-Pipelines als Unterkategorie von Datenpipelines betrachten. Die beiden Arten von Pipelines unterscheiden sich durch drei Hauptmerkmale:

• ETL-Pipelines halten eine bestimmte Abfolge ein. Wie die Abkürzung impliziert, werden Daten extrahiert, konvertiert, in einen Datenspeicher geladen und dort abgelegt. Nicht alle Datenpipelines müssen diese Abfolge einhalten. ELT-Pipelines (extrahieren, laden, konvertieren) sind durch cloudnative Tools, die Daten quellen- und plattformübergreifend generieren und speichern können, beliebter geworden. Zwar führt auch dieser Pipelinetyp zuerst die Datenaufnahme durch, doch die Daten werden erst nach dem Laden in das cloudbasierte Data Warehouse konvertiert.
  
  
• Auch ETL-Pipelines nutzen regelmäßig die Stapelverarbeitung, allerdings ist der Umfang von Datenpipelines größer, wie bereits erwähnt. Sie können auch Datenströme verarbeiten.
  
  
• Der dritte Unterschied liegt darin, dass Datenpipelines nicht unbedingt Datenkonvertierungen durchlaufen müssen – auch wenn dies unwahrscheinlich ist – wie dies bei ETL-Pipelines der Fall ist. Es kommt selten vor, dass eine Datenpipeline keine Konvertierungen nutzt, um die Datenanalyse zu vereinfachen.  

Mit der Zunahme von Big Data wird die Datenverwaltung immer wichtiger. Datenpipelines erfüllen verschiedene Funktionen. Die folgenden gelten für Geschäftsanwendungen:

• Explorative Datenanalyse: Mit ihr können Data Scientists Datensätze auswerten, untersuchen und ihre Hauptmerkmale zusammenfassen. Oft werden auch Methoden zur Datenvisualisierung eingesetzt. Damit lässt sich herausfinden, wie Datenquellen am besten zu manipulieren sind, um die benötigten Antworten zu erhalten. So können Data Scientists leichter Muster finden, Anomalien erkennen, eine Hypothese testen oder Annahmen überprüfen.
  
  
• Datenvisualisierungen: Zur Darstellung von Daten in gängigen Grafikformaten können Daten als Diagramme, Plots, Infografiken und sogar Animationen visualisiert werden. Diese Darstellungen von Informationen vermitteln komplexe Datenzusammenhänge und datengesteuerte Erkenntnisse auf leicht verständliche Weise.
  
  
• Maschinelles Lernen: Dieses Teilgebiet der künstlichen Intelligenz (KI) und Informatik konzentriert sich auf die Verwendung von Daten und Algorithmen, um nachzuahmen, wie Menschen lernen, und dann schrittweise immer genauer zu werden. Mit statistischen Methoden werden Algorithmen trainiert, um Klassifikationen vorzunehmen, Vorhersagen zu treffen und wichtige Erkenntnisse innerhalb von Data-Mining-Projekten aufzudecken..
  
  
• Daten-Observability: Sie überprüft die Genauigkeit und Sicherheit der verwendeten Daten mit einer Vielzahl von Tools, um erwartete Ereignisse und Anomalien zu überwachen, zu verfolgen und vor ihnen zu warnen.