Was ist Data Engineering?

Von Social-Media- und Marketing-Metriken bis hin zu Statistiken über die Leistung und Trendprognosen verfügen Unternehmen über alle Daten, die sie benötigen, um einen ganzheitlichen Überblick über ihre Aktivitäten zu erhalten. Data Engineers verwandeln riesige Datenmengen in wertvolle strategische Erkenntnisse.

Mit der richtigen Datentechnik können Stakeholder in einer Unternehmen – Führungskräfte, Entwickler, Data Scientists und Business Intelligence (BI) -Analysten – jederzeit auf die Datensatz zugreifen, die sie benötigen, und zwar auf eine Weise, die zuverlässig, bequem und sicher ist.

Unternehmen haben Zugriff auf mehr Daten – und mehr Datentypen – als je zuvor. Jedes Datenbit kann potenziell als Grundlage für eine wichtige Geschäftsentscheidung dienen. Data Engineers regeln die Datenverwaltung für die nachgelagerte Nutzung, einschließlich Analysen, forecasting oder maschinelles Lernen.

Als spezialisierte Informatiker zeichnen sich Data Engineers durch die Erstellung und Bereitstellung von Algorithmen, Datenpipelines und Workflows aus, die Rohdaten in Datensätze sortieren. Data Engineering ist ein integraler Komponente der modernen Datenplattform und ermöglicht es Unternehmen, die erhaltenen Daten unabhängig von der Datenquelle oder dem Datenformat zu analysieren und anzuwenden.

Selbst in einem dezentralisierten System zur Verwaltung des Datennetzes ist ein Kernteam von Data Engineers für den Zustand der gesamten Infrastruktur verantwortlich.

Data Engineers haben eine Reihe von täglichen Aufgaben. Hier sind einige wichtige Anwendungsfälle für Datenengineering:

Data Engineers entwickeln Systeme, die große Mengen an Rohdaten in brauchbare Kerndatensätze umwandeln, die die wesentlichen Daten enthalten, die ihre Kollegen benötigen. Andernfalls wäre es für Endbenutzer äußerst schwierig, auf die über die operativen Systeme eines Unternehmens verteilten Daten zuzugreifen und sie zu interpretieren.

Kerndatensätze sind auf einen bestimmten nachgelagerten Anwendungsfall zugeschnitten und so konzipiert, dass sie alle benötigten Daten in einem nutzbaren Format ohne überflüssige Informationen vermitteln. Die drei Säulen eines starken Kerndatensatzes sind:

Bei der Daten als Produkt (DaaP) Datenverwaltung liegt der Schwerpunkt darauf, Endbenutzer mit zugänglichen, zuverlässigen Daten zu versorgen. Analysten, Wissenschaftler, Manager und andere Führungskräfte sollten beim Zugriff auf und bei der Interpretation von Daten auf so wenig Hindernisse wie möglich stoßen.

Gute Daten sind nicht nur eine Momentaufnahme der Gegenwart – sie liefern Kontext, indem sie Veränderungen im Laufe der Zeit vermitteln. Starke Kerndatensätze werden historische Trends in der showcase und geben eine Perspektive für die strategischere Entscheidungsfindung.

Datenintegration ist die Praxis, Daten aus einem gesamten Unternehmen zu einem einheitlichen Datensatz zu aggregieren, und ist eine der Hauptaufgaben der Rolle des Datentechnikers. Data Engineers ermöglichen es Endbenutzern, Daten aus verteilten Quellen entsprechend den Anforderungen ihrer Arbeit zu kombinieren.

Data Engineering steuert das Design und die Erstellung von Datenpipelines, die unstrukturierte Daten in Datensätze umwandeln, die Datenqualität und Zuverlässigkeit gewährleisten.

Datenpipelines bilden das Rückgrat einer gut funktionierenden Dateninfrastruktur und orientieren sich an den Anforderungen der Datenarchitektur des Geschäfts, für das sie zuständig sind. Daten-Observability ist die Praxis, mit der Data Engineers ihre Pipelines überwachen, um sicherzustellen, dass Endbenutzer zuverlässige Daten erhalten.

Die Daten-Integration-Pipeline umfasst drei Schlüsselphasen:

Datenaufnahme ist die Übertragung von Daten aus verschiedenen Quellen in ein einziges Ökosystem. Zu diesen Quellen gehören Datenbanken, Cloud Computing-Plattformen wie Amazon Web Services (AWS), IoT-Geräte, Data Lakes und Warehouses, Websites und andere Kundenkontaktpunkte. Data Engineers verwenden APIs, um viele dieser Datenpunkte in ihre Pipelines zu integrieren.

Jede Datenquelle speichert und formatiert Daten auf eine bestimmte Weise. Dabei kann es sich um strukturierte oder unstrukturierte Daten handeln. Während strukturierte Daten bereits für einen effizienten Zugriff formatiert sind, ist dies bei unstrukturierten Daten nicht der Fall. Durch die Datenaufnahme werden die Daten in einem organisierten Datensystem zusammengefasst, das dann weiter verfeinert werden kann.

Durch die Datentransformation werden die aufgenommenen Daten für Endbenutzer wie Führungskräfte oder Ingenieure für maschinelles Lernen vorbereitet. Es handelt sich um eine Hygieneübung, bei der Fehler gefunden und korrigiert, doppelte Einträge entfernt und Daten für eine höhere Datenzuverlässigkeit normalisiert werden. Anschließend werden die Daten in das vom Endbenutzer benötigte Format konvertiert.

Sobald die Daten erfasst und verarbeitet wurden, werden sie an den Endbenutzer bereitgestellt. Echtzeit Datenmodellierung und -visualisierung, Datensätze für maschinelles Lernen und automatisierte Berichtssysteme sind allesamt Beispiele für gängige Datenbereitstellungsmethoden.

Data Science, Data Engineering und Data Analyse sind eng verwandte Bereiche. Jede ist jedoch eine fokussierte Disziplin, die eine einzigartige Rolle innerhalb eines größeren Unternehmens erfüllt. Diese drei Rollen arbeiten zusammen, um sicherzustellen, dass Unternehmen das Beste aus ihren Daten herausholen können.

• Data Scientist nutzen maschinelles Lernen, Datenexploration und andere akademische Bereiche, um zukünftige Ergebnisse vorherzusagen. Data Science ist ein interdisziplinäres Gebiet, das sich darauf konzentriert, mithilfe von Algorithmen und statistischen Modellen genaue Vorhersagen zu treffen. Wie Data Engineering ist auch Data Science eine Tätigkeit mit hohem Programmieraufwand, die einen umfassenden Programmierhintergrund erfordert.
  
  
• Datenanalysten untersuchen große Datensätze, um Trends zu erkennen und Erkenntnisse zu gewinnen, die Unternehmen dabei helfen, datengesteuerte Entscheidungen zu treffen heute. Während Data Scientists fortschrittliche Computertechniken zur Datenmanipulation anwenden, arbeiten Datenanalysten mit vordefinierten Datensätzen, um kritische Informationen aufzudecken und aussagekräftige Schlussfolgerungen zu ziehen.

• Data Engineers sind Softwareingenieure, die die Dateninfrastruktur eines Unternehmens aufbauen und verwalten — sie automatisieren die Datenintegration, erstellen effiziente Datenspeichermodelle und verbessern die Datenqualität durch Pipeline-Observability. Data Scientists und Analysten verlassen sich darauf, dass Data Engineers ihnen die zuverlässigen, qualitativ hochwertigen Daten liefern, die sie für ihre Arbeit benötigen.

Die Rolle des Data Engineers zeichnet sich durch seine spezialisierten Fähigkeiten aus. Data Engineers müssen mit zahlreichen Tools und Technologien vertraut sein, um den Fluss, die Speicherung, das Management und die Qualität von Daten in einem Unternehmen zu optimieren.

Beim Aufbau einer Pipeline automatisiert ein Data Engineer die Integration mit Skripten – Codezeilen, die sich wiederholende Aufgaben ausführen. Je nach Bedarf ihres Unternehmens konstruieren Data Engineers Pipelines in einem von zwei Formaten: ETL oder ELT.

ETL: Extrahieren, Transformieren, Laden. ETL-Pipelines automatisieren das Abrufen und die Speicherung von Daten in einer Datenbank. Die Rohdaten werden aus der Quelle extrahiert, durch Skripte in ein standardisiertes Format umgewandelt und dann in ein Speicherziel geladen. ETL ist die am häufigsten verwendete Methode zur Datenintegration, insbesondere beim Zusammenführen von Daten aus mehreren Quellen in einem einheitlichen Format.

ELT: extrahieren, laden, transformieren. ELT-Pipelines extrahieren Rohdaten und importieren sie in ein zentrales Repository, bevor sie durch Transformation standardisiert werden. Die gesammelten Daten können später je nach Bedarf formatiert werden und bieten so ein höheres Maß an Flexibilität als ELT-Pipelines.

Die Systeme, die Data Engineers erstellen, beginnen und enden oft mit Datenspeicherlösungen: Daten von einem Standort sammeln, verarbeiten und dann am Ende der Pipeline an einer anderen Stelle ablegen.

• Cloud Computing-Dienste: Die Beherrschung von Cloud Computing-Plattformen ist für eine erfolgreiche Karriere in der Datentechnik unerlässlich. Microsoft Azure Data Lake Storage, Amazon S3 und andere AWS-Lösungen, Google Cloud und IBM Cloud® sind beliebte Plattformen.
  
  
• Relationale Datenbanken: Eine relationale Datenbank organisiert Daten nach einem System vordefinierter Beziehungen. Die Daten werden in Zeilen und Spalten angeordnet, die eine Tabelle bilden, in der die Beziehungen zwischen den Datenpunkten dargestellt sind. Dank dieser Struktur können auch komplexe Abfragen effizient durchgeführt werden. Analysten und Ingenieure pflegen diese Datenbanken mit relationalen Datenbankmanagementsystemen (RDBMS). Die meisten RDBMS-Lösungen verwenden SQL für die Bearbeitung von Abfragen, wobei MySQL und PostgreSQL zwei der führenden Open-Source-RDBMS-Optionen sind.
  
  
• NoSQL-Datenbanken: SQL ist nicht die einzige Option für die Datenbankverwaltung. NoSQL-Datenbanken ermöglichen es Data Engineers, Datenspeicherlösungen zu erstellen, ohne sich auf traditionelle Modelle verlassen zu müssen. Da NoSQL-Datenbanken keine Daten in vordefinierten Tabellen speichern, ermöglichen sie den Benutzern ein intuitiveres Arbeiten ohne so viel Vorausplanung. NoSQL bietet im Vergleich zu SQL-basierten relationalen Datenbanken mehr Flexibilität sowie eine einfachere horizontale Skalierbarkeit.
  
  
• Data Warehouses: Data Warehouses erfassen und standardisieren Daten aus dem gesamten Unternehmen, um eine Single-Source-of-Truth (SSOT) zu schaffen. Die meisten Data Warehouses bestehen aus einer dreistufigen Struktur: eine untere Schicht, die Daten speichert, eine mittlere Schicht, die schnelle Abfragen ermöglicht, und eine oberste Schicht, die den Benutzern zugewandt ist. Während herkömmliche Data-Warehousing-Modelle nur strukturierte Daten unterstützen, können moderne Lösungen unstrukturierte Daten speichern. Durch die Aggregation von Daten und schnelle Abfragen in Echtzeit verbessern Data Warehouses die Datenqualität, bieten schnellere Erkenntnisse und ermöglichen strategische, datengesteuerte Entscheidungen. Datenanalysten können über eine einzige Schnittstelle auf alle benötigten Daten zugreifen und haben einen Vorteil von einer Datenmodellierung und Visualisierung in Echtzeit.
  
  
• Data Lakes: Während bei einem Data Warehouse die Struktur im Vordergrund steht,ist ein Data Lake eher eine freie Datenverwaltungslösung, die große Mengen sowohl strukturierter als auch unstrukturierter Daten speichert. Data Lake sind flexibler in der Nutzung und günstiger in der Erstellung als Data Warehouses, da sie keine vordefinierten Schemata benötigen. Sie enthalten neue Rohdaten, insbesondere die unstrukturierten Big Data, die sich ideal für das Training von maschinellen Lernsystemen eignen. Doch ohne ausreichendes Management können Data Lakes leicht zu Datensümpfen werden: unübersichtliche Datenmengen, die zu verwirrend sind, um sie zu navigieren. Viele Data Lakes basieren auf dem Hadoop-Produkt-Ökosystem, darunter Echtzeit-Datenverarbeitungslösungen wie Apache Spark und Kafka.
  
  
• Data Lakehouses: Data Lakehouses sind die nächste Stufe in der Datenverwaltung. Sie mindern die Schwächen der Warehouse- und Lake-Modelle. Lakehouses kombinieren die Kostenoptimierung von Lakes mit der Struktur und überlegenen Verwaltung des Warehouse, um die Anforderungen von maschinellem Lernen, Data Science und BI-Anwendungen zu erfüllen.

Als Disziplin der Informatik erfordert Data Engineering fundierte Kenntnisse verschiedener Programmiersprachen. Data Engineers verwenden Programmiersprachen zum Erstellen ihrer Datenpipelines.

• SQL oder strukturierte Abfragesprache ist die vorherrschende Programmiersprache für die Erstellung und Manipulation von Datenbanken. Es bildet die Basis für alle relationalen Datenbanken und kann auch in NoSQL-Datenbanken verwendet werden.

• Python bietet eine Vielzahl vorgefertigter Module zur Beschleunigung vieler Aspekte des Data-Engineering-Prozesses, vom Aufbau komplexer Pipelines mit Luigi bis zur Verwaltung von Workflows mit Apache Airflow. Viele benutzerorientierte Softwareanwendungen verwenden Python als Grundlage.

• Scala ist eine gute Wahl für die Verwendung mit Big Data, da es gut mit Apache Spark zusammenarbeitet. Im Gegensatz zu Python ermöglicht Scala Entwicklern, mehrere Parallelitätsprimitive zu programmieren und mehrere Aufgaben gleichzeitig auszuführen. Diese Fähigkeit zur parallelen Verarbeitung macht Scala zu einer beliebten Wahl für den Pipelinebau.

• Java ist eine beliebte Wahl für das Backend vieler Data-Engineering-Pipelines. Wenn Organisationen sich für den Aufbau ihrer eigenen internen Datenverarbeitung entscheiden, ist Java oft die Programmiersprache der Wahl. Sie unterstützt auch Apache Hive, ein auf Analysen ausgerichtetes Warehouse-Tool.