Was ist ETL (Extrahieren, Transformieren, Laden)?

ETL-Datenpipelines bilden die Grundlage für die Arbeitsabläufe in den Bereichen Datenanalyse und maschinelles Lernen. Durch eine Reihe von Business Rules bereinigt und organisiert ETL Daten, um spezifische Business-Intelligence-Anforderungen zu erfüllen, wie z. B. monatliche Berichte. In Kombination mit Datenstreaming-Technologie ist es als Streaming-ETL bekannt und ermöglicht Echtzeit-Datenverarbeitung sowie sofortige Erkenntnisse.

ETL-Datenpipelines bilden die Grundlage für die Arbeitsabläufe in den Bereichen Datenanalyse und maschinelles Lernen. Durch eine Reihe von Business Rules bereinigt und organisiert ETL Daten, um spezifische Business-Intelligence-Anforderungen zu erfüllen, wie z. B. monatliche Berichte. Bei Verwendung in Verbindung mit der Datenstreaming-Technologie kann ETL auch auf kontinuierlich eintreffende Event Streams angewendet werden – ein Ansatz, der als Streaming ETL bezeichnet wird.

Obwohl es heute neuere Optionen zur Integration für Unternehmen gibt, bleibt ETL eine beliebte Wahl, da es mit Legacy-Systemen kompatibel ist, die Datenqualität verbessern und das Maskieren sensibler Daten während der Übertragung ermöglicht.  

ETL-Tools sind als Open-Source-Lösungen und als kommerzielle Lösungen verfügbar. Sie sind auch häufig in Datenbank- und Cloud-Plattformen integriert. Wichtige Funktionen von ETL-Lösungen umfassen umfassende Automatisierung, visuelle Schnittstellen und die Flexibilität, zwischen ETL und anderen Datenintegrationsmustern zu wechseln.

ETL hilft Unternehmen, Informationen aus verteilten Quellen zu sammeln und in vertrauenswürdige Daten umzuwandeln, die für Analysen und künstliche Intelligenz in verschiedenen Umgebungen genutzt werden können, von lokalen Servern bis hin zu Cloud-Plattformen.

Ungeachtet seiner Bedeutung für die heutige Technologielandschaft gibt es ETL tatsächlich schon länger als moderne KI-Workloads und Cloud-Computing. Es wurde in den 1970er Jahren als ein Verfahren zum Integrieren und Laden von Daten für Berechnungen und Analysen eingeführt.

ETL wurde schließlich zur Hauptmethode für die Verarbeitung von Daten für Data-Warehousing-Projekte. In den 1990er- und 2000er-Jahren, als das Zeitalter von Big Data anbrach, setzten Unternehmen ETL ein, um große Datenmengen aus neuen Quellen wie sozialen Medien und Geräten und Sensoren des Internets der Dinge (IoT) zu integrieren.

Als Cloud-Infrastrukturen in den 2000er Jahren zu einem festen Bestandteil der Geschäftswelt wurden, ermöglichten moderne ETL-Software und -Tools die Migration und Integration von Daten in Cloud-Datenplattformen und -Warehouses wie Amazon Web Services (AWS), Microsoft Azure und Snowflake. Solche Plattformen ermöglichten es ETL-Lösungen außerdem, schnell und in großem Maßstab Erkenntnisse zu liefern und so Wettbewerbsvorteile für die Unternehmen zu schaffen, die sie einsetzten.

Die neueste Entwicklung im Bereich ETL ist dessen Bereitstellung für die Integration von Streaming-Daten, wodurch sekundengenaue Erkenntnisse aus kontinuierlichen Datenströmen gewonnen werden.

Diskussionen über ETL enthalten häufig die Erwähnung eines Datenintegrationsprozesses mit ähnlichem Namen: ELT oder Extrahieren, Laden, Transformieren.

Abgesehen von terminologischen Überschneidungen unterscheiden sich die beiden Prozesse deutlich voneinander. Ein offensichtlicher Unterschied liegt in der Reihenfolge der Operationen. Im ELT findet die Datenkonvertierung am Ende des Datenintegrationsprozesses statt – nicht mitten drin. Zu den wichtigsten Unterschieden zwischen den beiden Prozessen gehören:

Am einfachsten lässt sich die Funktionsweise von ETL verstehen, indem man nachvollzieht, was in jedem der drei Schritte – Extrahieren, Transformieren und Laden – des Prozesses geschieht.

Der ETL-Prozess beginnt mit der Ermittlung spezifischer Datenpunkte, die extrahiert werden sollen, sowie etwaiger „Schlüssel“, die zur Integration von Daten aus verteilten Quellsystemen herangezogen werden können. Die Quelle der Eingabedaten wird häufig mithilfe von Metadaten nachverfolgt.

Bei der Datenextraktion werden die Rohdaten aus den Datenquellen in einen Zwischenbereich kopiert oder exportiert. Datenverwaltungs-Teams können Daten aus verschiedenen Quellen extrahieren, die strukturiert oder unstrukturiert sein können. Datenquellen umfassen unter anderem:

• Relationale Datenbanken oder NoSQL-Datenbanken
• CRM- und ERP-Systeme
• Geräte des Internets der Dinge (IoT) und Sensordaten
• Microservices und APIs
• JSON- und XML-Dateien
• Flatfile-Datenbanken
• E-Mail
• Webseiten

Im Staging-Bereich werden die Rohdaten einer Datenverarbeitung unterzogen. Hier werden die Daten gemäß spezifischer Business Rules für den beabsichtigten analytischen Anwendungsfall transformiert und konsolidiert. Diese Phase des Transformationsprozesses kann Folgendes umfassen:

• Datenbereinigung, Filterung, Aggregation und Deduplizierung
• Datenvalidierung und -authentifizierung
• Durchführen von Berechnungen, Übersetzungen oder Zusammenfassungen auf Grundlage der Rohdaten. Hierzu gehören z. B. das Ändern von Zeilen- und Spaltenüberschriften, das Umrechnen von Währungen oder anderen Maßeinheiten, das Bearbeiten von Textstrings und vieles mehr.
• Durchführung von Audits zur Sicherstellung der Datenqualität und Compliance sowie Berechnung von Metriken.
• Entfernen, Verschlüsseln oder Schützen von Daten, die von Branchen- oder Regierungsbehörden reguliert werden.
• Formatieren der Daten in Tabellen oder verbundenen Tabellen, die dem Schema des Ziel-Data-Warehouse entsprechen.

In diesem letzten Schritt werden die transformierten Daten aus dem Staging-Bereich in ein Ziel-Data-Warehouse verschoben. Beim herkömmlichen ETL-Verfahren beinhaltet dieser Prozess ein anfängliches Laden aller Daten, gefolgt von einem regelmäßigen Laden von inkrementellen Datenänderungen und, seltener, von vollständigen Aktualisierungen, um Daten im Warehouse zu löschen und zu ersetzen. In modernen, Streaming-basierten ETL-Prozessen erfolgt das Laden von Daten kontinuierlich.

Während ETL traditionell ein Batch-orientierter Prozess ist, erweitern verteilte Event-Streaming-Plattformen wie Apache Kafka die ETL-Muster von der Batch-Verarbeitung auf kontinuierlich eintreffende Event Streams. Solche Streaming-ETL-Prozesse ermöglichen die Datenverarbeitung in Echtzeit.

Kafka-kompatible Streaming-Prozessoren wie Kafka Streams, ksqlDB und Apache Flink ermöglichen es Dateningenieuren, ETL-Pipelines zu erstellen, die Ereignisströme aus Quellsystemen erfassen, die Daten während der Übertragung transformieren und an Analyse-Engines sowie nachgelagerte Anwendungen weiterleiten – und das alles mit geringer Latenz, im Gegensatz zur auf Batch-Verarbeitung basierenden Integration.

Streaming-ETL bietet gegenüber herkömmlichem ETL weitere Vorteile. Zwei Schlüsselfaktoren sind Flexibilität und Skalierbarkeit. Während traditionelle ETL-Pipelines mit einer Transformationslogik erstellt werden, die auf bestimmte Anwendungsfälle und Zielsysteme zugeschnitten ist, können Daten, die aus verschiedenen Quellen in Kafka gestreamt werden, für unterschiedliche Anwendungsfälle und Verbraucher transformiert werden.

Mit anderen Worten: Streaming-ETL erfordert nicht die enge Kopplung, die für traditionelles ETL typisch ist, wodurch wiederverwendbare Datenströme ermöglicht und der Zeit- und Arbeitsaufwand für die Neukonfiguration von Pipelines reduziert wird.

Trotz dieser Vorteile können Unternehmen sich weiterhin für das traditionelle ETL anstelle des Streaming-ETL entscheiden, wenn komplexe Transformationen erforderlich sind oder wenn Zeit nicht von entscheidender Bedeutung ist. In solchen Fällen können traditionelle ETL- und Batch-Verarbeitung kosteneffizienter sein als Streaming-ETL.

Neben traditionellen ETL-Verfahren, Streaming-ETL und ELT gibt es noch weitere Ansätze, die ebenfalls zur Unterstützung von Datenintegrations-Workflows eingesetzt werden. Zu diesen Methoden gehören:

CDC erkennt und erfasst nur die Quelldaten, die sich geändert haben, und verschiebt diese Daten in das Zielsystem. CDC kann verwendet werden, um die während des ETL-Schrittes „Extrahieren“ benötigten Ressourcen zu reduzieren. Darüber hinaus kann es auch unabhängig davon verwendet werden, um Daten in Echtzeit in einen Data Lake oder ein anderes Repository zu verschieben.

Data Replication kopiert Änderungen in Datenquellen in Echtzeit oder in Batches in eine zentrale Datenbank. Im Gegensatz zu ETL bleiben die Daten bei diesem Verfahren in der Regel mit begrenzter Transformation erhalten. Data Replication wird häufig als Datenintegrationsmethode aufgeführt. Tatsächlich wird es am häufigsten zur Erstellung von Backups für die Notfallwiederherstellung verwendet und kann auch für Datenbankmigration und andere Zwecke genutzt werden.

Bei der Datenvirtualisierung wird eine Software-Abstraktionsschicht verwendet, um eine einheitliche und integrierte Ansicht der Daten zu erstellen, ohne dass die Quelldaten physisch in ein Zielsystem kopiert, transformiert oder geladen werden müssen. Datenvirtualisierung ermöglicht es einem Unternehmen, virtuelle Data Warehouses, Data Lakes und Data Marts aus denselben Quelldaten zu erstellen. Dieser Ansatz könnte die Kosten und die Komplexität des Aufbaus und der Verwaltung separater Plattformen für jede Plattform reduzieren.

Stream-Datenintegration ist ein Oberbegriff für die verschiedenen Integration, die den kontinuierlichen Verbrauch und das Laden von Datenströmen in Echtzeit ermöglichen, einschließlich Streaming-ETL, modernem ELT und Change Data Capture.

Zero-ETL ist ein Ansatz zur schnellen Datenintegration, bei dem die Nutzer die herkömmlichen Schritte der Datenpipeline umgehen und die Daten in ihrer ursprünglichen Form abfragen. Bei Zero-ETL wird die Transformation aufgeschoben, während Daten über Punkt-zu-Punkt-Verbindungen zwischen Quell- und Zielsystemen geteilt werden. Ein solcher Austausch kann durch Data Replication oder föderierte Abfragen erfolgen, was bedeutet, dass Daten über mehrere Quellen hinweg abgefragt werden, ohne dass eine Datenübertragung erforderlich ist.

Es gibt Ansätze zur Datenintegration, die als Ableitungen von ETL betrachtet werden können, jedoch einige nennenswerte Unterschiede aufweisen.

• ETLT, oder Extrahieren, Transformieren, Laden und Transformieren, ist ETL mit zusätzlichem Transformieren am Ende. Zwar findet ein Teil der Datenkonvertierung wie beim herkömmlichen ETL im Staging-Bereich statt, doch erfolgen weitere Transformationen im Zielsystem, beispielsweise in einem Data Warehouse. Der erste Transformationsschritt beinhaltet typischerweise grundlegende Veränderungen, während der zweite Transformationsschritt umfassendere Veränderungen umfasst.
• Reverse ETL verändert den Fluss der traditionellen ETL. Anstatt Daten aus Datenquellen zu extrahieren, werden bereits transformierte Daten aus Data Warehouse an eine Anwendung, ein operatives System oder einen anderen nachgelagerten Verbraucher gesendet. Es wird auch als operative Analyse bezeichnet.
• TETL, oder Transformieren, Extrahieren, Transformieren und Laden, ist ETL mit einem zusätzlichen einer zusätzlichen Transformation am Anfang: Die Transformation findet zuerst in der Datenquelle statt, bevor die Daten extrahiert werden. Anschließend wird es bei Bedarf erneut transformiert, bevor es in das Zielsystem geladen wird. Unternehmen entscheiden sich möglicherweise für den Einsatz von TETL, wenn das Quellsystem Transformationen durchführen kann, wodurch der Aufwand für die nachgelagerte Verarbeitung reduziert wird.

Traditionelles und Streaming-ETL bietet Unternehmen, die wachsende Datenbestände verwalten, zahlreiche Vorteile.

• Verbesserung der Datenqualität: ETL verbessert die Datenqualität während der Transformationsphase durch Methoden wie Datenbereinigung und Deduplizierung, sodass die Daten, die in einem Zieldatenspeicher ankommen, zuverlässig und einsatzbereit sind.
• Compliance-Support: ETL ist oft nützlich für Unternehmen in stark regulierten Branchen wie Finanzdienstleistungen und Gesundheitswesen, da Compliance- und Sicherheitsmaßnahmen, wie Verschlüsselung, stattfinden können, bevor Daten an ihr Ziel geliefert werden.
• Legacy-System-Kompatibilität: Unternehmen, die Legacy-Systeme nutzen, einschließlich lokaler Server mit geringeren Funktionen als cloudbasierte Umgebungen, können traditionelle ETL-Verfahren bereitstellen, um sicherzustellen, dass die Daten bei Bedarf transformiert werden, bevor sie in die Zielsysteme geladen werden.
• Management des Bedarfs an Cloud-Speicherplatz: Techniken zur Datenumwandlung wie Filterung und Aggregation können das Volumen der in Cloud-Datenplattformen geladenen Daten verringern und so dazu beitragen, den Bedarf an Cloud-Speicherplatz sowie die damit verbundenen Kosten zu senken.
• Unterstützung für KI-Workflows: Streaming-ETL ermöglicht die kontinuierliche Bereitstellung hochwertiger Daten für KI- und Machine-Learning-Workflows. Die Bereitstellung aktueller, zuverlässiger Informationen für KI-Modelle kann Abweichungen verringern und die Vorhersagegenauigkeit verbessern, was Unternehmen dabei unterstützt, KI erfolgreich in ihre täglichen Abläufe zu integrieren.

Die Modernisierung von ETL durch Datenstreaming-Technologien trug dazu bei, einige der traditionellen Herausforderungen zu bewältigen, indem Geschwindigkeit und Flexibilität erhöht wurden. Dennoch gibt es weiterhin wichtige Aspekte, die Unternehmen berücksichtigen sollten.

• Vorbereitung im Voraus: ETL erfordert im Vergleich zu ELT einen komplexeren Tech-Stack, einschließlich Server für Staging und Transformation. Dazu gehört auch die Identifizierung von Business Rules und die Erstellung einer Transformation vor der Integration.
• Infrastruktur- und Arbeitskosten: Während ETL Unternehmen helfen kann, die Kosten für Cloud-Computing zu senken, geben sie im Vergleich zu ELT tendenziell mehr für Infrastruktur und Pipeline-Design aus.
• Schema-Management: Unerwartete Änderungen in der Struktur der Quelldaten – wie das Umbenennen von Spalten oder Änderungen an Datentypen – können zu Pipeline-Ausfällen führen. Schema-Management-Tools wie Schema-Registrys können die Schema-Validierung automatisieren, um Folgeprobleme zu vermeiden.

Die lange Geschichte des traditionellen ETL und das Aufkommen von Streaming-ETL bedeuten, dass der Prozess eine Vielzahl von Anwendungsfällen in verschiedenen Branchen unterstützt.

• Umgang mit sensiblen Daten: Während der Transformation von ETL können personenbezogene Daten (PII) maskiert werden, bevor sie an ein Ziel übermittelt werden.
• Regelmäßige Berichterstattung: Batch ETL ist eine kosteneffiziente Methode zur Aggregation von Daten für Berichte, die in festen Abständen erstellt werden, wie Verkaufs- und Compliance-Berichte.
• Betrugserkennung: Finanzinstitute können Streaming-ETL nutzen, um verdächtige Muster zu erkennen und Anomalien, die auf potenziellen Betrug hinweisen, sofort zu kennzeichnen.
• Vorausschauende Wartung: Die Analyse von IoT-Daten – die über ETL erfasst, transformiert und bereitgestellt werden – kann Unternehmen dabei helfen, den Wartungs- und Reparaturbedarf einzuschätzen, um Ausfallzeiten von Equipment zu vermeiden.

In der Vergangenheit schrieben die Dateningenieure von Unternehmen ihren eigenen ETL-Code, um benutzerdefinierte Pipelines zu erstellen. Heutzutage gibt es diverse ETL-Tools und -Services, die den Arbeits- und Zeitaufwand für den Aufbau einer ETL-Pipeline erheblich reduzieren. Unternehmen nutzen hierfür häufig Open-Source-Software, kommerzielle Lösungen und in Datenbank- und Cloud-Service-Plattformen integrierte Tools.

Zu den Funktionen führender ETL-Lösungen gehören:

• Umfassende Automatisierung: Die Automatisierung des gesamten Datenflusses, von den Datenquellen bis zum Ziel-Data-Warehouse, entlastet Dateningenieure von den mühsamen Aufgaben des Verschiebens und Formatierens von Daten – für schnellere Ergebnisse und effizientere Abläufe.
• Eine visuelle Drag-and-Drop-Oberfläche: Diese Funktion kann zum Festlegen von Regeln und Datenflüssen verwendet werden.
• Unterstützung für komplexe Datenverwaltung: Diese Funktion umfasst Unterstützung bei komplexen Berechnungen, Datenintegrationen und String-Manipulationen.
• Sicherheit und Compliance: Die besten ETL-Tools verschlüsseln Daten, setzen Data-Governance-Regeln durch und können Richtlinien einhalten, um Branchen- oder Regierungsvorschriften wie HIPAA und DSGVO einzuhalten.
• Flexibilität des Integrationsstils: Die Option, zwischen ETL und anderen Mustern wie ELT und TETL zu wechseln, gibt Unternehmen die Flexibilität, den besten Integrationsstil für jede Workload auszuwählen.
• Integration von Streaming-Daten in Echtzeit: Moderne ETL-Lösungen umfassen Datenstreaming und Verarbeitungsfunktionen in Echtzeit, die aus der KI von Unternehmen nicht mehr wegzudenken sind.

ETL bleibt ein grundlegender Prozess der Integration, auch wenn Unternehmen neuere Muster der Integration in Betracht ziehen. Batch-basiertes ETL ist eine zuverlässige und kosteneffiziente Methode für viele Workloads, während Streaming-ETL Unternehmen dabei hilft, Echtzeit-Einblicke für zeitkritische Entscheidungen zu gewinnen.

Zwar gab es ETL bereits vor dem Aufkommen moderner Cloud-Infrastrukturen, doch wird ETL heute üblicherweise dazu verwendet, Daten aus verschiedenen Quellen zu extrahieren, zu transformieren und in cloudbasierte Speicherorte, darunter auch Cloud-Data-Warehouses, zu laden. Cloud-Service-Anbieter bieten häufig ETL-Funktionen an, einschließlich cloudbasierter Staging-Bereiche. Die Skalierbarkeit und Rechenleistung von Cloud-Plattformen können die Leistung von ETL-Prozessen verbessern, was zu schnellerer Verarbeitung und Erkenntnissen führt.

Ein Staging-Bereich ist ein temporärer Speicherort zwischen Datenquellen und einem Zielziel, der zur vorübergehenden Speicherung von Rohdaten genutzt wird. Er fungiert als Laderampe, in der Rohdaten gereinigt, geprüft und transformiert werden, bevor sie zum Zielziel gebracht werden.

Initial-, inkrementelle und vollständige Ladevorgänge beschreiben unterschiedliche Arten, wie Daten während des ETL-Prozesses geladen werden. Beim initialen Laden werden Daten aus einer Datenquelle zum ersten Mal extrahiert und in ein Zielziel geladen. Dies umfasst den gesamten Datensatz und wird einmalig zu Beginn eines Projekts durchgeführt.

Beim inkrementellen Laden werden nur Daten geladen, die seit dem letzten Laden neu, geändert oder gelöscht wurden. Und „Full Load“ ist der Prozess der Übertragung aller Daten in einem Datensatz in ein Zielsystem, oft um vorhandene Datensätze in diesem System zu ersetzen.