Was ist Extrahieren, Laden, Transformieren (ELT)?

ELT ist allgemein als Gegenstück zur ETL (oder Extract, Transform, Load) Datenintegration bekannt. Im Gegensatz zu ETL-Prozessen erfolgt die Datenkonvertierung bei ELT-Pipelines jedoch nicht in der Mitte, sondern am Ende des Datenintegrationsprozesses. Dieser Ansatz ermöglicht eine schnellere Datenübertragung von der Quelle zum Ziel, wobei die Datenkonvertierung dann innerhalb des Zielsystems stattfindet.

Unternehmen setzen auf ELT, um die wachsenden Datenbestände innerhalb von Cloud-Umgebungen zu verwalten. ELT ermöglicht es Unternehmen, die Rechenleistung und Flexibilität von Cloud-Plattformen zu nutzen, um ihre Daten bedarfsgerecht und in großem Maßstab zu transformieren. Diese Flexibilität ermöglicht es Unternehmen, Daten aus verschiedenen Quellen und Formaten aufzunehmen und zu transformieren und den Zugriff auf Rohdaten für zukünftige Anwendungsfälle zu behalten. So können sie außerdem Pipelines mit niedrigen Vorabkosten entwickeln.

Obwohl ELT ursprünglich ein batch-basierter Prozess war, kann es die Integration von Streaming-Daten durch Echtzeit-Datenstreaming-Plattformen wie Apache Kafka unterstützen. Zu den weiteren wichtigen ELT-Tools gehören Datenintegrations- und Datentransformationslösungen, die sich in große Datenrepositories integrieren lassen.

ELT ermöglicht es Unternehmen, riesige Datenmengen schnell zu speichern und die Vorteile einer cloudnativen Datenarchitektur zu nutzen.

ELT wurde ungefähr 2010 aus mindestens zwei Hauptgründen zu einem integralen Integrationsprozess:

• sprunghaft ansteigendes Datenvolumen
• die Verfügbarkeit von Cloud Computing

Da Unternehmen vor der Herausforderung standen, beispiellos große Datenbestände zu verwalten, wandten sie sich Cloud-Umgebungen zu. Cloud-Umgebungen können kostengünstigeren, skalierbareren Speicher bieten als lokale Server. Mit anderen Worten: sie gelten oft als idealer Speicherort für wachsende und vielfältige Datensätze.

Genauso wichtig ist, dass Cloud-Plattformen und cloudbasierte Data-Warehouses die Datentransformation in großem Umfang ermöglichten. Dieses Modell sorgte dafür, dass Daten nicht mehr mitten in einer Datenpipeline transformiert werden mussten, wie bei herkömmlichen ETL-Pipelines. Stattdessen können Daten so effizient im Zielsystem transformiert werden – der ELT-Ansatz.

Data Engineers bevorzugen oft ELT, weil es besser mit riesigen Datenmengen umgehen kann und vielfältigere Daten, einschließlich halbstrukturierter und unstrukturierter Daten, aufnehmen kann als herkömmliches ETL. Die Aufrechterhaltung der Verfügbarkeit von Rohdaten bietet auch Vorteile: Vor der Durchführung von Transformationen können verschiedene Teams und Data Scientists die Transformationslogik an ihre spezifischen Bedürfnisse anpassen und gleichzeitig die Rohdaten für zukünftige Zwecke, von der Analytik bis zum maschinellen Lernen, erhalten.

„Es kommt auf Ihren Anwendungsfall und Ihr Ziel an“, so Jamil Spain, Senior Technical Advisor bei IBM. „Es kann sinnvoll sein, zuerst die Daten zu laden und dann in einer Sandbox zu testen, welche Daten vorhanden sind. Von dort aus können Sie es in das gewünschte Format umwandeln.“

Historisch gesehen war ELT ein batch-orientierter Prozess. Fortschritte im Bereich Data Engineering ermöglichen es jedoch mittlerweile, ELT mit Event-Streaming-Plattformen wie Apache Kafka einzusetzen, um Streaming-Daten zu integrieren und Echtzeitanalysen zu unterstützen.

„Wenn Rohdaten eingehen, werden sie in bestimmte Kafka-Topics eingelesen, das ist eher wie ein sich entwickelnder Datenstrom“, erklärt Spain. „Dann kann ich Programmlogik schreiben, um Daten zusammenzufassen oder Berechnungen durchzuführen… Ich kann die Daten analysieren, während sie anwachsen.“

Kafka ist zwar eine Open-Source-Lösung, aber Lösungen der Unternehmensklasse wie Confluent, ein IBM-Unternehmen, können Kafka-Implementierungen um verbesserte Datenverwaltungsfunktionen, sichere Governance, vorkonfigurierte Konnektoren und Kundensupport erweitern.

ELT besteht aus drei Hauptphasen: Extraktion, Laden und Transformieren. Jede dieser Phasen wird in den folgenden Abschnitten detailliert beschrieben.

Bei der Datenextraktion werden die Daten von ihren Quellspeicherorten kopiert oder exportiert. Die Daten können aus vielen verschiedenen Datentypen bestehen und aus nahezu jeder strukturierten oder unstrukturierten Datenquelle stammen, einschließlich, aber nicht beschränkt auf:

• SQL- und NoSQL-Server
• Systeme für das Kundenbeziehungsmanagement
• Enterprise Resource Planning (ERP) Systeme
• APIs
• E-Mail, Text- und Dokumentdateien
• JSON- und CSV-Dateien
• Webseiten

Die extrahierten Daten werden in einen Datenspeicherbereich wie ein Data Warehouse oder einen Data Lake verschoben. Eine geringfügiger Teil der Datenverarbeitung kann während dieser Phase stattfinden, einschließlich Datenbereinigung, wie z. B. das Berücksichtigen fehlender Werte.

Normalerweise erfolgt das Laden während der Geschäftszeiten, wenn die Verbraucher die Daten für zeitkritische Analysen oder Erkenntnisse nutzen möchten und keine Zeit haben, auf herkömmliche ETL-Prozesse zu warten.

In dieser Phase werden die Daten innerhalb des Zielsystems mithilfe von Tools wie SQL und dem Data Build Tool (dbt) transformiert. Diese Phase kann Folgendes umfassen:

• Datenbereinigung, Deduplizierung, Filterung, Validierung und Authentifizierung der Daten.

• Durchführen von Berechnungen, Umsetzungen, Datenanalysen oder Zusammenfassungen auf Basis der Rohdaten. Dies kann das Ändern von Zeilen- und Spaltenüberschriften für Konstanz, das Umrechnen von Währungen oder Maßeinheiten, das Bearbeiten von Textzeichenfolgen und das Hinzufügen oder Mitteln von Werten umfassen. Also alles, was erforderlich ist, um den spezifischen Anforderungen des Unternehmens an Business Intelligence oder Analyse gerecht zu werden.

• Das Entfernen, Verschlüsseln, Verbergen oder anderweitiger Schutz von Daten, die durch staatliche oder branchenspezifische Vorschriften wie die Datenschutz-Grundverordnung der Europäischen Union (DSGVO) und den US Health Insurance Portability and Accountability Act (HIPAA) geregelt sind.

ELT wird leicht mit einem verwandten Prozess verwechselt, der durch eine fast identische Abkürzung bekannt ist. Es gibt jedoch mehrere deutliche Unterschiede zwischen ELT (Extrahieren, Laden, Transformieren) und ETL (Extrahieren, Transformieren, Laden).

Der Hauptunterschied zwischen den beiden ist die Reihenfolge der Vorgänge. Im Gegensatz zu ELT führt ETL die Transformationsfunktion vor der Ladefunktion aus. Zu den wichtigsten Unterschieden zwischen den beiden Prozessen gehören:

ELT bietet Benutzern, die den Prozess in ihre Arbeitsabläufe integrieren, mehrere Vorteile.

• Schnellere Datenbewegung: Ohne In-Transit-Transformationen, die den Datenfluss verlangsamen, kommen Daten schneller für zeitkritische Anwendungsfälle an, die von Bestandswarnungen bis hin zum Aktienhandel reichen.

• Höhere Pipeline-Resilienz: Durch die Entkopplung der Transformations- und Ladephase wird sichergestellt, dass Codierungsfehler oder andere Fehler in der Transformationsphase die Pipeline nicht unterbrechen.

• Vielfältigere Daten: ELT kann Daten aus unterschiedlichen Quellen und in unterschiedlichen Formaten extrahieren und laden.

• Datenwiederverwendbarkeit: Da Daten in Rohform gespeichert werden, können verschiedene Stakeholder mit unterschiedlichen Bedürfnissen auf dieselben Daten zugreifen und ihre eigene Transformationslogik darauf anwenden.

• Größere Skalierbarkeit: ELT nutzt die Leistungsfähigkeit und Größe cloudbasierter Repositories, um Transformationen in großem Maßstab zu ermöglichen.

• Kosteneffizienz: Die Kosteneffizienz kann durch niedrigere Vorlaufkosten und die bedarfsgerechte Nutzung flexibler Cloud-Computing- und Speicherressourcen erreicht werden.

Trotz aller Vorteile bringt die Implementierung von ELT auch einige Herausforderungen mit sich.

Ohne Transformationen während der Übertragung zur Bereinigung und Organisation der Daten könnten Unternehmen bei den an die Zielsysteme übermittelten Rohdaten auf Probleme in Bezug auf Datenqualität, Compliance und Sicherheit stoßen. Daten-Governance-Programme können helfen, diese Bedenken zu lösen, indem sie Datenqualitäts- und Compliance-Standards sowie Sicherheitspraktiken wie Datenverschlüsselung und rollenbasierte Zugriffskontrollen durchsetzen.

Die Nutzung elastischer Cloud-Ressourcen kann zwar kosteneffizient sein, aber die Kosten können im Laufe der Zeit immer noch steigen, wenn das Datenvolumen wächst. Mit Hilfe der Cloud-Kostenoptimierung, einer Praxis, die aus Strategien und Tools zur Senkung der Cloud-Kosten besteht, können Unternehmen höhere Rechnungen vermeiden.

Da ELT für die moderne Cloud-Infrastruktur konzipiert wurde, halten Unternehmen, die On-Premises-Infrastrukturen und Altsysteme nutzen, meist die traditionelle Pipeline-Architektur – nämlich ETL-Pipelines – für besser geeignet für ihre Datenintegrationsbedürfnisse.

Die Implementierung von ELT-Workflows erfordert Tools zur Datenintegration und -transformation.

Führende Lösungen für die Integration bieten oft die Flexibilität, sowohl ELT- als auch traditionelle ETL-Pipelines zu unterstützen. Weitere wichtige Merkmale sind:

• Eine breite Auswahl an Connectors zur Aufnahme von Daten aus verteilten Datenquellen
• Integration mit Transformationstools und Data Warehouses
• Integration mit Datenstreaming-Lösungen
• No-Code- und Low-Code-Optionen und KI-gestütztes Pipeline-Design, sodass mehr Benutzer Pipelines schneller erstellen können
• Integrierte Observability, Qualität, Herkunft und Governance für zuverlässigere Pipelines

Datenintegrationstools, die ELT unterstützen, reichen von kommerziellen Lösungen wie IBM® DataStage und Fivetran bis hin zu Open-Source-Lösungen wie Airbyte.

Das branchenübliche Tool für die Datenkonvertierung ist das Data Build Tool (dbt). Zu den wichtigsten datenbezogenen Aufgaben, die durch dbt ermöglicht werden, gehören:

• Verwaltung komplexer Workflows für die Datenkonvertierung
• Aufbereitung von Daten für die Berichterstellung und Analyse durch Umwandlung von Rohdaten in ein strukturiertes Format
• Erstellung von mehrschichtigen, wiederverwendbaren Modellen, die verschiedene Phasen der Datenkonvertierung darstellen
• Gewährleistung, dass Datentransformationen in der richtigen Reihenfolge ablaufen und sich in größere Daten-Workflows integrieren lassen.

Unternehmen nutzen dbt oft, um Daten in Data Warehouses wie Amazon Redshift und Google BigQuery, Datenmanagementplattformen wie Snowflake und Data Lakehouses wie watsonx.data umzuwandeln.

ELT wird in der Regel in Umgebungen mit hohem Datenaufkommen oder Echtzeitnutzung eingesetzt. Konkrete Beispiele sind: Einige Beispiele:

ELT ermöglicht die schnelle Erfassung vielfältiger Daten, die oft für künstliche Intelligenz- und maschinelle Lernworkloads entscheidend sind. Da die Daten im Rohformat geladen werden, können sie zum Erstellen und Trainieren verschiedener KI-Modelle wiederverwendet werden. Laut einem Bericht der Sloan School of Management des MIT verbessert die Wiederverwendbarkeit von Daten die Leistung KI-gestützter Geschäftsinitiativen.

ELT ermöglicht es Unternehmen, Kundendaten aus verschiedenen Quellen zu konsolidieren, um Segmentierungs- und Personalisierungsinitiativen zu unterstützen. Zum Beispiel kann das Aufnehmen und Analysieren von Informationen über Kundenkaufverläufe, Surfverhalten und demografische Merkmale E-Commerce-Einzelhändlern helfen, maßgeschneiderte Angebote und Rabatte zu gestalten.

Unternehmen können ELT nutzen, um Daten effizient über verschiedene Systeme hinweg zu aggregieren und anschließend Transformationen anzuwenden, um spezifische regulatorische Anforderungen zu erfüllen. Gleichzeitig bleiben Prüfprotokolle und der Zugriff auf die ursprünglichen Rohdaten erhalten. Eine Studie ergab, dass hybride Cloud-ELT-Systeme die Latenz bei Risiko-, Finanz- und regulatorischen Berichten um 40 % reduzieren können.

ELT unterstützt die Erfassung von Daten von Sensoren, Geräten des Internets der Dinge (IoT) und Bestandsverwaltungssystemen . Dieser Ansatz kann als Grundlage für Analysen dienen, die die Lieferplanung und die Bestandsverwaltung verbessern. Zum Beispiel kann die Analyse der aufgenommenen Daten zu Verkauf und Erfüllung Einzelhändlern dabei helfen, die Bestände zu optimieren, um Lagerausfälle zu vermeiden.