Ein Data Lakehouse ist eine moderne Datenplattform, die die kostengünstige, flexible Datenspeicherung eines Data Lake mit den leistungsstarken Analyse- und Datenmanagementfähigkeiten eines Data Warehouse kombiniert.
In der Vergangenheit haben Unternehmen oft Data Lakes und Data Warehouses zusammen verwendet. Data Lakes fungierten als Sammelsystem für roh strukturierte, semistrukturierte und unstrukturierte Daten, die dann über ETL/ELT-Pipelines in ein Data Warehouse für nachgelagerte Anwendungsfälle wie Business Intelligence (BI) und prädiktive Analysen übertragen wurden.
Die Koordination dieser Systeme zur Bereitstellung zuverlässiger Daten kann jedoch sowohl in Bezug auf Zeit als auch Ressourcen kostspielig sein, insbesondere für die Analyse und KI-Workloads. Datenübertragung kann zu Datenstagnation und Redundanz beitragen, während zusätzliche Schichten von ETL/ELT Risiken für Datenqualität und Konsistenz mit sich bringen.
Data Lakehouses mindern diese Herausforderungen, indem sie Data-Warehouse-ähnliche Datenmanagement- und Analysefunktionen direkt auf die in Data Lakes gespeicherten Daten anwenden. Diese Vereinbarung hilft Datenteams, das Datenmanagement zu einheitlichen, die Datenverarbeitung zu beschleunigen, die Datenqualität zu verbessern und skalierbare Workloads für künstliche Intelligenz (KI) und maschinelles Lernen (ML) zu unterstützen.
Wie ein Data Lake verwendet auch ein Data Lakehouse kostengünstige Cloud Object Storage Cloud Object Storage. Dieser Ansatz ermöglicht es ihnen, Daten in nahezu jedem Format zu speichern (strukturiert, semistrukturiert und unstrukturiert).
Was es zu einem Lakehouse macht, ist die Datenverwaltung im Warehouse-Stil, die auf diesem Speicher aufgebaut ist und Datenstruktur und Governance hinzufügt, um Analyse- und BI-Workloads zu unterstützen.
Die meisten Data Lakehouses setzen auf offene Tabellenformate (OTFs) – typischerweise:
Diese Technologien fungieren als Metadatenschichten, die offene Datendateien (wie sie in Apache Parquet gespeichert sind) in logische, datenbankähnliche Tabellen organisieren.
Dieser Ansatz ermöglicht es Unternehmen, mit Raw-Lake-Daten zu arbeiten, als ob es sich um strukturierte Warehouse-Daten handeln würde, und unterstützt wichtige Funktionen wie Zeitreisen, Versionierung, Schemaentwicklung, Datenmanipulation und Transaktionskonsistenz (ACID).
(„ACID“ steht für Atomizität, Konsistenz, Isolation und Dauerhaftigkeit. Diese Eigenschaften tragen dazu bei, die Integrität und Zuverlässigkeit von Datentransaktionen zu gewährleisten.)
Durch diese zusätzlichen Ebenen und Funktionen machen Lakehouses Data Lakes zuverlässiger und intuitiver in der Anwendung. Sie ermöglichen es den Nutzern außerdem, SQL-Abfragen, Analyse-Workloads und andere Anwendungsfälle direkt auf einem Data Lake auszuführen, wodurch BI, KI, ML und Data Intelligence (DI) optimiert werden.
Bleiben Sie mit dem Think-Newsletter über die wichtigsten – und faszinierendsten – Branchentrends in den Bereichen KI, Automatisierung, Daten und mehr auf dem Laufenden. Weitere Informationen finden Sie in der IBM Datenschutzerklärung.
Die Architektur eines Data Lakehouse besteht in der Regel aus fünf Ebenen:
Diese erste Ebene sammelt Daten aus einer Reihe interner und externer Quellen und bereitet sie für Speicherung und Analyse vor. Die Aufnahmeschicht kann Connectors nutzen, um sich in Quellen wie Datenbankmanagementsystemen, NoSQL-Datenbanken, SaaS-Anwendungen und Social-Media-Feeds zu integrieren. Die Aufnahme kann entweder chargenweise oder in Echtzeit erfolgen.
Die Speicherschicht speichert strukturierte, unstrukturierte und semistrukturierte Datensätze in kostengünstigem Cloud Object Storage. Gängige Services umfassen Amazon Simple Storage Service (Amazon S3), Microsoft Azure Blob Storage, Google Cloud Storage und IBM Cloud Object Storage.
Daten werden typischerweise in spaltenförmigen Speicherformaten gespeichert, die für große analytische Arbeitslasten optimiert sind, wie Apache Parquet oder Optimized Row Columnar (ORC). Diese Ebene bietet einen großen Vorteil des Data Lakehouse – die Fähigkeit, praktisch alle Datentypen kosteneffizient aufzunehmen.
Die Metadatenebene ist ein einheitlicher Katalog, der Informationen über Daten im Lake organisiert und bereitstellt. Sie basiert typischerweise auf offenen Tabellenformaten wie Apache Iceberg, Apache Hudi oder Delta Lake.
Die Funktionen dieser Ebene ermöglichen ACID-Transaktionen, Zeitreisen und Schemadurchsetzung, was zur Verbesserung der Data Governance beiträgt. Robuste Zugriffskontrollen auf dieser Ebene sind für Unternehmen, die mit sensiblen Daten umgehen, von entscheidender Bedeutung und wertvoll für die Nachverfolgung des Datenzugriffs und der Datenänderungen, um Prüfpfade zu führen.1
Anwendungsprogrammierschnittstellen (APIs) bieten standardisierten Zugriff auf Lakehouse-Daten und Metadaten. Konkret bietet diese Schicht Datenkonsumenten und -entwicklern die Möglichkeit, eine Vielzahl von Analyse-Engines und Machine Learning Frameworks (wie TensorFlow) zu nutzen, um fortgeschrittene Analysen und Modelltrainings direkt auf Lakehouse-Daten durchzuführen.
Die letzte Ebene der Data-Lakehouse-Architektur hostet Apps und Tools, die Zugriff auf alle im Lake gespeicherten Daten haben. Dadurch wird der Datenzugriff für Benutzer im gesamten Unternehmen eröffnet, die das Lakehouse nutzen können, um Aufgaben wie Business-Intelligence-Dashboards, Datenvisualisierungen und Jobs im Bereich maschinelles Lernen auszuführen.
Die Medallion-Datenarchitektur (MDA) ist ein mehrschichtiger, qualitätsorientierter Datendesignansatz, der sicherstellt, dass die Lakehouse-Daten schrittweise bereinigt, validiert und vertrauenswürdig werden, während sie von der Aufnahme bis zur Nutzung verarbeitet werden. Er kann Organisationen dabei helfen, ein skalierbares, kontrolliertes Data Lakehouse aufzubauen, das sowohl für das alltägliche Geschäftsreporting als auch für fortgeschrittene Analyse- und Machine-Learning-Workloads geeignet ist.
Diese Skalierbarkeit ist entscheidend, um die Qualität mit wachsendem Datenvolumen aufrechtzuerhalten. Laut einer Benchmark-Studie vom Januar 2025 stellten 87,4 % der Unternehmen fest, dass veraltete Datenqualitäts-Frameworks über sieben Petabyte hinaus nicht mehr nachhaltig sind.2
Das Framework ordnet die Daten während ihres gesamten Lebenszyklus in drei unterschiedliche Schichten: Bronze, Silber und Gold – wodurch die Datenqualität in jedem Schritt verbessert wird.
Die Goldschicht stärkt zudem die KI-Bereitschaft. Sie liefert einen hochwertigen, KI-fähigen Datenstrom direkt in ML-Pipelines, was dazu beitragen kann, die Modellgenauigkeit zu verbessern und die Datenaufbereitung zu reduzieren.
Diese strukturierte Datenprogression stellt sicher, dass jede endgültige Datendatei durch ihre Transformation in ihren ursprünglichen Zustand zurückverfolgt werden kann. Außerdem sind die Kosten besser vorhersehbar und häufig niedriger, da die Datenspeicher- und Rechenressourcen je nach Zweck der einzelnen Schichten optimiert werden können.
Data Lakehouses bieten mehrere wichtige Funktionen:
Offene, spaltenbasierte Speicherformate (oder offene Datenformate) wie Apache Parquet oder ORC verbessern die Abfrageleistung und senken Speicherkosten durch effiziente Kompression, Spaltenbeschneidung und Prädikaten-Pushdown. Diese Formate sind mit gängigen Analyseprogrammen kompatibel, die es Unternehmen ermöglichen, gleichzeitig auf dieselben Daten zuzugreifen. Diese Funktion hilft ihnen, eine Anbieterbindung zu vermeiden und Interoperabilität zwischen ihren verschiedenen Tools zu erreichen.
Die meisten Data Lakehouses verwenden offene Tabellenformate wie Apache Iceberg, Apache Hudi und Delta Lake, um ACID-Transaktionen zu ermöglichen. Diese Transaktionen, wie z. B. Einfügungen, Aktualisierungen und Löschungen, gewährleisten, dass die Daten während und nach den Datenoperationen konsistent und zuverlässig bleiben.
Ein einziges Datenspeichersystem schafft eine zentrale Plattform, die alle Anforderungen an Geschäftsdaten decken kann, wodurch Datensilos und Doppelarbeit zwischen Systemen und Teams reduziert werden. Diese Vereinheitlichung vereinfacht auch die durchgängige Datenüberwachung, da der Datenfluss durch verschiedene Datenpipelines und Systeme deutlich reduziert wird.
Data Lakehouses nutzen kostengünstige Cloud-Objektspeicherung, was sie für große Datenmengen und Arbeitslasten kostengünstiger macht als traditionelle Data Warehouses. Die hybride Architektur eines Data Lakehouse macht zudem die Wartung mehrerer Datenspeichersysteme überflüssig und reduziert so häufig die Betriebskosten.
Data Lakehouses können verschiedene Anwendungsfälle über den gesamten Datenverwaltungslebenszyklus abdecken. Sie können Business Intelligence- und datengesteuerte Visualisierungsworkflows unterstützen oder komplexere Data-Science-Projekte (wie Machine-Learing-Modelltraining oder Echtzeitanalyse) – alles auf denselben Daten.
Die Data-Lakehouse-Architektur mildert die Governance-Probleme von Data Lake mit zentralisierten Metadatenkatalogen, Schema-Durchsetzung und integrierten Datenqualitäts-Management-Tools. Die Datensicherheit kann durch Zugangskontrollen, Überwachung und Audits, Datenanonymisierung, Blockchain und sogar Quantencomputing gestärkt werden.3,4
Data Lakehouses trennen Speicher und Rechenleistung, sodass Datenteams sie separat skalieren können. Diese Entkopplung bietet auch die Flexibilität, auf dieselben Daten zuzugreifen, während für verschiedene Anwendungen unterschiedliche Rechenmaschinen oder Knoten verwendet werden.
Moderne Data Lakehouses wurden für die Unternehmen und Technologien von heute entwickelt. Viele Datenquellen enthalten Echtzeit-Streaming-Daten von Quellen wie Internet der Dinge-Geräten. Das Lakehouse-System unterstützt diese Quellen durch die Datenaufnahme in Echtzeit und inkrementelle Verarbeitung.
Ein Data Lakehouse ist nicht einfach nur ein Data Warehouse in Kombination mit einem Data Lake. Es handelt sich um eine einheitliche Architektur, die die besten Aspekte beider Systeme in einer einzigen Plattform vereint.
Data Warehouses sind für strukturierte Analyse konzipiert. Sie bieten hervorragende Leistung für Business-Intelligence-Anwendungen und Berichtswesen durch das Speichern und die Transformation von Unternehmensdaten.
Data Warehouses bieten jedoch nicht die Flexibilität von Data Lakes. Sie sind durch ihre Ineffizienz und ihre Kosten bei wachsenden Datenmengen und Workloads begrenzt. Data Warehousing erfordert zudem strenge Schemata, d. h. die Daten müssen einem vordefinierten Modell entsprechen, bevor sie in das Datenrepository aufgenommen werden (Schema-on-Write). Aufgrund dieser Einschränkungen funktionieren sie nicht gut mit unstrukturierten oder halbstrukturierten Daten, die für KI- und ML-Anwendungsfälle entscheidend sind.
Data Lakes ermöglichen es Organisationen, alle Arten von Daten – strukturiert, unstrukturiert und halbstrukturiert – aus verschiedenen Quellen an einem Ort zu speichern. Sie verwenden einen Schema-on-Read-Ansatz, sodass Datenmodelle erst dann angewendet werden, wenn Daten verwendet werden, und nicht erst, wenn sie gespeichert werden. Sie verfügen außerdem typischerweise über skalierbarere und erschwinglichere Datenspeicherung (oft Cloud-Objektspeicherung).
Allerdings verfügen sie nicht über integrierte Datenverarbeitungswerkzeuge und sind für die Durchführung von Analysen auf externe Kapazitäten angewiesen. Ihre Größe und Komplexität erfordern auch die Expertise technischer Anwender, wie Data Scientists und Data Engineers. Und weil Data Governance downstream erfolgt, können Data Lakes anfällig für Datensilos sein und sich anschließend zu Datensümpfen entwickeln (in denen gute Daten aufgrund schlechter Verwaltung unzugänglich sind).
Data Lakehouses sind so konzipiert, dass sie die Herausforderungen von Data Warehouses und Data Lakes lösen und deren Vorteile auf einer einzigen Plattform vereinen. Sie nutzen flexiblen, kostengünstigen Speicher, der eine breite Palette von Datentypen unterstützt und gleichzeitig Datenverwaltungs- und Leistungsfunktionen bietet, um BI-, Analyse- und KI/ML-Workloads in einer einzigen Architektur zu unterstützen.
Anson Kokkat, Principal Product Manager von IBM Software, betont die Bedeutung von Lakehouses für moderne KI-Programme:
„KI-Modelle sind nur so gut wie die ihnen zugrunde liegende, regulierte und skalierbare Datenplattform. Das richtige Data Lakehouse wird zur Grundlage, die rohe Unternehmensdaten in produktionsreife KI verwandelt. Bei einer offenen Architektur bedeutet das Flexibilität für die KI – man ist nicht auf eine einzige Engine beschränkt, sondern kann bestehende Open-Source-Tools wie Presto, Apache Spark, OpenSearch und Cassandra integrieren.“
Ein weiterer großer Vorteil: Unternehmen können Data Lakehouses oft parallel zu ihren bestehenden Data Lakes und Data Warehouses implementieren, ohne diese komplett abreißen und neu aufbauen zu müssen.
Heute bieten viele Anbieter offene Data Lakehouses an. Diese Architektur unterstützt offene Daten und offene Formate zur Speicherung großer Datenmengen in herstellerunabhängigen Formaten wie Parquet, Avro und Apache ORC. Sie kann außerdem Apache Iceberg nutzen, um große Datenmengen über ein offenes Tabellenformat auszutauschen.
Zu den häufigen Herausforderungen von Data Lakehouses gehören komplexe Implementierungen (einschließlich Migrationen von bestehenden Datenplattformen), der Ausgleich von Data Governance und Sicherheit mit einheitlichem Datenzugriff und die Gewährleistung einer optimalen Abfrageleistung bei wachsenden Datenmengen.
Ja. Data Lakehouses unterstützen KI- und ML-Workloads, indem sie einen einheitlichen Zugriff auf große Mengen unterschiedlicher Daten mit starker Governance bieten. Sie verwenden offene Daten und offene Tabellenformate, um Anbieterbindung zu verhindern und eine direkte Integration zwischen der Speicherebene und ML-Frameworks zu ermöglichen.
Das ist möglich, ob es aber sinnvoll ist, hängt von Ihren Datenprioritäten ab. Lakehouses sind eine starke Wahl zur Speicherung vielfältiger Big Data und zur Unterstützung von KI/ML-Workloads, während Warehouses weiterhin für strukturiertere oder leistungsfähige, latenzarme Datenanforderungen nützlich bleiben. Viele Unternehmen nutzen beide Plattformen.
Um ein Datenchaos zu vermeiden, sind solide Data Governance-, Datenqualitäts- und Datensicherheitspraktiken erforderlich. Darüber hinaus sorgt eine mehrstufige (Medaillon-)Speicherarchitektur für eine übersichtliche Datenorganisation, und offene Tabellenformate mit ACID-Transaktionen tragen zur Sicherstellung von Datenintegrität, Konsistenz und Zuverlässigkeit bei.
Erstellen und verwalten Sie intelligente Streaming-Datenpipelines über eine intuitive grafische Benutzeroberfläche, die eine nahtlose Datenintegration in Hybrid- und Multicloud-Umgebungen ermöglicht.
Watsonx.data ermöglicht es Ihnen, Analysen und KI mit all Ihren Daten zu skalieren, unabhängig davon, wo sie sich befinden, und zwar über einen offenen, hybriden und kontrollierten Datenspeicher.
Erschließen Sie den Wert von Unternehmensdaten mit IBM Consulting® und bauen Sie ein erkenntnisgesteuertes Unternehmen auf, das Ihnen geschäftliche Vorteile verschafft.
1 Data Lakehouse Architecture: The Evolution of Enterprise Data Management, Journal of Computer Science and Technology Studies, 23. Juni 2025.
2 Data Lakehouse Implementation: A Journey From Traditional Data Warehouses, World Journal of Advanced Engineering Technology and Sciences, 26. Februar 2025.
3 Data Lakehouse: A Survey and Experimental Study, Science Direct, 26. September 2024.
4 Minimizing Incident Response Time in Real-World Scenarios Using Quantum Computing, Springer Nature Link, 26. Mai 2023.
