Ein Data Lake ist ein Repository, das zur Speicherung großer Mengen an Rohdaten dient und in der Regel kostengünstigen Cloud Object Storage nutzt. Dieser Ansatz ermöglicht die Aufnahme und Speicherung von strukturierten, semistrukturierten und unstrukturierten Daten innerhalb einer einzigen Plattform.
Data Lakes entstanden, um Unternehmen bei der Bewältigung der Flut von Big Data zu unterstützen, die durch mit dem Internet verbundene Anwendungen und Dienste Ende der 2000er und Anfang der 2010er Jahre erzeugt wurde. Im Gegensatz zu traditionellen Datenbanken und Data Warehouses erzwingen Data Lakes keine strengen Schemata und nutzen heutzutage kostengünstigen, skalierbaren Cloudspeicher – was sie ideal für große Mengen heterogener Daten macht.
Data Lakes sind heute ein zentraler Bestandteil der Datenarchitekturen vieler Unternehmen. Sie werden als kostengünstiger, universeller Speicher, als Archive für alte oder ungenutzte Daten, als Zwischenspeicher für eingehende Daten oder zum Speichern der massiven unstrukturierten Datensätze verwendet, die für Data Science, maschinelles Lernen (ML), künstliche Intelligenz (KI) und Analyse-Workloads für Big Data erforderlich sind.
Trotz sich wandelnder Datenanforderungen und neuer Architekturen (z. B. Data Lakehouses) erweist sich die kostengünstige Flexibilität von Data Lakes weiterhin als vorteilhaft für Unternehmen, die aus großen Datenmengen Wert generieren. Bis 2030 wird der globale Markt für Data Lakes voraussichtlich 45,8 Milliarden US-Dollar erreichen und ab 2024 mit einer durchschnittlichen jährlichen Wachstumsrate (CAGR) von 23,9 % wachsen.1
Bleiben Sie mit dem Think-Newsletter über die wichtigsten – und faszinierendsten – Branchentrends in den Bereichen KI, Automatisierung, Daten und mehr auf dem Laufenden. Weitere Informationen finden Sie in der IBM Datenschutzerklärung.
Unternehmensdatenmengen beginnen sich so grenzenlos anzufühlen wie die Sterne am Nachthimmel – sie sind riesig, ungebunden und scheinbar endlos.
Die Daten stammen von Sensoren des Internets der Dinge (IoT), Social-Media-Feeds, Unternehmensanwendungen und unzähligen anderen Quellen. Ohne einen kosteneffektiven, skalierbaren Speicherort riskieren Unternehmen einen strategischen Fehltritt: Petabytes an Daten unentdeckt und ungenutzt zu lassen.
Diese Daten könnten die Erkenntnisse liefern, die nötig sind, um neue Einnahmequellen zu erschließen, echte betriebliche Effizienz zu erzielen oder eine hochgradig personalisierte Customer Experience zu bieten. Es könnte auch entscheidend dafür sein, dass KI-Investitionen effektiv und rentabel sind: 72 % der CEOs gehen sogar so weit zu sagen, dass firmeneigene Daten der Schlüssel zur Erschließung des Wertes der generativen KI sind.2
Doch um den Wert dieser Daten zu erkennen, braucht es mehr als nur einen geeigneten Speicherort. Es erfordert außerdem einen einfachen Zugriff für die gemeinsame Nutzung. Laut einer Studie des aus dem Jahr 2025 IBM Institute for Business Value betrachten 82 % der Chief Data Officers Daten als verschwendet, wenn Mitarbeiter nicht darauf zugreifen können, um Entscheidungen zu treffen.
Als zentralisierte Repositorys können Data Lakes den Zugriff auf zuvor isolierten Daten erheblich verbessern. Sie bieten in der Regel einen Self-Service-Datenzugriff, der es auch technisch nicht versierten Anwendern ermöglicht, auf vertrauenswürdige Datensätze aus dem gesamten Unternehmen zuzugreifen und diese zu analysieren, wodurch die Zusammenarbeit verbessert und Innovationen beschleunigt werden.
Lange Zeit waren Unternehmen auf relationale Datenbanken (entwickelt in den 1970er Jahren) und Data Warehouses (entwickelt in den 1980er Jahren) zur Verwaltung ihrer Daten angewiesen. Diese Lösungen sind nach wie vor wichtige Bestandteile der IT-Ökosysteme vieler Unternehmen, wurden aber in erster Linie für strukturierte Datensätze entwickelt.
Mit dem Wachstum des Internets – und insbesondere mit dem Aufkommen von Social Media und Streaming-Medien – sahen sich Unternehmen mit riesigen Mengen unstrukturierter Daten konfrontiert, wie zum Beispiel Freitext und Bilder. Data Warehouses und relationale Datenbanken waren aufgrund ihrer strengen Schemata und der vergleichsweise hohen Speicherkosten schlecht gerüstet, um diesen Zustrom an Echtzeitdaten zu bewältigen.
Im Jahr 2011 prägte James Dixon, damals Chief Technology Officer bei Pentaho, den Begriff „Data Lake“. Dixon sah in dem Lake eine Alternative zum Data Warehouse. Während Warehouses vorverarbeitete Daten für gezielte Anwendungsfall liefern, stellte sich Dixon einen Data Lake als eine große Datenmenge vor, die in ihrem natürlichen Format aufbewahrt wird. Die Benutzer konnten die benötigten Daten aus diesem Data Lake beziehen und sie nach Belieben verwenden.
Viele der ersten Data Lakes wurden auf dem Hadoop Distributed File System (HDFS) aufgebaut, einem Open-Source-Framework und einer der Hauptkomponenten von Apache Hadoop. Diese frühen Data Lakes wurden lokal gehostet, was sich jedoch schnell als Problem erwies, da das Datenvolumen stetig zunahm. Cloud Computing bot eine Lösung: die Verlagerung von Data Lakes in besser skalierbare cloudbasierte Object Storage Services.
Data Lakes entwickeln sich auch heute noch weiter. Viele Data-Lake-Lösungen bieten inzwischen Funktionen, die über kostengünstigen, skalierbaren Speicher hinausgehen, z. B. Tools für Datensicherheit und Governance, Datenkataloge und Metadatenmanagement.
Data Lakes sind auch eine Kernkomponente von Data Lakehouses, einer relativ neuen Datenverwaltungslösung, die den kostengünstigen Speicher eines Lakes mit den leistungsstarken Analysefunktionen eines Data Warehouses kombiniert.
Eine typische Data-Lake-Architektur ist in mehrere Schichten gegliedert, von denen jede eine Phase des Datenlebenszyklus unterstützt.
Die Aufnahmeschicht verbindet den zentralen Data-Lake-Speicher mit verschiedenen Datenquellen wie Datenbanken, Apps, Geräte und Sensoren des Internet der Dinge (IoT). Die meisten Data Lakes verwenden in dieser Schicht einen Extract, Load, Transform (ELT) (anstelle eines Extract, Transform, Load, Load (ETL)) Prozess. Sie nehmen Daten im Originalzustand aus verschiedenen Datenpipelines auf, transformieren sie aber erst bei Bedarf. Dieser Ansatz – die Anwendung eines Schemas erst beim Zugriff auf Daten – wird als „Schema-on-Read“ bezeichnet.
Während frühe Data Lakes auf Apache Hadoop basierten, bildet heute ein Cloud Object Storage-Dienst den Kern eines modernen Data Lakes, der sowohl lokal als auch in Private Cloud- und Public Cloud-Umgebungen bereitgestellt werden kann. Zu den gängigen Optionen gehören Amazon Simple Storage Service (Amazon S3), Microsoft Azure Blob Storage, Google Cloud Storage und IBM Cloud Object Storage.
Cloud Object Storage ermöglicht es Unternehmen, verschiedene Arten von Rohdaten im selben Datenspeicher zu speichern. Außerdem ist er in der Regel skalierbarer und kostengünstiger als lokaler Speicher. Cloud-Speicheranbieter ermöglichen es Unternehmen, große Speichercluster (Server, die als einheitliches System fungieren) auf Abruf bereitzustellen, wobei nur der tatsächlich genutzte Speicherplatz in Rechnung gestellt wird.
Der Datenkatalog und die Metadatenschicht ermöglichen es den Benutzern, Daten innerhalb des Data Lakes zu finden und zu verstehen. Datenkataloge dienen als detaillierter Bestand von Daten. Sie verwenden Metadaten (wie Autor, Erstellungsdatum und Dateigröße) sowie Datenverwaltungstools, um den Benutzern das Auffinden, Verstehen, Verwalten, Kuratieren und Abrufen von Daten zu erleichtern.
Ohne diese Schicht können sich Data Lakes zu Datensümpfen entwickeln – chaotischen Sammelbecken, in denen auf wertvolle Daten nicht zugegriffen werden kann, weil es ihnen an Metadaten, Struktur und Governance mangelt. Datensümpfe sind im Grunde genommen „Müllhalden“ für Daten.
Da Speicher und Rechenleistung in einer Data-Lake-Architektur getrennt sind, erfolgen Datenverarbeitung und -analyse durch Integration mit Rechen-Engines. Auf dieser Schicht unterstützen Data Lakes eine Vielzahl von Tools. Zu den gängigen Beispielen zählen Big-Data-Verarbeitungs-Engines wie Apache Spark und Hive, Frameworks für maschinelles Lernen und Deep Learning wie TensorFlow sowie Analysebibliotheken wie Pandas.
Vor allem muss der Speicher eines Data Lake sicher sein, insbesondere wenn er personenbezogene oder sensible Daten über Mitarbeiter und Kunden enthält. Zu den Sicherheits- und Governance-Schichten gehören Funktionen wie integrierte Data-Governance-Lösungen, Verschlüsselung und Zugriffskontrollen durch Identity und Access Management (IAM). Diese Lösungen schützen vor unbefugtem Zugriff und unterstützen eine effektive Datenverwaltung über die anderen Schichten hinweg.
Diese Funktionen helfen Unternehmen auch dabei, regulatorische Anforderungen gemäß Datenschutzgesetzen wie der Datenschutz-Grundverordnung (DSGVO) und dem Health Insurance Portability and Accountability Act (HIPAA) der USA zu erfüllen.
Ein entscheidender Vorteil von Data Lakes ist der Zugriff auf bisher unzugängliche Rohdaten. Die Zugriffsschicht ermöglicht es Benutzern, Erkenntnisse aus dem Data Lake abzufragen, zu erkunden und zu extrahieren. Zu den nachgelagerten Anwendern zählen in der Regel Data Engineers und Data Scientists sowie Geschäftsanwender mit weniger technischem Fachwissen.
Diese Schicht verwendet Abfrageschnittstellen und Anwendungsprogrammierschnittstellen (APIs), um Benutzer mit Daten zu verbinden. Gängige Beispiele sind SQL-Query-Engines wie Presto und Spark-APIs.
Data Lakes helfen Unternehmen dabei, mehr Nutzen aus ihren Daten zu ziehen, indem sie das Teilen und Verwenden dieser Daten vereinfachen. Genauer gesagt bieten Data Lakes Folgendes:
Data Lakes können Daten in einer Vielzahl von Formaten aufnehmen und speichern – darunter strukturierte, semistrukturierte und unstrukturierte Datensätze. Sie unterstützen außerdem verschiedene Datenerfassungsmethoden, von Batch-Uploads bis hin zu Streaming-Daten in Echtzeit. Diese Flexibilität ermöglicht es Unternehmen, Daten aus verschiedenen Quellen (wie IoT-Geräten, Social-Media-Feeds oder internen Systemen) zu erfassen, ohne dass komplexe Transformations- oder separate Speicherlösungen erforderlich sind.
Mit Data Lakes können Daten in ihrem ursprünglichen, nativen Format erfasst und gespeichert werden, wodurch kostspielige, vorgelagerte Bereinigungs- und Transformationsprozesse vermieden werden. Cloud Object Storage ist im Allgemeinen kostengünstiger als lokale Alternativen, und die Verwendung von Open-Source-Technologien für die Verarbeitung senkt die Kosten zusätzlich. Diese Einsparungen ermöglichen es Unternehmen, ihre Datenverwaltungsprozesse zu optimieren und Budget und Ressourcen effektiver über Initiativen hinweg zu verteilen.
Data Lakes entkoppeln Rechen- und Speicherressourcen und nutzen häufig Cloud Storage Services, was die Skalierung von Kapazität und Rechenleistung im Vergleich zu vielen anderen Datenspeicherlösungen erleichtert. Diese Architektur ermöglicht es ihnen, ein massives Datenwachstum (entscheidend für KI- und ML Workloads) ohne Leistungseinbußen zu bewältigen.
Data Lakes können dazu beitragen, Datensilos zu reduzieren, indem sie Informationen in einer Single-Source-of-Truth (SSOT) vereinheitlichen, die im gesamten Unternehmen zugänglich ist – anstatt über Geschäftsbereiche und Unternehmensbereiche verteilt zu sein. Analysten und Data Scientists müssen nicht mehr Zeit damit verbringen, direkt auf verschiedene Datenquellen zuzugreifen, sondern können stattdessen schnell auf die benötigten Daten zugreifen, diese abfragen und nutzen.
Dieses zentralisierte Repository hilft, die Datenaufbereitung zu beschleunigen, fördert die Wiederverwendung und unterstützt eine kollaborativere, datengestützte Entscheidungsfindung. Dank dieser Vorteile können Unternehmen zudem von einer Beschleunigung ihrer Innovations- sowie Forschungs- und Entwicklungsbemühungen profitieren.
Data Lakes, Data Warehouses und Data Lakehouses sind alles unterschiedliche Arten von Datenspeicherlösungen. Ihre Unterschiede ergänzen sich jedoch, und sie werden häufig gemeinsam in einer integrierten Datenarchitektur eingesetzt, um verschiedene Anwendungsfälle zu unterstützen.
Wie ein Data Lake aggregiert ein Data Warehouse Daten aus verteilten Quellen in einem zentralen Speicher. Der entscheidende Unterschied besteht darin, dass Data Warehouses die Daten in der Regel vor der Aufnahme bereinigen und aufbereiten, sodass sie sofort zur Analyse bereit sind.
Die Data Warehouses sind für strukturierte Daten optimiert und eng mit Analytics Engines, Business Intelligence (BI) Dashboards und Datenvisualisierungstools integriert. Daher bieten Data Warehouses in der Regel eine starke Leistung, jedoch zu höheren Kosten und mit weniger Flexibilität als Data Lakes. Unternehmen nutzen Data Warehouses in der Regel für spezifische Analyseprojekte, während sie für die großflächige, vielseitige Datenspeicherung auf Data Lakes zurückgreifen.
Ein Data Lakehouse ist eine Datenverwaltungslösung, die den flexiblen, kostengünstigen Datenspeicher eines Data Lakes mit den leistungsstarken Analysefunktionen eines Data Warehouses kombiniert. Ähnlich wie ein Data Lake kann ein Data Lakehouse Daten in jedem Format kostengünstig speichern. Es bietet jedoch auch eine Analytics-Infrastruktur im Stil eines Data Warehouse auf Basis eines Cloud-Data-Lake-Speichers.
Unternehmen können Data Lakehouses nutzen, um zahlreiche Workloads zu unterstützen, darunter KI, ML, BI und Echtzeitanalyse. Data Lakehouses können auch als Modernisierung für Datenarchitekturen dienen: Unternehmen können Data Lakehouses neben bestehenden Data Lakes und Data Warehouses einbinden, ohne dass ein kostspieliger Austausch erforderlich ist.
Unternehmen können Data Lakes für eine Vielzahl von Gründen branchenübergreifend nutzen. Einige der häufigsten sind:
Für viele Unternehmen dienen Data Lakes als universelle Speicher für große Datenmengen. Anstatt Zeit und Ressourcen für die Umwandlung von Daten für die Aufnahme aufzuwenden, können Unternehmen eingehende Rohdaten in einem skalierbaren Object Storage speichern, der problemlos Petabytes an Daten in praktisch jedem Format aufnehmen kann. Die Benutzer können die Daten entweder direkt aus dem Data Lake mit Analytics Engines abfragen oder sie je nach Bedarf in ein Data Warehouse oder eine andere Datenplattform übertragen.
Unternehmen können Data Lakes auch nutzen, um Daten für noch nicht definierte Anwendungsfälle zu speichern. Da Object Storage relativ kostengünstig und skalierbar ist, müssen sich Unternehmen keine Sorgen machen, zu viel Geld für Daten auszugeben, die sie möglicherweise noch nicht benötigen.
Hohe Speicherkapazität und relativ niedrige Speicherkosten machen Data Lakes zu einer häufigen Komponente von Backup- und Notfallwiederherstellungsstrategien für kritische Daten. Data Lakes werden auch häufig zum Speichern von kalten oder inaktiven Daten zu einem niedrigeren Preis verwendet. Dieser Ansatz ist nützlich für die Archivierung alter Daten und die Pflege historischer Aufzeichnungen für Compliance-Audits, behördliche Anfragen oder zukünftige Anwendungsfälle der Analyse.
Zum Beispiel generiert die Bank- und Finanzbranche schnelle Transaktionsdaten von Aktienmärkten, Kreditkarten und anderen Finanzaktivitäten. Sie muss außerdem Rechtsdokumente und andere Aufzeichnungen aufbewahren, um den regulatorischen und Audit-Anforderungen gerecht zu werden. Data Lake-Architekturen sind gut geeignet, um diese gemischten Datenformate zu speichern und alte und historische Daten für einfache Abfragen aufzubewahren.
Laut der IBM CEO-Studie von 2025 sind 61 % der leistungsstärksten CEOs der Meinung, dass der Einsatz der fortschrittlichsten generativen KI-Tools einem Unternehmen einen Wettbewerbsvorteil verschafft. Data Lakes spielen eine wichtige Rolle bei KI-, ML- und Big-Data-Analyse-Workloads, einschließlich des Aufbaus prädiktiver Modelle und des Trainings generativer KI-Systeme.
Diese Projekte erfordern den Zugriff auf große und vielfältige Datensätze mit strukturierten, unstrukturierten und semistrukturierten Daten. Die Data-Lake-Architektur bietet einen kosteneffektiven, skalierbaren Speicher und Integrationsfunktionen mit einem Verarbeitungsframework, um diese Anforderungen zu erfüllen.
Laut Benchmarking-Daten des IBM Institute for Business Value geben 64 % der Unternehmen an, dass der Abbau organisatorischer Barrieren beim Datenaustausch eine ihrer größten Herausforderungen im Personalbereich darstellt. Unternehmen können nicht in vollem Umfang von ihren Daten profitieren, wenn sie isoliert und schwer zugänglich sind.
Data Lakes können Initiativen zur Datenintegration unterstützen, indem sie ein zentrales Repository für Daten aus verschiedenen Quellen bereitstellen. Durch die Konsolidierung verschiedener Daten in einer Umgebung schaffen sie eine solide Grundlage für die nachgelagerte Harmonisierung und Transformation.
Während Data Lakes Skalierbarkeit, Flexibilität und Kostenvorteile bieten, gibt es drei Hauptherausforderungen, die Unternehmen berücksichtigen sollten.
Um Datensümpfe zu vermeiden, sind vom ersten Tag an starke Praktiken in den Bereichen Data Governance, Datenqualität und Datensicherheit erforderlich. Die Definition und Durchsetzung von Datenstandards, Metadatenverwaltung und -dokumentation sowie Zugriffskontrollen werden dazu beitragen, dass Data Lakes organisiert, nützlich und sicher bleiben.
Dinesh Nirmal, Senior Vice President von IBM Software, weist darauf hin, dass diese Prinzipien besonders entscheidend sind, wenn Data Lakes zur Unterstützung generativer KI vorbereitet werden:
„Die Daten sind zwar unstrukturiert, aber es ist wichtig, dieselbe Governance und Sicherheit anzuwenden, die Sie für strukturierte Daten verwenden. Hier liegt eine riesige Chance: Generative KI kann nur dann erfolgreich sein, wenn wir den Modellen kontrollierte und vertrauenswürdige Daten zur Verfügung stellen.“
Einen Data Lake benötigen Sie möglicherweise nicht, es sei denn, Sie verwalten große Mengen an semistrukturierten und unstrukturierten Daten für KI, maschinelles Lernen oder Data Science. Data Lakes bieten kosteneffiziente, skalierbare Cloud-Speicher mit separater Rechenleistung. Alternativ kombiniert ein Data Lakehouse diese Skalierbarkeit mit den integrierten Datenanalysefunktionen eines Data Warehouses.
Data Lakes sind standardmäßig nicht sicher und können ein bevorzugtes Ziel für Sicherheitsbedrohungen sein, da sie zentralisierte Speicherorte für große Datenmengen sind (von denen ein Teil sensible Informationen enthält). Sichere Data Lakes nutzen Datenverschlüsselung, Zugriffskontrollen und Netzwerkschutzmaßnahmen, um Datensätze vor unberechtigtem Zugriff zu schützen.
Ja, Data Lakes eignen sich gut für maschinelles Lernen, da sie die riesigen Mengen an Rohdaten unterschiedlicher Art speichern, die für das Trainieren, Validieren, Optimieren und Bereitstellen von ML-Modellen benötigt werden. Mit Datenverarbeitung und Analytics Engines (wie Apache Spark),können Data-Science-Teams direkt im Data Lake auf Rohdatensätze zugreifen und diese vorbereiten, um ihre Modelle zu erstellen und zu optimieren.
Mit dem offenen, hybriden Data Lakehouse für KI und Analysen lassen Sie Ihre Daten dort arbeiten, wo sie sich befinden.
Lösen Sie die heutigen Datenherausforderungen mit einer Lakehouse-Architektur. Stellen Sie in wenigen Minuten eine Verbindung zu Ihren Daten her, erhalten Sie schnell zuverlässige Erkenntnisse und reduzieren Sie Ihre Data Warehouse-Kosten.
Erschließen Sie den Wert von Unternehmensdaten mit IBM Consulting und bauen Sie ein erkenntnisorientiertes Unternehmen auf, das Ihnen geschäftliche Vorteile verschafft.
1 Data Lakes, Global Industry Analysts, 1. Oktober 2025.
2 2025 CEO Study: 5 mindshifts to supercharge business growth: Move from productivity to performance with agentic AI, IBM Institute for Business Value, Mai 2025.
3 The 2025 CDO Study: The AI multiplier effect, IBM Institute for Business Value, 12. November 2025.