Apache Iceberg ist ein leistungsstarkes Open Source-Format für umfangreiche analytische Tabellen, das die Verwendung von SQL-Tabellen für Big Data sowie die sichere Integration dieser Tabellen in Engines wie Apache Spark, Trino, Flink, Presto, Hive und Impala erleichtert.
Zusätzlich zu seiner offenen Tabellenformatspezifikation umfasst Iceberg auch eine Reihe von APIs und Bibliotheken, die es Speicher-Engines, Abfrage-Engines und Ausführungs-Engines ermöglichen, reibungslos mit Tabellen zu interagieren, die diesem Format folgen.
Das Iceberg-Tabellenformat ist zu einem festen Bestandteil des Big Data-Ökosystems geworden, vor allem aufgrund seiner Fähigkeit zur Bereitstellung von Funktionen, die bei anderen Tabellenformaten normalerweise nicht verfügbar sind. Durch die Verwendung einer Vielzahl von Metadaten, die zu jeder Tabelle gespeichert werden, ermöglicht Iceberg die Entwicklung von Schemata, Partitionen und Tabellenversionen, ohne dass kostspielige Tabellenumschreibungen oder Tabellenmigrationen erforderlich sind. Es ist vollständig unabhängig vom Speichersystem, unterstützt mehrere Datenquellen und ist nicht vom Dateisystem abhängig.
Ursprünglich 2017 von Data Engineers bei Netflix und Apple entwickelt, um die Mängel von Apache Hive zu beheben, wurde Iceberg als Open Source veröffentlicht und im darauffolgenden Jahr an die Apache Software Foundation gespendet. Im Jahr 2020 wurde es zu einem Apache-Projekt auf oberster Ebene.
Die Geschwindigkeit, Effizienz, Zuverlässigkeit und allgemeine Benutzerfreundlichkeit von Apache Iceberg tragen dazu bei, die Datenverarbeitung in jeder Größenordnung zu vereinfachen und zu koordinieren. Diese Vorteile haben es zum Tabellenformat der Wahl für eine Reihe führender Data Warehouses, Data Lakes und Data Lakehouses gemacht, darunter IBM watsonx.data. Netezza und Db2 Warehouse.
Bleiben Sie mit dem Think-Newsletter über die wichtigsten – und faszinierendsten – Branchentrends in den Bereichen KI, Automatisierung, Daten und mehr auf dem Laufenden. Weitere Informationen finden Sie in der IBM Datenschutzerklärung.
Iceberg ist eines der wenigen Open Source-Tabellenformate, die AKID-Transaktionen ermöglichen: einen Datenaustausch, der die Genauigkeit bewahrt, indem er Atomarität , Konsistenz, Isolation und Dauerhaftigkeit gewährleistet.
Icebergs Entstehungsgeschichte war ein Versuch, die praktischen Einschränkungen von Apache Hive-Tabellen in einer großen Data-Lake-Umgebung zu überwinden. Laut Ryan Blue, PMC-Vorsitzender des Apache Iceberg-Projekts und (ehemals) leitender Ingenieur bei Netflix, „nutzten viele verschiedene Dienste und Engines Hive-Tabellen. Das Problem war jedoch, dass wir keine Garantie auf Richtigkeit hatten. Wir hatten keine atomaren Transaktionen“, sagte er in einer Konferenz im Jahr 2021. „Manchmal führten Änderungen in einem System dazu, dass ein anderes System die falschen Daten erhielt, und diese Art von Problemen veranlasste uns, diese Dienste, nur um sicher zu gehen, einfach nicht zu nutzen und keine Änderungen an unseren Tabellen vorzunehmen.“1
Apache Hive selbst wurde entwickelt, um Apache Hadoop-Cluster ähnlich funktionieren zu lassen wie relationale Datenbanken, auf die über SQL zugegriffen werden kann. Während es für statische Daten gut funktioniert, passt es sich nur schlecht an veränderte Datensätze an: Änderungen müssen manuell über verschiedene Anwendungen und Benutzer hinweg koordiniert werden, sonst besteht die Gefahr der Beschädigung und anschließenden Ungenauigkeit großer Datensätze.
Um die Genauigkeit in einer dynamischen Umgebung zu gewährleisten, wurde Iceberg so konzipiert, dass jede Datentransaktion alle vier AKID-Eigenschaften aufweist:
Alle Datenänderungen werden so durchgeführt, als handle es sich um einen einzigen Vorgang; das heißt, entweder werden alle Änderungen ausgeführt oder gar keine. Beispielsweise stellt Atomarität bei einer Transaktion mit Finanzdaten sicher, dass bei jeder Belastung von einem Konto eine entsprechende Gutschrift auf dem anderen Konto erfolgt.
Es gibt keine Widersprüche zwischen dem Gesamtdatenstatus vor der Transaktion und dem Datenstatus nach der Transaktion. Um das Beispiel der Finanztransaktion fortzusetzen, stellt die Konsistenz sicher, dass die kombinierten Mittel zwischen den beiden Konten nach der Transaktion dieselben sind wie vor der Transaktion.
Der Zwischenzustand einer Transaktion ist für andere Transaktionen unsichtbar. Gleichzeitige Transaktionen – Transaktionen,die gleichzeitig auf denselben Datensatz zugreifen – werden so behandelt, als wären sie serialisiert. Bei dieser Finanztransaktion sorgt die Isolierung dafür, dass jede andere Transaktion die überwiesenen Mittel entweder auf dem belasteten Konto oder auf dem gutgeschriebenen Konto sehen kann, aber nicht auf beiden (oder auf keinem).
Nach einer erfolgreichen Transaktion bleiben alle Datenänderungen auch im Falle eines Systemausfalls erhalten. In unserem Finanzbeispiel bedeutet dies, dass die Transaktion auch dann abgeschlossen bleibt, wenn es unmittelbar danach zu einem systemweiten Stromausfall kommt.
Das Apache Iceberg-Tabellenformat wird oft mit zwei anderen Open Source-Datentechnologien verglichen, die AKID-Transaktionen anbieten: Delta Lake, eine optimierte Speicherschicht, die ursprünglich von Databricks entwickelt wurde und Parquet-Datendateien um ein dateibasiertes Transaktionsprotokoll und skalierbare Metadatenverarbeitung erweitert, sowie Apache Hudi– kurz für „Hadoop Upserts Deletes and Incrementals“ – das im Jahr 2016 von Uber entwickelt wurde.
Eine von Synvert durchgeführte Studie aus dem Jahr 2022 generierte Zufallsdaten und speicherte sie im JSON-Format in einem AWS S3-Bucket, um sie für das Benchmarking der drei Technologien zu verwenden. Ihre Tests zeigten letztendlich, dass das optimierte Tabellenformat von Iceberg bei allen getesteten Metriken eine bessere Leistung erbrachte als die von Delta Lake und Apache Hudi.2
Speichern: Die daraus resultierenden Dateien der Iceberg-Tabellen waren deutlich kleiner als die von Delta Lake oder Hudi, was einen großen Vorteil für die Speicheroptimierung bietet.
Einfügen: Bei Einfügeoperationen hatte Iceberg ebenfalls die schnellste Leistung, d. h. die kürzeste Runtime. Sowohl Iceberg als auch Delta Lake waren deutlich schneller als Hudi.
Aktualisieren: Bei den Aktualisierungsvorgängen war Iceberg drastisch schneller als Delta Lake und Hudi. Bemerkenswert ist, dass die Laufzeit von Iceberg im Gegensatz zu seinen Gegenstücken nicht signifikant mit der Gesamtzahl der Datensätze zunahm: Bei der maximalen Arbeitslast, die in der Studie getestet wurde – 500 Millionen Datensätze – war Iceberg fast 10-mal schneller als Delta Lake.
Löschen: Ebenso war Iceberg bei Löschungen um ein Vielfaches schneller als beide Alternativen.
Iceberg implementiert eine dreistufige Hierarchie von Metadatendateien, um die Korrektheit und Koordination von Tabellendaten über verschiedene Dateiformate und ständige Änderungen hinweg zu gewährleisten.
Iceberg ist in Java und Python geschrieben und wird auch über eine Scala-API angeboten. Es unterstützt eine Vielzahl von Big Data-Dateiformaten, darunter Apache Parquet, Apache Avro und Apache ORC. Es bietet eine ähnliche Funktionalität wie SQL-Tabellen in herkömmlichen Datenbanken, ist jedoch dateiformat- und herstellerunabhängig und ermöglicht es mehreren Engines, mit demselben Datensatz zu arbeiten.
Die Architektur einer Iceberg-Tabelle umfasst drei Schichten: den Iceberg-Katalog, die Metadatenschicht und die Datenschicht.
Der Iceberg-Katalog selbst befindet sich oben auf der Metadatenschicht und die Daten später – ähnlich wie die Spitze eines Eisbergs –über der Wasseroberfläche. Er speichert die aktuellen Metadatenzeiger, die den Namen einer bestimmten Tabelle dem Speicherort ihrer aktuellen Metadatendatei(en) zuordnen. Neben dem integrierten Katalog unterstützt Iceberg andere Katalog-Frameworks wie Hive MetaStore oder AWS Glue.
Die Operationen auf der Ebene des Iceberg-Katalogs sind atomar, da dies für die Sicherstellung der Korrektheit der Transaktionen unerlässlich ist.
Eine Abfrage-Engine beginnt daher jede SELECT-Abfrage mit dem Iceberg-Katalog, der den Speicherort der aktuellen Metadatendatei für die Tabelle angibt, die die Abfrage-Engine lesen möchte.
Die Iceberg-Metadatenebene umfasst – in absteigender Reihenfolge – Metadatendateien, Manifestlisten und Manifestdateien.
Metadatendateien speichern die Metadaten einer Tabelle, einschließlich des Schemas der Tabelle, der Partitionsinformationen, ihrer aktuellen Snapshots und der Snapshots früherer Zustände. Nachdem die Abfrage-Engine vom Eintrag der Tabelle im Iceberg-Katalog auf die aktuelle Metadaten-Datei verwiesen wurde, verwendet sie den Wert [current-snapshot-id], um ihren Eintrag im Array [Snapshots] zu finden. Von dort aus kann sie die Manifestliste der Tabelle finden und öffnen.
Die Manifestliste ist einfach eine Liste von Manifestdateien und wichtigen Informationen für jede darin enthaltene Datendatei, wie z. B. ihr Speicherort, der Snapshot, dem sie zugeordnet ist, und die Partitionen, zu denen sie gehört. In dieser Phase stehen bestimmte Optimierungen und Filterfunktionen zur Verfügung.
In Manifestdateien werden Datendateien und die zugehörigen Details, Metadaten und Statistiken erfasst. Daraus ergibt sich einer der grundlegenden Vorteile des Iceberg-Tabellenformats gegenüber dem Hive-Tabellenformat: seine Fähigkeit zur Nachverfolgung von Daten auf Dateiebene. In dieser Phase können die [file-path]-Werte für jedes [data-file]-Objekt verwendet werden, um diese Datei zu suchen und zu öffnen.
Die Datenebene befindet sich, wie der Name schon sagt, unterhalb der Metadatenebene und enthält die eigentlichen Dateien.
Apache Iceberg bietet eine Reihe hilfreicher Funktionen zur Verbesserung und Vereinfachung der Datenverwaltung.
Iceberg übernimmt alle Details der Partitionierung und Abfrage unter der Oberfläche. Die versteckte Partitionierung von Iceberg erspart Nutzern die Arbeit, beim Abfragen von Tabellen Informationen zum Partitionslayout bereitzustellen. Nutzer müssen Partitionsspalten nicht selbst verwalten und das Layout der physischen Tabelle nicht einmal verstehen, um genaue Abfrageergebnisse zu erhalten.
Dies macht die Iceberg-Partitionierung nicht nur sehr benutzerfreundlich, sondern ermöglicht auch die Änderung von Partitionslayouts im Laufe der Zeit, ohne dass vorab geschriebene Abfragen beschädigt werden. Wenn sich Partitionsspezifikationen weiterentwickeln, bleiben die Daten in der Tabelle (und ihre Metadaten) davon unberührt. Nur neue Daten, die nach der Weiterentwicklung in die Tabelle geschrieben wurden, werden mit der neuen Spezifikation partitioniert, und Metadaten für diese neuen Daten werden separat aufbewahrt.
Iceberg bietet native Unterstützung für die Schemaentwicklung. Dadurch können Benutzer Tabellenschemata ändern, ohne dass eine komplexe Datenmigration erforderlich ist, wodurch die Anpassung an sich weiter entwickelnde Datenstrukturen erheblich vereinfacht wird.
Iceberg ermöglicht Benutzern eine Zeitreise durch Momentaufnahmen von Iceberg-Daten zu verschiedenen Zeitpunkten. Dies ist für eine Vielzahl von Anwendungsfällen wertvoll, einschließlich Audits, Debugging und Compliance-Prüfungen.
Iceberg bietet eine Reihe von Indizierungsfunktionen, die zur Optimierung der Abfrageleistung beitragen, wie z. B. Verdichtungsoptionen zum Zusammenführen kleinerer Dateien in größere, um den Metadaten-Overhead zu reduzieren und Bloom-Filter, um unnötiges Lesen von Daten während der Abfrageausführung zu vermeiden.
Mit dem offenen, hybriden Data Lakehouse für KI und Analysen lassen Sie Ihre Daten dort arbeiten, wo sie sich befinden.
Lösen Sie die heutigen Datenherausforderungen mit einer Lakehouse-Architektur. Stellen Sie in wenigen Minuten eine Verbindung zu Ihren Daten her, erhalten Sie schnell zuverlässige Erkenntnisse und reduzieren Sie Ihre Data Warehouse-Kosten.
Erschließen Sie den Wert von Unternehmensdaten mit IBM Consulting und bauen Sie ein erkenntnisorientiertes Unternehmen auf, das Ihnen geschäftliche Vorteile verschafft.
1 „Apache Iceberg: The Hub of an Emerging Data Service Ecosystem?“, Datanami, 8. Februar 2021
2 „Clash of ACID Data Lakes: Comparing Data Lakehouse Formats“, synvert, ein Unternehmen von GlobalLogic, 9. August 2022
