Was ist ein Data Warehouse?

Datenbankschemata definieren, wie Daten in einer Datenbank oder einem Data Warehouse organisiert werden. Es gibt zwei Haupttypen von Schemata-Strukturen, die in Data Warehouses verwendet werden: das Sternschema (Star Schema) und das Schneeflockenschema (Snowflake Schema).

Sowohl das Stern- als auch das Schneeflockenschema sind Datenmodelle, die zur Optimierung der Geschwindigkeit der Datenabfrage entwickelt wurden. Dimensionale Modelle erhöhen die Redundanz, um das Auffinden von Informationen für Berichte und Abfragen zu erleichtern. Diese Modellierung wird typischerweise in OLAP-Systemen verwendet.

Sternschema

Dieses Schema besteht aus einer Faktentabelle (die messbare Elemente wie verkaufte Produkte und monetäre Verkaufsbeträge enthält), die mit Dimensionstabellen verknüpft ist (d. h. Referenzinformationen, die zeigen, wie die Fakten gruppiert und organisiert werden können, wie z. B. Verkaufsdaten und die Branche, an die verkauft wurde).

In einem Diagramm kann die Faktentabelle in der Mitte eines Sternmusters erscheinen. Das Sternschema gilt als einfachste und am weitesten verbreitete Art von Schema, und seine Benutzer profitieren von der höheren Geschwindigkeit bei der Abfrage.

Schneeflockenschema

Das Schneeflockenschema ist zwar nicht so verbreitet, stellt aber eine weitere Organisationsstruktur in Data Warehouses dar. In diesem Fall ist die Faktentabelle mit mehreren normalisierten Dimensionstabellen verbunden, die beschreibende Daten zu den Fakten in der zentralen Faktentabelle enthalten. Diese Dimensionstabellen haben auch untergeordnete Tabellen.

Dieses komplexere, verzweigte Muster kann einer Schneeflocke ähneln. In diesem Fall ist die Faktentabelle mit mehreren normalisierten Dimensionstabellen verbunden, die beschreibende Daten zu den Fakten in der zentralen Faktentabelle enthalten. 

Die meisten Data Warehouses werden um ein relationales Datenbanksystem herum aufgebaut, entweder vor Ort oder in der Cloud, wo Daten sowohl gespeichert als auch verarbeitet werden. Ein typisches Data Warehouse verfügt über Komponenten wie:

• Datenebene (oder zentrale Datenbank)
• Zugriffstools
• ETL-Tools (Extrahieren, Transformieren, Laden)
• Metadaten
• Sandbox
• API-Schicht

Die Datenebene oder zentrale Datenbank ist das Herzstück des Data Warehouse und wird von allen anderen Komponenten unterstützt. Die Daten können aus Geschäftsanwendungen, E-Mail-Listen, Websites oder anderen relationalen Datenbanken importiert werden. Die Daten werden physisch auf einem Server oder einer Reihe von Servern gespeichert.

Die Datenebene kann Datensegmente aufteilen, sodass Benutzer nur auf die Daten zugreifen können, die sie auch benötigen. So hat beispielsweise das Vertriebsteam normalerweise keinen Zugriff auf die Daten des HR-Teams und umgekehrt.

In der Regel verfügen Data Warehouses über integrierte Data Governance- und Sicherheitsfunktionen, sodass Unternehmen nicht viel benutzerdefinierte Datenverarbeitung betreiben müssen, um diese Funktionen zu nutzen. Unternehmen müssen möglicherweise die Data Governance-Grundsätze und Sicherheitsmaßnahmen im Zeitverlauf aktualisieren, wenn neue Daten aus verschiedenen Quellen zum Warehouse hinzugefügt werden.

Zugriffstools stellen eine Verbindung zu einem Data Warehouse her, um ein Front-End bereitzustellen, das für Geschäftsanwender benutzerfreundlich ist. Dies kann Dashboards, Berichts- und Datenvisualisierung beinhalten, die es Datenanalysten und Geschäftsanwendern ermöglichen, mit den Daten zu interagieren und Erkenntnisse zu gewinnen. Beispiele für diese Tools sind Tableau, Looker und Qlik.

ETL-Tools helfen beim Verschieben von Daten aus einer Datenquelle in das Data Warehouse. Die Daten werden zunächst aus ihrer Quelle „extrahiert“, in einen Staging-Bereich verschoben, wo sie bereinigt und vorbereitet (oder „transformiert“) werden, und anschließend in ein Data Warehouse „geladen“.

ETL-Tools konvertieren Daten in ein einheitliches Format, sodass sie effizient analysiert und abgefragt werden können, wenn sie sich im Warehouse befinden. Zum Beispiel könnten Daten aus mehreren Kundendatenbanken extrahiert und dann in ein gemeinsames Format umgewandelt werden, sodass alle Kundendatensätze dann dieselben Felder enthalten.

Ein Framework-Tool für die Datenverarbeitung, wie Apache Spark, kann helfen, die Transformation von Daten zu verwalten.

Da ein Data Warehouse in erster Linie strukturierte Daten speichert, werden die Daten in der Regel transformiert, bevor sie in das Warehouse verschoben werden. Während einige Lagerhäuser stattdessen einen Extraktions-, Lade- und Transformationsprozess (ELT) verwenden können, bei dem die Daten vor der Transformation in das Lager geladen werden, wird dieser Prozess häufiger für Data Lakes verwendet, die keine standardisierten Datenformate erfordern. (Weitere Informationen finden Sie unter „Data Lake vs. Data Warehouse“.)

Metadaten sind Daten über Daten. Im Grunde beschreiben sie diejenigen Daten, die in einem System gespeichert sind, um sie durchsuchbar zu machen. Metadaten enthalten Merkmale wie Autoren, Datumsangaben oder Orte von Artikeln, Erstellungsdaten und Dateigrößen. Metadaten und ihr Verwaltungssystem helfen dabei, Daten zu organisieren und für Analysen nutzbar zu machen.

Einige Data Warehouses bieten eine Sandbox, die von den Live-Daten abgeschottet ist. Sie kann als Testumgebung verwendet werden, die eine Kopie der Produktionsdaten und relevante Analyse- und Visualisierungstools enthält. Data Analysten und Data Scientists können mit neuen Analysetechniken in der Sandbox experimentieren, ohne den Betrieb des Data Warehouse für andere Benutzer zu beeinträchtigen.

Eine Konnektivitätsschicht für Anwendungsprogrammierschnittstellen (APIs) kann dem Lager dabei helfen, Daten aus organisatorischen Quellen abzurufen und Zugriff auf Visualisierungs- und Analysetools bereitzustellen.

Die Begriffe Data Warehouse, Datenbank, Data Lake, Data Mart und Data Lakehouse werden manchmal synonym verwendet. Obwohl diese Systeme ähnlich sind, gibt es jedoch wesentliche Unterschiede.

Eine Datenbank ist wie ein Aktenschrank, der hauptsächlich für schnelle Abfragen und die Verarbeitung von Transaktionen konzipiert ist, jedoch nicht für Analysen. Eine Datenbank dient in der Regel als zielgerichteter Datenspeicher für eine bestimmte Anwendung, während ein Data Warehouse Daten aus einer beliebigen Anzahl von Anwendungen in Ihrem Unternehmen speichert.

Eine Datenbank konzentriert sich auf die Erfassung von Echtzeitdaten, während ein Data Warehouse einen breiteren Anwendungsbereich hat und historische Daten – aber manchmal auch aktuelle Daten – für prädiktive Analysen, maschinelles Lernen und andere fortgeschrittene Analysen erfasst.

Ein Data Lake ist eine Speicherlösung für große Mengen an Rohdaten ohne vordefiniertes Schema. Data Lakes enthalten oft unstrukturierte und halbstrukturierte Daten, wie z. B. Dokumente, Videos, Internet-of-Things-Protokolle (IoT) und Social-Media-Beiträge. Sie werden häufig auf Big-Data-Plattformen wie Apache Hadoop erstellt.

Data Lakes sind in erster Linie darauf ausgelegt, kostengünstigen Speicher für große Datenmengen zu bieten. Um die Lagerkosten niedrig zu halten, werden Daten in der Regel nicht transformiert oder für Analysen optimiert, wie es in einem Warehouse der Fall ist.

Ein Data Mart ist eine Art Data Warehouse, das Daten enthält, die für einen bestimmten Geschäftsbereich oder eine bestimmte Abteilung spezifisch sind, nicht für ein ganzes Unternehmen.

Da sie eine kleinere Teilmenge von Daten enthalten, ermöglichen Data Marts einer Abteilung oder einem Geschäftsbereich schnellere und gezieltere Einblicke, als dies bei der Arbeit mit dem breiteren Data-Warehouse-Datensatz möglich ist.

Ein Marketingteam könnte beispielsweise einen Data Mart verwenden, um ideale demografische Zielgruppen zu definieren, während ein Produktteam einen Data Mart verwenden könnte, um Bestandsmuster zu analysieren.

Ein Data Lakehouse ist eine Datenplattform, die Aspekte von Data Warehouses und Data Lakes – also die Flexibilität eines Lake und die hohe Leistung eines Warehouse – in einer Datenverwaltungslösung vereint. Data Lakehouses können auch Funktionen wie freigegebene Metadaten, verteilte SQL (Structured Query Language)-Engines und integrierte Governance- und Sicherheitskontrollen hinzufügen.

Das Aufkommen von Open-Source-Technologien und der Wunsch, Datenduplizierung und komplexe ETL-Pipelines zu reduzieren, haben zur Entwicklung des Data Lakehouse geführt. Durch die Kombination der wichtigsten Funktionen von Lakes und Warehouses in einer Datenlösung können Lakehouses dazu beitragen, die Datenverarbeitung zu beschleunigen und maschinelles Lernen, Data Science und KI-Workloads zu unterstützen.

Ein cloudbasiertes Data Warehouse ist für die Ausführung in der Cloud konzipiert. Es wird Unternehmen oft als verwalteter Datenspeicherservice angeboten, bei dem die Data-Warehouse-Infrastruktur vom Cloud-Unternehmen verwaltet wird. Das Unternehmen muss weder im Voraus in Hardware oder Software investieren noch ein eigenes System verwalten. Cloud-Services bieten oft auch eine flexible Preisgestaltung.

Cloudbasierte Data Warehouses erfreuen sich zunehmender Beliebtheit, da immer mehr Unternehmen Cloud-Computing-Services nutzen und versuchen, den Speicherbedarf ihrer lokalen Rechenzentren zu reduzieren.

Ein Unternehmen kann eine Data-Warehouse-Lizenz erwerben und das Warehouse dann als eigene lokale Infrastruktur bereitstellen. Dies ist zwar in der Regel teurer als ein Cloud-Data-Warehouse-Service, kann aber für Behörden, Finanzinstitute oder andere Organisationen, die mehr Kontrolle über ihre Daten haben wollen oder strenge Sicherheits- oder Datenschutzstandards einhalten müssen, eine gute Alternative darstellen.

Eine Data-Warehouse-Appliance ist ein vorintegriertes Paket aus Hardware und Software – in der Regel einschließlich Zentralprozessoren (CPUs), Speicher, Betriebssystem und Data-Warehouse-Software –, das ein Unternehmen mit seinem Netzwerk verbinden und sofort nutzen kann.

In Bezug auf die Vorlaufkosten, die Geschwindigkeit der Bereitstellung, die einfache Skalierbarkeit und die Kontrolle der Datenverwaltung liegt eine Data-Warehouse-Anwendung in der Regel zwischen Cloud- und On-Premises-Implementierungen.