Was ist eine Data Fabric?

In den letzten zehn Jahren haben Fortschritte in den Bereichen Hybrid Cloud, künstliche Intelligenz,Internet der Dinge (IoT) und Edge Computing das exponentielle Wachstum von Big Data vorangetrieben. Dieser Anstieg hat zu immer komplexeren Datenumgebungen geführt, in denen riesige Datenmengen über verschiedene Geschäftsbereiche verteilt sind.

Laut einer Studie des IBM Institute for Business Value (IBV) aus dem Jahr 2025 geben 50 % der CEOs an, dass ihr Technologie nicht mehr verwendet, da vermehrt Investitionen erforderlich sind. Infolgedessen sind Datenvereinheitlichung und Governance für die Überwindung von Herausforderungen wie Datensilos, Sicherheitsrisiken und Entscheidungsengpässen entscheidend geworden.

Eine Data Fabric bietet eine integrierte End-to-End-Datenverwaltung, die durch maschinelles Lernen (ML), aktive Metadaten, Anwendungsprogrammierschnittstellen (API) und andere Technologien unterstützt wird.

Es handelt sich dabei nicht um ein Stück Software, sondern um einen Designansatz, der eine einheitliche Sicht auf Daten in den lokalen und Multicloud-Umgebungen eines Unternehmens aus Data Lakes, Data Warehouses, SQL-Datenbanken und anderen Quellen schafft. Mit dieser Herangehensweise müssen Unternehmen ihre verteilten Daten weder an einen einzigen Standort oder einen Datenspeicher verschieben, noch müssen sie einen vollständig dezentralisierten Ansatz verfolgen.

Diese Kernfunktionen beseitigen nicht nur Daten-Silos und wachsende Datenmengen, sondern ermöglichen auch einen einfachen Self-Service-Datenzugriff für Geschäftsanwender. Das Ergebnis ist ein Netzwerk aus Echtzeitdaten und hochwertigen historischen Daten, das die digitale Transformation und Business-Intelligence-Initiativen (BI) im gesamten Unternehmen beschleunigt, während die automatisierte Governance eine sichere und konforme Datenstrategie gewährleistet.

Für viele Unternehmen hat das explosionsartige Datenwachstum (von strukturierten, halbstrukturierten und unstrukturierten Daten) herkömmliche Datenverwaltungsansätze überfordert. Diese Herausforderung wird durch die Verbreitung von Data Warehouse, Data Lake und Hybrid-Cloud-Umgebungen noch verschärft.

Diese Speichersysteme werden in der Regel als kostengünstige Lösungen für große Datenmengen genutzt. Allerdings mangelt es ihnen oft an einer ordnungsgemäßen Verwaltung von Metadaten, was es schwierig macht, Daten zu finden, zu interpretieren und effektiv zu nutzen.

Diese Komplexität wird noch verstärkt durch isolierte Daten. In der Vergangenheit verfügte ein Unternehmen manchmal über separate Datenplattformen für Personalwesen, Lieferkette und Kundeninformationen, die trotz sich überschneidender Datentypen und Anforderungen jeweils isoliert arbeiteten.

Diese Herausforderungen führen zu riesigen Ansammlungen von Dark Data– Informationen, die vernachlässigt oder als unzuverlässig angesehen werden und letztlich ungenutzt bleiben. Tatsächlich werden schätzungsweise 60 % der Unternehmensdaten nicht analysiert.¹

Unternehmen nutzen Data Fabric, um diesen Herausforderungen zu begegnen. Die moderne Architektur vereinigt Daten, automatisiert die Governance und ermöglicht Self-Service-Datenzugriff im großen Maßstab. Durch die Verbindung von Daten über verteilte Systeme hinweg ermöglichen Data Fabrics Entscheidungsträgern, Verbindungen herzustellen, die zuvor verborgen waren, und aus Daten, die sonst ungenutzt bleiben würden, wertvollere Geschäftsergebnisse zu erzielen.

Neben den Vorteilen der Demokratisierung und Entscheidungsfindung erweisen sich Data-Fabric-Lösungen auch als unverzichtbar für KI-Workflows in Unternehmen. Laut Studien der IBM IBV aus dem Jahr 2024 geben 67 % der CFOs an, dass ihre C-Suite über die Daten verfügt, die notwendig sind, um schnell von neuen Technologien zu profitieren. Aber nur 29 % der technischen Führungskräfte sind der Meinung, dass ihre Daten über die notwendige Qualität, Zugänglichkeit und Sicherheit verfügen, um generative KI effizient zu skalieren.

Mit einer Data Fabric können Unternehmen leichter eine vertrauenswürdige Dateninfrastruktur für die Datenbereitstellung an ihre KI-Systeme aufbauen – wobei Governance- und Datenschutzanforderungen automatisch angewendet werden.

• Datenkataloge
• Datenintegration
• Data Governance und Datensicherheit
• Self-Service-Datenzugriff
• Einheitlicher Lebenszyklus

Data-Fabric-Architekturen nutzen Datenkataloge, die detaillierte Bibliotheken mit Datenassets darstellen. Diese Kataloge nutzen aktive Metadaten (die Wissensgraphen, Semantik und KI verwenden), um Datenassets in Echtzeit zu organisieren, sodass Benutzer schnell und einfach die richtigen Daten für ihre Anwendungsfälle finden können. Diese Metadaten bieten auch ein allgemeines geschäftliches Verständnis verschiedener Daten durch Taxonomien, Informationen zu Eigentum und Aktivitäten, zugehörige Assets und mehr.

In einer Data Fabric vereint der Integrationsprozess Daten aus verteilten Datenquellen, wandelt sie in eine konsistente Struktur um und macht sie für Datenanalyse und Entscheidungsfindung zugänglich. Diese Verbindung erfolgt durch verschiedene Integrationsstile, wie z. B. Stapelverarbeitung, Echtzeit-Datenintegration und Änderungsdatenerfassung (Change Data Capture, CDC). Intelligente Integrationsprozesse können die Leistung maximieren und gleichzeitig die Speicher kosten minimieren.

Eine Data Fabric bietet eine einheitliche Möglichkeit,Data Governance- und Datensicherheitsrichtlinien in großem Maßstab zu erstellen und durchzusetzen. Zum Beispiel können Kontrollen des Datenzugriffs einfach und automatisch über Metadaten, wie Benutzergruppen oder Datenklassifizierungen, mit sensiblen Daten verknüpft werden. Durch diese vertrauenswürdigen und geschützten, geschäftsfähigen Daten können Data Fabrics Unternehmen bei der Operationalisierung von KI unterstützen.

Eine Data Fabric fungiert als Self-Service-Marktplatz für die Datennutzung. Durch wichtige Governance-Funktionen – wie Datenprofilierung und Metadatenmanagement– können Dateningenieure, Data Scientists und Geschäftsanwender hochwertige Daten schnell finden, darauf zugreifen und gemeinsam arbeiten. Benutzer können nach Daten-Assets suchen, sie mit Tags versehen und kommentieren und Kommentare hinzufügen. Dadurch wird die Abhängigkeit von der IT-Abteilung deutlich verringert.

Data Fabrics umfassen auch die End-to-End-Verwaltung während des gesamten Lebenszyklus einer Data Fabric. Durch die Nutzung von maschinellem Lernen (MLOps) und KI bietet dieser Ansatz eine einheitliche Erfahrung für die Erstellung, den Aufbau, das Testen, die Bereitstellung, die Optimierung und die Überwachung der verschiedenen Komponenten einer Data Fabric Architektur – wie z. B. Datenpipelines.

Ein Datennetz ist eine dezentralisierte Datenarchitektur, die Daten nach einem bestimmten Geschäftsbereich (z. B. Marketing, Vertrieb oder Kundenservice) organisiert, um den Produzenten an einem bestimmten Datensatz mehr Eigentum zu verleihen.

Data Fabrics koexistieren mit Data Meshes und verbessern häufig deren Funktionalität. Sie können Schlüsselkomponenten eines Data Mesh automatisieren, z. B. die Erstellung von Datenprodukten und die Durchsetzung globaler Governance.

Data Lakehouses sind entstanden, um die Schwächen herkömmlicher Datenverwaltung zu beheben. Sie kombinieren die flexiblen Datenspeicher -Funktionen von Data Lakes mit der hohen Leistung der Analyse von Data Warehouses.

Data Fabrics können als die nächste Phase in der Entwicklung von Data Lakehouses und anderen Datenplattformen betrachtet werden. Unternehmen nutzen sie, um die Datenverwaltung zu vereinfachen und den Zugriff auf Lakehouse-Daten zu verbessern. Sie fördern die gemeinsame Nutzung von Daten, automatisieren die Datenintegration und -verwaltung und unterstützen die Self-Service-Datennutzung – Funktionen, die Speicher-Repositorys allein nicht bieten können.

Im Gegensatz zu einzelnen Datenspeicher-Systemen können Data Fabrics Fluidität zwischen Datenumgebungen schaffen und so dem Problem der Datengravitation entgegenwirken – der Vorstellung, dass es schwieriger wird, Daten zu verschieben, wenn immer mehr neue Daten eintreffen. Eine Data Fabric beseitigt die technologische Komplexität, die für die Datenverschiebung, -transformation und -integration erforderlich ist, und macht alle Daten unternehmensweit verfügbar.

Aber wie erreicht eine Data Fabric das?

Data Fabrics verwenden eine Reihe von Datendiensten. Um zu verstehen, wie es funktioniert, ist es hilfreich, drei grundlegende Komponenten zu erkunden: Datenvirtualisierung, föderierte aktive Metadaten und maschinelles Lernen.

Datenvirtualisierung macht Daten zugänglich, ohne sie physisch zu verschieben. Anstatt traditionelle ETL-Prozesse (Extrahieren, Transformieren, Laden) zu verwenden, stellt ein Datenvirtualisierungstool eine direkte Verbindung zu verschiedenen Quellen her und integriert nur die erforderlichen Metadaten. Anschließend wird eine virtuelle Datenschicht geschaffen, die es den Benutzern ermöglicht, Daten in Echtzeit zu suchen und darauf zuzugreifen, als ob sie sich in einem zentralen Repository befänden.

Durch die Föderierung aktiver Metadaten sind Daten leichter auffindbar und nutzbar. Im Gegensatz zu passiven Metadaten, die statisch sind und manuell kuratiert werden, verwenden föderierte aktive Metadaten semantische Wissensgraphen und KI/ML-Technologien, um Metadaten kontinuierlich zu analysieren, Muster zu erkennen und Daten über verschiedene Systeme und Formate hinweg zu vereinheitlichen.

Diese Systeme können Daten automatisch kennzeichnen, profilieren und klassifizieren. Sie können auch Warnungen oder Aktionen auf der Grundlage von Metadatenänderungen auslösen, wodurch Daten-Ökosysteme widerstandsfähiger werden und sich selbst verwalten.

Maschinelles Lernen automatisiert entscheidende Prozesse innerhalb einer Data Fabric und macht daraus eine fortschrittliche und intelligente Datenarchitektur. ML kann verwendet werden, um Governance-Richtlinien automatisch durchzusetzen, Erkenntnisse in Echtzeit zu generieren, Sicherheitslücken zu erkennen,die Datenabstammung zu verfolgen, Probleme mit der Datenqualität zu korrigieren und vieles mehr.

Während Data-Fabric-Architekturen je nach Geschäftsanforderung variieren, teilen sie gemeinsame Funktionen. Laut dem Forrester-Bericht „Enterprise Data Fabric Enables DataOps“ besteht eine Data Fabric in der Regel aus sechs grundlegenden Komponenten:²

1. Datenverwaltung: Diese Schicht ist für die Datenverwaltung, Sicherheit und Qualität verantwortlich.
   
   
2. Datenaufnahme: Diese Schicht kombiniert Daten aus verschiedenen Quellen (sowohl lokale als auch Cloud-Daten) im Fabric.
   
   
3. Datenverarbeitung: Diese Ebene transformiert, integriert und bereinigt Daten und macht sie für Teams im gesamten Unternehmen nutzbar.
   
   
4. Datenorchestrierung: Diese Schicht verwaltet die Bewegung von Daten über verschiedene Datensysteme hinweg, damit sie genutzt werden können.
   
   
5. Datenerkennung: Diese Schicht nutzt Datenkatalogisierung und Metadatenmanagement, damit Benutzer Daten leicht finden und verstehen können.
   
   
6. Datenzugriff: Diese Schicht erleichtert die Datennutzung mit Dashboards und anderen Datenvisualisierungstools und stellt die richtigen Berechtigungen sicher.

Neben der Verbesserung der allgemeinen Datenverwaltung und des Datenzugriffs bieten Data Fabrics auch die folgenden geschäftlichen Nutzen:

• Effizienzsteigerungen
• Datendemokratisierung
• Risikominderung
• Skalierbarkeit und Agilität