Erweiterte Datenverwaltung: Data Fabric vs. Data Mesh

Data Fabric und Data Mesh sind neue Datenverwaltungskonzepte, die den organisatorischen Wandel und die Komplexität des Verständnisses, der Verwaltung und der Arbeit mit Unternehmensdaten in einem hybriden Multicloud-Ökosystem bewältigen sollen. Die gute Nachricht ist, dass sich diese Datenarchitekturkonzepte gegenseitig ergänzen. Aber was genau sind Data Fabric und Data Mesh und wie können Sie diese Datenverwaltungslösungen nutzen, um für eine bessere Entscheidungsfindung von Ihren Unternehmensdaten zu profitieren?

Gartner definiert ein Data Fabric als „ein Designkonzept, das als integrierte Datenschicht und verbindende Prozesse dient. Ein Data Fabric nutzt kontinuierliche Analysen bestehender, auffindbarer und inferenzierter Metadaten, um das Design, die Bereitstellung und die Nutzung integrierter und wiederverwendbarer Datensätze in allen Umgebungen zu unterstützen, einschließlich hybrider und Multicloud-Plattformen. [1]

Der Data Fabric-Architekturansatz kann den Datenzugriff in einer Organisation vereinfachen und die Self-Service-Datennutzung in großem Maßstab ermöglichen. Dieser Ansatz bricht Silos auf und eröffnet neue Möglichkeiten für die Gestaltung von Data Governance, Datenintegration, einheitliche Kundenansichten und vertrauenswürdige KI-Implementierungen sowie andere Anwendungsfällen in der Industrie.

Da die Abstraktionsschicht eines Data Fabrics eindeutig metadatengesteuert ist, erleichtert sie die Modellierung, Integration und Abfrage beliebiger Datenquellen, den Aufbau von Daten-Pipelines und die Integration von Daten in Echtzeit. Ein Data Fabric optimiert auch die Ableitung von Erkenntnissen aus Daten durch eine bessere Daten-Observability und Datenqualität, indem sie manuelle Aufgaben über Datenplattformen hinweg mithilfe von maschinellem Lernen automatisiert. Dies verbessert die Produktivität der Datenentwicklung und die Time-to-Value für die Datennutzer.

Laut Forrester ist „ein Datennetz ein dezentralisierter soziotechnischer Ansatz für das Teilen von, den Zugriff auf und die Verwaltung von Analysedaten in komplexen und großen Umgebungen – innerhalb oder zwischen Unternehmen, die sie nutzen.“ [2]

Die Data-Mesh-Architektur ist ein Ansatz, bei dem Datenquellen nach Geschäftsdomänen oder Funktionen mit den Dateneigentümern abgeglichen werden. Durch die Dezentralisierung des Dateneigentums können die Dateneigentümer Datenprodukte für ihre jeweiligen Bereiche erstellen. Das bedeutet, dass Datennutzer, sowohl Data Scientists als auch Geschäftsanwender, eine Kombination dieser Datenprodukte für die Datenanalyse und Data Science verwenden können.

Der Wert des Data-Mesh-Ansatzes besteht darin, dass die Erstellung von Datenprodukten an Fachexperten im vorgelagerten Bereich verlagert wird, die die Geschäftsbereiche am besten kennen, anstatt sich auf Dateningenieure zu verlassen, die die Datenprodukte im nachgelagerten Bereich bereinigen und integrieren.

Darüber hinaus beschleunigt das Data Mesh die Wiederverwendung von Datenprodukten, indem es ein Veröffentlichen-und-Abonnieren-Modell ermöglicht und APIs nutzt, was es Datennutzern erleichtert, die benötigten Datenprodukte einschließlich zuverlässiger Updates zu erhalten.

Data Fabric und Data Mesh können nebeneinander existieren. Tatsächlich gibt es drei Möglichkeiten, wie ein Data Fabric die Implementierung eines Data Meshs ermöglicht:

1. Bietet Dateneigentümern Funktionen zur Erstellung von Datenprodukten wie die Katalogisierung von Daten-Assets, die Umwandlung von Assets in Produkte und die Befolgung föderierter Governance-Richtlinien
2. Ermöglicht Dateneigentümern und Datennutzern die Nutzung der Datenprodukte auf verschiedene Weise, z. B. durch die Veröffentlichung von Datenprodukten im Katalog, das Suchen und Finden von Datenprodukte und das Abfragen oder Visualisieren von Datenprodukten unter Nutzung der Datenvirtualisierung oder der Verwendung von APIs.
3. Nutzen von Erkenntnissen aus Data-Fabric-Metadaten, um Aufgaben zu automatisieren, indem im es Rahmen der Erstellung von Datenprodukten oder der Überwachung von Datenprodukten aus Mustern lernt.

 Wenn es um Datenverwaltung geht, bietet ein Data Fabric die erforderlichen Funktionen zur Implementierung und Nutzung eines Data Meshs, da es viele der Aufgaben automatisiert, die zum Erstellen von Datenprodukten und zur Verwaltung der Lebenszyklen von Datenprodukten notwendig sind. Unter Nutzung der Flexibilität einer Data-Fabric-Grundlage können Sie ein Data Mesh implementieren und so von einer anwendungsorientierten Datenarchitektur profitieren, unabhängig davon, ob sich Ihre Daten lokal oder in der Cloud befinden.