Datenarchitekturstrategie für Datenqualität

Schlechte Datenqualität ist eines der größten Hindernisse für Unternehmen, die stärker datenorientiert arbeiten wollen. Unpassende Geschäftsentscheidungen und fehlerhafte Geschäftsprozesse, verpasste Umsatzchancen, gescheiterte Geschäftsinitiativen und komplexe Datensysteme können alle auf Probleme mit der Datenqualität zurückzuführen sein. Schon ein einziges dieser Probleme kann ein Unternehmen teuer zu stehen kommen. Sich mit all dem auseinandersetzen zu müssen, kann sehr schwierig sein.

Mehrere Faktoren bestimmen die Qualität Ihrer Unternehmensdaten, wie beispielsweise Genauigkeit, Vollständigkeit und Konsistenz, um nur einige zu nennen. Aber es gibt noch einen anderen Faktor der Datenqualität, der nicht die Anerkennung bekommt, die er verdient: Ihre Datenarchitektur.

Die richtige Datenarchitektur kann Ihrem Unternehmen helfen, die Datenqualität zu verbessern, da sie ein Framework bietet, das bestimmt, wie Daten für Business Intelligence- und Data Science-Anwendungsfälle gesammelt, transportiert, gespeichert, gesichert, genutzt und geteilt werden.

Die erste Generation von Datenarchitekturen, repräsentiert durch Enterprise Data Warehouse- und Business Intelligence-Plattformen, war durch Tausende von ETL-Jobs, Tabellen und Berichten gekennzeichnet, die nur eine kleine Gruppe spezialisierter Dateningenieure verstand, was zu einem nicht voll ausgeschöpften positiven Einfluss auf das Geschäft führte. Big-Data-Plattformen der nächsten Generation und lang andauernde Batch-Jobs, die von einem zentralen Team von Dateningenieuren betrieben werden, haben oft zu Data Lake-Sümpfen geführt.

Beide Ansätze waren typischerweise monolithische und zentralisierte Architekturen, die um mechanische Funktionen wie Datenaufnahme, Verarbeitung, Reinigung, Aggregation und Bereitstellung organisiert waren. Dies führte zu einer Reihe organisatorischer und technologischer Engpässe, die die Integration und -skalierung in mehreren Dimensionen behinderten: ständige Veränderung der Datenlandschaft, Verbreitung von Datenquellen und Datennutzern, Vielfalt der Transformation und der Datenverarbeitung, die die Anwendungsfälle erfordern, und Geschwindigkeit der Reaktion auf Veränderungen.

Eine moderne Datenarchitektur wie Data Mesh und Data Fabric zielt darauf ab, neue Datenquellen einfach zu verbinden und die Entwicklung von Anwendungsfall-spezifischen Datenpipelines über lokal, Hybrid- und Multicloud-Umgebungen zu beschleunigen. In Kombination mit einem effektiven Datenlebenszyklusmanagement, das sich zu einem datenbasierten Produktmanagement weiterentwickelt, kann eine moderne Datenarchitektur Ihrem Unternehmen Folgendes bieten:

• Datenverantwortlichen ermöglichen, die Einhaltung der Datenschutzbestimmungen sowie den Datenschutz und die Datensicherheit sicherzustellen
• Das Vertrauen in Daten stärken, indem Sie einen Überblick darüber erhalten, woher die Daten stammen, wie sie sich verändert haben und wer sie verwendet
• Die Datenqualität näher an der Quelle überwachen und identifizieren, um die potenziellen Auswirkungen auf nachgelagerte Prozesse oder Workloads zu minimieren
• Datenplattformen und neuen Technologien für eine effektive Datenverwaltung effizient einführen
• Metadaten anwenden, um vorhandene und neue Daten zu kontextualisieren, damit sie durchsuchbar und auffindbar sind
• Datenprofilierung durchführen (der Prozess der Untersuchung, Analyse und Erstellung von Zusammenfassungen von Datensätzen)
• Datenredundanz und -fragmentierung reduzieren

Da Ihre Datenarchitektur vorgibt, wie Ihre Datenassets und Datenverwaltungsressourcen strukturiert sind, spielt sie eine kritische Rolle für die Effektivität Ihres Unternehmens bei der Erfüllung dieser Aufgaben. Das heißt, die Datenarchitektur ist ein grundlegendes Element Ihrer Geschäftsstrategie für eine höhere Datenqualität. Die kritischen Funktionen moderner, qualitativ hochwertiger Datenqualitätsmanagementlösungen erfordern von Unternehmen Folgendes:

• Setzen Sie die Data Governance im gesamten Unternehmen durch, indem Sie manuelle Datenqualitätsprozesse mit Metadaten und KI-bezogenen Technologien erweitern (Link befindet sich außerhalb von ibm.com)
  
• Führen Sie eine Überwachung der Datenqualität anhand vorkonfigurierter Regeln durch
• Erstellen Sie eine Datenmodellierungslinie, um eine Ursachenanalyse von Datenqualitätsproblemen durchzuführen
• Machen Sie den Wert eines Datensatzes sofort verständlich
• Achten Sie auf angemessene Datenhygiene an allen Schnittstellen

Eine Strategie kann Data Architects dabei helfen, eine Datenarchitektur zu erstellen und umzusetzen, die die Datenqualität verbessert. Zu den Schritten zur Entwicklung einer effektiven Datenstrategie gehören:

Ein Finanzinstitut könnte beispielsweise versuchen, die Einhaltung regulatorischer Vorgaben zu verbessern, die Kosten zu senken und die Einnahmen zu steigern. Stakeholder können geschäftliche Anwendungsfälle für bestimmte Datentypen identifizieren, beispielsweise die Durchführung von Analysen auf Echtzeitdaten während der Datenerfassung, um die Entscheidungsfindung zu automatisieren und so Kostensenkungen zu erzielen.

Dieser Schritt umfasst die Identifizierung und Katalogisierung aller Daten innerhalb des Unternehmens in einem zentralen oder dezentralen Bestand, wodurch Silos beseitigt werden. Die Liste sollte angeben, wo sich jeder Datensatz befindet und welche Anwendungen und Anwendungsfälle darauf basieren. Wählen Sie als Nächstes die für Ihren wichtigsten Anwendungsfall benötigten Daten aus und priorisieren Sie die Datenbereiche, die sie enthalten.

Eine einheitliche Namenskonvention und ein abgestimmtes Datenformat (Datenklassen) für die im gesamten Unternehmen verwendeten Daten tragen dazu bei, Datenkonsistenz und Interoperabilität über Abteilungen (Bereiche) und Anwendungsfälle hinweg zu gewährleisten.

Entscheiden Sie sich für die Änderungen, die Ihre Daten optimieren, um Ihre Geschäftsziele zu erreichen. Eine Recherche zu den verschiedenen Arten moderner Datenarchitekturen, wie z. B. Data Fabric und Data Mesh, kann Ihnen bei der Entscheidung für die für Ihre Geschäftsanforderungen am besten geeignete Datenstruktur helfen.

Erstellen Sie KPIs und nutzen Sie erweiterte Analysefunktionen, die den Erfolg Ihrer Architektur mit der Qualität ihrer Unterstützung der Datenqualität verknüpfen.

Unternehmen können einen Rollout-Plan für die Implementierung von Datenarchitektur und Governance in drei bis vier Datenbereichen pro Quartal entwickeln.

Eine gut konzipierte Datenarchitektur schafft durch Transparenz und Standardisierung die Grundlage für Datenqualität und prägt die Art und Weise, wie das Unternehmen Daten betrachtet, nutzt und darüber spricht.

Wie bereits erwähnt, ist eine Data Fabric eine solche Architektur. Eine Data Fabric automatisiert die Datenerkennung, die Datenverwaltung und das Datenqualitätsmanagement und vereinfacht den Self-Service-Datenzugriff auf Daten, die über eine Hybrid Cloud-Landschaft verteilt sind. Sie kann Anwendungen umfassen, die Daten generieren und verwenden, sowie zahlreiche Datenspeicher-Repositorys wie Data Warehouse, Data Lake (die riesige Mengen an Big Data speichern), NoSQL-Datenbanken (die unstrukturierte Daten speichern) und relationale Datenbanken, die SQL verwenden.

Mehr erfahren über die Vorteile von Data Fabric und IBM Cloud Pak for Data.