Was ist Datenbeobachtbarkeit?

Bei der Daten-Observability geht es darum, einen tatsächlichen Überblick über den Zustand Ihrer Daten und den Zustand Ihres gesamten Daten-Ökosystems zu erhalten. Dies umfasst eine Vielzahl von Aktivitäten, die über die herkömmliche Überwachung hinausgehen, bei der lediglich ein Problem beschrieben wird. Daten-Observability kann helfen, Datenprobleme nahezu in Echtzeit zu identifizieren, zu beheben und zu lösen.

Um Probleme mit fehlerhaften Daten zu vermeiden, ist der Einsatz von Tools zur Daten-Observability unerlässlich. Nur so lässt sich Datenzuverlässigkeit erreichen. Diese Tools ermöglichen eine automatische Überwachung, Triage-Alerts, Nachverfolgung, Vergleiche, Ursachenanalyse, Protokollierung, Ermittlung der Datenabstammung und die Nachverfolgung von Service Level Agreements (SLAs), die allesamt dazu beitragen, die Datenqualität von Anfang bis Ende zu verstehen – einschließlich der Zuverlässigkeit der Daten.

Die Implementierung einer Daten-Observability-Lösung ist besonders wichtig für moderne Datenteams, in denen Daten genutzt werden, um Erkenntnisse zu gewinnen, maschinelle Lernmodelle zu entwickeln und Innovationen voranzutreiben. Das stellt sicher, dass Daten ein wertvolles Asset bleiben und nicht zu einer potenziellen Belastung werden.

Daten-Observability muss durchgängig über den gesamten Lebenszyklus der Daten angewendet werden. Auf diese Weise werden alle beteiligten Datenverwaltungsaktivitäten standardisiert und teamübergreifend zentralisiert, um einen klaren und ununterbrochenen Überblick über Probleme und Auswirkungen im gesamten Unternehmen zu erhalten.

Daten-Observability ist die natürliche Weiterentwicklung der Datenqualitätsbewegung, die die Praxis der Datenoperationen (DataOps) ermöglicht.

Schlicht und einfach gesagt, glauben die meisten Unternehmen, dass ihre Daten unzuverlässig sind:

• 82 % geben an, dass Datenqualitätsprobleme ein Hindernis für Datenintegrationsprojekte darstellen¹
• 80 % der Führungskräfte vertrauen ihren Daten nicht²

Die Auswirkungen dieser mangelhaften Daten dürfen nicht unterschätzt werden. Im Mai 2022 stellte Unity Software fest, dass es fehlerhafte Daten von einem Großkunden übernommen hatte, was zu einem 30-prozentigen Einbruch der Aktien des Unternehmens führte³ und das Unternehmen letztlich 110 Millionen US-Dollar an entgangenen Einnahmen kostete⁴.

Bisher war es schwierig, fehlerhafte Daten zu erkennen, bevor es zu spät war. Anders als bei einem Anwendungsausfall, der sich sofort auf Tausende von Benutzern auswirkt, können Unternehmen eine ganze Weile unwissentlich mit fehlerhaften Daten arbeiten. Ein Vertriebsteam würde zum Beispiel sofort merken, wenn ein Salesforce-Dashboard nicht geladen wird, aber man weiß nicht, wie lange es dauern würde, bis es herausfindet, dass ein Dashboard falsche Daten anzeigt.

Daten-Observability ist die beste Verteidigung zum Schutz vor fehlerhaften Daten. Sie überwacht die Datenpipelines, um sicherzustellen, dass die Daten vollständig, genau und rechtzeitig bereitgestellt werden. So können Datenteams Datenausfälle verhindern, Daten-SLAs einhalten und das Vertrauen des Unternehmens in die Daten, die ihm angezeigt werden, aufrechterhalten.

Moderne Datensysteme bieten eine Vielzahl von Funktionen, mit denen Benutzer ihre Daten auf viele verschiedene Arten speichern und abfragen können. Je mehr Funktionalitäten Sie hinzufügen, desto komplizierter wird es natürlich, sicherzustellen, dass Ihr System korrekt funktioniert. Dazu gehören:

Bisher wurde die Dateninfrastruktur für die Verarbeitung kleiner Datenmengen – in der Regel Betriebsdaten aus einigen wenigen internen Datenquellen – aufgebaut, und es wurde nicht erwartet, dass sich die Daten sehr stark ändern würden. Viele Datenprodukte verlassen sich heute allerdings auf Daten aus internen und externen Quellen, und das enorme Volumen und die Geschwindigkeit, mit der diese Daten erfasst werden, kann zu unerwarteten Abweichungen, Schemaänderungen, Konvertierungen und Verzögerungen führen.

Wenn mehr Daten aus externen Datenquellen aufgenommen werden, müssen Sie alle diese Daten in sämtliche andere Formate konvertieren und anschließend strukturieren und aggregieren, damit sie genutzt werden können. Noch schlimmer ist jedoch, dass eine Änderung dieser Formate zu einem Dominoeffekt von Fehlern in den Folgeprozessen führt, da sich die streng codierte Logik nicht an das neue Schema anpasst.

Komplexe Aufnahmepipelines haben einen Markt für Tools geschaffen, die diesen End-to-End-Prozess vereinfachen, indem sie die Aufnahme und den Prozess des Extrahierens, Transformierens und Ladens (ETL) bzw. Extrahierens, Ladens und Transformierens (ELT) weitgehend automatisieren. Wenn Sie diese Tools miteinander kombinieren, erhalten Sie eine Datenplattform, die von der Analysebranche als „moderner Datenstack“ oder MDS bezeichnet wird. Das Ziel des MDS ist es, die Zeit zu verkürzen, die benötigt wird, um die Daten für die Endbenutzer (in der Regel Analysten) zur Verfügung zu stellen, damit diese schneller mit der Nutzung der Daten beginnen können. Doch je mehr Sie automatisieren, desto weniger Kontrolle haben Sie darüber, wie die Daten bereitgestellt werden. Diese Unternehmen müssen benutzerdefinierte Datenpipelines aufbauen, um besser gewährleisten zu können, dass die Daten wie erwartet geliefert werden.

Der Datenbetrieb (Data Operations, DataOps) ist ein Workflow, der eine agile Bereitstellungspipeline und eine Feedbackschleife ermöglicht, damit Unternehmen ihre Produkte effizienter erstellen und pflegen können. DataOps ermöglicht es Unternehmen, in allen Phasen ihrer Analyseprojekte, vom Prototyping bis zur Produktbereitstellung, dieselben Tools und Strategien zu verwenden.

Der DataOps-Zyklus beschreibt die grundlegenden Aktivitäten, die zur Verbesserung der Datenverwaltung im DataOps-Workflow erforderlich sind. Dieser Zyklus besteht aus drei verschiedenen Phasen: Erkennung, Bewusstsein und Iteration.

Es ist wichtig, dass dieser Zyklus mit der Erkennung beginnt. Denn das Fundament der DataOps-Bewegung basiert auf einer Datenqualitätsinitiative.

Diese erste Phase des DataOps-Zyklus konzentriert sich auf die Validierung. Dazu gehören die gleichen Datenqualitätsprüfungen, die seit der Einführung des Data Warehouse verwendet wurden. Sie untersuchten Spaltenschemata und Validierungen auf Zeilenebene. Im Grunde stellen Sie damit sicher, dass alle Datensätze den Geschäftsregeln in Ihrem Datensystem entsprechen.

Dieses Framework für die Datenqualität in der Erkennungsphase ist zwar wichtig, aber von Natur aus reaktionär. Dadurch können Sie erkennen, ob die Daten, die bereits in Ihrem Data Lake oder Data Warehouse gespeichert sind (und wahrscheinlich bereits genutzt werden), in der von Ihnen erwarteten Form vorliegen.

Wichtig ist auch, dass Sie Datensätze validieren und Geschäftsregeln befolgen, die Sie kennen. Wenn Sie die Ursachen von Problemen nicht kennen, können Sie keine neuen Geschäftsregeln für Ihre Entwickler und Techniker aufstellen. Diese Erkenntnis verstärkt die Nachfrage nach einem Ansatz zur kontinuierlichen Daten-Observability, der direkt in alle Phasen Ihres Datenlebenszyklus eingebunden ist, angefangen bei Ihren Quelldaten.

Bewusstsein ist eine auf Sichtbarkeit ausgerichtete Stufe der DataOps-Phase. An dieser Stelle kommt das Gespräch über Data Governance ins Spiel und ein Ansatz, bei dem Metadaten an erster Stelle stehen, wird eingeführt. Durch die Zentralisierung und Standardisierung von Pipeline- und Datensatzmetadaten in Ihrem Datenökosystem erhalten Teams Einblick in Probleme innerhalb des gesamten Unternehmens.

Die Zentralisierung von Metadaten ist von entscheidender Bedeutung, um dem Unternehmen einen Überblick über den gesamten Zustand seiner Daten zu verschaffen. Auf diese Weise können Sie einen proaktiveren Ansatz zur Lösung von Datenproblemen verfolgen. Wenn fehlerhafte Daten in Ihre „Domäne“ gelangen, können Sie den Fehler bis zu einem bestimmten Punkt in Ihrem Datensystem zurückverfolgen. So kann sich beispielsweise das Data-Engineering-Team A die Pipelines von Data-Engineering-Team B ansehen und verstehen, was los ist, und mit ihnen zusammenarbeiten, um das Problem zu beheben.

Das funktioniert auch umgekehrt. Das Data-Engineering-Team B kann ein Problem erkennen und nachvollziehen, welche Auswirkungen es auf nachgelagerte Abhängigkeiten hat. Das bedeutet, dass das Data-Engineering-Team A weiß, dass ein Problem auftreten wird, und alle notwendigen Maßnahmen ergreifen kann, um es einzudämmen.

Hier konzentrieren sich die Teams auf Data-as-Code. Diese Phase im Zyklus ist prozessorientiert. Teams stellen sicher, dass sie über wiederholbare und nachhaltige Standards verfügen, die auf alle Datenentwicklungen angewendet werden. So lässt sich gewährleisten, dass sie am Ende dieser Pipelines die gleichen vertrauenswürdigen Daten erhalten.

Die schrittweise Verbesserung des Gesamtzustands der Datenplattform wird nun durch die Erkennung von Problemen, das Bewusstsein für die vorgelagerten Ursachen und effiziente Prozesse für die Iteration ermöglicht.

Eine gut umgesetzte Strategie zur Daten-Observability kann eine Reihe von Vorteilen bieten, die zu einer besseren Datenqualität, Entscheidungsfindung, Zuverlässigkeit und allgemeinen Unternehmensleistung beitragen. Dazu gehören:

Zusammen bieten die fünf Säulen der Daten-Observability wertvolle Einblicke in die Qualität und Zuverlässigkeit Ihrer Daten.

Die Aktualität beschreibt, wie aktuell Ihre Daten sind und wie häufig sie aktualisiert werden. Veraltete Daten treten auf, wenn es große Lücken in der Zeit gibt, in der die Daten nicht aktualisiert worden sind. Wenn Datenpipelines nicht funktionieren, liegt das oft an einem Aktualitätsproblem.

Die Verteilung ist ein Indikator für den Zustand Ihrer Daten auf Feldebene und gibt an, ob die Daten in einen akzeptierten Bereich fallen oder nicht. Abweichungen von der erwarteten Verteilung können auf Datenqualitätsprobleme, Fehler oder Änderungen in den zugrundeliegenden Datenquellen hinweisen.

Das Volumen bezieht sich auf die Menge an Daten, die generiert, aufgenommen, umgewandelt und durch verschiedene Prozesse und Pipelines bewegt werden. Es bezieht sich auch auf die Vollständigkeit Ihrer Datentabellen. Das Volumen ist ein wichtiger Indikator dafür, ob Ihre Datenaufnahme die erwarteten Schwellenwerte erreicht oder nicht.

Das Schema beschreibt die Organisation Ihrer Daten. Schemaänderungen führen häufig zu fehlerhaften Daten. Die Daten-Observabilität gewährleistet, dass Ihre Daten konsistent organisiert, mit verschiedenen Systemen kompatibel und während ihres gesamten Lebenszyklus in ihrer Integrität erhalten bleiben.

Der Zweck der Abstammung besteht darin, die Frage „Wo?“ zu beantworten, wenn Daten nicht mehr funktionieren. Dabei werden die Daten von der Quelle bis zum Endpunkt betrachtet und alle Änderungen notiert, einschließlich der Frage, was sich geändert hat, warum es sich geändert hat und wie es sich auf dem Weg dahin geändert hat. Die Abstammung wird meistens visuell dargestellt.

Daten-Observability unterstützt die Datenqualität, aber es handelt sich dabei um zwei unterschiedliche Aspekte der Datenverwaltung.

Die Methoden der Daten-Observability können zwar auf Qualitätsprobleme in Datensätzen hinweisen, aber sie können allein keine gute Datenqualität garantieren. Sie müssen sich darum bemühen, Datenprobleme zu beheben und zu verhindern, dass sie überhaupt entstehen. Andererseits kann ein Unternehmen auch dann eine hohe Datenqualität aufweisen, wenn es keine Initiative zur Daten-Observability einführt.

Bei der Überwachung der Datenqualität wird gemessen, ob der Zustand der Datensätze gut genug für die beabsichtigte Verwendung in operativen und analytischen Anwendungen ist. Um dies festzustellen, werden die Daten auf der Grundlage verschiedener Qualitätsdimensionen wie Genauigkeit, Vollständigkeit, Konsistenz, Gültigkeit, Zuverlässigkeit und Aktualität untersucht.

Daten-Observability und Data Governance sind einander ergänzende Prozesse, die sich gegenseitig unterstützen.

Data Governance soll sicherstellen, dass die Daten eines Unternehmens verfügbar, nutzbar, konstant und sicher sind und dass sie gemäß internen Standards und Richtlinien verwendet werden. Governance-Programme umfassen oft Bemühungen zur Verbesserung der Datenqualität oder sind eng damit verknüpft.

Ein solides Data Governance-Programm hilft dabei, Datensilos, Datenintegrationsprobleme und schlechte Datenqualität zu beseitigen, die den Wert der Daten-Observability-Praktiken einschränken können.

Daten-Observability kann das Governance-Programm durch die Überwachung von Änderungen der Datenqualität, -verfügbarkeit und -abstammung unterstützen.

Daten-Observability ist nicht überall gleich. Welche Kontextebenen Sie erreichen können, hängt davon ab, welche Metadaten Sie erfassen und einsehbar machen können. Dies wird als die Hierarchie der Daten-Observability bezeichnet. Jede Ebene ist eine Grundlage für die nächste und ermöglicht es Ihnen, eine immer detailliertere Observability zu erreichen.

Eine solide Grundlage für jedes Framework zur Daten-Observability ist der Einblick in den Zustand Ihrer Betriebsabläufe und Datensätze.

Die Überwachung des Zustands von Datensätzen bezieht sich auf die Überwachung Ihres Datensatzes als Ganzes. Sie erhalten Einblick in den Zustand Ihrer Daten, während sie an einem festen Ort gespeichert werden, was als „Daten im Ruhezustand“ bezeichnet wird.

Die Datensatzüberwachung beantwortet u. a. folgende Fragen:

• Ist dieser Datensatz rechtzeitig angekommen?
• Wird dieser Datensatz so oft wie nötig aktualisiert?
• Ist das erwartete Datenvolumen in diesem Datensatz verfügbar?

Die operative Überwachung bezieht sich auf die Überwachung des Zustands Ihrer Pipelines. Diese Art der Überwachung verschafft Ihnen einen Überblick über den Zustand Ihrer Daten, während sie konvertiert werden und Ihre Pipelines durchlaufen. Dieser Datenstatus wird als „Daten in Bewegung“ bezeichnet.

Die Überwachung der Pipeline beantwortet u. a. folgende Fragen:

• Wie wirkt sich die Pipeline-Leistung auf die Qualität der Datensätze aus?
• Unter welchen Bedingungen gilt eine Ausführung als erfolgreich?
• Welche Vorgänge sorgen für eine Konvertierung des Datensatzes, bevor er den Data Lake das Data Warehouse erreicht?

Obwohl die Überwachung von Datensätzen und Datenpipelines in der Regel in zwei verschiedene Aktivitäten aufgeteilt wird, ist es für eine Observability als solide Grundlage unerlässlich, sie miteinander zu verbinden. Diese beiden Zustände sind eng miteinander verknüpft und voneinander abhängig. Wenn Sie diese beiden Aktivitäten in verschiedene Tools oder Teams auslagern, wird es schwieriger, einen Überblick über den Zustand Ihrer Daten zu erhalten.

Die Profilerstellung auf Spaltenebene ist der Schlüssel zu dieser Hierarchie. Sobald eine solide Grundlage dafür angelegt wurde, erhalten Sie mit der Profilerstellung auf Spaltenebene die Erkenntnisse, die Sie brauchen, um neue Geschäftsregeln für Ihr Unternehmen festzulegen und vorhandene Geschäftsregeln auf Spaltenebene anstatt nur auf Zeilenebene durchzusetzen.

Auf diese Weise können Sie Ihr Datenqualitätssystem auf eine sehr umsetzbare Weise verbessern.

Es ermöglicht Ihnen die Beantwortung von Fragen wie:

• Was ist der erwartete Bereich für eine Spalte?
• Was ist das erwartete Schema dieser Spalte?
• Wie einzigartig ist diese Spalte?

Von hier aus können Sie zur letzten Ebene der Observability übergehen: der Validierung auf Zeilenebene. Dabei werden die Datenwerte in jeder Zeile überprüft und bestätigt, dass sie korrekt sind.

Diese Art der Observability berücksichtigt Folgendes:

• Liegen die Datenwerte in jeder Zeile in der erwarteten Form vor?
• Haben die Datenwerte genau die erwartete Länge?
• Gibt es in diesem Zusammenhang genügend Informationen, die für den Endnutzer nützlich sind?

Wenn Unternehmen bei der Validierung auf Zeilenebene einen Tunnelblick bekommen, wird es schwierig und man kann den Wald vor lauter Bäumen nicht mehr sehen. Durch die Entwicklung eines Observability-Frameworks, das mit der Überwachung von Betriebsabläufen und Datensätzen beginnt, erhalten Sie einen umfassenden Überblick über den Zustand Ihrer Daten und können gleichzeitig die Ursache von Problemen und deren Auswirkungen auf die nachgelagerten Bereiche erkennen.

Im Folgenden finden Sie die wichtigsten Schritte, die in der Regel für die Entwicklung einer erfolgreichen Observability-Pipeline erforderlich sind. Der Prozess umfasst die Integration verschiedener Tools und Technologien sowie die Zusammenarbeit unterschiedlicher Teams innerhalb eines Unternehmens.

• Definition wichtiger Metriken: Ermitteln Sie zunächst die kritischen Metriken, die Sie nachverfolgen müssen. Dies kann Datenqualitätsmetriken, Datenvolumen, Latenz, Fehlerraten und Ressourcennutzung umfassen. Die Auswahl der Metriken hängt von Ihren spezifischen Geschäftsanforderungen und der Art Ihrer Daten-Pipeline ab.
  
  
• Auswahl geeigneter Tools: Wählen Sie als Nächstes die Tools aus, die Sie für die Datenerfassung, Speicherung, Analyse und das Versenden von Alerts benötigen. Stellen Sie sicher, dass die von Ihnen ausgewählten Tools, einschließlich Open-Source-Tools, mit Ihrer vorhandenen Infrastruktur kompatibel sind und den Umfang Ihrer Aktivitäten bewältigen können.
  
  
• Standardisierung der Bibliotheken: Schaffen Sie eine Infrastruktur, die es den Teams ermöglicht, die gleiche Sprache zu sprechen und offen über Probleme zu kommunizieren. Dazu gehören standardisierte Bibliotheken für die API- und Datenverwaltung (z. B. Abfragen von Data Warehouse, Lesen/Schreiben aus dem Data Lake, Abrufen von Daten aus APIs usw.) und Datenqualität.
  
  
• Instrumentierung Ihrer Daten-Pipeline: Die Instrumentierung beinhaltet die Integration von Datenerfassungsbibliotheken oder -agenten in Ihre Datenpipeline. So können Sie die definierten Metriken aus verschiedenen Phasen Ihrer Pipeline erfassen. Ziel ist es, umfassende Transparenz zu erreichen. Deshalb ist es wichtig, dass jede entscheidende Phase instrumentiert ist.
  
  
• Einrichtung einer Datenspeicherlösung: Die gesammelten Metriken müssen in einer Datenbank oder einer Zeitreihenplattform gespeichert werden, die mit dem Wachstum Ihrer Daten mithalten kann. Stellen Sie sicher, dass die von Ihnen gewählte Speicherlösung das Volumen und die Geschwindigkeit Ihrer Daten bewältigen kann.
  
  
• Implementierung von Datenanalyse-Tools: Diese Tools helfen, Erkenntnisse aus den gespeicherten Metriken abzuleiten. Für eine detailliertere Analyse sollten Sie Tools verwenden, die intuitive Visualisierungen ermöglichen und komplexe Abfragen unterstützen.
  
  
• Konfiguration von Alerts und Benachrichtigungen: Erstellen Sie ein System zum Senden automatisierter Alerts, wenn vordefinierte Schwellenwerte überschritten werden oder Abweichungen erkannt werden. So kann Ihr Team schnell auf Probleme reagieren und mögliche Ausfallzeiten minimieren.
  
  
• Integration mit Plattformen für das Incident Management: Neben der Erkennung von Problemen geht es bei der Observability auch um das effektive Management von Problemen. Durch die Integration Ihrer Observability-Pipeline in ein Incident-Management-System können Sie Ihre Antwort-Workflows optimieren.
  
  
• Regelmäßige Überprüfung und Aktualisierung Ihrer Observability-Pipeline: So wie sich Ihr Unternehmen weiterentwickelt, werden auch Ihre Daten und Anforderungen wachsen. Die regelmäßige Überprüfung und Aktualisierung Ihrer Observability-Pipeline stellt sicher, dass sie auch weiterhin die erforderlichen Erkenntnisse und die erforderliche Leistung bereitstellt.

Die Entwicklung einer Observability-Pipeline ist ein kontinuierlicher Prozess des Lernens und der Optimierung. Es ist wichtig, klein anzufangen, aus den Erfahrungen zu lernen und Ihre Observability-Funktionen schrittweise zu erweitern.