Was ist Datenherkunft?

Daten sollten niemals ein Rätsel sein. Da Big Data jedoch weiter wächst, können sie schnell zu einem werden. Um ihre Geschäftsinteressen sowie die Interessen ihrer Mitarbeitern und Kunden zu schützen, müssen Unternehmen wissen, wo die Daten entstanden sind und wie sie sich durch die Pipeline bewegen und umgewandelt werden.

Für ein Unternehmen, das den größtmöglichen Nutzen aus seinen Daten ziehen möchte, sind Methoden zum Verständnis der Datenherkunft unerlässlich, um Authentizität, Zuverlässigkeit und Datenintegrität zu erhalten. Die Herkunft sorgt für Transparenz bei Forschern und Datenanalysten und bietet eine Informationskette, in der Dateneigner oder Data Scientists Datenprobleme verfolgen können, wenn die Daten für neue Zwecke angepasst werden. Diese umfassende Aufzeichnung gewährleistet, dass die Daten im Entscheidungsprozess korrekt und zuverlässig sind. Wenn Führungskräfte von der Authentizität ihrer Daten überzeugt sind, können sie fundiertere und wirkungsvollere Entscheidungen treffen. Transparenz in der Forschung ist entscheidend für die Nachnutzung und Reproduzierbarkeit von Forschungsergebnissen und schafft eine solide Grundlage für die Datenintegrität.

Datenherkunft und Datenabstammung sind eng miteinander verknüpfte Konzepte, dienen aber unterschiedlichen Zwecken. Datenabstammung verfolgt die Bewegung und Umwandlung von Daten oder Datensätzen durch verschiedene Systeme, Prozesse und Anwendungen, wobei der Schwerpunkt darauf liegt, wie die Daten fließen und sich verändern.

Die Datenherkunft ist die Aufzeichnung von Metadaten aus der Quelle der Daten, die den historischen Kontext und die Authentizität liefern. Während die Datenabstammung zur Optimierung und Fehlerbehebung von Datenpipelines beiträgt, hilft die Datenherkunft bei der Validierung und Prüfung von Daten.

Bei der Datenherkunft werden verschiedene Technologien eingesetzt, um die Vertrauenswürdigkeit von Daten zu verbessern. Dabei geht es darum, Daten von ihrer Erstellung über mehrere Umwandlungen bis hin zu ihrem aktuellen Zustand zu verfolgen und einen detaillierten Verlauf des Lebenszyklus der einzelnen Datenbestände nachzuzeichnen. Abhängigkeiten in Daten verdeutlichen die Beziehungen zwischen Datensätzen, Umwandlungen und Prozessen, bieten einen ganzheitlichen Überblick über die Datenherkunft und zeigen, wie sich Änderungen in einem Teil der Datenpipeline auf andere auswirken können. Wenn es eine Diskrepanz in den Daten gibt, helfen Abhängigkeiten, das Problem auf den spezifischen Prozess, den Ersteller oder den Datensatz zurückzuführen, der es verursacht hat.

Algorithmen werden in diesem Prozess häufig verwendet, um den Datenfluss durch verschiedene Systeme automatisch zu erfassen und zu dokumentieren, was den manuellen Aufwand reduziert und Fehler minimiert. Sie zertifizieren Konsistenz und Genauigkeit, indem sie die Datenverarbeitung standardisieren und die Verfolgung von Datenumwandlungen in Echtzeit ermöglichen. Fortschrittliche Algorithmen können Anomalien oder ungewöhnliche Muster erkennen, um potenzielle Datenintegritätsprobleme oder Sicherheitslücken zu identifizieren. Zur Identifizierung von Ineffizienzen und Einhaltung von Vorschriften verwenden Unternehmen auch Algorithmen und stellen detaillierte und genaue Aufzeichnungen für behördliche Anforderungen bereit.

APIs werden verwendet, um eine nahtlose Integration und Kommunikation zwischen verschiedenen Systemen, Tools und Datenquellen zu ermöglichen. Sie ermöglichen die automatische Erfassung, den Austausch und die Aktualisierung von Herkunftsinformationen über verschiedene Plattformen hinweg, was die Genauigkeit und Vollständigkeit der Herkunftsaufzeichnungen verbessert.

Die Datenherkunft bietet Unternehmen den notwendigen Kontext, um Richtlinien, Standards und Praktiken durchzusetzen, die die Verwendung von Daten innerhalb des Unternehmens regeln. Mehrere Tools unterstützen die Datenherkunft, darunter das CamFlow-Projekt, das Open Source-System Kepler für wissenschaftliche Workflows, Linux® Provenance Modules und das Open Provenance Model. Diese Tools sowie Tools zu Datenabstammung, Governance, Management und Observability bilden eine umfassende und effiziente Datenpipeline.

Das Thema Datenherkunft ist schwierig, da es darum geht, die gesamte Historie eines Datenpunkts aus Einzelteilen zusammenzusetzen, einschließlich seiner Quelle und aller Änderungen über verschiedene Systeme hinweg. Es ist wichtig zu bestätigen, dass die Herkunftsinformationen selbst sicher und zuverlässig sind. Die Integration verschiedener Datenquellen, die Verwendung von Standardformaten für Informationen zur Herkunft und der Schutz sensibler Metadaten vor unbefugtem Zugriff stellen für viele Unternehmen eine Herausforderung dar.

Unternehmen sollten ein Data Governance-Framework einrichten, das Regeln und Standards für die Datenverwaltung, einschließlich der Herkunftsnachverfolgung, festlegt, damit die Datenherkunft effektiv verwaltet wird. Die Implementierung von Tracking-Tools wie Blockchain und DLT (Data Lineage Tools) kann den Tracking-Prozess automatisieren und die Genauigkeit der Metadatensätze zur Herkunft verbessern. Die Förderung einer Kultur der Datenverwaltung und -aufklärung hilft den Mitarbeitern, die Wichtigkeit der Datenherkunft zu verstehen, und veranlasst sie, sich an der Pflege korrekter Aufzeichnungen zu beteiligen.

Die Förderung strategischer datenbasierter Initiativen, die mit messbaren wesentlichen Leistungsindikatoren (Key Performance Indicators – KPIs) verknüpft sind, ist unerlässlich, um die Verfahren zur Datenherkunft in den täglichen Betrieb und in der Kultur des Unternehmens zu verankern. Gut entwickelte Initiativen gewährleisten eine kontinuierliche Verbesserung und Einhaltung der sich entwickelnden Vorschriften und tragen dazu bei, mit dem technologischen Fortschritt Schritt zu halten.