IBM watsonx.data intelligence erweitert seine OpenLineage-Unterstützung um Custom Lineage Mappings, eine Erweiterung, die diese verborgenen Datenverbindungen sichtbar macht.
Viele entscheidende Datenströme laufen über maßgeschneiderte Systeme, ETL-Tools und Altanwendungen, die nicht automatisch von Standardlösungen erfasst werden. Diese unsichtbaren Verbindungen verschleiern Abhängigkeiten, verlangsamen Prüfungen und schwächen sowohl die Governance als auch die KI-Bereitschaft.
Automatisierte Scanner decken viele moderne Plattformen ab, aber ein Großteil des Datenflusses findet immer noch in benutzerdefinierten Skripten, Pipelines und Altlast-Systemen statt. Diese unbemerkten Bewegungen fragmentieren das Bild des Stammbaums und machen es schwer, Abhängigkeiten nachzuvollziehen oder die Auswirkungen zu verstehen.
Das Ergebnis ist ein fragmentiertes Bild der Datenreise mit blinden Flecken, die Abhängigkeiten verschleiern, Protokollierung verlangsamen und das Vertrauen in Analysen und KI-Initiativen schwächen.
Die benutzerdefinierten Abstammungszuordnungen in IBM watsonx.data intelligence erweitern die Abstammung über automatisierte Scanner hinaus und beleuchten verborgene Datenflüsse in modernen, benutzerdefinierten und Altlast-Systemen.
Diese Erweiterung basiert auf dem OpenLineage-Standard und ermöglicht es Teams, jeden Datensatz, jede Aufgabe und jede Transformation in einer einheitlichen, kontrollierten Ansicht zu verbinden, was den Teams die Klarheit und das Selbstvertrauen gibt, schneller zu handeln.
Das Ergebnis ist ein transparentes, durchgängiges Bild der Datenabhängigkeiten und Transformationen, das es Führungskräften ermöglicht, die Governance zu stärken, Audits zu beschleunigen und die Analyse und KI-Bereitschaft mit Zuversicht voranzutreiben.
Custom Lineage Mappings vereinen das Beste aus allen Welten: automatisierte Lineage von Scannern, Lineage, die von bestehenden OpenLineage-Produzenten ausgegeben wird, und benutzerdefinierte Lineage, die durch OpenLineage-Payloads definiert wird.
IBM watsonx.data intelligence verwendet OpenLineage – einen offenen Standard zur Beschreibung dessen, wie Daten während der Laufzeit oder Entwurfszeit verschoben werden. Es ermöglicht Unternehmen, Herkunftsereignisse für jedes System zu definieren, einschließlich kundenspezifischer und Altlast-Systeme, und diese in einem einheitlichen, verwalteten Herkunftsdiagramm zusammenzuführen, das aufzeigt, wie Daten sich entlang des gesamten Datenweges verschieben und transformieren.
Jedes OpenLineage-Ereignis beschreibt den Datenfluss: die gelesenen Eingaben, den Prozess, der die Daten transformiert, und die erzeugten Ausgaben. Diese Ereignisse können automatisch von Tools wie dbt oder Airflow generiert werden, oder der Kunde kann entscheiden, ob er sie automatisch ausgeben oder für proprietäre und Altlast-Umgebungen manuell dokumentieren möchte. Nach dem Import ordnet watsonx.data intelligence diese Ereignisse bekannten Assets zu und visualisiert sie innerhalb der umfassenderen Herkunftsansicht.
Um Genauigkeit und Konsistenz zu gewährleisten, bietet watsonx.data intelligence zwei Kernmechanismen:
Daher bietet Custom Lineage Mappings einen gesteuerten, einheitlichen Graphen, der automatisierte und benutzerdefinierte Abstammung integriert.
Custom Lineage Mapping schließen die Transparenzlücke im Verständnis von Unternehmensdaten und geben Unternehmen einen klaren, vernetzten Überblick über jeden Datenfluss – unabhängig davon, wo er stammt – so dass Teams mit Zuversicht handeln können.
Die Vorteile erreichen jedes Team, das auf genaue, erklärbare Daten angewiesen ist:
IBM entschied sich für OpenLineage – einem offenen Standard, der von der Linux Foundation KI und Daten verwaltet wird –, um Interoperabilität und Transparenz in Ihrem Ökosystem zu gewährleisten.
OpenLineage bietet die Flexibilität, Erweiterbarkeit und Unabhängigkeit von Anbietern, die Unternehmen benötigen, während watsonx.data intelligence IBMs Governance, Sicherheit und Integration hinzufügt.
Auf der Grundlage von OpenLineage beseitigt IBM proprietäre Formate und sichert die Investitionen seiner Kunden in die Lineage-Dokumentation durch offene Standards für die Zukunft.
Mit Custom Lineage Mappings gibt IBM watsonx.data intelligence Organisationen die Möglichkeit, ihre gesamte Datengeschichte über automatisierte, benutzerdefinierte und Altlast-Systeme hinweg einzusehen und ihr zu vertrauen.
Das Ergebnis? Stärkere Governance, schnellere Wirkungsanalysen und zuverlässige KI-Entscheidungen auf Basis offener Standards und des Vertrauens der Unternehmen.
Auch wenn sich die Daten-Ökosysteme weiter entwickeln, bleibt das Engagement von IBM dasselbe: Unternehmen dabei zu helfen, versteckte Komplexität in sichere, datengestützte Entscheidungen zu verwandeln.
Mehr über Datenabstammung in watsonx.data intelligence erfahren
Erkunden Sie die IBM watsonx.data Intelligence Demo-Bibliothek