IBM® Chief Data Office nutzt das Potenzial der Daten-Observability
Daten können für Ihr Unternehmen als Quelle strategischer Vorteile dienen, vorausgesetzt Sie können ihr Potenzial voll und ganz für sich nutzen. Das Paradoxon ist einfach: Mehr Daten führen zu mehr Komplexität, was die Transparenz verringert und es schwierig macht, Mehrwert in großem Maßstab zu liefern.
Für das IBM® Chief Data Office (CDO) ist es wichtig, aus Daten einen Mehrwert zu ziehen. Daten treiben die Ziele von IBM an, ein produktiveres Unternehmen zu werden. Im Mittelpunkt dieser Strategie steht die Integration von Daten aus verschiedenen Quellen in Pipelines, die aussagekräftige Erkenntnisse liefern. Eine Datenpipeline ist eine Abfolge von Vorgängen, die das Extrahieren, Transformieren und Laden von Daten aus unterschiedlichen Quellen in ein Data Warehouse oder einen Data Lake umfassen – wobei die Konstanz sichergestellt und Analysen in großem Maßstab ermöglicht werden.
Angesichts der Verwaltung von fast 4.000 Datenpipelines nahm das CDO-Team den herkömmlichen Ansatz als umständlich und zeitaufwändig wahr. Die manuelle Überwachung von Datenpipelines und die Behebung von Problemen nahmen viel Zeit in Anspruch und waren anfällig für menschliche Fehler. „Die Verwaltung des Pipeline-Zustands über unser großes Pipeline-Volumen hinweg war eine erhebliche Herausforderung, insbesondere wenn die Teams unterschiedliche Produkte verwenden“, erklärt Ashley Delport, Senior Engineering Manager des CDO. „Wir brauchten eine Lösung, die kontinuierlich den Datenzustand überwachen, Probleme wie fehlende Daten proaktiv erkennen und beheben und unsere Teams benachrichtigen konnte, falls der Service beeinträchtigt wurde.“
Das Team benötigte einen effizienteren Ansatz für die Skalierung von Datenpipelines für Geschäftseinsichten und KI-Anwendungsfälle. Gewünscht wurde eine innovative Lösung, die Echtzeit-Sichtbarkeit, automatisierte Überwachung und verbesserte Zusammenarbeit bietet. Vor allem musste das Team das Vertrauen tausender Benutzer aufrecht erhalten, die sich täglich auf das CDO verlassen, um genaue, aktuelle und hochwertige Daten zu erhalten.
Das CDO-Team entschied sich für die IBM® watsonx.data integration, eine einheitliche Steuerungsebene, die kontinuierliche Daten-Observability bietet. Das Team begann mit einem Pilotprojekt, das sich auf Daten aus den Fusions- und Übernahmeaktivitäten von IBM konzentrierte. Das Ziel bestand darin, einen Echtzeit-Einblick in die Pipeline-Leistung zu erhalten.
„Die Überwachungs- und Alarmfunktionen in Echtzeit haben uns viel Zeit und Mühe erspart. Konkret haben wir im Pilotprojekt eine geschätzte Reduzierung der manuellen Überwachung und Fehlerbehebung um 85 % festgestellt“, so Sheeba Prakash, Senior Technical Staff Member.
Mit der intuitiven Benutzeroberfläche der Lösung konnte das Team den Zustand der Pipeline einfach verfolgen, Engpässe erkennen und Probleme schnell lösen. Automatisierte Workflows und anpassbare Dashboards sorgten dafür, das Pipeline-Management messbar zu optimieren. Durch diese Lösung konnten sich die Ingenieure auf die Beschleunigung der Datenintegration in Akquisitionsszenarien konzentrieren.
Nach dem erfolgreichen Pilotprojekt beschloss das CDO-Team, die Funktion der Daten-Observability als Single-Source-of-Truth für Einblicke in die Leistung der Datenpipeline des Unternehmens einzusetzen. „Die Daten-Observability hat unsere operative Exzellenz verbessert. Dadurch agieren wir proaktiv anstatt reaktiv auf Probleme mit der Datenpipeline“, fügt Delport hinzu.
Heute verlässt sich das CDO-Team auf die Daten-Observability, um Probleme leichter zu erkennen und zu lösen, bevor diese eskalieren. Die Lösung ermöglicht es ihnen, benutzerdefinierte Warnmeldungen zu erstellen, den Status von Pipeline-Ausführungen zu prüfen, den Verlauf von Ausführungstrends zu untersuchen und mithilfe von DAG-Ansichten (Directed Acyclic Graph) die Ursachen zu ermitteln.
Das Team konnte erhebliche Einsparungen bei den technischen Kapazitäten erzielen und dadurch mehr Zeit dafür einräumen, neue Daten zu integrieren und sich so einen strategischen Vorteil zu verschaffen. Diese Einsparungen umfassen schätzungsweise:
- 90 % weniger Zeitaufwand für die Erstellung der täglichen Zustandsberichte;
- 93 % weniger Zeit beim Erstellen der Berichte für alle Datenobjekte
- 80 % weniger Zeitaufwand für die Anzeige von Fehlertrends
- 85 % weniger Zeitaufwand für die manuelle Überwachung und Fehlerbehebung
Im Hinblick auf den Erfolg und die bedeutenden Auswirkungen der Implementierung und Erweiterung der Funktion innerhalb der watsonx.data integration, kommt Delport zu dem Schluss: „Daten-Observability steigert unsere operative Exzellenz. Damit können wir proaktiv anstatt reaktiv auf Probleme in der Datenpipeline reagieren und bieten unseren Benutzern und Entwicklungsteams eine bessere Erfahrung.“
Die Funktion der Daten-Observability ist als Teil der IBM® watsonx.data integration oder als eigenständige Bereitstellung mit IBM® Databand verfügbar.
Der IBM® CDO ist verantwortlich für die Verwaltung und Steuerung der gesamten Daten-Assets von IBM, einschließlich Strategie, Architektur, Governance und Management. Sie arbeiten daran, sicherzustellen, dass Daten im gesamten Unternehmen effektiv, effizient und sicher genutzt werden und dass sie den Bedürfnissen verschiedener Geschäftsbereiche und Stakeholder entsprechen.
Rechtshinweise
© Copyright IBM Corporation 2025. IBM, das IBM Logo und Databand sind Marken oder eingetragene Marken der International Business Machines Corporation in den USA und/oder anderen Ländern. Das vorliegende Dokument ist ab dem Datum der Erstveröffentlichung aktuell und kann jederzeit von IBM geändert werden. Nicht alle Angebote sind in allen Ländern verfügbar, in denen IBM tätig ist.
Die Beispiele dienen ausschließlich zur Veranschaulichung. Die tatsächlichen Ergebnisse variieren je nach Kundenkonfiguration und -bedingungen. Daher können keine allgemein erwarteten Ergebnisse bereitgestellt werden.