Autodesk + IBM
Steve Gotlieb Gotlieb ist Senior Manager for Data Engineering and Visualization bei Autodesk, einem multinationalen Softwareunternehmen, das Softwareprodukte für verschiedene Branchen anbietet. Er leitet das globale Team für Data Engineering und Plattformen in Nordamerika und Singapur. Sein Team konzentriert sich auf die Entwicklung wiederverwendbarer Komponenten, die zu einer robusten und zuverlässigen Datenplattform beitragen, mit der sich datengestützte Lösungen umsetzen lassen.
Unter seiner Führung begann Gotlieb, sich für die Datenqualität als Kernkomponente der Plattform einzusetzen, um Konzepte für Datennetze zu unterstützen, die einen „Bring-your-own-data“-Ansatz fördern und unternehmensweit eine reibungslose Datenintegration und Datennutzung ermöglichen.
Eine große Herausforderung, mit der Gotliebs Team und andere Daten-Engineering-Teams bei Autodesk immer wieder konfrontiert waren: Sie erfuhren oft als Letzte, wenn Datenprobleme auftraten. Gotliebs Team war gezwungen, Probleme reaktiv zu lösen, unabhängig davon, ob Daten fehlten, nicht aktuell waren oder falsche Daten mit Nullwerten enthielten.
Es konnte vorkommen, dass ein Datenproblem erst nach einem Monat oder später erkannt wurde, wodurch dem Unternehmen wertvolle Zeit und Ressourcen verloren gingen.
„Zuvor hatten wir ein maßgeschneidertes Datenqualitätsmanagement (DQM), aber es handelte sich um eine passive und nicht erweiterbare Lösung“, sagt Steve Gotlieb. „Das DQM-System stützte sich auf die Ausführung von Abfragen zur Überwachung der Laufanzahl, konnte Datenqualitätsprobleme jedoch nicht proaktiv erkennen. Benachrichtigungen über Datenprobleme waren inkonsistent und verzögert und kamen oft per E-Mail oder Slack-Nachricht und ohne klare Zuständigkeit an.“
Steve und sein Team begannen mit der Auswertung von Lösungen zur Daten-Observability und erkannten die Notwendigkeit eines proaktiveren Ansatzes. Sie sahen sich verschiedene Optionen an, darunter Monte Carlo Data und Datafold, die verfügbaren Daten-Observability-Funktionen der IBM watsonx.data integration (früher Databand) stachen jedoch hervor. Die Innovationskultur von Autodesk führte dazu, dass das Unternehmen einen Innovationssprint hinlegte, bei dem funktionsübergreifende Teams zusammenkamen, um potenzielle Lösungen zu erarbeiten und vorzustellen. Preeti Taneja, Principal Data Engineer bei Autodesk, spielte bei dieser Bewertung eine entscheidende Rolle. Ihr Team hatte nur eine Woche Zeit, um zu demonstrieren, wie die Daten-Observability die Datenqualitätsprozesse verändern könnte.
Es wurde überprüft, ob die IBM watsonx.data Integration (ehemals Databand) Änderungen in Quellsystemen erkennen und bei Workflow-Fehlern Warnmeldungen in Echtzeit ausgeben kann. Das Ergebnis war beeindruckend. Die nahtlose Integration mit dem modernen Daten-Stack von Autodesk, beispielsweise Apache Airflow, dbt, Spark und Snowflake, und die Funktion, sofortige Warnmeldungen zu liefern, hinterließen einen starken Eindruck.
„Die einfache Integration in unseren modernen Daten-Stack ermöglichte es uns, sofort einen Mehrwert zu erkennen“, sagt Preeti. „Als wir die sofortigen Warnmeldungen erhielten, war das ein echter Wow-Moment, der die proaktiven Funktionen der Datenqualität verdeutlichte.“
Nach einer internen Bewertung erwies sich IBM watsonx.data integration (ehemals Databand) als klarer Sieger, woraufhin das Team mit der Implementierung fortfuhr.
Steves Team nutzt IBM watsonx.data integration (ehemals Databand) täglich, um Datenvorfälle in verschiedenen Anwendungsfällen zu überwachen, darunter:
- Reduzierung der Erkennung: Die Reduzierung der Erkennungszeit, die zuvor Wochen oder Tage in Anspruch genommen hätte, auf null.
- Batch-Verarbeitungsüberwachung: Über 1.000 DAGs werden aktiv überwacht.
- Inline-Testing: Das Team nutzt die Inline-Testing-Funktionen, um Probleme mit der Datenqualität in Echtzeit zu erkennen, was für die Wahrung der Datenintegrität entscheidend ist.
- Unterstützung von Datenprodukten: Unterstützt Pipelines, die Erkenntnisse und produktinterne Nachrichten für Autodesk-Kunden bereitstellen.
- Überwachung von maschinellem Lernen (ML) und KI-Pipelines: Überwacht Pipelines, die ML- und KI-Teams unterstützen, und trägt so dazu bei, dass die Datenqualität in allen Phasen der Datenverarbeitung gewährleistet ist.
Die Implementierung der IBM watsonx.data integration (ehemals Databand) brachte sofortige und signifikante Verbesserungen für die Datenqualität von Autodesk mit sich:
- Verkürzung der Erkennungszeit: Die Zeit zur Erkennung von Datenqualitätsproblemen wurde von Tagen auf Minuten reduziert. Diese sofortige Erkennung ermöglichte es dem Team, Probleme zu beheben, bevor sie zu erheblichen Störungen führen konnten.
- Verringerung der mittleren Zeit bis zur Problemlösung: Die durchschnittliche Zeit zur Lösung von Datenproblemen sank von Wochen auf Tage. Das Erkennen von Vorfällen, wie z. B. verspätet eintreffende Daten, Schemaänderungen und Pipeline-Ausfälle, trägt zur Aufrechterhaltung des Vertrauens und der Effizienz innerhalb des Unternehmens bei
- Ursachenanalyse: Fortschrittliche Ursachenanalyse, die es dem Team ermöglicht, Probleme schnell an ihrer Quelle zu identifizieren und zu beheben
- Nahtlose Integration: Die Lösung ließ sich reibungslos in die vorhandenen Plattformen von Autodesk integrieren, ohne dass die Kern-Pipelines von Spark, Airflow und dbt neu geschrieben werden mussten. Diese Integration umfasste die Überwachung der Stapelverarbeitung, interner Pipelines und ruhender Daten in Snowflake-Umgebungen
- Kosteneinsparungen: Autodesk konnte die Kosten für die Cloudnutzung senken, indem Probleme frühzeitig erkannt und erneute Ausführungen vermieden wurden.
Autodesk hat greifbare Ergebnisse bei der Verbesserung der Datenqualität und der betrieblichen Effizienz erzielt. Die transparente Bearbeitung von Funktionsanfragen hat die Partnerschaft weiter gefestigt und zu kontinuierlichen Verbesserungen und Innovationen geführt.
Designer, Ingenieure, Baufachleute und Kreative auf der ganzen Welt vertrauen auf Autodesk (Link befindet sich außerhalb von ibm.com), wenn es darum geht, alles Mögliche zu entwerfen und herzustellen – von den Gebäuden, in denen wir leben und arbeiten, bis hin zu den Autos, die wir fahren, und den Brücken, die wir überqueren. Selbst die Produkte, die wir täglich verwenden und auf die wir uns verlassen, und die Filme und Spiele, die uns inspirieren, verdanken wir Autodesk. Die Design- und Make-Plattform von Autodesk schöpft das Potenzial von Daten aus, um Erkenntnisse zu beschleunigen und Prozesse zu automatisieren. Sie stattet unsere Kunden mit der Technologie aus, um die Welt um uns herum zu gestalten und bessere Ergebnisse für ihr Unternehmen und den Planeten zu erreichen. Weitere Informationen finden Sie unter autodesk.com (Link befindet sich außerhalb von ibm.com).
Rechtshinweise
© Copyright IBM Corporation 2024. IBM, das IBM Logo und Databand sind Marken oder eingetragene Marken der IBM Corp. in den USA und/oder anderen Ländern.
Das vorliegende Dokument ist ab dem Datum der Erstveröffentlichung aktuell und kann jederzeit von IBM geändert werden. Nicht alle Angebote sind in allen Ländern verfügbar, in denen IBM tätig ist.
Alle angeführten Beispiele illustrieren lediglich, wie einige Kunden IBM Produkte verwendet haben und welche Ergebnisse sie dabei erzielt haben. Tatsächliche Leistung, Kosten, Einsparungen oder andere Ergebnisse in anderen Betriebsumgebungen können abweichen.