Steve Gotlieb Gotlieb ist Senior Manager for Data Engineering and Visualization bei Autodesk, einem multinationalen Softwareunternehmen, das Softwareprodukte für verschiedene Branchen anbietet. Er leitet das globale Team für Data Engineering und Plattformen in Nordamerika und Singapur. Sein Team konzentriert sich auf die Entwicklung wiederverwendbarer Komponenten, die zu einer robusten und zuverlässigen Datenplattform beitragen, mit der sich datengestützte Lösungen umsetzen lassen.
Unter seiner Führung begann Gotlieb, sich für die Datenqualität als Kernkomponente der Plattform einzusetzen, um Konzepte für Datennetze zu unterstützen, die einen „Bring-your-own-data“-Ansatz fördern und unternehmensweit eine reibungslose Datenintegration und Datennutzung ermöglichen.
Eine große Herausforderung, mit der Gotliebs Team und andere Daten-Engineering-Teams bei Autodesk immer wieder konfrontiert waren: Sie erfuhren oft als Letzte, wenn Datenprobleme auftraten. Gotliebs Team war gezwungen, Probleme reaktiv zu lösen, unabhängig davon, ob Daten fehlten, nicht aktuell waren oder falsche Daten mit Nullwerten enthielten.
Es konnte vorkommen, dass ein Datenproblem erst nach einem Monat oder später erkannt wurde, wodurch dem Unternehmen wertvolle Zeit und Ressourcen verloren gingen.
„Zuvor hatten wir ein maßgeschneidertes Datenqualitätsmanagement (DQM), aber es handelte sich um eine passive und nicht erweiterbare Lösung“, sagt Steve Gotlieb. „Das DQM-System stützte sich auf die Ausführung von Abfragen zur Überwachung der Laufanzahl, konnte Datenqualitätsprobleme jedoch nicht proaktiv erkennen. Benachrichtigungen über Datenprobleme waren inkonsistent und verzögert und kamen oft per E-Mail oder Slack-Nachricht und ohne klare Zuständigkeit an.“
Steve Gotlieb und sein Team begannen mit der Auswertung von Lösungen zur Datenbeobachtung und erkannten die Notwendigkeit eines proaktiveren Ansatzes. Sie prüften verschiedene Optionen, darunter die Lösung von Monte Carlo Data und Datafold, aber die IBM® Databand®-Beobachtungssoftware hob sich von den anderen ab. Die Innovationskultur von Autodesk führte dazu, dass das Unternehmen einen Innovations-Sprint veranstaltete, bei dem funktionsübergreifende Teams zusammenkamen, um potenzielle Lösungen zu erarbeiten und vorzustellen. Preeti Taneja, Principal Data Engineer bei Autodesk, spielte bei dieser Bewertung eine entscheidende Rolle. Ihr Team hatte nur eine Woche Zeit, um aufzuzeigen, wie Databand seine Datenqualitätsprozesse transformieren könnte.
Dabei wurde geprüft, ob Databand Änderungen in Quellsystemen erkennen und bei Workflow-Fehlern Echtzeit-Warnmeldungen ausgeben kann. Das Ergebnis war beeindruckend. Die nahtlose Integration von Databand in den modernen Data-Stack von Autodesk, z. B. Apache Airflow, dbt, Spark und Snowflake, und die Fähigkeit, sofortige Warnmeldungen zu senden, hinterließen einen nachhaltigen Eindruck.
„Die einfache Integration von Databand in unseren modernen Datenstapel ermöglichte es uns, den Wert sofort zu erkennen“, sagt Preeti Taneja. „Als wir anfingen, sofortige Warnungen zu erhalten, war das ein echter Wow-Moment für die proaktiven Datenqualitätsfunktionen von Databand.“
Nach einer internen Bewertung ging Databand als klarer Sieger hervor, was das Team dazu veranlasste, mit der Umsetzung fortzufahren.
Gotliebs Team nutzt Databand täglich, um Datenvorfälle in verschiedenen Anwendungsfällen zu überwachen, darunter:
- Überwachung der Batch-Verarbeitung: Databand wird häufig zur Überwachung der Batch-Verarbeitung in der Produktion eingesetzt. Über 1.000 DAGs werden aktiv von Databand überwacht.
- Inline-Tests: Das Team nutzt die Inline-Testfunktionen von Databand, um Probleme mit der Datenqualität in Echtzeit zu erkennen, was für die Aufrechterhaltung der Datenintegrität von entscheidender Bedeutung ist.
- Unterstützung von Datenprodukten: Databand unterstützt Pipelines, die Erkenntnisse und produktinterne Nachrichten für Autodesk-Kunden bereitstellen.
- Überwachung von maschinellem Lernen (ML) und KI-Pipelines: Databand überwacht auch Pipelines, die ML- und KI-Teams unterstützen, und trägt so dazu bei, dass die Datenqualität in allen Phasen der Datenverarbeitung gewährleistet ist.
Die Implementierung von Databand führte zu sofortigen und erheblichen Verbesserungen im Datenqualitätsmanagement von Autodesk:
- Verkürzung der Erkennungszeit: Databand verkürzte die Zeit zur Erkennung von Datenqualitätsproblemen von Tagen auf Minuten. Durch diese sofortige Erkennung konnte das Team Probleme beheben, bevor es zu erheblichen Unterbrechungen kommen konnte.
- Verringerung der mittleren Zeit bis zur Problemlösung (Mean Time To Resolution, MTTR): Mit Databand sank die durchschnittliche Zeit zur Lösung von Datenproblemen von Wochen auf Tage. Das Erkennen von Vorfällen, wie z. B. verspätet eintreffende Daten, Schemaänderungen und Pipeline-Ausfälle, trägt zur Aufrechterhaltung des Vertrauens und der Effizienz innerhalb des Unternehmens bei
- Analyse der Ursachen: Databand lieferte eine fortschrittliche Ursachenanalyse, die es dem Team ermöglichte, Probleme schnell zu identifizieren und unmittelbar zu beheben
- Nahtlose Integration: Die Lösung ließ sich reibungslos in die vorhandenen Plattformen von Autodesk integrieren, ohne dass die Kern-Pipelines von Spark, Airflow und dbt neu geschrieben werden mussten. Diese Integration umfasste die Überwachung der Stapelverarbeitung, interner Pipelines und ruhender Daten in Snowflake-Umgebungen
- Kosteneinsparungen: Autodesk konnte die Kosten für die Cloudnutzung senken, indem Probleme frühzeitig erkannt und erneute Ausführungen vermieden wurden.
Autodesk hat greifbare Ergebnisse bei der Verbesserung der Datenqualität und der betrieblichen Effizienz erzielt. Die transparente Bearbeitung von Funktionsanfragen hat die Partnerschaft weiter gefestigt und zu kontinuierlichen Verbesserungen und Innovationen geführt.
Designer, Ingenieure, Baufachleute und Kreative auf der ganzen Welt vertrauen auf Autodesk (Link befindet sich außerhalb von ibm.com), wenn es darum geht, alles Mögliche zu entwerfen und herzustellen – von den Gebäuden, in denen wir leben und arbeiten, bis hin zu den Autos, die wir fahren, und den Brücken, die wir überqueren. Selbst die Produkte, die wir täglich verwenden und auf die wir uns verlassen, und die Filme und Spiele, die uns inspirieren, verdanken wir Autodesk. Die Design- und Make-Plattform von Autodesk schöpft das Potenzial von Daten aus, um Erkenntnisse zu beschleunigen und Prozesse zu automatisieren. Sie stattet unsere Kunden mit der Technologie aus, um die Welt um uns herum zu gestalten und bessere Ergebnisse für ihr Unternehmen und den Planeten zu erreichen. Weitere Informationen finden Sie unter autodesk.com (Link befindet sich außerhalb von ibm.com).
Rechtshinweise
© Copyright IBM Corporation 2024. IBM, das IBM Logo und Databand sind Marken oder eingetragene Marken der IBM Corp. in den USA und/oder anderen Ländern.
Das vorliegende Dokument ist ab dem Datum der Erstveröffentlichung aktuell und kann jederzeit von IBM geändert werden. Nicht alle Angebote sind in allen Ländern verfügbar, in denen IBM tätig ist.
Alle angeführten Beispiele illustrieren lediglich, wie einige Kunden IBM Produkte verwendet haben und welche Ergebnisse sie dabei erzielt haben. Tatsächliche Leistung, Kosten, Einsparungen oder andere Ergebnisse in anderen Betriebsumgebungen können abweichen.