Autodesk + IBM Databand
Steve Gotlieb è Senior Manager for Data Engineering and Visualization di Autodesk, una multinazionale che fornisce prodotti software in diversi settori. Gestisce il team globale di data engineering e piattaforma in Nord America e a Singapore. Il suo team si concentra sulla creazione di componenti riutilizzabili che aiutano a creare una piattaforma dati robusta e affidabile a supporto di soluzioni basate sui dati.
Steve ha iniziato a promuovere la qualità dei dati come componente principale della piattaforma per supportare concetti di data mesh che promuovono un approccio bring-your-own-data e consentono un'integrazione e un utilizzo dei dati senza ostacoli in tutta l'organizzazione.
Una sfida significativa che il team di Steve e altri team di ingegneria dei dati di Autodesk hanno dovuto affrontare è che spesso erano gli ultimi a sapere quando c'erano problemi con i dati. Il team di Steve è stato costretto ad adottare un approccio reattivo alla risoluzione dei problemi, perché i dati erano mancanti, in ritardo, obsoleti o errati con valori nulli.
Nel momento in cui il team veniva a conoscenza di un problema di dati, poteva essere in corso da un mese o più, cosa che costava all'azienda tempo e risorse preziose.
"Prima avevamo un sistema di gestione della qualità dei dati (DQM) personalizzato, ma si trattava di una soluzione passiva e non estensibile", spiega Steve. "Il sistema DQM si basava sull'esecuzione di query per monitorare i conteggi delle esecuzioni, ma non rilevava in modo proattivo i problemi legati alla qualità dei dati. Le notifiche sui problemi relativi ai dati erano incoerenti e in ritardo, e spesso arrivavano tramite e-mail o messaggi Slack senza una proprietà chiara."
Riconoscendo la necessità di un approccio più proattivo, Steve e il suo team hanno iniziato a valutare le soluzioni di osservabilità dei dati. Ne hanno analizzate diverse, tra cui Monte Carlo Data e Datafold, ma il software di osservabilità IBM Databand si è distinto. La cultura dell'innovazione di Autodesk ha portato Autodesk a organizzare uno sprint di innovazione, riunendo team interfunzionali per esplorare e mostrare potenziali soluzioni. Preeti Taneja, Principal Data Engineer di Autodesk, ha svolto un ruolo fondamentale in questa valutazione. Il suo team ha avuto solo una settimana per dimostrare come Databand avrebbe trasformato i processi di qualità dei dati.
Hanno valutato se Databand fosse in grado di rilevare le modifiche nei sistemi di origine e fornire avvisi in tempo reale in caso di errori del workflow. Il risultato è stato impressionante. La perfetta integrazione di Databand con il moderno stack di dati di Autodesk, ad esempio Apache Airflow, dbt, Spark e Snowflake, e la capacità di inviare avvisi istantanei hanno fatto colpo.
"La facilità di integrazione di Databand con il nostro moderno stack di dati ci ha permesso di vederne immediatamente il valore", afferma Preeti. "Quando abbiamo iniziato a ricevere gli avvisi istantanei, è stato un vero e proprio momento di rivelazione delle capacità di qualità dei dati proattiva di Databand".
A seguito di una valutazione interna, Databand si è classificato come vincitore, portando il team a proseguire con la sua implementazione.
Il team di Steve utilizza Databand quotidianamente per monitorare gli incidenti legati ai dati in vari casi d'uso, tra cui:
- Monitoraggio dell'elaborazione in batch: Databand è ampiamente utilizzato per monitorare l'elaborazione dei lotti di produzione. Oltre 1.000 DAG vengono monitorati attivamente da Databand.
- Test in linea: il team utilizza le funzionalità di test in linea di Databand per rilevare i problemi di qualità dei dati in tempo reale, una capacità fondamentale per mantenere l'integrità dei dati.
- Supporto dei prodotti di dati: Databand supporta pipeline che forniscono insight e messaggistica all'interno del prodotto per i clienti di Autodesk.
- Monitoraggio delle pipeline di machine learning (ML) e AI: Databand monitora anche le pipeline a supporto dei team di ML e AI, garantendo che la qualità dei dati sia preservata in tutte le fasi dell'elaborazione dei dati.
L'implementazione di Databand ha apportato miglioramenti immediati e significativi alla gestione della qualità dei dati di Autodesk:
- Riduzione dei tempi di rilevamento: il database ha ridotto il tempo necessario per rilevare i problemi nella qualità dei dati da diversi giorni a pochi minuti. Questo rilevamento immediato ha permesso al team di risolvere i problemi prima che causassero gravi interruzioni.
- Riduzione del tempo medio di risoluzione (MTTR): con Databand, il tempo medio per risolvere i problemi relativi ai dati è passato da diverse settimane a qualche giorno. Rilevare gli incidenti, come ritardi nell'arrivo dei dati, modifiche allo schema e guasti della pipeline, aiuta a mantenere fiducia ed efficienza all'interno dell'organizzazione
- Analisi della causa principale: Databand ha fornito un'analisi avanzata della causa principale, consentendo al team di identificare e correggere rapidamente i problemi alla fonte
- Integrazione perfetta: la soluzione si è integrata senza problemi con le piattaforme Autodesk esistenti senza dover riscrivere le pipeline principali di Spark, Airflow e dbt. Questa integrazione comprende il monitoraggio dell'elaborazione in batch, delle pipeline interne e dei dati a riposo negli ambienti Snowflake
- Risparmio sui costi: Autodesk ha visto una riduzione dei costi di consumo del cloud rilevando precocemente i problemi ed evitando le riesecuzioni.
Autodesk ha ottenuto risultati tangibili nel miglioramento della qualità dei dati e dell'efficienza operativa. Il monitoraggio trasparente delle richieste di funzionalità ha ulteriormente consolidato la partnership, consentendo miglioramenti e innovazioni continui.
Designer, ingegneri, costruttori e i creatori di tutto il mondo si fidano di Autodesk (link esterno a ibm.com) per progettare e realizzare qualsiasi cosa, dagli edifici in cui viviamo e lavoriamo, alle auto che guidiamo e ai ponti che attraversiamo. Anche i prodotti che utilizziamo e su cui facciamo affidamento ogni giorno, i film e i giochi che ci ispirano esistono grazie ad Autodesk. La piattaforma Design and Make di Autodesk sfrutta la potenza dei dati per accelerare gli insight e automatizzare i processi, offrendo ai clienti la tecnologia necessaria per creare il mondo che ci circonda e ottenere risultati migliori per la loro attività e per il pianeta. Per maggiori informazioni, visita autodesk.com (link esterno a ibm.com).
Legale
© Copyright IBM Corporation 2024. IBM, il logo IBM e Databand sono marchi o marchi registrati di IBM Corp. negli Stati Uniti e/o in altri paesi.
Le informazioni contenute nel presente documento sono aggiornate alla data della prima pubblicazione e possono essere modificate da IBM senza preavviso. Non tutte le offerte sono disponibili in ogni paese in cui opera IBM.
Gli esempi relativi ai clienti sono presentati a scopo illustrativo di come tali clienti abbiano usato i prodotti IBM e dei risultati che possono aver conseguito. Prestazioni, costi, risparmio o altri risultati effettivi possono variare in altri ambienti operativi.