Autodesk + IBM
Steve Gotlieb è Senior Manager for Data Engineering and Visualization di Autodesk, una multinazionale che fornisce prodotti software in diversi settori. Gestisce il team globale di data engineering e piattaforma in Nord America e a Singapore. Il suo team si concentra sulla creazione di componenti riutilizzabili che aiutano a creare una piattaforma dati robusta e affidabile a supporto di soluzioni basate sui dati.
Steve ha iniziato a promuovere la qualità dei dati come componente principale della piattaforma per supportare concetti di data mesh che promuovono un approccio bring-your-own-data e consentono un'integrazione e un utilizzo dei dati senza ostacoli in tutta l'organizzazione.
Una sfida significativa che il team di Steve e altri team di ingegneria dei dati di Autodesk hanno dovuto affrontare è che spesso erano gli ultimi a sapere quando c'erano problemi con i dati. Il team di Steve è stato costretto ad adottare un approccio reattivo alla risoluzione dei problemi, perché i dati erano mancanti, in ritardo, obsoleti o errati con valori nulli.
Nel momento in cui il team veniva a conoscenza di un problema di dati, poteva essere in corso da un mese o più, cosa che costava all'azienda tempo e risorse preziose.
"Prima avevamo un sistema di gestione della qualità dei dati (DQM) personalizzato, ma si trattava di una soluzione passiva e non estensibile", spiega Steve. "Il sistema DQM si basava sull'esecuzione di query per monitorare i conteggi delle esecuzioni, ma non rilevava in modo proattivo i problemi legati alla qualità dei dati. Le notifiche sui problemi relativi ai dati erano incoerenti e in ritardo, e spesso arrivavano tramite e-mail o messaggi Slack senza una proprietà chiara."
Riconoscendo la necessità di un approccio più proattivo, Steve e il suo team hanno iniziato a valutare le soluzioni di data observability. Hanno esplorato varie opzioni, tra cui Monte Carlo Data e Datafold, ma le funzionalità di data observability disponibili nel software IBM watsonx.data integration (ex Databand) si sono distinte. La cultura dell'innovazione di Autodesk ha portato l'azienda a organizzare uno sprint di innovazione, riunendo team interfunzionali per esplorare e illustrare potenziali soluzioni. Preeti Taneja, Principal Data Engineer di Autodesk, ha svolto un ruolo fondamentale in questa valutazione. Il suo team aveva solo una settimana per dimostrare come la data observability potesse trasformare i processi di qualità dei dati.
Hanno valutato se IBM watsonx.data integration (ex Databand) potesse rilevare le modifiche nei sistemi di origine e fornire avvisi in tempo reale in caso di errori del workflow. Il risultato è stato impressionante. L’integrazione perfetta con lo stack di dati moderno di Autodesk, ad esempio Apache Airflow, dbt, Spark e Snowflake, e la capacità di fornire avvisi istantanei hanno lasciato una forte impressione.
"La facilità di integrazione con il nostro stack di dati moderno ci ha permesso di vedere immediatamente il valore", afferma Preeti. "Quando abbiamo iniziato a ricevere avvisi istantanei, è stato un vero e proprio momento di stupore per le sue capacità proattive di gestione della qualità dei dati".
A seguito di una valutazione interna, IBM watsonx.data integration (ex Databand) è emerso come il chiaro vincitore, portando il team a procedere con la sua implementazione.
Il team di Steve utilizza quotidianamente l'integrazione IBM watsonx.data integration (ex Databand) per monitorare incidenti riguardanti i dati in vari casi d'uso, tra cui:
- Riduzione del rilevamento: riduzione a zero del tempo di rilevamento, che avrebbe richiesto settimane e giorni.
- Monitoraggio dell'elaborazione batch: oltre 1.000 DAG sono monitorati attivamente.
- Inline testing: Il team utilizza le funzionalità di inline testing per rilevare problemi di qualità dei dati in tempo reale, il che è fondamentale per mantenere l’integrità dei dati.
- Supporto dei prodotti di dati: supporta pipeline che forniscono insight e messaggistica all'interno del prodotto per i clienti di Autodesk.
- Monitoraggio delle pipeline di machine learning (ML) e AI: monitora le pipeline che supportano i team di ML e AI, aiutando a garantire che la qualità dei dati sia mantenuta in tutte le fasi di elaborazione dei dati.
L'implementazione di IBM watsonx.data integration (ex Databand) ha portato miglioramenti immediati e significativi alla gestione della qualità dei dati di Autodesk:
- Riduzione del tempo di rilevamento: il tempo necessario per individuare problemi di qualità dei dati è stato ridotto da giorni a minuti. Questo rilevamento immediato ha consentito al team di affrontare i problemi prima che potessero causare interruzioni significative.
- Riduzione del tempo medio di risoluzione (MTTR): il tempo medio per risolvere i problemi relativi ai dati è passato da settimane a giorni. Il rilevamento di incidenti, come dati in ritardo, modifiche allo schema e guasti nelle pipeline, aiuta a mantenere fiducia ed efficienza all’interno dell’organizzazione.
- Analisi della causa principale: ha fornito un'analisi avanzata della causa principale, consentendo al team di identificare e correggere rapidamente i problemi alla fonte.
- Integrazione perfetta: la soluzione si è integrata senza problemi con le piattaforme Autodesk esistenti senza dover riscrivere le pipeline principali di Spark, Airflow e dbt. Questa integrazione comprende il monitoraggio dell'elaborazione in batch, delle pipeline interne e dei dati a riposo negli ambienti Snowflake
- Risparmio sui costi: Autodesk ha ottenuto una diminuzione dei costi di consumo del cloud rilevando precocemente i problemi ed evitando le rilavorazioni.
Autodesk ha ottenuto risultati tangibili nel miglioramento della qualità dei dati e dell'efficienza operativa. Il monitoraggio trasparente delle richieste di funzionalità ha ulteriormente consolidato la partnership, consentendo miglioramenti e innovazioni continui.
Designer, ingegneri, costruttori e i creatori di tutto il mondo si fidano di Autodesk (link esterno a ibm.com) per progettare e realizzare qualsiasi cosa, dagli edifici in cui viviamo e lavoriamo, alle auto che guidiamo e ai ponti che attraversiamo. Anche i prodotti che utilizziamo e su cui facciamo affidamento ogni giorno, i film e i giochi che ci ispirano esistono grazie ad Autodesk. La piattaforma Design and Make di Autodesk sfrutta la potenza dei dati per accelerare gli insight e automatizzare i processi, offrendo ai clienti la tecnologia necessaria per creare il mondo che ci circonda e ottenere risultati migliori per la loro attività e per il pianeta. Per maggiori informazioni, visita autodesk.com (link esterno a ibm.com).
Legale
© Copyright IBM Corporation 2024. IBM, il logo IBM e Databand sono marchi o marchi registrati di IBM Corp. negli Stati Uniti e/o in altri paesi.
Le informazioni contenute nel presente documento sono aggiornate alla data della prima pubblicazione e possono essere modificate da IBM senza preavviso. Non tutte le offerte sono disponibili in ogni paese in cui opera IBM.
Gli esempi relativi ai clienti sono presentati a scopo illustrativo di come tali clienti abbiano usato i prodotti IBM e dei risultati che possono aver conseguito. Prestazioni, costi, risparmio o altri risultati effettivi possono variare in altri ambienti operativi.