Autodesk + IBM
Steve Gotlieb es gerente sénior de Ingeniería de Datos y Visualización en Autodesk, una multinacional de software que ofrece productos para múltiples industrias. Dirige el equipo global de ingeniería de datos y plataformas en Norteamérica y Singapur. Su equipo se centra en crear componentes reutilizables que contribuyan a una plataforma de datos sólida y confiable que respalde las soluciones basadas en datos.
Bajo su liderazgo, Steve comenzó a defender la calidad de los datos como un componente central de la plataforma para respaldar los conceptos de malla de datos, que promueven un enfoque bring your own data, además de permitir una integración y utilización fluidas de los datos en toda la organización.
Un desafío importante al que se enfrentaron repetidamente el equipo de Steve y otros equipos de ingeniería de datos en Autodesk: a menudo, eran los últimos en enterarse cuando ocurrían problemas con los datos. El equipo de Steve se vio obligado a adoptar un enfoque reactivo para resolver problemas, ya sea que faltaran datos, tuvieran datos tardíos o desactualizados o datos incorrectos con valores nulos.
Para cuando el equipo se dio cuenta de un problema de datos, podría existir durante un mes o más, lo que costó a la empresa tiempo y recursos valiosos.
“Anteriormente, teníamos un sistema de gestión de calidad de datos (DQM) personalizado, pero era una solución pasiva e inextensible”, dice Steve. “El sistema DQM dependía de la ejecución de consultas para monitorear los recuentos de ejecuciones, pero no detectaba de forma proactiva los problemas de calidad de los datos. Las notificaciones sobre problemas de datos eran incongruentes y se retrasaban, y a menudo llegaban por correo electrónico o mensajes de Slack sin una propiedad clara”.
Steve y su equipo comenzaron a evaluar soluciones de observabilidad de datos, reconociendo la necesidad de un enfoque más proactivo. Exploraron varias opciones, incluidas Monte Carlo Data y Datafold, pero destacaron las capacidades de observabilidad de los datos disponibles en el software IBM® watsonx.data integration (anteriormente Databand). La cultura de innovación de Autodesk les llevó a organizar un sprint de innovación, reuniendo equipos multifuncionales para explorar y mostrar posibles soluciones. Preeti Taneja, ingeniero principal de datos de Autodesk, desempeñó un papel fundamental en esta evaluación. Su equipo solo tenía una semana para demostrar cómo la observabilidad de los datos podía transformar sus procesos de calidad de datos.
Evaluaron si IBM watsonx.data integration (anteriormente Databand) podría detectar cambios en los sistemas de origen y proporcionar alertas en tiempo real en caso de fallas en el flujo de trabajo. El resultado fue impresionante. La integración perfecta con la pila de datos moderna de Autodesk, por ejemplo, Apache Airflow, dbt, Spark y Snowflake, y la capacidad de entregar alertas instantáneas dejaron una fuerte impresión.
“La facilidad de integración con nuestra pila de datos moderna nos permitió ver el valor de inmediato”, dice Preeti. “Cuando comenzamos a recibir alertas instantáneas, fue un verdadero momento revelador de las capacidades proactivas de calidad de datos de IBM”.
Tras una evaluación interna, IBM watsonx.data integration (anteriormente Databand) surgió como el claro ganador, llevando al equipo a avanzar con su implementación.
El equipo de Steve utiliza IBM watsonx.data integration (anteriormente Databand) todos los días para monitorear incidentes de datos en varios casos de uso, que incluyen:
- Reducción de la detección: la reducción del tiempo de detección que habría llevado semanas y días, hasta cero.
- Supervisión del procesamiento por lotes: se supervisan activamente más de 1000 DAG.
- Pruebas en línea: el equipo utiliza las capacidades de pruebas en línea para detectar problemas de calidad de los datos en tiempo real, lo cual es fundamental para mantener la integridad de los datos.
- Compatibilidad con productos de datos: admite pipelines que proporcionan insights y mensajes en el producto para los clientes de Autodesk.
- Monitoreo de pipelines de machine learning (ML) e IA: monitorea los pipelines que dan soporte a los equipos de ML e IA, ayudando a garantizar que la calidad de los datos se mantenga en todas las etapas del procesamiento de datos.
La implementación de IBM watsonx.data integration (anteriormente Databand) aportó mejoras inmediatas y significativas a la gestión de la calidad de los datos de Autodesk:
- Reducción del tiempo de detección: se redujo el tiempo necesario para detectar problemas de calidad de los datos de días a minutos. Esta detección inmediata permitió al equipo abordar los problemas antes de que pudieran provocar interrupciones graves.
- Reducción del tiempo medio de resolución (MTTR): el tiempo medio para resolver problemas de datos se redujo de semanas a días. La detección de incidentes, como datos que llegan tarde, cambios de esquema y fallas de pipelines, ayuda a mantener la confianza y la eficiencia dentro de la organización
- Análisis de causa principal: proporcionó un análisis avanzado de causa principal, lo que permitió al equipo identificar y solucionar rápidamente los problemas en su origen
- Integración perfecta: la solución se integró sin problemas con las plataformas existentes de Autodesk sin necesidad de reescribir los pipelines principales de Spark, Airflow y dbt. Esta integración incluyó el monitoreo del procesamiento por lotes, los pipelines internos y los datos en reposo en entornos Snowflake.
- Ahorro de costos: Autodesk vio una disminución en los costos de consumo de la nube al detectar problemas de manera temprana y evitar repeticiones.
Autodesk vio resultados tangibles en la mejora de la calidad de los datos y la eficiencia operativa. El seguimiento transparente de las solicitudes de características ha reforzado aún más la asociación, permitiendo mejoras e innovaciones continuas.
Los diseñadores, ingenieros, constructores y creadores de todo el mundo confían en Autodesk (enlace externo a ibm.com) para que les ayude a diseñar y fabricar cualquier cosa, desde los edificios en los que vivimos y trabajamos, hasta los autos que manejamos y los puentes por los que transitamos. Incluso los productos que usamos y en los que confiamos todos los días y las películas y juegos que nos inspiran existen gracias a Autodesk. La plataforma Design and Make de Autodesk desbloquea el poder de los datos para acelerar los insights y automatizar los procesos, lo que dota a nuestros clientes con la tecnología para crear el mundo que nos rodea y ofrecer mejores resultados para su negocio y el planeta. Para obtener más información, visite autodesk.com (enlace externo a ibm.com).
Legal
© Copyright IBM Corporation 2024. IBM, el logotipo de IBM y Databand son marcas comerciales o marcas comerciales registradas de IBM Corp. en Estados Unidos o en otros países.
Este documento está actualizado a la fecha inicial de publicación e IBM puede modificarlo en cualquier momento. No todas las ofertas están disponibles en todos los países en los que opera IBM.
Los ejemplos de los clientes se presentan como ilustraciones de cómo esos clientes han utilizado los productos de IBM y los resultados que pueden haber logrado. El rendimiento real, el costo, los ahorros u otros resultados en otros entornos operativos pueden variar.