Autodesk + IBM
Steve Gotlieb es gestor sénior de Ingeniería y Visualización de datos en Autodesk, una empresa de software multinacional que ofrece productos de software en múltiples industrias. Dirige el equipo global de ingeniería de datos y plataformas en Norteamérica y Singapur. Su equipo se centra en la construcción de componentes reutilizables que contribuyan a una plataforma de datos sólida y confiable que respalde soluciones basadas en datos.
Bajo su liderazgo, Steve empezó a defender la calidad de los datos como un componente básico de la plataforma para apoyar los conceptos de malla de datos que promueven un enfoque de "traiga sus propios datos" y permiten una integración y utilización de los datos sin problemas en toda la organización.
El equipo de Steve y otros equipos de ingeniería de datos de Autodesk se enfrentaban constantemente a un reto importante: a menudo eran los últimos en enterarse de los problemas con los datos. El equipo de Steve se vio obligado a adoptar un enfoque reactivo para resolver problemas, ya fuera que faltaran datos, que tuvieran datos atrasados u obsoletos, o datos incorrectos con valores nulos.
Para cuando el equipo se percataba de un problema de datos, éste podía haber existido durante un mes o más, lo que costaba a la empresa tiempo y recursos valiosos.
"Antes teníamos un sistema de gestión de calidad de datos (DQM) personalizado, pero era una solución pasiva e inextensible", afirma Steve. "El sistema DQM dependía de la ejecución de consultas para supervisar los recuentos de ejecuciones, pero no detectaba de forma proactiva los problemas de calidad de los datos. Las notificaciones sobre problemas con los datos eran incoherentes y llegaban con retraso, a menudo a través de correos electrónicos o mensajes de Slack sin una titularidad clara".
Steve y su equipo comenzaron a evaluar soluciones de observabilidad de datos, reconociendo la necesidad de un enfoque más proactivo. Analizaron varias opciones, entre ellas Monte Carlo Data y Datafold, pero destacaron las capacidades de observabilidad de datos que ofrece el software IBM watsonx.data integration (antes conocido como Databand). La cultura de innovación de Autodesk le llevó a organizar un sprint de innovación, reuniendo a equipos interfuncionales para explorar y mostrar posibles soluciones. Preeti Taneja, ingeniera principal de datos de Autodesk, desempeñó un papel fundamental en esta evaluación. Su equipo tenía solo una semana para demostrar cómo la observabilidad de los datos podía transformar sus procesos de calidad de los datos.
Evaluaron si IBM watsonx.data integration (anteriormente Databand) podía detectar cambios en los sistemas de origen y proporcionar alertas en tiempo real en caso de fallos en el flujo de trabajo. El resultado fue impresionante. La perfecta integración con la moderna pila de datos de Autodesk, por ejemplo, Apache Airflow, dbt, Spark y Snowflake, y la capacidad de enviar alertas instantáneas causaron una gran impresión.
“La facilidad de integración con nuestra pila de datos moderna nos permitió ver el valor inmediatamente”, dice Preeti. “Cuando empezamos a recibir alertas instantáneas, fue un momento realmente impresionante que nos permitió apreciar sus capacidades proactivas en materia de calidad de los datos”.
Tras una evaluación interna, IBM Watsonx.Data Integration (antes conocido como Databand) resultó ser el claro ganador, lo que llevó al equipo a seguir adelante con su implementación.
El equipo de Steve utiliza IBM watsonx.data integration (anteriormente Databand) a diario para monitorizar las incidencias de datos en varios casos de uso, entre ellos:
- Reducción de la detección: la reducción del tiempo de detección que habría llevado semanas y días, hasta cero.
- Monitorización del procesamiento por lotes: se monitorizan activamente más de 1000 DAG.
- Pruebas en línea: el equipo utiliza las capacidades de pruebas en línea para detectar problemas de calidad de los datos en tiempo real, lo que resulta crucial para mantener la integridad de los datos.
- Soporte de productos de datos: apoya los pipelines que ofrecen perspectivas y mensajes integrados en el producto para los clientes de Autodesk.
- Monitorización de pipeline de machine learning (ML) e IA: monitoriza los pipelines que dan soporte a los equipos de ML e IA, lo que ayuda a garantizar que la calidad de los datos se mantiene en todas las etapas del procesamiento de datos.
La implementación de IBM watsonx.data integration (anteriormente Databand) aportó mejoras inmediatas y significativas a la gestión de la calidad de los datos de Autodesk:
- Reducción del tiempo de detección: se redujo el tiempo necesario para detectar problemas de calidad de los datos de días a minutos. Esta detección inmediata permitió al equipo abordar los problemas antes de que pudieran causar interrupciones importantes.
- Reducción del tiempo medio de resolución (MTTR): el tiempo medio para resolver problemas de datos pasó de semanas a días. Detectar los incidentes, como los datos que llegan tarde, los cambios de esquema y los fallos en los oleoductos, ayuda a mantener la confianza y la eficiencia dentro de la organización
- Análisis de la causa raíz: proporcionó un análisis avanzado de la causa raíz, lo que permitió al equipo identificar y solucionar rápidamente los problemas en su origen
- Integración sin fisuras: la solución se integró sin problemas con las plataformas existentes de Autodesk sin necesidad de reescribir las canalizaciones principales de Spark, Airflow y dbt. Esta integración incluyó la monitorización del procesamiento por lotes, las tuberías internas y los datos en reposo en entornos Snowflake
- Ahorro de costes: Autodesk observó una disminución en los costes de consumo en la nube al detectar problemas de forma temprana y evitar repeticiones.
Autodesk ha visto resultados tangibles en la mejora de la calidad de los datos y la eficiencia operativa. El seguimiento transparente de las solicitudes de funciones ha solidificado aún más la asociación, permitiendo mejoras e innovaciones continuas.
Los diseñadores, ingenieros, desarrolladores y creadores de todo el mundo confían en Autodesk ibm.com para que les ayude a diseñar y fabricar cualquier cosa, desde los edificios en los que vivimos y trabajamos, hasta los coches que conducimos y los puentes por los que conducimos. Incluso los productos que usamos y en los que confiamos a diario, así como las películas y juegos que nos inspiran, existen gracias a Autodesk. La plataforma de diseño y creación de Autodesk libera el poder de los datos para acelerar la información y automatizar los procesos, dotando a nuestros clientes de la tecnología necesaria para crear el mundo que nos rodea y ofrecer mejores resultados para su negocio y el planeta. Para obtener más información, visite autodesk.com (enlace externo a ibm.com).
Legal
© Copyright IBM Corporation 2024. IBM, el logotipo de IBM y Databand son marcas o marcas registradas de IBM Corp. en EE. UU. y/o en otros países.
Este documento está vigente en la fecha inicial de publicación y puede ser modificado por IBM en cualquier momento. No todas las ofertas están disponibles en todos los países en los que opera IBM.
Se presentan ejemplos de clientes para ilustrar cómo esos clientes han utilizado los productos de IBM y los resultados que podrían haber logrado. El desempeño, los costes, los ahorros reales u otros resultados en sus entornos operativos podrían variar.