Inicio

Casos de Estudio

Autodesk

Pasar de una calidad de datos reactiva a una proactiva
Autodesk + IBM Databand
Dos personas, una de pie y otra sentada, trabajan en computadoras portátiles en una sala de oficina
Un enfoque reactivo para resolver los incidentes de datos

Steve Gotlieb es gerente sénior de Ingeniería de Datos y Visualización en Autodesk, una multinacional de software que ofrece productos para múltiples industrias. Dirige el equipo global de ingeniería de datos y plataformas en Norteamérica y Singapur. Su equipo se centra en crear componentes reutilizables que contribuyan a una plataforma de datos sólida y confiable que respalde las soluciones basadas en datos.

Bajo su liderazgo, Steve comenzó a defender la calidad de los datos como un componente central de la plataforma para respaldar los conceptos de malla de datos, que promueven un enfoque bring your own data, además de permitir una integración y utilización fluidas de los datos en toda la organización.

Un desafío importante al que se enfrentaron repetidamente el equipo de Steve y otros equipos de ingeniería de datos en Autodesk: a menudo, eran los últimos en enterarse cuando ocurrían problemas con los datos. El equipo de Steve se vio obligado a adoptar un enfoque reactivo para resolver problemas, ya sea que faltaran datos, tuvieran datos tardíos o desactualizados o datos incorrectos con valores nulos.

Para cuando el equipo se dio cuenta de un problema de datos, podría existir durante un mes o más, lo que costó a la empresa tiempo y recursos valiosos.

“Anteriormente, teníamos un sistema de gestión de calidad de datos (DQM) personalizado, pero era una solución pasiva e inextensible”, dice Steve. “El sistema DQM dependía de la ejecución de consultas para monitorear los recuentos de ejecuciones, pero no detectaba de forma proactiva los problemas de calidad de los datos. Las notificaciones sobre problemas de datos eran incongruentes y se retrasaban, y a menudo llegaban por correo electrónico o mensajes de Slack sin una propiedad clara”.

Nos cansamos de que nos tomaran desprevenidos los tipos repetidos de incidentes de datos sin un responsable que abordara estos incidentes. Con Databand, pudimos reducir nuestro tiempo medio de detección a casi cero. En Autodesk, fomentamos la innovación, por lo que vimos esto como una oportunidad interna para llevar la observabilidad de datos de Databand al negocio. Steve Gotlieb Gerente sénior de Ingeniería y Visualización de Datos Autodesk
Databand transforma los procesos de calidad de los datos

Steve y su equipo comenzaron a evaluar soluciones de observabilidad de datos, reconociendo la necesidad de un enfoque más proactivo. Exploraron varias opciones, incluyendo Monte Carlo Data y Datafold, pero el software de observabilidad IBM® Databand se destacó. La cultura de innovación de Autodesk les llevó a organizar un sprint de innovación, reuniendo equipos multifuncionales para explorar y mostrar posibles soluciones. Preeti Taneja, ingeniero principal de datos de Autodesk, desempeñó un papel fundamental en esta evaluación. Su equipo tenía solo una semana para demostrar cómo Databand podía transformar sus procesos de calidad de datos.

Evaluaron si Databand podía detectar cambios en los sistemas de origen y proporcionar alertas en tiempo real en caso de fallos en el flujo de trabajo. El resultado fue impresionante. La perfecta integración de Databand con la moderna pila de datos de Autodesk (por ejemplo, Apache Airflow, dbt, Spark y Snowflake) y la capacidad de ofrecer alertas instantáneas dejaron una fuerte impresión.

“La facilidad de integración de Databand con nuestra pila de datos moderna nos permitió ver el valor de inmediato”, dice Preeti. “Cuando comenzamos a recibir alertas instantáneas, fue un verdadero momento revelador de las capacidades proactivas de calidad de datos de Databand”.

Tras una evaluación interna, Databand resultó ser el claro ganador, lo que llevó al equipo a seguir adelante con su implementación.

El equipo de Steve emplea Databand a diario para monitorear incidentes de datos en diversos casos de uso, incluidos:

  • Monitoreo del procesamiento por lotes: Databand se usa ampliamente en el monitoreo del procesamiento por lotes de producción. Databand monitorea activamente más de 1000 DAG.

  • Pruebas en línea: el equipo emplea las capacidades de prueba en línea de Databand para detectar problemas de calidad de datos en tiempo real, lo cual es crucial para mantener la integridad de los datos.

  • Compatibilidad con productos de datos: Databand es compatible con pipelines que proporcionan insights y mensajes en el producto a los clientes de Autodesk.

  • Monitoreo de pipelines de machine learning (ML) e IA: Databand también monitorea los pipelines que dan soporte a los equipos de ML e IA, ayudando a garantizar que la calidad de los datos se mantenga en todas las etapas del procesamiento de datos.
Idealmente, queremos que todos los equipos de ingeniería de datos de Autodesk usen Databand. El equipo de Databand fue muy receptivo a nuestras solicitudes de hoja de ruta, y confiamos en que pronto conseguiremos que más equipos adopten Databand. Steve Gotlieb Gerente sénior de Ingeniería y Visualización de Datos Autodesk
Mejorar la calidad de los datos y la eficiencia operativa

La implementación de Databand trajo consigo mejoras inmediatas y significativas en la gestión de la calidad de datos de Autodesk:

  1. Reducción del tiempo de detección: Databand redujo el tiempo para detectar problemas de calidad de datos de días a minutos. Esta detección inmediata permitió al equipo abordar problemas antes de que pudieran causar grandes interrupciones.

  2. Reducción del tiempo medio de resolución (MTTR): con Databand, el tiempo medio para resolver problemas de datos se redujo de semanas a días. La detección de incidentes, como datos que llegan tarde, cambios de esquema y fallas de pipelines, ayuda a mantener la confianza y la eficiencia dentro de la organización

  3. Análisis de causa principal: Databand proporcionó un análisis avanzado de causa principal, lo que permitió al equipo identificar y solucionar rápidamente los problemas en su origen

  4. Integración perfecta: la solución se integró sin problemas con las plataformas existentes de Autodesk sin necesidad de reescribir los pipelines principales de Spark, Airflow y dbt. Esta integración incluyó el monitoreo del procesamiento por lotes, los pipelines internos y los datos en reposo en entornos Snowflake.

  5. Ahorro de costos: Autodesk vio una disminución en los costos de consumo de la nube al detectar problemas de manera temprana y evitar repeticiones.

Autodesk vio resultados tangibles en la mejora de la calidad de los datos y la eficiencia operativa. El seguimiento transparente de las solicitudes de características ha reforzado aún más la asociación, permitiendo mejoras e innovaciones continuas.

Logotipo de Bluesky Creations
Acerca de Autodesk

Los diseñadores, ingenieros, constructores y creadores de todo el mundo confían en Autodesk (enlace externo a ibm.com) para que les ayude a diseñar y fabricar cualquier cosa, desde los edificios en los que vivimos y trabajamos, hasta los autos que manejamos y los puentes por los que transitamos. Incluso los productos que usamos y en los que confiamos todos los días y las películas y juegos que nos inspiran existen gracias a Autodesk. La plataforma Design and Make de Autodesk desbloquea el poder de los datos para acelerar los insights y automatizar los procesos, lo que dota a nuestros clientes con la tecnología para crear el mundo que nos rodea y ofrecer mejores resultados para su negocio y el planeta. Para obtener más información, visite autodesk.com (enlace externo a ibm.com).

Componente de la solución IBM Databand
IBM Databand

Proporcione datos de calidad y de confianza con una observabilidad continua de los datos

Explorar la demostración interactiva Leer el informe de Gartner
Legal

© Copyright IBM Corporation 2024. IBM, el logotipo de IBM y Databand son marcas comerciales o marcas comerciales registradas de IBM Corp. en Estados Unidos o en otros países.

Este documento está actualizado a la fecha inicial de publicación e IBM puede modificarlo en cualquier momento. No todas las ofertas están disponibles en todos los países en los que opera IBM.

Los ejemplos de los clientes se presentan como ilustraciones de cómo esos clientes han utilizado los productos de IBM y los resultados que pueden haber logrado. El rendimiento real, el costo, los ahorros u otros resultados en otros entornos operativos pueden variar.