Inicio

Casos de éxito

Autodesk

Pasar de una calidad de datos reactiva a una proactiva
Autodesk + IBM Databand
Dos personas, una de pie y otra sentada, trabajando con ordenadores portátiles en una oficina
Un enfoque reactivo para resolver incidentes de datos

Steve Gotlieb es gestor sénior de Ingeniería y Visualización de datos en Autodesk, una empresa de software multinacional que ofrece productos de software en múltiples industrias. Dirige el equipo global de ingeniería de datos y plataformas en Norteamérica y Singapur. Su equipo se centra en la construcción de componentes reutilizables que contribuyan a una plataforma de datos sólida y confiable que respalde soluciones basadas en datos.

Bajo su liderazgo, Steve empezó a defender la calidad de los datos como un componente básico de la plataforma para apoyar los conceptos de malla de datos que promueven un enfoque de "traiga sus propios datos" y permiten una integración y utilización de los datos sin problemas en toda la organización.

El equipo de Steve y otros equipos de ingeniería de datos de Autodesk se enfrentaban constantemente a un reto importante: a menudo eran los últimos en enterarse de los problemas con los datos. El equipo de Steve se vio obligado a adoptar un enfoque reactivo para resolver problemas, ya fuera que faltaran datos, que tuvieran datos atrasados u obsoletos, o datos incorrectos con valores nulos.

Para cuando el equipo se percataba de un problema de datos, éste podía haber existido durante un mes o más, lo que costaba a la empresa tiempo y recursos valiosos.

"Antes teníamos un sistema de gestión de calidad de datos (DQM) personalizado, pero era una solución pasiva e inextensible", afirma Steve. "El sistema DQM dependía de la ejecución de consultas para supervisar los recuentos de ejecuciones, pero no detectaba de forma proactiva los problemas de calidad de los datos. Las notificaciones sobre problemas con los datos eran incoherentes y llegaban con retraso, a menudo a través de correos electrónicos o mensajes de Slack sin una titularidad clara".

Nos cansamos de que nos tomaran por sorpresa repetidos tipos de incidentes de datos sin un propietario que pudiera abordarlos. Con Databand hemos podido reducir nuestro tiempo medio de detección a casi cero. En Autodesk, fomentamos la innovación, por lo que vimos esto como una oportunidad interna para llevar la observabilidad de datos de Databand al negocio. Steve Gotlieb Gestor sénior de Ingeniería y Visualización de datos Autodesk
Databand transforma los procesos de calidad de los datos

Steve y su equipo comenzaron a evaluar soluciones de observabilidad de datos, reconociendo la necesidad de un enfoque más proactivo. Exploraron varias opciones, incluidos Monte Carlo Data y Datafold, pero el software de observabilidad IBM Databand se destacó. La cultura de innovación de Autodesk le llevó a organizar un sprint de innovación, reuniendo a equipos interfuncionales para explorar y mostrar posibles soluciones. Preeti Taneja, ingeniera principal de datos de Autodesk, desempeñó un papel fundamental en esta evaluación. Su equipo solo tuvo una semana para demostrar cómo Databand podía transformar sus procesos de calidad de datos.

Evaluaron si Databand podía detectar cambios en los sistemas de origen y proporcionar alertas en tiempo real en caso de fallos en el flujo de trabajo. El resultado fue impresionante. La perfecta integración de Databand con la moderna pila de datos de Autodesk, por ejemplo, Apache Airflow, dbt, Spark y Snowflake, y la capacidad de ofrecer alertas instantáneas dejaron una fuerte impresión.

"La facilidad de integración de Databand con nuestra pila de datos moderna nos permitió ver el valor inmediatamente", dice Preeti. “Cuando empezamos a recibir alertas instantáneas, nos quedamos realmente sorprendidos por las capacidades proactivas de calidad de datos de Databand”.

Tras una evaluación interna, Databand resultó ser el claro ganador, lo que llevó al equipo a seguir adelante con su implementación.

El equipo de Steve utiliza Databand a diario para monitorizar las incidencias de los datos en varios casos de uso, entre ellos:

  • Monitorización del procesamiento de lotes: Databand se suele utilizar para monitorizar el procesamiento de lotes de producción. Databand monitoriza activamente más de 1000 DAG.

  • Pruebas en línea: el equipo utiliza las capacidades de prueba en línea de Databand para detectar problemas de calidad de los datos en tiempo real, lo cual es crucial para mantener la integridad de los datos.

  • Soporte de productos de datos: Databand apoya las canalizaciones que ofrecen información y mensajes integrados en el producto a los clientes de Autodesk.

  • Monitorización de canalización de machine learning (ML) e IA: Databand también monitoriza las canalizaciones que dan soporte a los equipos de ML e IA, lo que ayuda a garantizar que la calidad de los datos se mantiene en todas las etapas del procesamiento de datos.
Idealmente, queremos que todos los equipos de ingeniería de datos de Autodesk utilicen Databand. El equipo de Databand ha respondido muy bien a nuestras solicitudes de hoja de ruta y confiamos en que pronto conseguiremos que más equipos adopten Databand. Steve Gotlieb Gestor sénior de Ingeniería y Visualización de datos Autodesk
Mejorar la calidad de los datos y la eficiencia operativa

La implementación de Databand aportó mejoras inmediatas y significativas a la gestión de la calidad de los datos de Autodesk:

  1. Reducción del tiempo de detección: Databand redujo el tiempo de detección de problemas de calidad de datos de días a minutos. Esta detección inmediata permitió al equipo abordar los problemas antes de que pudieran causar interrupciones importantes.

  2. Reducción del tiempo medio de resolución (MTTR): con Databand, el tiempo medio para resolver los problemas de datos pasó de semanas a días. Detectar los incidentes, como los datos que llegan tarde, los cambios de esquema y los fallos en los oleoductos, ayuda a mantener la confianza y la eficiencia dentro de la organización

  3. Análisis de la causa raíz: Databand proporcionó un análisis avanzado de la causa raíz, lo que permitió al equipo identificar y solucionar rápidamente los problemas en su origen.

  4. Integración sin fisuras: la solución se integró sin problemas con las plataformas existentes de Autodesk sin necesidad de reescribir las canalizaciones principales de Spark, Airflow y dbt. Esta integración incluyó la monitorización del procesamiento por lotes, las tuberías internas y los datos en reposo en entornos Snowflake

  5. Ahorro de costes: Autodesk fue testigo de una disminución en los costes de consumo en la nube al detectar problemas de forma temprana y evitar repeticiones.

Autodesk ha visto resultados tangibles en la mejora de la calidad de los datos y la eficiencia operativa. El seguimiento transparente de las solicitudes de funciones ha solidificado aún más la asociación, permitiendo mejoras e innovaciones continuas.

Logotipo de Bluesky Creations
Acerca de Autodesk

Los diseñadores, ingenieros, desarrolladores y creadores de todo el mundo confían en Autodesk ibm.com para que les ayude a diseñar y fabricar cualquier cosa, desde los edificios en los que vivimos y trabajamos, hasta los coches que conducimos y los puentes por los que conducimos. Incluso los productos que usamos y en los que confiamos a diario, así como las películas y juegos que nos inspiran, existen gracias a Autodesk. La plataforma de diseño y creación de Autodesk libera el poder de los datos para acelerar la información y automatizar los procesos, dotando a nuestros clientes de la tecnología necesaria para crear el mundo que nos rodea y ofrecer mejores resultados para su negocio y el planeta. Para obtener más información, visite autodesk.com (enlace externo a ibm.com).

Componente de la solución IBM Databand
IBM Databand

Proporcione datos fiables y de confianza con una observabilidad continua de los datos

Explore la demostración interactiva Lea el informe de Gartner
Legal

© Copyright IBM Corporation 2024. IBM, el logotipo de IBM y Databand son marcas o marcas registradas de IBM Corp. en EE. UU. y/o en otros países.

Este documento está vigente en la fecha inicial de publicación y puede ser modificado por IBM en cualquier momento. No todas las ofertas están disponibles en todos los países en los que opera IBM.

Se presentan ejemplos de clientes para ilustrar cómo esos clientes han utilizado los productos de IBM y los resultados que podrían haber logrado. El desempeño, los costes, los ahorros reales u otros resultados en sus entornos operativos podrían variar.