Autodesk + IBM
Steve Gotlieb est directeur en chef de l’ingénierie des données et de la visualisation chez Autodesk, une société multinationale qui fournit des produits logiciels dans de nombreux secteurs d’activité. Il dirige l’équipe chargée de l’ingénierie des données et de la plateforme en Amérique du Nord et à Singapour. Son équipe se consacre à la conception de composants réutilisables destinés à créer une plateforme de données robuste et fiable, capable de soutenir des solutions fondées sur les données.
Sous la direction de Steve, la qualité des données est devenue un élément essentiel de la plateforme, permettant de soutenir les concepts de maillage des données qui favorisent une approche « d’apport de ses propres données » et facilitent l’intégration et l’utilisation des données dans l’ensemble de l’organisation.
L’équipe de Steve et les autres équipes d’ingénierie des données d’Autodesk ont dû faire face à un défi de taille : elles étaient souvent les dernières à être informées des problèmes de données. L’équipe de Steve était obligée d’adopter une approche réactive pour résoudre les problèmes, qu’il s’agisse de données manquantes, de données en retard ou obsolètes, ou de données incorrectes contenant des valeurs nulles.
Le temps que l’équipe prenne conscience d’un problème de données, celui-ci pouvait être apparu il y a un mois ou plus, ce qui coûtait à l’entreprise un temps et des ressources précieux.
« Nous disposions auparavant d’un système de gestion de la qualité des données (DQM) sur mesure, mais cette solution était passive et non évolutive, explique Steve. Le système DQM s’appuyait sur l’exécution de requêtes pour contrôler le nombre d’exécutions, mais il ne détectait pas de manière proactive les problèmes de qualité des données. Les notifications concernant les problèmes de données étaient incohérentes et tardives, et arrivaient souvent par e-mail ou par des messages Slack sans que l’on sache exactement qui en était responsable. »
Steve et son équipe ont commencé à étudier les différentes solutions d’observabilité des données, reconnaissant la nécessité d’une approche plus proactive. Ils ont exploré diverses options, dont Monte Carlo Data et Datafold, mais leur choix s’est tourné vers les capacités d’observabilité des données proposées par le logiciel IBM® watsonx.data integration (anciennement Databand). La culture d’innovation d’Autodesk a poussé l’entreprise à organiser un sprint d’innovation réunissant des équipes transversales pour explorer et présenter les solutions potentielles. Preeti Taneja, ingénieure principale en données chez Autodesk, a joué un rôle essentiel dans cette évaluation. Son équipe n’avait qu’une semaine pour démontrer comment l’observabilité des données pouvait transformer ses processus de qualité des données.
Elle a vérifié si IBM watsonx.data integration (anciennement Databand) pouvait détecter les changements dans les systèmes sources et fournir des alertes en temps réel en cas d’échec des workflows. Le résultat était impressionnant. L’intégration fluide avec la pile de données moderne d’Autodesk, par exemple Apache Airflow, dbt, Spark et Snowflake, ainsi que la capacité à émettre des alertes instantanées ont laissé une forte impression.
« La facilité d’intégration avec notre pile de données modernes nous a permis de percevoir tout de suite sa valeur », déclare Preeti Taneja. « Quand nous avons reçu les premières alertes instantanées, nous avons été conquis par ses capacités proactives de qualité des données. »
À la suite d’une évaluation interne, IBM watsonx.data integration (anciennement Databand) s’est imposé comme le meilleur choix. L’équipe a donc décidé de mettre en œuvre la solution.
L’équipe de Steve utilise IBM watsonx.data integration (anciennement Databand) quotidiennement pour surveiller les incidents de données dans divers cas d’utilisation, notamment :
- Réduction du délai de détection : réduction du délai de détection, qui aurait pris des jours, voire des semaines, à zéro.
- Surveillance du traitement par lots : plus de 1 000 DAG sont surveillés activement.
- Tests en ligne : l’équipe utilise les capacités de tests en ligne pour détecter les problèmes de qualité des données en temps réel, ce qui est crucial pour maintenir leur intégrité.
- Prise en charge des produits de données : prend en charge les pipelines qui fournissent des informations et des messages sur les produits pour les clients d’Autodesk.
- Surveillance des pipelines de machine learning (ML) et d’IA : surveille les pipelines soutenant le travail ds équipes de ML et d’IA, afin de garantir que la qualité des données est maintenue tout au long de leur traitement.
La mise en œuvre d’IBM watsonx.data integration (anciennement Databand) a apporté des améliorations immédiates et significatives à la gestion de la qualité des données d’Autodesk :
- Réduction du temps de détection : le temps de détection des problèmes de qualité des données a été réduit de plusieurs jours à quelques minutes. Cette détection immédiate a permis à l’équipe de traiter les problèmes avant qu’ils ne causent des perturbations majeures.
- Réduction du temps moyen de résolution (MTTR) : le temps moyen de résolution des problèmes de données est passé de plusieurs semaines à quelques jours. La détection des incidents, comme les données arrivées en retard, les modifications de schéma et les défaillances de pipeline, contribue à maintenir la confiance et l’efficacité au sein de l’entreprise.
- Analyse des causes racines : analyse avancée des causes racines, permettant à l’équipe d’identifier et de résoudre rapidement les problèmes à la source.
- Intégration transparente : la solution s’est intégrée harmonieusement aux plateformes existantes d’Autodesk sans qu’il soit nécessaire de réécrire les pipelines Spark, Airflow et dbt core. Cette intégration inclut la surveillance du traitement par lots, des pipelines internes et des données au repos dans les environnements Snowflake.
- Réduction des coûts : Autodesk a constaté une baisse de ses coûts de consommation cloud en détectant les problèmes au plus tôt et en évitant les exécutions répétées.
Autodesk a constaté des résultats tangibles dans l’amélioration de la qualité des données et de l’efficacité opérationnelle. Le suivi transparent des demandes de fonctionnalités a encore renforcé le partenariat, permettant des améliorations et des innovations continues.
Les concepteurs, ingénieurs, développeurs et créateurs du monde entier font confiance à Autodesk (lien externe à ibm.com) pour les aider à concevoir et à fabriquer tout type de produit, des bâtiments dans lesquels nous vivons et travaillons aux voitures que nous conduisons et aux ponts sur lesquels nous roulons. Même les produits que nous utilisons au quotidien, ainsi que les films et les jeux qui nous inspirent, existent grâce à Autodesk. La plateforme Design and Make d’Autodesk exploite le plein potentiel des données pour accélérer la découverte d’informations et automatiser les processus, permettant ainsi aux clients de disposer de la technologie nécessaire pour créer le monde qui nous entoure et obtenir de meilleurs résultats pour leur entreprise et pour la planète. Pour en savoir plus, rendez-vous sur autodesk.com (lien externe à ibm.com).
Mentions légales
© Copyright IBM Corporation 2024. IBM, le logo IBM et Databand sont des marques commerciales d’IBM Corp., déposées aux États-Unis et/ou dans d’autres pays.Les informations contenues dans le présent document étaient à jour à la date de publication initiale et sont susceptibles d’être modifiées à tout moment par IBM. Certaines offres mentionnées dans le présent document ne sont pas disponibles dans tous les pays où la société IBM est présente.
Les exemples de clients sont présentés pour illustrer la façon dont ces clients ont utilisé les produits IBM et les résultats qu’ils ont pu obtenir. Les performances, coûts, économies ou autres résultats réels dans d’autres contextes d’exploitation peuvent varier.