À propos des cookies sur ce site Pour fonctionner correctement, nos sites Internet nécessitent certains cookies (requis). En outre, d'autres cookies peuvent être utilisés avec votre consentement pour analyser l'utilisation d'un site, améliorer l'expérience des utilisateurs et à des fins publicitaires. Pour plus informations, passez en revue vos options de préférences en. En visitant notre site Web, vous acceptez que nous traitions les informations comme décrit dans ladéclaration de confidentialité d’IBM. Pour faciliter la navigation, vos préférences en matière de cookie seront partagées dans les domaines Web d'IBM énumérés ici.
De la réactivité à la proactivité en matière de qualité des données
Autodesk + IBM Databand
Une approche réactive de la résolution des incidents liés aux données
Steve Gotlieb est directeur en chef de l’ingénierie des données et de la visualisation chez Autodesk, une société multinationale qui fournit des produits logiciels dans de nombreux secteurs d’activité. Il dirige l’équipe chargée de l’ingénierie des données et de la plateforme en Amérique du Nord et à Singapour. Son équipe se consacre à la conception de composants réutilisables destinés à créer une plateforme de données robuste et fiable, capable de soutenir des solutions fondées sur les données.
Sous la direction de Steve, la qualité des données est devenue un élément essentiel de la plateforme, permettant de soutenir les concepts de maillage des données qui favorisent une approche « d’apport de ses propres données » et facilitent l’intégration et l’utilisation des données dans l’ensemble de l’organisation.
L’équipe de Steve et les autres équipes d’ingénierie des données d’Autodesk ont dû faire face à un défi de taille : elles étaient souvent les dernières à être informées des problèmes de données. L’équipe de Steve était obligée d’adopter une approche réactive pour résoudre les problèmes, qu’il s’agisse de données manquantes, de données en retard ou obsolètes, ou de données incorrectes contenant des valeurs nulles.
Le temps que l’équipe prenne conscience d’un problème de données, celui-ci pouvait être apparu il y a un mois ou plus, ce qui coûtait à l’entreprise un temps et des ressources précieux.
« Nous disposions auparavant d’un système de gestion de la qualité des données (DQM) sur mesure, mais cette solution était passive et non évolutive, explique Steve. Le système DQM s’appuyait sur l’exécution de requêtes pour contrôler le nombre d’exécutions, mais il ne détectait pas de manière proactive les problèmes de qualité des données. Les notifications concernant les problèmes de données étaient incohérentes et tardives, et arrivaient souvent par e-mail ou par des messages Slack sans que l’on sache exactement qui en était responsable. »
Databand transforme les processus de qualité des données
Steve et son équipe ont commencé à évaluer les solutions d’observabilité des données, reconnaissant la nécessité d’une approche plus proactive. Ils ont exploré diverses options, notamment Monte Carlo Data et Datafold, mais le logiciel d’observabilité IBM Databand s’est démarqué. La culture d’innovation d’Autodesk l’a conduit à organiser un sprint d’innovation, réunissant des équipes transversales pour explorer et présenter des solutions potentielles. Preeti Taneja, ingénieure principale en données chez Autodesk, a joué un rôle essentiel dans cette évaluation. Son équipe n’avait qu’une semaine pour démontrer la capacité de Databand à transformer ses processus de qualité des données.
Elle a vérifié si Databand pouvait détecter les changements dans les systèmes sources et fournir des alertes en temps réel en cas d’échec des workflows. Le résultat a été impressionnant. L’intégration transparente de Databand avec la pile de données moderne d’Autodesk, notamment composée d’Apache Airflow, de dbt, de Spark et de Snowflake, ainsi que la capacité à émettre des alertes instantanées ont laissé une forte impression.
« La facilité d’intégration de Databand avec notre pile de données modernes nous a permis de percevoir tout de suite sa valeur, déclare Preeti. Lorsque nous avons commencé à recevoir des alertes instantanées, nous avons été impressionnés par les capacités proactives de Databand en matière de qualité des données. »
Suite à un audit interne, Databand s’est imposé comme le meilleur choix. L’équipe a donc décidé de mettre en œuvre la solution.
L’équipe de Steve utilise Databand au quotidien pour surveiller les incidents de données dans divers cas d’utilisation, notamment :
- Surveillance du traitement par lots : Databand est intensivement utilisé pour surveiller le traitement par lots de la production. Plus de 1 000 DAG sont activement surveillés par Databand.
- Tests en ligne : l’équipe utilise les capacités de test en ligne de Databand pour détecter les problèmes de qualité des données en temps réel, ce qui est primordial pour préserver leur intégrité.
- Prise en charge des produits de données : Databand prend en charge les pipelines qui fournissent des informations et des messages sur les produits pour les clients d’Autodesk.
- Surveillance des pipelines de machine learning (ML) et d’IA : Databand surveille également les pipelines qui soutiennent les équipes de ML et d’IA, contribuant ainsi à garantir le maintien de la qualité des données tout au long de leur traitement.
Améliorer la qualité des données et l’efficacité opérationnelle
La mise en œuvre de Databand a apporté des améliorations immédiates et significatives à la gestion de la qualité des données d’Autodesk :
- Réduction du temps de détection : Databand a réduit le temps de détection des problèmes de qualité des données de plusieurs jours à quelques minutes. Cette détection immédiate a permis à l’équipe de traiter les problèmes avant qu’ils ne causent des perturbations majeures.
- Réduction du temps moyen de résolution (MTTR) : avec Databand, le temps moyen de résolution des problèmes de données est passé de plusieurs semaines à quelques jours. La détection des incidents, tels que les données arrivées en retard, les modifications de schéma et les défaillances de pipeline, contribue à maintenir la confiance et l’efficacité au sein de l’organisation.
- Analyse des causes profondes : Databand a fourni une analyse avancée des causes profondes, permettant à l’équipe d’identifier et de résoudre rapidement les problèmes à la source.
- Intégration transparente : la solution s’est intégrée harmonieusement aux plateformes existantes d’Autodesk sans qu’il soit nécessaire de réécrire les pipelines Spark, Airflow et dbt core. Cette intégration inclut la surveillance du traitement par lots, des pipelines internes et des données au repos dans les environnements Snowflake.
- Économies de coûts : Autodesk a constaté une baisse des coûts de consommation du cloud en détectant les problèmes à un stade précoce et en évitant les réexécutions.
Autodesk a constaté des résultats tangibles dans l’amélioration de la qualité des données et de l’efficacité opérationnelle. Le suivi transparent des demandes de fonctionnalités a encore renforcé le partenariat, permettant des améliorations et des innovations continues.
Les concepteurs, ingénieurs, développeurs et créateurs du monde entier font confiance à Autodesk (lien externe à ibm.com) pour les aider à concevoir et à fabriquer tout type de produit, des bâtiments dans lesquels nous vivons et travaillons aux voitures que nous conduisons et aux ponts sur lesquels nous roulons. Même les produits que nous utilisons au quotidien, ainsi que les films et les jeux qui nous inspirent, existent grâce à Autodesk. La plateforme Design and Make d’Autodesk exploite le plein potentiel des données pour accélérer la découverte d’informations et automatiser les processus, permettant ainsi aux clients de disposer de la technologie nécessaire pour créer le monde qui nous entoure et obtenir de meilleurs résultats pour leur entreprise et pour la planète. Pour en savoir plus, rendez-vous sur autodesk.com (lien externe à ibm.com).
Mentions légales
© Copyright IBM Corporation 2024. IBM, le logo IBM et Databand sont des marques commerciales d’IBM Corp., déposées aux États-Unis et/ou dans d’autres pays.Les informations contenues dans le présent document étaient à jour à la date de publication initiale et sont susceptibles d’être modifiées à tout moment par IBM. Certaines offres mentionnées dans le présent document ne sont pas disponibles dans tous les pays où la société IBM est présente.
Les exemples de clients sont présentés pour illustrer la façon dont ces clients ont utilisé les produits IBM et les résultats qu’ils ont pu obtenir. Les performances, coûts, économies ou autres résultats réels dans d’autres contextes d’exploitation peuvent varier.