Autodesk + IBM Databand
Steve et son équipe ont commencé à évaluer les solutions d’observabilité des données, reconnaissant la nécessité d’une approche plus proactive. Ils ont exploré diverses options, notamment Monte Carlo Data et Datafold, mais le logiciel d’observabilité IBM Databand s’est démarqué. La culture d’innovation d’Autodesk l’a conduit à organiser un sprint d’innovation, réunissant des équipes transversales pour explorer et présenter des solutions potentielles. Preeti Taneja, ingénieure principale en données chez Autodesk, a joué un rôle essentiel dans cette évaluation. Son équipe n’avait qu’une semaine pour démontrer la capacité de Databand à transformer ses processus de qualité des données.
Elle a vérifié si Databand pouvait détecter les changements dans les systèmes sources et fournir des alertes en temps réel en cas d’échec des workflows. Le résultat a été impressionnant. L’intégration transparente de Databand avec la pile de données moderne d’Autodesk, notamment composée d’Apache Airflow, de dbt, de Spark et de Snowflake, ainsi que la capacité à émettre des alertes instantanées ont laissé une forte impression.
« La facilité d’intégration de Databand avec notre pile de données modernes nous a permis de percevoir tout de suite sa valeur, déclare Preeti. Lorsque nous avons commencé à recevoir des alertes instantanées, nous avons été impressionnés par les capacités proactives de Databand en matière de qualité des données. »
Suite à un audit interne, Databand s’est imposé comme le meilleur choix. L’équipe a donc décidé de mettre en œuvre la solution.
L’équipe de Steve utilise Databand au quotidien pour surveiller les incidents de données dans divers cas d’utilisation, notamment :
- Réduction du délai de détection : réduction du délai de détection, qui aurait pris des jours, voire des semaines, à zéro.
- Surveillance du traitement par lots : Databand est intensivement utilisé pour surveiller le traitement par lots de la production. Plus de 1 000 DAG sont activement surveillés par Databand.
- Tests en ligne : l’équipe utilise les capacités de test en ligne de Databand pour détecter les problèmes de qualité des données en temps réel, ce qui est primordial pour préserver leur intégrité.
- Prise en charge des produits de données : Databand prend en charge les pipelines qui fournissent des informations et des messages sur les produits pour les clients d’Autodesk.
- Surveillance des pipelines de machine learning (ML) et d’IA : Databand surveille également les pipelines qui soutiennent les équipes de ML et d’IA, contribuant ainsi à garantir le maintien de la qualité des données tout au long de leur traitement.
La mise en œuvre de Databand a apporté des améliorations immédiates et significatives à la gestion de la qualité des données d’Autodesk :
- Réduction du temps de détection : Databand a réduit le temps de détection des problèmes de qualité des données de plusieurs jours à quelques minutes. Cette détection immédiate a permis à l’équipe de traiter les problèmes avant qu’ils ne causent des perturbations majeures.
- Réduction du temps moyen de résolution (MTTR) : avec Databand, le temps moyen de résolution des problèmes de données est passé de plusieurs semaines à quelques jours. La détection des incidents, tels que les données arrivées en retard, les modifications de schéma et les défaillances de pipeline, contribue à maintenir la confiance et l’efficacité au sein de l’organisation.
- Analyse des causes profondes : Databand a fourni une analyse avancée des causes profondes, permettant à l’équipe d’identifier et de résoudre rapidement les problèmes à la source.
- Intégration transparente : la solution s’est intégrée harmonieusement aux plateformes existantes d’Autodesk sans qu’il soit nécessaire de réécrire les pipelines Spark, Airflow et dbt core. Cette intégration inclut la surveillance du traitement par lots, des pipelines internes et des données au repos dans les environnements Snowflake.
- Économies de coûts : Autodesk a constaté une baisse des coûts de consommation du cloud en détectant les problèmes à un stade précoce et en évitant les réexécutions.
Autodesk a constaté des résultats tangibles dans l’amélioration de la qualité des données et de l’efficacité opérationnelle. Le suivi transparent des demandes de fonctionnalités a encore renforcé le partenariat, permettant des améliorations et des innovations continues.
Les concepteurs, ingénieurs, développeurs et créateurs du monde entier font confiance à Autodesk (lien externe à ibm.com) pour les aider à concevoir et à fabriquer tout type de produit, des bâtiments dans lesquels nous vivons et travaillons aux voitures que nous conduisons et aux ponts sur lesquels nous roulons. Même les produits que nous utilisons au quotidien, ainsi que les films et les jeux qui nous inspirent, existent grâce à Autodesk. La plateforme Design and Make d’Autodesk exploite le plein potentiel des données pour accélérer la découverte d’informations et automatiser les processus, permettant ainsi aux clients de disposer de la technologie nécessaire pour créer le monde qui nous entoure et obtenir de meilleurs résultats pour leur entreprise et pour la planète. Pour en savoir plus, rendez-vous sur autodesk.com (lien externe à ibm.com).
Mentions légales
© Copyright IBM Corporation 2024. IBM, le logo IBM et Databand sont des marques commerciales d’IBM Corp., déposées aux États-Unis et/ou dans d’autres pays.Les informations contenues dans le présent document étaient à jour à la date de publication initiale et sont susceptibles d’être modifiées à tout moment par IBM. Certaines offres mentionnées dans le présent document ne sont pas disponibles dans tous les pays où la société IBM est présente.
Les exemples de clients sont présentés pour illustrer la façon dont ces clients ont utilisé les produits IBM et les résultats qu’ils ont pu obtenir. Les performances, coûts, économies ou autres résultats réels dans d’autres contextes d’exploitation peuvent varier.