Gestion des données augmentée : data fabric et data mesh

Le data fabric et le data mesh sont des concepts émergents dans le domaine de la gestion des données. Ils visent à répondre aux changements organisationnels et à la complexité de comprendre, de régir et d’exploiter les données d’entreprise au sein d’un écosystème multicloud hybride. La bonne nouvelle est que ces deux concepts d’architecture de données sont complémentaires. Mais que sont exactement le data fabric et le data mesh, et comment utiliser ces solutions de gestion des données en vue d’exploiter les données de votre entreprise et d’améliorer votre prise de décision ?

Selon Gartner, un data fabric est « un concept de design qui sert de couche intégrée de données et de processus de connexion. Un data fabric utilise des analyses continues sur des métadonnées existantes, découvrables et déduites pour prendre en charge la conception, le déploiement et l’utilisation de jeux de données intégrés et réutilisables dans tous les environnements, dont les plateformes hybrides et multicloud. » [1]

L’approche architecturale du data fabric peut simplifier l’accès aux données et faciliter leur utilisation en fonction des besoins et à grande échelle. Cette approche élimine les silos de données, ouvrant ainsi de nouvelles possibilités pour façonner la gouvernance de ces données, leur intégration, les vues client uniques et les mises en œuvre d’IA de confiance, entre autres cas d’utilisation courants dans le secteur.

Grâce à son approche unique axée sur les métadonnées, la couche d’abstraction d’un data fabric facilite la modélisation, l’intégration et l’interrogation de toutes les sources de données, la création de pipelines et l’intégration des données en temps réel. Un data fabric rationalise également l’extraction d’informations à partir des données grâce à une meilleure observabilité et une meilleure qualité des données, en automatisant les tâches manuelles sur les plateformes à l’aide du machine learning. Cela améliore la productivité des équipes d’ingénierie des données et le délai de réalisation de la valeur pour les consommateurs de données.

Selon Forrester, « un data mesh est une approche sociotechnique décentralisée permettant de partager des données analytiques, d’y accéder et de les gérer dans des environnements complexes et à grande échelle, au sein d’une entreprise ou entre plusieurs entreprises qui l’utilisent. » [2]

L’architecture data mesh est une approche qui associe les sources de données par domaine d’activité ou par fonction aux propriétaires de données. Grâce à la décentralisation de la propriété des données, les propriétaires peuvent créer des produits de données pour leurs domaines respectifs, ce qui signifie que leurs consommateurs, qu’il s’agisse de data scientists ou d’utilisateurs professionnels, peuvent utiliser une combinaison de ces produits pour l’analyse et la science des données.

L’intérêt de l’approche data mesh réside dans le fait qu’elle confie la création des produits de données à des experts en amont qui connaissent mieux les domaines d’activité, plutôt que de s’en remettre à des ingénieurs pour nettoyer et intégrer ces produits en aval.

De plus, le data mesh accélère la réutilisation des produits de données en mettant en place un modèle de publication et d’abonnement et en exploitant les API, ce qui permet à leurs consommateurs d’obtenir plus facilement ceux dont ils ont besoin, y compris des mises à jour fiables.

Le data fabric et le data mesh peuvent coexister. En réalité, un data fabric permet la mise en œuvre d’un data mesh de trois manières :

1. Il fournit aux propriétaires de données des capacités de création de produits de données, telles que le catalogage des actifs de données, la transformation des actifs en produits et le respect des politiques de gouvernance fédérées.
2. Il permet aux propriétaires et aux consommateurs de données d’utiliser les produits de données de différentes manières, par exemple la publication dans le catalogue, la recherche et la localisation, ainsi que l’interrogation ou la visualisation à l’aide d’API ou de la virtualisation des données.
3. Il utilise les informations issues des métadonnées du data fabric pour automatiser les tâches en apprenant à partir de schémas dans le cadre du processus de création ou de surveillance des produits de données.

En matière de gestion des données, un data fabric fournit les capacités nécessaires pour mettre en œuvre et tirer pleinement parti d’un data mesh en automatisant un grand nombre de tâches nécessaires pour créer des produits de données et gérer le cycle de vie de ces produits. En utilisant la flexibilité d’une base de data fabric, vous pouvez mettre en œuvre un data mesh, continuer à profiter d’une architecture de données centrée sur un cas d’utilisation, que vos données se trouvent sur site ou dans le cloud.