Qu’est-ce que l’orchestration des données ?

L’orchestration des données consiste à gérer et à coordonner les flux de données entre différents systèmes, processus et outils. Elle permet d’organiser et de rationaliser les étapes du pipeline de données, notamment la collecte, l’ingestion, la transformation, l’intégration et le stockage.

Si le processus d’orchestration des données est réussi, les informations circulent de manière fiable et efficace vers diverses destinations cibles, et sont prêtes à être analysées et utilisées à d’autres fins dès leur arrivée. Ces fonctionnalités de base en font une pratique de gestion des données essentielle à l’ère des workloads de mégadonnées et d’une prise de décision fondée sur les données. 

Les ingénieurs en données s’appuient sur des outils et des plateformes d’orchestration des données pour rationaliser le déplacement des données et soutenir l’évolutivité des projets de l’entreprise en matière de données. L’automatisation est au cœur de nombreuses solutions modernes d’orchestration des données. Elle permet d’exécuter des tâches telles que l’intégration et la transformation des données dans un ordre logique, sans intervention humaine. 

Pour exploiter la puissance de leurs volumes de données croissants, les entreprises doivent gérer des écosystèmes de données de plus en plus complexes. Leurs données proviennent souvent de sources différentes et ont des formats variés. 

Elles sont également couramment stockées dans des référentiels cloud ou sur site, comme les data lakes et les entrepôts de données, partout dans le monde. Et dans de nombreuses entreprises, les données sont utilisées par différents outils, équipes et employés : les systèmes CRM pour les équipes commerciales, les plateformes d’analytique pour les spécialistes du marketing, etc. Selon une étude menée par IDC en 2024 auprès de responsables informatiques et métier, les données opérationnelles proviennent en moyenne de 35 systèmes différents et sont intégrées dans 18 référentiels de données analytiques différents.¹

Ces environnements de données complexes sont propices aux silos de données, aux données de mauvaise qualité et à d’autres problèmes qui créent des goulots d’étranglement dans les pipelines de données et introduisent des erreurs dans l’analyse en aval. Une orchestration efficace aide les entreprises à surmonter ces défis et à débloquer la valeur de leurs données.

L’orchestration des données aide les entreprises à utiliser leurs données pour obtenir des informations précieuses, prendre des décisions éclairées et innover. Ses avantages :

L’orchestration et l’intégration des données sont des concepts étroitement liés, mais pas identiques. Bien que les deux permettent la consolidation et l’unification des données à des fins d’analytique, l’intégration des données est plus granulaire, tandis que l’orchestration est une pratique globale. 

L’orchestration des données optimise le déplacement des données à travers différents systèmes et processus. L’intégration des données est l’un de ces processus, qui utilise différentes méthodes (comme extraire, transformer et charger, ou ETL) pour combiner et harmoniser les données provenant de différentes sources, puis les charger dans un système cible.

L’orchestration des données aide les entreprises à gérer l’énorme complexité de leurs écosystèmes. La pratique comporte généralement trois étapes de base :

• Organisation : les données sont collectées à partir de diverses sources internes et externes, puis organisées, souvent dans un endroit central, afin qu’elles soient prêtes à être transformées.
  
  
• Transformation : les données brutes sont converties dans un format unifié, nettoyées et validées pour en garantir la cohérence et l’exactitude.
  
  
• Activation : les données sont mises à disposition pour l’analyse, l’acheminement vers les outils de tableau de bord et d’autres finalités.

Les étapes de base de l'orchestration des données reposent sur plusieurs fonctions clés. Parmi elles :  

• Définir les dépendances des tâches et séquencer les tâches
• Automatiser les workflows de données
• Surveillance et envoi d’alertes

L’orchestration des données commence souvent par la définition des tâches de traitement de données et la spécification de leur ordre d’exécution dans les pipelines et workflows de données. Cela permet de s’assurer que lorsqu’une tâche dépend du résultat d’une autre tâche, cette dernière est exécutée en premier. Un tel séquençage des tâches, c’est-à-dire basé sur les dépendances, aide les entreprises à éviter les défaillances coûteuses du pipeline.

Pour concevoir et organiser les séquences de tâches, les ingénieurs en données utilisent souvent des graphes acycliques dirigés (DAG),dans lesquels les nœuds sont reliés par des connexions unidirectionnelles qui ne forment pas de cycle. Les différents nœuds d’un DAG peuvent représenter différents processus de données comme l’ingestion et la transformation, ainsi que l’ordre dans lequel ils doivent être exécutés. Les arêtes reliant les nœuds représentent les dépendances entre les processus.

Une alternative aux DAG pour définir et ordonner les tâches est une approche centrée sur le code. Une approche populaire axée sur le code utilise le langage de programmation open source Python pour créer des fonctions de gestion des workflows, une configuration souvent considérée comme plus adaptée aux workflows dynamiques.

Une orchestration moderne des données automatise de multiples workflows de données comme ETL, ELT (extraction, chargement, transformation) et la transformation des données dans les entrepôts de données, afin de garantir la cohérence et de minimiser ou d’éliminer l’intervention humaine. Les tâches de données automatisées peuvent être lancées par l’humain, ou planifiées à l’aide de trois types de déclencheurs :²

• Déclencheurs temporels : les tâches sont exécutées à des intervalles ou à des moments déterminés.
  
  
• Déclencheurs basés sur les dépendances : les tâches ne s’exécutent qu’une fois les autres tâches spécifiées terminées.
  
  
• Déclencheurs événementiels : des signaux du monde réel, tels que les appels d’API, activent une tâche.

Si la surveillance des pipelines de données est souvent considérée comme une pratique d’observabilité des données, elle joue également un rôle dans l’orchestration des données en garantissant que les données circulent et sont traitées comme prévu. 

Les entreprises peuvent surveiller plusieurs types d’indicateurs, notamment des indicateurs de performance tels que la latence et le débit ; des indicateurs d’utilisation des ressources comme le processeur et la mémoire, et des indicateurs de qualité des données tels que l’exactitude, l’exhaustivité et la cohérence.³

Lorsqu’un problème est détecté dans le pipeline de données, comme l’échec d’une tâche, les outils de notification envoient des alertes en temps opportun aux équipes de données, afin qu’elles puissent résoudre le problème rapidement. Les solutions d’orchestration permettent également d’effectuer des tentatives pour atténuer les problèmes, c’est-à-dire qu’une tâche qui a échoué peut être exécutée à nouveau automatiquement un certain nombre de fois avant que les notifications ne soient envoyées.

Bien que similaire, l’orchestration des données se distingue de deux autres types d’orchestration : l’orchestration des workflows et l’orchestration des processus. Ces deux pratiques sont plus générales que l’orchestration des données, qui peut être considérée comme appartenant aux deux.
 
L’orchestration des workflows vise à coordonner et gérer une série de tâches, de systèmes et d’outils interconnectés afin d’atteindre un résultat précis. Elle met l’accent sur l’exécution et l’intégration de bout en bout des workflows dans différents environnements, et garantit que les tâches se déroulent dans le bon ordre tout en respectant les dépendances.

L’orchestration des processus désigne la gestion et l’intégration de plusieurs processus métier, impliquant souvent des workflows, des personnes et des systèmes. Au lieu de se concentrer sur la gestion des workflows, il s’agit de coordonner de bout en bout des processus métier complets, favorisant ainsi l’alignement avec les objectifs de l’entreprise.

Les entreprises et les équipes de données peuvent choisir parmi de nombreuses solutions d’orchestration des données lorsqu’elles cherchent à rationaliser le traitement des données. La choix dépendra de leurs priorités telles que les coûts (open source ou commercial), les besoins en matière d’observabilité et l’intégration avec d’autres solutions de données populaires (outils analytiques comme dbt, plateformes de données cloud comme Snowflake).

Les outils et plateformes d’orchestration des données les plus utilisés offrent généralement des options de connexion à d’autres solutions de données, mais ils varient également sur d’autres points. Vous trouverez ci-dessous un aperçu de plusieurs solutions d’orchestration des données :

• Apache Airflow
• AWS Step Functions
• Azure Data Factory
• Dagster
• Plateformes IBM DataOps
• Prefect

La solution d’orchestration des données la plus connue, Apache Airflow, est une plateforme open source conçue principalement pour le traitement par lots. Elle permet la planification des flux de données, les workflows étant définis comme DAG. Airflow dispose d’une architecture qui prend en charge la mise à l’échelle et l’exécution parallèle, adaptée donc à la gestion de pipelines complexes et gourmands en données.

AWS Step Functions est un service d’orchestration sans serveur d’Amazon proposant une interface visuelle pour coordonner les applications distribuées et les microservices. Il est souvent recommandé aux entreprises qui s’appuient déjà sur l’infrastructure d'Amazon, mais il peut également s’intégrer à des applications tierces.

Azure Data Factory de Microsoft est un service d’intégration de données sans serveur, entièrement géré, qui s’intègre nativement avec d’autres services Azure. Il dispose d’une interface utilisateur visuelle permettant d’intégrer les sources de données et d’orchestrer les pipelines de données ETL et ELT.

Dagster est connu pour son orientation vers l’observabilité et la qualité des données, avec des fonctionnalités telles que la traçabilité des données et le suivi des métadonnées. Ses fonctionnalités comprennent également des tests locaux et des composants réutilisables pour soutenir les produits de données adaptés à l’IA et les pratiques modernes d’ingénierie logicielle. 

IBM® propose une sélection d’outils et de plateformes DataOps dotés de capacités d’orchestration des données. IBM watsonx.data intelligence fournit un catalogue de données pour automatiser leur découverte et la gestion de leur qualité. IBM watsonx.data integration offre un plan de contrôle unifié pour construire des pipelines réutilisables. Et IBM Cloud Pak for Data utilise la virtualisation des données, des pipelines et des connecteurs pour combiner les données provenant de sources cloisonnées, tout en éliminant la nécessité de les déplacer physiquement.

Prefect est un outil d’orchestration des données disponible en version open source et comme solution gérée dans le cloud, avec des fonctionnalités supplémentaires pour les entreprises. Contrairement à d’autres solutions d’orchestration des données, Prefect ne s’appuie pas sur les DAG et adopte plutôt une approche centrée sur le code, que certains préfèrent pour une orchestration plus dynamique.