L’ELT (extraction, chargement, transformation) est un processus d’intégration des données qui consiste à transférer des données brutes d’un système source vers un système cible. Les systèmes cibles peuvent notamment être un entrepôt de données cloud, un data lake ou un data lakehouse.
L’ELT est généralement considéré comme le pendant du processus d’intégration des données ETL (extraction, transformation, chargement). Toutefois, contrairement aux pipelines ETL, les pipelines ELT placent la transformation des données à la fin du processus d’intégration, plutôt qu’au milieu. Cette approche permet d’accélérer le transfert des données de la source vers la cible, la transformation étant ensuite effectuée dans le système cible.
Les entreprises s’appuient sur l’ELT pour gérer leur parc de données toujours plus volumineux dans les environnements cloud. L’ELT permet aux entreprises d’exploiter la puissance de calcul et l’élasticité des plateformes cloud pour transformer leurs données à grande échelle, en fonction de leurs besoins. Cette flexibilité permet aux entreprises d’ingérer et de transformer des données de sources et de formats variés, tout en conservant l’accès aux données brutes pour de futurs cas d’utilisation. Elle leur permet également de créer des pipelines avec des coûts initiaux limités.
Initialement conçu pour le traitement par lots, l’ELT peut aussi prendre en charge l’intégration de données en continu grâce à des plateformes de diffusion en continu de données en temps réel, telles qu’Apache Kafka. Parmi les autres outils essentiels à l’ELT figurent les solutions d’intégration et de transformation des données qui s’intègrent aux principaux référentiels de données.
Restez au fait des tendances les plus étonnantes du secteur dans le domaine de l’IA, de l’automatisation, des données et bien d’autres avec la newsletter Think. Consultez la Déclaration de confidentialité d’IBM.
L’ELT permet aux entreprises de stocker rapidement des volumes massifs de données et de bénéficier des avantages d’une architecture de données cloud native.
L’ELT est devenu un processus d’intégration essentiel vers 2010, pour au moins deux raisons majeures :
Pour gérer des parcs de données d’une ampleur sans précédent, les entreprises se sont tournées vers les environnements cloud. Les environnements cloud peuvent offrir un stockage moins coûteux et plus évolutif que les serveurs sur site. Ils sont donc souvent considérés comme une solution de stockage idéale pour des jeux de données variés dont le volume augmente.
Autre facteur tout aussi important : les plateformes cloud et les entrepôts de données cloud ont permis de transformer les données à grande échelle. Avec ce modèle, il n’était plus nécessaire de transformer les données au milieu du pipeline, comme dans les pipelines ETL traditionnels. Les données peuvent ainsi être transformées efficacement dans le système cible : c’est l’approche ELT.
Les ingénieurs de données privilégient souvent l’ELT, car il gère mieux les volumes massifs de données et peut prendre en charge des données plus variées que l’ETL traditionnel, notamment des données semi-structurées et non structurées. Le maintien de l’accès aux données brutes présente également des avantages : avant d’exécuter les transformations, les différentes équipes et les data scientists peuvent adapter la logique de transformation à leurs besoins spécifiques, tout en conservant les données brutes pour de futurs usages, de l’analytique au machine learning.
« Tout dépend de votre cas d’utilisation et de ce que vous cherchez à accomplir », a déclaré Jamil Spain, Senior Technical Advisor chez IBM. « Il peut être judicieux de commencer par charger les données, puis d’utiliser un bac à sable pour déterminer de quelles données vous disposez. Vous pouvez ensuite les transformer au format souhaité. »
Historiquement, l’ELT était un processus de traitement par lots. Toutefois, les progrès de l’ingénierie des données permettent désormais de déployer l’ELT avec des plateformes de transmission d’événements en continu telles qu’Apache Kafka, afin d’intégrer des données en continu et de prendre en charge l’analytique en temps réel.
« Lorsque les données brutes arrivent, vous les placez dans certaines rubriques Kafka, et elles s’apparentent davantage à un flux en constante évolution », a expliqué Jamil Spain. « Je peux ensuite écrire du code pour synthétiser les données ou effectuer des calculs… Je peux analyser les données à mesure que leur volume augmente. »
Si Kafka est une solution open source, des solutions adaptées aux exigences des entreprises, telles que Confluent, une société IBM, peuvent enrichir les déploiements Kafka de fonctionnalités avancées de gestion des données, d’une gouvernance sécurisée, de connecteurs prédéfinis et d’une assistance client.
Le processus ELT comprend trois étapes principales : l’extraction, le chargement et la transformation. Chacune de ces étapes est détaillée dans les sections suivantes.
Lors de l’extraction, les données sont copiées ou exportées depuis leurs emplacements sources. Ces données peuvent être de nombreux types et provenir de pratiquement toute source de données structurées ou non structurées, notamment :
Les données extraites sont transférées vers un espace de stockage de données, tel qu’un entrepôt ou un lac de données. Cette étape peut comprendre un traitement limité des données, notamment des opérations de nettoyage telles que le traitement des valeurs manquantes.
Le chargement a généralement lieu pendant les heures ouvrées, lorsque les utilisateurs souhaitent exploiter les données pour mener des analyses ou obtenir des informations rapidement, et n’ont pas le temps d’attendre l’exécution des processus ETL traditionnels.
À cette étape, les données sont transformées au sein du système cible à l’aide d’outils tels que SQL et Data Build Tool (dbt). Cette étape peut comprendre les opérations suivantes :
L’ELT peut être confondu avec un processus apparenté dont l’abréviation est presque identique. Il existe toutefois plusieurs différences nettes entre l’ELT (extraction, chargement, transformation) et l’ETL (extraction, transformation, chargement).
La principale différence entre les deux tient à l’ordre des opérations. Contrairement à l’ELT, l’ETL effectue la transformation avant le chargement. Les principales différences entre les deux processus sont les suivantes :
ELT | ETL | |
Ordre et emplacement des étapes | Après l’extraction, les données brutes sont chargées dans un système cible et transformées au sein de ce système. | Après l’extraction, la transformation des données s’effectue en transit, dans une zone de préparation, avant que les données ne soient chargées dans un système cible. |
Type de données | Conçu pour traiter des données structurées, semi-structurées et non structurées en appliquant le schéma à la lecture dans le système cible. | Convient le mieux aux données structurées qui peuvent être transformées pour respecter un schéma prédéfini. |
Volume de données | Conçu pour le big data. | Mieux adapté aux jeux de données de petite taille. |
Rapidité | Les données atteignent plus rapidement le système cible, mais les données non structurées peuvent nécessiter un certain temps de mise en forme dans ce système avant de pouvoir être utilisées. | La transformation des données pendant leur transfert ralentit leur acheminement, mais elles arrivent dans le système cible prêtes à être analysées. |
Coût | Les coûts initiaux sont plus faibles grâce à des ensembles d’outils de gestion des données relativement simples, mais des volumes de données imprévisibles peuvent entraîner des coûts inattendus par la suite. | La transformation exige des dépenses initiales plus élevées pour l’infrastructure et l’ingénierie des données. |
Maintenance | Besoins de maintenance moins importants grâce à des piles de données plus simples. | Des besoins de maintenance plus importants, car les pipelines doivent être remaniés pour tenir compte des modifications des sources de données et des besoins en données en aval. |
Confidentialité et sécurité des données | Les programmes de gouvernance et les mesures de sécurité peuvent atténuer le risque de violations dans le cloud exposant des données brutes sensibles. | Les données sensibles, telles que les informations permettant d’identifier une personne (PII), peuvent être masquées pendant leur transformation en transit, avant d’être chargées dans le système cible. |
L’ELT offre plusieurs avantages aux utilisateurs qui l’intègrent à leurs workflows.
Malgré tous ses avantages, la mise en œuvre de l’ELT peut présenter des difficultés.
En l’absence de transformations en transit pour nettoyer et organiser les données, les entreprises peuvent rencontrer des problèmes de qualité, de conformité et de sécurité des données brutes transférées aux systèmes cibles. Les programmes de gouvernance des données peuvent contribuer à résoudre ces problèmes en faisant appliquer des normes de qualité et de conformité des données, ainsi que des pratiques de sécurité telles que le chiffrement des données et les contrôles d’accès fondés sur les rôles.
Même si l’utilisation de ressources cloud élastiques peut permettre de réaliser des économies, les coûts peuvent tout de même augmenter au fil du temps à mesure que les volumes de données croissent. L’optimisation des coûts du cloud, qui regroupe des stratégies et des outils visant à réduire les dépenses cloud, peut permettre aux entreprises d’éviter des factures plus élevées que prévu.
L’ELT étant conçu pour fonctionner avec une infrastructure cloud moderne, les entreprises qui utilisent une infrastructure sur site et des systèmes anciens trouvent généralement les architectures de pipelines traditionnelles, à savoir les pipelines ETL, mieux adaptées à leurs besoins d’intégration des données.
La mise en œuvre de workflows ELT nécessite des outils d’intégration et de transformation des données.
Les principales solutions d’intégration de données offrent souvent la flexibilité nécessaire pour prendre en charge à la fois les pipelines ELT et les pipelines ETL traditionnels. Les autres fonctionnalités principales incluent :
Les outils d’intégration de données qui prennent en charge l’ELT vont de solutions commerciales telles qu’IBM® DataStage et Fivetran à des solutions open source telles qu’Airbyte.
L’outil de référence du secteur pour la transformation des données est Data Build Tool (dbt). Les principales tâches que dbt permet d’effectuer sur les données sont les suivantes :
Les entreprises utilisent souvent dbt pour transformer les données dans des entrepôts de données tels qu’Amazon Redshift et Google BigQuery, des plateformes de gestion des données telles que Snowflake et des data lakehouses tels que watsonx.data.
L’ELT est généralement utilisé dans les environnements d’utilisation de données à volume élevé ou en temps réel. Exemples :
L’ELT permet d’ingérer rapidement des données variées, souvent essentielles aux workloads d’intelligence artificielle et de machine learning. Comme les données sont chargées sous leur forme brute, elles peuvent être réutilisées pour créer et entraîner différents modèles d’IA. Selon un rapport de la Sloan School of Management du MIT, la réutilisation des données améliore les performances des initiatives métier fondées sur l’IA.
L’ELT permet aux entreprises de consolider des données clients provenant de différentes sources pour orienter leurs initiatives de segmentation et de personnalisation. Par exemple, l’ingestion et l’analyse d’informations sur l’historique d’achat, les comportements de navigation et les caractéristiques démographiques des clients peuvent aider les détaillants de l’e-commerce à concevoir des offres et des remises personnalisées.
Les entreprises peuvent utiliser l’ELT pour agréger efficacement les données de différents systèmes, puis appliquer des transformations afin de répondre à des exigences réglementaires précises, tout en conservant les pistes d’audit et l’accès aux données brutes d’origine. Une étude a montré que les systèmes ELT en cloud hybride peuvent réduire de 40 % les délais de production des rapports sur les risques, des rapports financiers et des rapports réglementaires.
L’ELT prend en charge l’ingestion de données provenant de capteurs, d’appareils de l’Internet des objets (IdO) et de systèmes de gestion des stocks. Cette approche peut alimenter des analyses qui améliorent la planification des itinéraires de livraison et la gestion des stocks. Par exemple, l’analyse des données ingérées sur les ventes et le traitement des commandes peut aider les détaillants à optimiser les niveaux de stock pour éviter les ruptures.
Transformez les données brutes en données adaptées à l’IA, grâce à une expérience utilisateur simplifiée pour l’intégration de n’importe quelle donnée avec n’importe quel style;
Créez des pipelines de données résilients, performants et optimisés en termes de coûts pour vos initiatives d’IA générative, vos analyses en temps réel, la modernisation de vos entrepôts et vos besoins opérationnels avec les solutions d’intégration des données d’IBM.
Réussissez le passage à l’échelle de l’IA avec la bonne stratégie, les données, la sécurité et la gouvernance adaptées.
