À propos des cookies sur ce site Pour fonctionner correctement, nos sites Internet nécessitent certains cookies (requis). En outre, d'autres cookies peuvent être utilisés avec votre consentement pour analyser l'utilisation d'un site, améliorer l'expérience des utilisateurs et à des fins publicitaires. Pour plus informations, passez en revue vos options de préférences en. En visitant notre site Web, vous acceptez que nous traitions les informations comme décrit dans ladéclaration de confidentialité d’IBM. Pour faciliter la navigation, vos préférences en matière de cookie seront partagées dans les domaines Web d'IBM énumérés ici.
Qu'est-ce que l'ingestion de données ?
Date de publication : 26 juin 2024
Contributeurs : Tim Mucci, Cole Stryker
L'ingestion de données consiste à collecter et importer des fichiers de données provenant de diverses sources dans une base de données pour les stocker, les traiter et les analyser. Le but de ce processus est de nettoyer et de centraliser les données dans un référentiel accessible et cohérent, afin de les préparer à une utilisation optimale au sein de l'organisation.
Les sources de données incluent des systèmes financiers, des fournisseurs de données tiers, des plateformes de réseaux sociaux, des appareils IdO, des applications SaaS ainsi que des applications d'entreprise sur site telles que la planification des ressources d'entreprise (ERP) et la gestion de la relation client (CRM).
Ces sources comprennent à la fois des données structurées et non structurées. Une fois ingérées, les données peuvent être stockées dans des data lakes, des entrepôts de données, des lakehouses, des datamarts, des bases de données relationnelles et des systèmes de stockage de documents. Les organisations ingèrent des données afin de les utiliser non seulement dans des tâches de business intelligence, mais aussi pour des applications de machine learning, de modélisation prédictive et d'intelligence artificielle.
De nombreux outils d'ingestion de données automatisent ce processus en organisant les données brutes dans des formats appropriés pour permettre une analyse efficace par des logiciels d'analyse de données. L'ingestion de données nécessite souvent une expertise en science des données et en langages de programmation, comme Python. Les données sont nettoyées et transformées dans un format uniforme grâce à des processus d'extraction, transformation et chargement (ETL) ou d'extraction, chargement et transformation (ELT), afin de gérer efficacement le cycle de vie des données.
Avec une diversité croissante des sources de big data, les logiciels d'automatisation aident à adapter le processus d'ingestion à des environnements et applications spécifiques, incluant souvent des fonctionnalités de préparation des données pour une analyse immédiate ou ultérieure via des programmes de business intelligence et d'analytique.
Pourquoi l’ingestion de données est-elle importante ?
L'ingestion de données constitue la première étape du traitement des données et de l'extraction de la valeur des grandes quantités d'informations que les entreprises collectent aujourd'hui. Un processus d'ingestion bien conçu garantit l'exactitude et la fiabilité des données qui alimentent les moteurs d'analyse, ce qui est essentiel pour que les équipes en charge des données puissent remplir efficacement leurs fonctions. L’ingestion de données est essentielle pour trois raisons principales :
Les entreprises modernes évoluent dans un écosystème de données diversifié, avec des sources de formats et de structures uniques. Un processus d'ingestion efficace permet d'intégrer ces données de sources disparates, ce qui permet d'obtenir une vision plus complète des opérations, des clients et des tendances du marché. De nouvelles sources de données apparaissent régulièrement, et le volume ainsi que la rapidité de génération des données continuent de croître. Un processus d'ingestion de données bien conçu peut s'adapter à ces évolutions, garantissant que l'architecture de données reste robuste et évolutive.
Sans un processus d'ingestion de données robuste, les entreprises seraient incapables de collecter et de préparer les vastes ensembles de données indispensables à des analyses approfondies. Ces analyses permettent aux organisations de résoudre des problèmes métier spécifiques et de transformer les informations issues des données en recommandations concrètes.
Le processus d'enrichissement inclut diverses validations et contrôles visant à garantir la cohérence et l'exactitude des données. Cela comprend le nettoyage des données, ainsi que l'identification et la suppression des points de données corrompus, incorrects ou non pertinents. L'ingestion de données facilite leur transformation via des procédés de standardisation, de normalisation et d'enrichissement. La standardisation garantit que les données respectent un format cohérent, tandis que la normalisation élimine les redondances. L'enrichissement consiste à ajouter des informations pertinentes aux jeux de données existants, apportant davantage de contexte et de profondeur, ce qui accroît leur valeur pour l'analyse.
L'ingestion de données désigne le processus qui consiste à collecter des données brutes issues de diverses sources, puis à les préparer pour l'analyse. Ce pipeline, en plusieurs étapes, garantit que les données sont accessibles, précises, cohérentes et prêtes à être utilisées pour la business intelligence. Il s'agit d'un processus qui est essentiel pour prendre en charge les analyses basées sur SQL ainsi que d'autres workloads de traitement.
Découverte des données : c'est la phase exploratoire durant laquelle les données disponibles au sein de l'organisation sont identifiées. Une ingestion de données réussie implique de bien comprendre le paysage des données, leur structure, leur qualité et leurs utilisations potentielles.
Acquisition de données : une fois les sources de données identifiées, l’acquisition de données consiste à collecter ces données. Cela inclut la récupération de données provenant de sources variées, telles que des bases de données structurées, des interfaces de programmation d’applications (API) ou encore des formats non structurés comme des feuilles de calcul ou des documents papier. La complexité réside dans la gestion de la diversité des formats de données, des volumes parfois importants et dans la protection de l'intégrité des données tout au long du processus d'acquisition.
Validation des données : après avoir acquis les données, la validation s'assure de leur exactitude et de leur cohérence. Les données sont vérifiées en vue de détecter toute erreur, incohérence ou valeur manquante. Divers contrôles sont effectués, comme la vérification du type de données, des plages de valeurs et de l’unicité, pour que les données soient fiables et prêtes à être traitées.
Transformation des données : lors de cette étape, les données validées sont converties dans un format adapté à l'analyse. Cela peut inclure la normalisation (suppression des redondances), l'agrégation (synthèse des données) et la standardisation (formatage cohérent). L’objectif est de rendre les données plus faciles à comprendre et à analyser.
Chargement des données : la dernière étape consiste à placer les données transformées dans leur emplacement final, généralement un entrepôt de données ou un data lake, où elles seront facilement accessibles pour l'analyse et la création de rapports. Le chargement peut être réalisé par lots ou en temps réel, selon les besoins, et ce processus marque l'achèvement du pipeline d'ingestion. Après toutes ces étapes, les données sont prêtes à être exploitées afin de servir de base à la prise de décisions éclairées et à la génération de business intelligence.
Dans le cadre de l'ingestion de données, il est essentiel de s'assurer de leur qualité.
- Gestion des valeurs manquantes : les techniques incluent l'imputation (remplacement des valeurs manquantes par des mesures statistiques), la suppression (élimination des enregistrements ou champs contenant des valeurs manquantes, si ces derniers représentent une petite part du jeu de données), ainsi que la prédiction (en utilisant des algorithmes de machine learning pour anticiper et compléter les valeurs manquantes à partir des autres données disponibles).
- Identification et correction des valeurs aberrantes : les techniques courantes incluent des méthodes statistiques telles que l'utilisation de scores z ou la méthode de l'intervalle interquartile (IQR) pour repérer les données aberrantes. Les outils de visualisation comme les boîtes à moustaches ou les nuages de points, ainsi que l'application de transformations logarithmiques ou de racines carrées, peuvent aider à réduire l'impact des données aberrantes.
- Standardisation des formats de données : la standardisation assure la cohérence des données, ce qui facilite l'analyse. Cela comprend l'harmonisation des types de données, la normalisation et le mappage des codes.
La gouvernance des données et son rôle dans le maintien de la qualité des données
La gouvernance des données permet de préserver la qualité des données pendant l'ingestion en définissant des politiques et des normes pour leur gestion. Elle garantit une responsabilisation claire grâce à la définition des rôles et des responsabilités. La mise en place de systèmes d'indicateurs et de surveillance permet de suivre et de résoudre les éventuels problèmes, de faciliter la conformité avec des réglementations comme le RGPD ou la loi HIPAA, et de promouvoir la cohérence en normalisant les définitions et les formats des données.
Avantages commerciaux d'un processus d'ingestion de données rationalisé
L’ingestion de données élimine les silos de données et rend les informations facilement accessibles à tous les membres de l’organisation qui en ont besoin. En automatisant la collecte de données et en utilisant le stockage dans le cloud, l'ingestion de données garantit la sécurité des informations et un accès aux informations stratégiques.
Démocratisation des données renforcée
L'ingestion de données permet de réduire les silos de données et de rendre les informations facilement accessibles à tous les différents postes et services au sein de l'organisation. Cela favorise une culture axée sur les données dans laquelle chacun peut tirer parti des informations recueillies dans l'écosystème de données de l'entreprise.
Gestion simplifiée des données
L'ingestion de données simplifie la collecte et le nettoyage de données provenant de différentes sources aux formats variés. Les entreprises peuvent rationaliser leurs processus de gestion des données en les transformant dans un format cohérent au sein d’un système centralisé.
Traitement de données à grande vitesse et à volume élevé
Un pipeline efficace d’ingestion de données à faible latence est capable de gérer de grandes quantités de données à grande vitesse, y compris en temps réel.
Réduction des coûts et gains d’efficacité
Les entreprises réduisent le temps et les ressources consacrés aux processus manuels d'agrégation des données en automatisant leur collecte et leur nettoyage via l'ingestion de données. De plus, les solutions d'ingestion de données as-a-service peuvent offrir des avantages supplémentaires en éliminant le besoin d'investissements initiaux dans les infrastructures.
Évolutivité pour la croissance
Un processus d'ingestion bien conçu permet aux entreprises, quelle que soit leur taille, de gérer et d'analyser des volumes de données toujours plus importants. L'évolutivité est essentielle pour les entreprises en expansion. Grâce à l'ingestion des données, elles peuvent gérer sans effort les pics de données tout en continuant à exploiter des informations stratégiques, même alors que leur environnement de données s'étend.
Accessibilité via le cloud
En stockant les données brutes dans le cloud, les solutions d'ingestion permettent un accès facile et sécurisé à des ensembles d'informations volumineux, et ce, à tout moment. Cela élimine les contraintes des capacités de stockage physique et permet aux entreprises de tirer parti de leurs données à tout moment et en tout lieu.
L'ingestion de données, l'extraction, la transformation et le chargement (ETL) ainsi que l'extraction, le chargement et la transformation (ELT) poursuivent un objectif commun, mais se distinguent par leurs approches respectives.
- Ingestion de données : l’ingestion de données englobe tous les outils et processus permettant de collecter, d'extraire et de transporter des données provenant de diverses sources en vue de leur traitement ou de leur stockage ultérieur.
- ETL : le processus d'extraction, de transformation et de chargement consiste à extraire les données de leur système source, à les transformer pour répondre aux exigences du système cible, puis à les charger dans l'entrepôt de données ou le data lake désigné.
- ELT : le processus ELT consiste en l'extraction, le chargement et la transformation des données. Les données brutes sont chargées dans le système cible, puis transformées à la demande en fonction des besoins spécifiques des analyses. L'ELT s'appuie sur les capacités des plateformes cloud pour traiter efficacement de grands volumes de données brutes.
L'ingestion de données et l'intégration de données répondent à des objectifs distincts au sein du pipeline de données.
Ingestion de données
: elle sert de point d'entrée pour les données provenant de diverses sources, avec pour principale préoccupation le transfert réussi des données, tout en maintenant une transformation minimale afin de préserver la structure originale des données.
Intégration des données
: se concentre sur la transformation et l'unification des données provenant de multiples sources avant de les acheminer vers un système cible, généralement un entrepôt de données ou un data lake. L'intégration des données peut inclure des étapes de nettoyage, de standardisation et d'enrichissement afin d'assurer la cohérence et l'exactitude du jeu de données dans son ensemble.
L'ingestion de données englobe diverses méthodes pour intégrer des données provenant de multiples sources dans un système désigné.
Traitement par lots
Cette méthode d'ingestion consiste à accumuler des données sur une période définie (par exemple : rapports de vente journaliers, états financiers mensuels) avant de les traiter en une seule fois. Le traitement par lots est apprécié pour sa simplicité, sa fiabilité et son impact limité sur les performances du système, car il peut être programmé durant les heures creuses. Toutefois, cette méthode n'est pas idéale pour les applications en temps réel.
Ingestion de données en temps réel
Cette méthode permet d'obtenir des informations instantanées et d'accélérer la prise de décision en ingérant les données dès leur génération, ce qui permet une analyse et une action immédiates. Elle convient particulièrement aux applications sensibles au temps, comme la détection des fraudes ou les plateformes de trading, où des décisions immédiates sont essentielles.
Traitement en flux
Le traitement en flux est similaire au traitement en temps réel, mais il permet d'analyser les données de manière continue à mesure qu'elles arrivent. Ces deux méthodes (temps réel et flux) exigent des ressources importantes en termes de puissance de calcul et de bande passante réseau.
Micro-batching
La méthode du micro-batching trouve un équilibre entre le traitement par lots et le traitement en temps réel. Elle permet d'ingérer des données en petits lots fréquents, offrant ainsi des mises à jour en temps quasi réel sans les contraintes de ressources associées au traitement en temps réel à grande échelle. Une planification et une gestion minutieuses sont nécessaires pour optimiser le compromis entre la fraîcheur des données et les performances du système.
Architecture Lambda
Cette méthode d'ingestion combine à la fois le traitement par lots et le traitement en temps réel, exploitant les avantages de chaque méthode pour proposer une solution complète d'ingestion de données. L'architecture Lambda permet de traiter de grands volumes de données historiques tout en gérant simultanément des flux de données en temps réel.
Les outils d'ingestion de données offrent des solutions variées pour répondre à des besoins divers et à différents niveaux de compétences techniques.
Outils open source : ils permettent un accès libre au code source du logiciel, offrant aux utilisateurs un contrôle total et la possibilité de personnaliser l'outil selon leurs besoins.
Outils propriétaires : développés et commercialisés par des fournisseurs de logiciels, ces outils proposent des fonctionnalités prédéfinies et des plans tarifaires variés, mais peuvent entraîner une dépendance vis-à-vis du fournisseur et des coûts de licence permanents.
Outils en nuage : ces outils d'ingestion sont hébergés dans un environnement cloud, ce qui simplifie le déploiement et la maintenance tout en offrant une grande évolutivité, sans nécessiter d'investissement initial dans l'infrastructure.
Outils sur site : installés et gérés sur un réseau local ou un cloud privé, ces outils offrent un meilleur contrôle de la sécurité des données, mais nécessitent des investissements en matériel et un support informatique constant.
Pour équilibrer les besoins et l’expertise, plusieurs approches existent pour construire des pipelines d’ingestion de données :
Pipelines codés à la main : ces pipelines sur mesure offrent un contrôle maximal mais requièrent une expertise de développement considérable.
Connecteurs et outils de transformation prédéfinis : cette approche fournit une interface conviviale, mais implique la gestion de plusieurs pipelines distincts.
Plateformes d'intégration des données : ces plateformes offrent une solution complète pour toutes les étapes du parcours des données, mais nécessitent une expertise en développement pour l'installation et la maintenance.
DataOps : cette méthode encourage la collaboration entre les ingénieurs en données et les utilisateurs des données, tout en automatisant certaines étapes du processus d'ingestion, afin de libérer du temps précieux.
Même si l'ingestion de données est essentielle dans les pipelines de données, ce processus présente certaines complexités.
Sécurité des données : une plus grande exposition des données sensibles augmente le risque de violations de la sécurité. Le respect des réglementations en matière de sécurité des données ajoute également de la complexité et des coûts.
Évolutivité et variété : l'augmentation constante du volume, de la vélocité et de la variété des données peut entraîner des goulets d'étranglement dans les performances du système.
Fragmentation des données : l'incohérence entre les données peut compliquer les efforts d'analyse et rendre difficile la création d'une vue unifiée des données. Par ailleurs, si les données sources changent sans mise à jour du système cible, cela provoque une dérive des schémas, perturbant ainsi les workflows.
Assurance de la qualité des données: la nature complexe des processus d’intégration des données peut compromettre la fiabilité de celles-ci.
Cas d'utilisation et applications de l'ingestion de données
L'ingestion de données constitue la base permettant de révéler tout le potentiel des données au sein des organisations.
Ingestion dans un data lake cloud
Les solutions d'ingestion de données permettent aux entreprises de collecter et de transférer diverses données vers un data lake cloud centralisé. Une ingestion de données de haute qualité est d'une importance capitale dans ce scénario, car toute erreur peut compromettre la valeur et la fiabilité des données pour les initiatives d'analytique et d'IA/machine learning.
Modernisation du cloud
Les organisations migrent vers le cloud pour des initiatives d'analyse avancée et d'IA, mais elles rencontrent souvent des difficultés liées aux données héritées, aux silos de données et à la croissance du volume, de la vitesse et de la complexité des données. Les solutions modernes d'ingestion de données incluent souvent des assistants sans code qui simplifient l'intégration des données provenant de bases de données, de fichiers, de sources de streaming et d'applications.
Les solutions d'ingestion de données peuvent accélérer la modernisation des entrepôts de données en facilitant la migration en masse des bases de données locales, des entrepôts de données et du contenu des mainframes vers des entrepôts de données basés sur le cloud. L'utilisation de techniques de captures de données modifiées
(CDC) dans l'ingestion de données permet de maintenir un entrepôt de données cloud constamment à jour avec les dernières informations.
Analyses en temps réel
Le traitement des flux de données en temps réel ouvre de nouvelles opportunités de revenus. Par exemple, les entreprises de télécommunications peuvent utiliser les données clients en temps réel pour optimiser leurs stratégies de vente et de marketing. De même, les données collectées à partir de capteurs IdO peuvent améliorer l'efficacité opérationnelle, réduire les risques et générer des informations analytiques précieuses.
Pour exploiter tout le potentiel de l'analyse en temps réel, les outils d'ingestion de données permettent une intégration transparente des flux de données en temps réel (données de clics, capteurs IdO, journaux de machines, flux des réseaux sociaux) dans des hubs de messages ou des cibles de streaming, ce qui permet le traitement en temps réel des événements dès qu'ils surviennent.
Solutions connexes
Découvrez IBM watsonx.data, un magasin de données hybride et évolutif, conçu pour les workloads d'IA et d'analytique. Il offre un accès ouvert aux données, des moteurs de requête adaptés à chaque usage, ainsi qu'une intégration avec divers environnements de données, ce qui permet une préparation et une gestion efficaces des données dans n'importe quelle configuration, qu'elle soit cloud ou sur site.
IBM DataStage est un outil ETL et ELT avancé conçu pour simplifier l’intégration et la transformation des données dans les environnements cloud et sur site. Il propose des capacités d'intégration automatisées, des fonctionnalités de gestion de données améliorées, et prend en charge les environnements hybrides ou multicloud.
IBM Manta Data Lineage est une plateforme conçue pour améliorer la transparence et la précision des pipelines de données. La solution automatise la numérisation et le mappage des flux de données, offrant ainsi une vue complète des données, de l’origine à la consommation. Ses fonctionnalités principales comprennent la granularité au niveau des colonnes, l’atténuation des risques, l’évolutivité, l’amélioration de la collaboration et la prise en charge de plus de 50 technologies.
Ressources
Découvrez un guide complet sur l’ingestion de données, qui couvre son importance, ses différents types et les bonnes pratiques à adopter. Le guide détaille le processus complet : de la découverte à l’acquisition, en passant par la validation, la transformation et le chargement des données. De cette façon, vous apprendrez à mieux gérer et à utiliser diverses sources de données de manière efficace.
Une stratégie d’ingestion de données bien conçue est essentielle pour maintenir la qualité des données. Ce guide met l’accent sur l’importance d’observer et de gérer les données dès leur entrée dans les systèmes afin de prévenir les erreurs et d’améliorer l’efficacité des workflows de données.
Découvrez pourquoi une ingestion et une intégration robustes des données sont essentielles pour les initiatives d’IA d’entreprise. Des pipelines de données précis sont indispensables pour l’efficacité des modèles d’IA. Apprenez les bonnes pratiques pour assurer la qualité et la fiabilité des données, ce qui contribuera à améliorer les performances de l’IA.