Les pipelines de données traditionnels, axés sur le traitement par lots, ont souvent du mal à prendre en charge les workflows d’IA modernes. Ils ne disposent pas des fonctionnalités nécessaires pour fournir systématiquement des données gouvernées avec une faible latence, et leur évolutivité est souvent limitée par des architectures fragiles.
Les entreprises en subissent aujourd’hui les conséquences. Dans une enquête menée en 2025 par l’IBM Institute for Business Value (IBV) auprès de directeurs des données, seuls 26 % des répondants estimaient que leurs capacités en matière de données pouvaient générer des revenus grâce à l’IA.
Les pipelines de données modernes pour l’IA sont conçus pour ingérer et traiter rapidement de grands volumes de données diverses, afin de répondre aux exigences de l’IA en matière de fraîcheur des données. Ils enrichissent également les données de métadonnées, d’informations de traçabilité, de définitions métier et de règles de gouvernance, pour permettre aux modèles d’IA de les interpréter efficacement et en toute sécurité. Les données sont généralement stockées dans des architectures évolutives et distribuées, conçues pour faciliter un accès rapide.
Les outils d’IA et l’ingénierie des données par l’IA agentique peuvent contribuer à accélérer et à simplifier les processus clés des pipelines de données pour l’IA. Autrement dit, les entreprises peuvent utiliser l’IA pour faciliter la mise en œuvre opérationnelle et l’optimisation de l’IA elle-même.
Les pipelines de données traditionnels ont été conçus pour le traitement et le stockage de données structurées, souvent au moyen de workloads prévisibles dont le traitement par lots était planifié à intervalles réguliers. Les données étaient généralement extraites des systèmes sources, puis chargées dans des entrepôts de données à des fins d’analyse, au moyen de processus d’extraction, de transformation et de chargement (ETL), parfois appelés pipelines ETL. Cette approche fonctionnait bien, et continue de bien fonctionner, pour les traitements de données dont l’exécution n’est pas urgente et pour les jeux de données organisés en bases de données relationnelles.
Le traitement par lots, en particulier, permettait aux entreprises d’optimiser l’utilisation des ressources en planifiant les traitements à des moments propices, par exemple la nuit, lorsque les systèmes risquent peu d’être fortement sollicités par ailleurs. Une fois les traitements terminés, les résultats pouvaient alimenter des tableaux de bord et éclairer les décisions métier, bien après la collecte et l’ingestion des données.
Mais les données destinées aux workloads d’IA nécessitent une approche nettement différente, que les pipelines traditionnels ne peuvent souvent pas mettre en œuvre. L’architecture des pipelines traditionnels peine à prendre en charge les éléments suivants :
De plus, les pipelines traditionnels se sont historiquement révélés rigides et fragiles. Des changements inattendus en amont, comme une modification de schéma ou le renommage d’une colonne, peuvent provoquer des défaillances des pipelines et entraîner des heures de débogage.
Par ailleurs, la logique codée en dur dans les pipelines traditionnels rend leur modification laborieuse. Il est donc difficile d’offrir l’évolutivité et la personnalisation nécessaires aux initiatives d’IA porteuses de transformation. Lorsque les besoins évoluent, les ingénieurs des données préfèrent souvent créer de nouveaux pipelines plutôt que modifier ceux qui existent déjà, par crainte de perturber leur fonctionnement. Il en résulte une prolifération des pipelines et une dette technique.
Lorsque des pipelines traditionnels servent à fournir des données aux modèles d’IA, des données obsolètes, une mauvaise qualité des données et d’autres problèmes peuvent nuire aux performances des modèles.
Restez au fait des tendances les plus étonnantes du secteur dans le domaine de l’IA, de l’automatisation, des données et bien d’autres avec la newsletter Think. Consultez la Déclaration de confidentialité d’IBM.
Comme l’ont écrit des chercheurs de l’IBM Institute for Business Value dans un rapport de 2025 : « Se préparer à l’IA ne se limite pas à disposer de données propres. Il faut une architecture qui rende des données de haute qualité disponibles là où l’IA en a besoin et au moment où elle en a besoin. »
Les pipelines de données pour l’IA offrent cette architecture, avec des capacités et des fonctionnalités adaptées aux exigences des modèles d’IA et des applications alimentées par l’IA. Les pipelines de données pour l’IA peuvent ingérer des informations provenant de diverses sources de données. Une fois les données ingérées, les pipelines adoptent souvent une approche « shift left » : ils traitent les données plus près de la source, ce qui réduit la latence et favorise la fraîcheur des données.
En plus d’accélérer les flux de données, les pipelines de données pour l’IA élargissent l’éventail des données disponibles grâce à leur capacité à intégrer des données non structurées. Les données non structurées représentent la majeure partie des données générées par les entreprises et constituent une riche source d’informations exploitables. Pourtant, elles étaient autrefois largement inaccessibles pour l’analyse et les cas d’utilisation de l’IA.
Dans les pipelines de données pour l’IA, les données non structurées sont transformées en embeddings qui peuvent alimenter les modèles d’IA générative et la génération augmentée de récupération.
La structure d’un pipeline de données pour l’IA présente plusieurs similitudes avec celle des pipelines de données traditionnels. Un pipeline de données pour l’IA se distingue toutefois par ses méthodes d’ingestion, d’intégration, d’enrichissement et de stockage des données, adaptées pour optimiser l’entraînement et les performances des modèles d’IA.
Les pipelines de données pour l’IA se connectent à un éventail de sources pour ingérer des données brutes, notamment des données non structurées et des données en temps réel. Ces sources peuvent comprendre des flux d’événements, des API et des applications, et provenir d’une multitude d’environnements, notamment sur site et de cloud hybride. Les plateformes de transmission d’événements en continu, comme Apache Kafka, permettent d’acheminer les données vers les pipelines de données pour l’IA avec une faible latence et un débit élevé.
Lors du prétraitement, les données sont intégrées et transformées pour les rendre exploitables par l’IA, quels que soient leur format d’origine, leur type ou leur source. La nature de la transformation des données dans un pipeline de données pour l’IA peut varier selon le mode et le processus d’intégration des données.
L’intégration de données en continu peut transformer les données en temps réel, par exemple les relevés des capteurs de l’Internet des objets (IdO), pendant leur transfert, afin que les applications alimentées par l’IA puissent les exploiter immédiatement. L’intégration des données non structurées utilise des fonctionnalités comme l’extraction de texte et le nettoyage des données pour transformer des données diverses. L’embedding vectoriel et le stockage dans des bases de données vectorielles rendent ces données disponibles pour les cas d’utilisation de l’IA.
L’ingénierie des caractéristiques peut être considérée comme un type de transformation des données, mais son objectif est plus précisément défini : elle consiste à convertir les données brutes dans un format lisible par machine, pour leur utilisation par les modèles de machine learning. Avant l’entraînement du modèle, l’ingénierie des caractéristiques consiste à sélectionner les aspects des données les plus pertinents pour le type de modèle à entraîner et pour la tâche à laquelle il est destiné.
L’ingénierie des caractéristiques peut être une tâche manuelle réalisée par des data scientists, même si des recherches sont également en cours sur son automatisation.1
Une fois qu’un jeu de données a été transformé à l’aide de méthodes traditionnelles et de l’ingénierie des caractéristiques, il est souvent divisé en trois ensembles : un pour l’entraînement, un pour l’ajustement des paramètres de l’algorithme et un pour les tests. L’exécution du modèle sur ces trois ensembles est un processus itératif qui se poursuit jusqu’à ce que le modèle atteigne le niveau de précision ou d’utilité requis. Les pipelines de données pour l’IA peuvent également fournir de nouvelles données aux modèles pour les réentraîner si nécessaire.
La préparation des jeux de données d’entraînement peut aussi comprendre l’annotation, qui consiste à ajouter des étiquettes pertinentes aux données brutes, selon le type d’entraînement du modèle. Par exemple, les grands modèles de langage (LLM) sont d’abord entraînés sur des données non étiquetées, mais peuvent ensuite aussi faire l’objet d’un réglage fin sur des jeux de données étiquetées.
Le stockage des données dans les pipelines de données pour l’IA est conçu pour les jeux de données volumineux, l’accès rapide aux données et les besoins importants en ressources de calcul. Il utilise des architectures évolutives, notamment le stockage objet et les systèmes de fichiers parallèles, qui traitent les données simultanément sur plusieurs nœuds. Cette capacité permet aux applications d’IA de traiter rapidement les données en temps réel.
Le stockage des données pour l’IA permet d’accéder à des sources de données disparates, notamment dans les environnements cloud et en périphérie. Les référentiels de stockage des données pour l’IA peuvent comprendre des entrepôts de données, des data lakes et des data lakehouses. Comme ces référentiels remplissent des fonctions différentes, de nombreuses architectures de données d’entreprise comprennent deux de ces types de référentiels, voire les trois.
Après le déploiement du modèle entraîné, les pipelines de données pour l’IA fournissent les données utilisées pour l’inférence : le modèle s’appuie sur les schémas appris à partir des données d’entraînement pour prédire le résultat correct à partir des nouvelles données, dans des cas d’utilisation réels.
Les types d’inférence comprennent l’inférence en ligne (en temps réel) et l’inférence par lots. Dans l’inférence en ligne, les données sont immédiatement fournies en entrée pour permettre une prise de décision en temps réel. Dans l’inférence par lots, les modèles traitent de grands volumes de données de manière asynchrone, par groupes (ou lots), à des moments planifiés. C’est une option moins coûteuse lorsque la rapidité n’est pas une priorité.
L’ingénierie du contexte consiste à structurer et à optimiser le contexte fourni aux modèles d’IA pour qu’ils puissent mieux interpréter les données qu’ils reçoivent. Elle intervient à différentes phases du pipeline de données pour l’IA et comprend la définition de modèles sémantiques, l’enrichissement des métadonnées, la standardisation des définitions métier et la cartographie des relations entre les entités des différents systèmes.2
La gouvernance des données est une discipline de la gestion des données qui porte sur leur qualité, leur sécurité et leur disponibilité. Elle consiste à mettre en place des contrôles d’accès, des politiques et un suivi de la traçabilité pour l’ensemble des données et des workloads d’IA. Les outils d’observabilité peuvent détecter les biais dans les données, les anomalies et d’autres problèmes qui affectent les performances des modèles et peuvent nécessiter leur réentraînement ou leur recalibrage.
L’ingénierie des données par l’IA agentique consiste à déployer des agents d’IA pour améliorer et accélérer la création et la maintenance de systèmes qui agrègent et analysent les données, à savoir les pipelines de données.
Les entreprises utilisent de plus en plus les agents d’IA pour optimiser la fourniture de données aux modèles d’IA tout en améliorant la productivité des équipes d’ingénierie des données. Les agents d’IA peuvent :
Gartner prévoit que, d’ici 2027, l’utilisation d’assistants d’IA et de workflows améliorés par l’IA au sein des outils d’intégration de données réduira le travail manuel de 60 %.3
Les pipelines de données pour l’IA optimisent les données pour les initiatives d’IA, tout en profitant plus largement à l’entreprise. Voici comment :
Les pipelines de données pour l’IA peuvent automatiser le profilage et la validation des données, ce qui contribue à garantir que les jeux de données répondent aux critères de qualité requis pour des systèmes d’IA performants.
Les pipelines de données pour l’IA qui intègrent les données en continu permettent d’analyser immédiatement les données en temps réel pour en tirer instantanément des informations.
La contextualisation effectuée dans les pipelines de données pour l’IA améliore l’interprétation des données par les modèles d’IA, ce qui permet d’obtenir des analyses et des informations de meilleure qualité.
En se connectant à un éventail de sources de données et en intégrant différents formats, les pipelines de données pour l’IA peuvent éliminer les silos de données et créer des plateformes de données unifiées.
La surveillance continue des modèles et la gouvernance des données peuvent garantir que les données sensibles sont traitées conformément aux lois sur la protection de la confidentialité des données.
Les pipelines de données pour l’IA sont conçus pour traiter d’énormes quantités de données, ce qui permet aux entreprises de faire face à la croissance des volumes de données. De plus, les agents d’IA peuvent servir à adapter les pipelines pour les personnaliser davantage, ce qui réduit la nécessité de créer de nouveaux pipelines lorsque les besoins en données changent avec l’évolution des cas d’utilisation de l’IA.
Les agents d’IA peuvent rendre les pipelines de données adaptables et capables de « s’autoréparer », c’est-à-dire de détecter et de résoudre les problèmes avant qu’ils ne perturbent les processus en aval.
Grâce aux workflows agentiques, les pipelines de données pour l’IA peuvent être plus accessibles aux utilisateurs que les pipelines traditionnels. Par exemple, les utilisateurs qui n’ont pas une grande expérience de la programmation peuvent formuler des requêtes en langage naturel pour générer du code Python afin de traiter des documents et de mettre en œuvre des pipelines.4
La conception de pipelines à l’aide d’agents d’IA et l’automatisation des composants des pipelines réduisent au minimum le temps que les ingénieurs des données consacrent aux tâches répétitives, ce qui leur permet de se concentrer sur des activités à plus forte valeur ajoutée.
Les pipelines de données pour l’IA sont utiles à toute entreprise qui exploite des workloads d’IA pour obtenir des résultats métier.
Les données diffusées en continu et le machine learning peuvent servir à détecter les fraudes rapidement et avec précision. Un réseau de neurones, qui est un type de modèle de machine learning, peut surveiller les transactions entrantes, analyser les données et signaler les comportements frauduleux.
L’analyse des données en temps réel par l’IA peut permettre d’offrir des expériences client réactives et personnalisées. Par exemple, le suivi de l’activité de navigation d’un client sur un site web peut permettre de lui proposer instantanément des recommandations de produits personnalisées.
En organisant les données sous forme d’embeddings vectoriels, les pipelines de données pour l’IA permettent d’exploiter la RAG, qui récupère des informations dans des bases de données vectorielles. La RAG aide à son tour les applications d’IA générative à produire des résultats précis et à jour à partir de données récemment récupérées.
Créez et gérez des pipelines intelligents de diffusion de données en continu via une interface graphique intuitive, facilitant ainsi une intégration fluide des données dans les environnements hybrides et multicloud.
watsonx.data vous permet d’adapter le dimensionnement des analyses et de l’IA à toutes vos données, où qu’elles se trouvent, grâce à un entrepôt de données ouvert, hybride et gouverné.
Avec IBM Consulting, exploitez les données de votre entreprise et développez une organisation basée sur les informations pour tirer des avantages métier.
1 « Performance evaluation of automated data-driven feature extraction and selection methods for practical and scalable building energy consumption prediction models. » Journal of Building Engineering. 1er juin 2025.
2 « Context Engineering: The Missing Infrastructure Layer for Enterprise AI Agents. » IBM. 2026.
3 Magic Quadrant for Data Integration Tools. Gartner. 8 décembre 2025.
4 « Building data pipelines using natural language with Data Prep Kit (DPK). » IBM. 13 mai 2025.
