Qu’est-ce qu’une pile d’IA ?

À l’instar des piles technologiques utilisées dans le développement logiciel, les piles d’IA organisent les éléments en couches qui, ensemble, permettent une mise en œuvre de l’IA efficace et évolutive. Cette approche par couches décompose le processus complexe de création de solutions d’IA en composantes faciles à gérer, permettant aux équipes de se concentrer sur les différents aspects tout en conservant une vue d’ensemble.

Chaque couche de la pile représente une fonction, comme le traitement des données ou le déploiement de modèles, ce qui facilite l’identification des dépendances, l’allocation des ressources et la résolution systématique des problèmes. Cette vue modulaire améliore la clarté, en particulier au sein des équipes pluridisciplinaires, puisqu’elle permet à chacun de comprendre les interactions entre les différentes composantes.

Différentes applications d’IA entreront en contact avec plusieurs couches de la pile d’IA. Par exemple, Red Hat OpenShift est une plateforme Kubernetes d’entreprise conçue pour gérer des applications conteneurisées à l’échelle qui sont utilisées sur pratiquement toutes les couches de la pile d’IA.

Les différents acteurs du domaine de l’IA organisent la pile d’IA différemment, en organisant les composants dans un ordre différent ou en mettant l’accent sur différents composants ou fonctions. En effet, les approches de l’IA peuvent varier d’un cas d’utilisation à l’autre et d’une organisation à l’autre. Par ailleurs, le paysage du développement de l’IA est en constante évolution.

Vient ensuite une version généralisée d’une pile d’IA d’entreprise. Pour en savoir plus sur l’approche d’IBM en matière d’IA générative et de grands modèles de langage (LLM) (comme GPT d’OpenAI), examinez la pile technologique d’IA générative d’IBM.

La couche d’infrastructure d’IA constitue la base sur laquelle les systèmes d’IA sont créés et déployés. Elle fournit la puissance de calcul, le stockage physique et les outils nécessaires pour développer, entraîner et exploiter efficacement les modèles d’IA. Cette couche prend en charge l’ensemble du cycle de vie de l’IA, de l’expérimentation initiale au déploiement à grande échelle, et elle est constituée de plusieurs composants clés.

Calcul

Le traitement des données nécessite du matériel physique. Les puces peuvent être optimisées pour les workloads d’IA : des unités de traitement haute performance appelées accélérateurs d’IA (GPU, CPU et TPU) permettent de réduire considérablement la durée d’entraînement des modèles complexes. En outre, l’informatique distribuée permet de développer des systèmes de pointe gourmands en ressources, comme les grands modèles de langage.

Les plateformes de services cloud (par exemple, AWS, Microsoft Azure, Google Cloud et IBM Cloud) offrent la flexibilité nécessaire pour dimensionner les ressources à la hausse ou à la baisse afin de les rendre accessibles aux entreprises de toutes tailles, tandis que l’edge computing favorise une prise de décision en temps réel, dans un environnement distant ou à faible bande passante. La couche de calcul s’intègre étroitement aux outils d’orchestration, pour une allocation des ressources optimisée et une rentabilité garantie.

Stockage

Les systèmes de stockage physiques doivent gérer d’immenses quantités de données tout au long du cycle de vie de l’IA, des jeux de données brutes aux poids et journaux des modèles. Les solutions de stockage à haut débit permettent un accès rapide aux données, un facteur essentiel pour les tâches gourmandes en calculs telles que l’entraînement des modèles de deep learning.

L’évolutivité est une autre caractéristique importante. Les systèmes de fichiers distribués tels que HDFS ou les systèmes de stockage d’objets (Amazon S3) prennent en charge les demandes croissantes en matière de données. Ces systèmes s’appuient souvent sur des stratégies de stockage hiérarchisé, qui consistent à conserver les données fréquemment consultées sur des supports à haut débit et à archiver les données moins utilisées à l’aide de solutions plus lentes et plus économiques.

Des mécanismes de sauvegarde et de récupération efficaces permettent de renforcer davantage la résilience des données, en combinant des options de stockage local et cloud pour les protéger contre toute défaillance.

Réseau

L’IA implique souvent le déplacement de grandes quantités de données avec une latence minimale. La mise en réseau vient compléter le stockage en connectant les différents composants de l’infrastructure, pour un transfert des données et une collaboration plus fluides.

Il s’agit d’un autre élément fondamental de la pile d’IA, axé sur la collecte, le stockage et la préparation des données pour les modèles d’IA. Il comprend des bases de données, des data lakes et des entrepôts de données. Les data scientists utilisent divers outils d’ingestion, de nettoyage et de prétraitement des données, qui font également partie de cette couche de gestion des données.

Des données de haute qualité bien préparées permettent aux modèles d’apprendre efficacement, ce qui améliore les prédictions et la prise de décision. Inversement, des données de mauvaise qualité ou biaisées peuvent compromettre la précision et l’équité des modèles d’IA et générer des résultats médiocres. En investissant dans une couche de données robuste, les organisations préparent le terrain pour des implémentations d’IA réussies.

Ingestion et stockage des données

Les données peuvent être ingérées à partir de diverses sources, telles que des bases de données structurées, des fichiers texte non structurés, des images, des dispositifs IdO, des interfaces de programmation d’applications (API) ou des interactions utilisateur. L’infrastructure de stockage doit être capable de gérer de grands volumes de données diverses tout en garantissant la fiabilité et l’accessibilité de ces dernières.

Les technologies utilisées incluent les bases de données relationnelles (par exemple : MySQL et PostgreSQL), les bases de données NoSQL (par exemple : MongoDB et Cassandra) et les data lakes (par exemple : Hadoop) pour la gestion des données structurées et des données non structurées.

L’ingestion consiste à importer dans des systèmes de stockage des données provenant de diverses sources. Des outils comme Apache Kafka automatisent et gèrent les pipelines d’ingestion des données pour s’assurer que les données alimentent le système de manière fluide.

Prétraitement des données

Les données brutes doivent souvent faire l’objet d’un nettoyage, d’une normalisation et d’une transformation avant de pouvoir être utilisées dans les modèles d’IA. Cela implique la suppression des doublons, la fourniture des valeurs manquantes, la standardisation des formats et l’encodage des variables nominales.

Le langage de programmation Python propose des bibliothèques gratuites à cette fin. Pandas, NumPy ou encore des outils comme Apache Spark sont également couramment utilisés à des fins de prétraitement.

Annotation et étiquetage des données

Dans le cas de l’apprentissage supervisé, les données doivent souvent être étiquetées pour que le modèle puisse apprendre. Cela implique l’étiquetage des images, la catégorisation des textes ou le marquage des caractéristiques pertinentes. Des plateformes telles que Labelbox, Amazon SageMaker Ground Truth et des outils open source tels que LabelImg facilitent les workflows d’annotation.

Sécurité et conformité des données

Le stockage et le traitement des données doivent être conformes aux exigences en matière de protection de la vie privée (comme le RGPD et la loi CCPA). On associe souvent chiffrement, contrôle d’accès et techniques d’anonymisation pour protéger les données sensibles.

C’est ici que les modèles d’IA sont conçus, entraînés et affinés pour résoudre des problèmes bien spécifiques, déterminant les fonctions de base et l’intelligence d’un système d’IA. S’appuyant sur la couche de données, la couche de développement exploite les données traitées et nettoyées pour entraîner des algorithmes capables d’apprendre des schémas, de faire des prédictions ou de générer des sorties.

Cette couche établit également une boucle de rétroaction avec la couche de données pour permettre d’entraîner à nouveau et d’améliorer les modèles au fur et à mesure que de nouvelles données deviennent disponibles. Cette couche est essentielle au cycle de vie de l’IA, car elle détermine la performance du système dans les applications réelles.

Cadres et bibliothèques d’IA

Les cadres de machine learning (ML) et d’apprentissage profond simplifient la création et l’entraînement des modèles. Parmi les outils les plus utilisés, citons TensorFlow, PyTorch, Scikit-learn, Keras et XGBoost, chacun adapté à différents types de tâches d’IA telles que la vision par ordinateur, le traitement automatique du langage naturel (NLP) ou encore l’analyse des données tabulaires.

Sélection de l’algorithme

Bien choisir son algorithme de machine learning est essentiel pour atteindre une performance optimale. Les algorithmes vont de la régression linéaire et des arbres de décision pour les tâches simples, à des architectures complexes comme les réseaux neuronaux et les transformers. Le choix dépend de facteurs tels que le type de données, le domaine du problème à traiter et les contraintes en termes de calcul.

Entraînement du modèle

L’entraînement consiste à alimenter le modèle de données étiquetées pour lui permettre d’apprendre des schémas et des relations. Pour les modèles complexes, cette étape demande des ressources de calcul importantes. Le processus d’entraînement implique la définition d’hyperparamètres (par exemple, le taux d’apprentissage et la taille des lots), ainsi que l’optimisation itérative du modèle à l’aide de techniques comme la descente de gradient.

Ingénierie et réglage des caractéristiques

L’ingénierie des caractéristiques transforme les données brutes en entrées compréhensibles par le modèle. Cette étape peut inclure le dimensionnement, l’encodage, la réduction de dimensionnalité ou la création de nouvelles caractéristiques dérivées.

Modèles préentraînés et apprentissage par transfert

En utilisant des modèles préentraînés, comme BERT et ResNet, on peut réduire considérablement le délai de développement et les coûts de calcul. L’apprentissage par transfert permet d’adapter ces modèles à la réalisation de nouvelles tâches avec un entraînement supplémentaire minime.

Validation et optimisation

Une fois les modèles développés, ils doivent généralement être optimisés et affinés avant d’être déployés. Il peut s'agir de régler les hyperparamètres, de compresser le modèle ou encore de le valider.

Avant d’être déployés, les modèles sont évalués à l’aide de jeux de données de test et de validation distincts pour mesurer différents indicateurs de performance tels que l’exactitude, la précision, le rappel et le score F1. Cette étape permet de s’assurer que le modèle se généralise et fonctionne de manière fiable sur des données inédites.

La couche de déploiement est l’endroit où les modèles de machine learning passent du stade de développement à la pratique pour produire des prédictions ou des inférences dans un environnement réel.

Le déploiement consiste à emballer les modèles dans des formats déployables, souvent à l’aide de technologies de conteneurisation, afin de garantir leur cohérence et leur portabilité dans différents environnements. Ces conteneurs sont ensuite gérés et dimensionnés à l’aide de plateformes d’orchestration, qui favorisent l’équilibrage de charge, la tolérance aux pannes et la haute disponibilité.

Les modèles déployés sont généralement exposés via des API ou des microservices utilisant des cadres comme TensorFlow Serving, NVIDIA Triton ou des solutions personnalisées, permettant une intégration transparente aux systèmes d’entreprise, aux applications mobiles et aux plateformes web.

Les modèles d’IA sont intégrés à la couche applicative des systèmes réels pour fournir des informations exploitables et piloter la prise de décision, faisant de cette couche la partie la plus orientée utilisateur de la pile d’IA. Elle intègre des capacités d’IA dans les applications logicielles, les produits et les services.

À ce stade, les modèles d’IA font partie de la logique métier : ils automatisent les tâches, améliorent les workflows ou alimentent des fonctionnalités intelligentes, telles que les systèmes de recommandation, l’analyse prédictive, le traitement automatique du langage naturel ou la vision par ordinateur. Ces fonctionnalités sont généralement accessibles via des API ou intégrées à des microservices, favorisant une interaction transparente avec les autres composants de l’écosystème d’applicatif.

L’un des principaux objectifs de la couche applicative est l’utilisabilité. Les fonctionnalités d’IA sont souvent accompagnées d’interfaces utilisateur intuitives qui associent visualisations et autres présentations pour communiquer les informations de façon claire et facile à interpréter. Cela permet aux utilisateurs de comprendre les informations pilotées par l’IA et d’agir en conséquence.

Par exemple, une IA pour la détection des fraudes signale les transactions suspectes au sein d’une plateforme financière et génère une notification grâce à l’automatisation, tandis qu’un chatbot interagit avec les utilisateurs en temps réel.

La couche d’observabilité facilite la surveillance, le suivi et l’évaluation des workflows d’IA. Elle fournit la visibilité et les informations nécessaires pour comprendre le fonctionnement des modèles d’IA dans un environnement réel, permettant aux équipes d’identifier et de résoudre rapidement les problèmes, de garantir l’intégrité du système et d’améliorer la performance au fil du temps.

Au cœur de la couche d’observabilité, on trouve des outils et des cadres suivant divers indicateurs liés à la fois aux modèles d’IA et à l’infrastructure sur laquelle ils s’exécutent.

La couche de gouvernance représente le cadre global qui permet de garantir que les systèmes d’IA sont déployés, utilisés et gérés de manière responsable, éthique et conforme aux politiques d’entreprise, ainsi qu’aux normes sociétales.

Cette couche est essentielle pour gérer les risques, promouvoir la transparence et renforcer la confiance dans les technologies d’IA. Elle englobe les règles et les processus permettant de superviser le cycle de vie des modèles d’IA dans le respect des réglementations, des principes éthiques et des objectifs organisationnels.

L’une des principales fonctions de la couche de gouvernance est d’établir des politiques de collecte et d’utilisation des données, ainsi que des cadres pour garantir le respect des réglementations telles que le Règlement général sur la protection des données (RGPD), la loi HIPAA (Health Insurance Portability and Accountability Act) ou encore l’EU AI Act. Ces cadres définissent la manière dont les données sont collectées, stockées et utilisées, afin d’en garantir la sécurité et la confidentialité.

La gouvernance implique également l’élaboration de mécanismes d’audit et de traçabilité, permettant aux entreprises de consigner et de suivre les décisions en matière d’IA, les modifications apportées aux modèles, ainsi que l’utilisation des données. Cette démarche est essentielle pour répondre au principe de responsabilité et pour traiter les litiges ou les erreurs.

La couche de gouvernance gère également les questions d’équité, de biais et d’explicabilité dans les systèmes d’IA. Il s’agit de mettre en œuvre des outils et des techniques pour détecter et atténuer les biais présents dans les données d’entraînement ou dans les sorties des modèles, afin d’assurer un traitement équitable des diverses populations dans les systèmes d’IA.

Considérer l’IA comme une pile favorise l’évolutivité, la flexibilité et l’efficacité. Les équipes peuvent travailler à la mise à niveau de couches spécifiques afin de tirer profit des dernières avancées sans avoir à remanier l’ensemble du système, ce qui permet des améliorations et des adaptations itératives en fonction de l’évolution des technologies et des besoins métier.

Par exemple, vous pouvez passer d’un fournisseur de cloud à un autre dans la couche d’infrastructure ou adopter un nouveau cadre de machine learning dans la couche de développement des modèles sans perturber l’application.

Cette perspective multicouche facilite également le benchmarking et la surveillance de chaque étape du cycle de vie de l’IA, pour en garantir les performances, la conformité et la fiabilité. L’approche de type pile simplifie l’IA, la rendant plus accessible et exploitable pour les organisations de toutes tailles.