Qu’est-ce que le stockage IA ?

L’innovation en IA s’accélère rapidement, et les projets d’IA nécessitent des architectures de stockage capables à la fois d’absorber une croissance massive des données et de fournir les performances, l’évolutivité et les accès à très faible latence exigés par les workloads pilotées par l’IA.

Selon une étude de Precedence Research, le marché mondial du stockage alimenté par l’IA devrait passer de 35,95 milliards USD en 2025 à environ 255,24 milliards USD d’ici 2034. Le taux de croissance annuel composé (TCAC) estimé est de 24,42 %.¹ L’intégration accélérée de l’IA et du ML, ainsi que la multiplication des cas d’utilisation du stockage IA dans tous les secteurs, stimulent cette croissance du marché.

Les entreprises modernisent leurs infrastructures de stockage de données pour exploiter le potentiel métier de l’IA, du ML et de l’analytique avancée. Elles sont toutefois confrontées à des données et des workloads réparties sur plusieurs régions, à l’allongement des temps nécessaires à l’entraînement et à l’inférence des modèles d’IA, ainsi qu’au coût et à la rareté de ressources à la demande comme les processeurs graphiques (GPU). 

Selon une étude de l’IBM Institute for Business Value (IBV), 62 % des dirigeants s’attendent à utiliser l’IA dans l’ensemble de leur organisation d’ici trois ans. Cependant, seuls 8 % déclarent que leur infrastructure informatique répond à l’ensemble de leurs besoins en IA.

En se projetant vers l’avenir, seuls 42 % des personnes sondées estiment que cette infrastructure pourra gérer les volumes de données et les besoins de calcul des modèles d’IA avancés. De même, seuls 46 % s’attendent à ce qu’elle prenne en charge l’inférence en temps réel à l’échelle.

Les workloads d’IA nécessitent des systèmes capables de réduire les goulets d’étranglement du traitement des données, qui ralentissent l’entraînement, l’affinage et l’inférence des modèles. Elles exigent également des systèmes de stockage évolutifs pour gérer des jeux de données toujours plus volumineux, en particulier ceux associés à l’IA générative et aux grands modèles de langage (LLM).

Pour répondre à ces exigences, le stockage IA peut s’intégrer de façon fluide aux frameworks open source et propriétaires de ML et de deep learning via des interfaces de programmation d’applications (API). Cette capacité accélère l’entraînement des LLM, le développement des modèles et améliore les performances globales du système d’IA.

Pour en savoir plus : « Infrastructure for AI: Why storage matters ».

Le stockage de données traditionnel est utilisé pour les applications métier générales, tandis que le stockage IA fournit la base nécessaire pour entraîner et exécuter efficacement et à moindre coût des modèles d’IA complexes et à forte intensité de données.

Alors que le stockage traditionnel traite à la fois des données structurées et non structurées, il est conçu pour des workloads métier classiques aux schémas prévisibles, et non pour l’entraînement de modèles sur des systèmes distribués et l’exécution d’inférences à l’échelle.

Le stockage IA désigne les systèmes utilisés pour stocker et gérer les données nécessaires à l’entraînement et à l’exploitation des infrastructures d’IA, notamment les data lakes, le stockage cloud et les bases de données. Il gère des volumes massifs de données non structurées (par exemple images, audio, vidéo, données de capteurs).

Ces types de données requièrent des systèmes de stockage offrant un nombre élevé d’IOPS (opérations d’entrée/sortie par seconde) et une latence ultra-faible, en particulier lors de l’entraînement des modèles et de l’inférence.

En résumé, la différence clé entre le stockage traditionnel et le stockage IA tient aux spécifications des workloads. Le stockage traditionnel a été conçu pour des opérations constantes et prévisibles, tandis que les workloads d’IA présentent des exigences uniques et très élevées sur l’ensemble de leur cycle de vie.

Chaque étape du cycle de vie d’un système d’IA (ingestion des données, entraînement, inférence et mises à jour des modèles) présente des besoins de stockage spécifiques, exigeant des pétaoctets de capacité et des mémoires à très haute vitesse.

Le stockage IA utilise des pipelines de données pour faciliter un flux continu de données, depuis la collecte jusqu’à la consommation par les modèles en passant par le prétraitement. Il s’appuie sur des architectures évolutives, notamment le stockage objet et les systèmes de fichiers parallèles, qui traitent les données en parallèle sur plusieurs nœuds de stockage. Cette capacité permet aux applications d’IA de gérer des données en temps réel, avec la rapidité requise.

Pour équilibrer coûts et performances, le stockage IA repose généralement sur des niveaux de stockage. Les données fréquemment consultées (niveau chaud, hot tier) sont stockées sur des caches haute vitesse et des supports de stockage flash, tandis que les données moins critiques (niveaux tiède ou froid, warm ou cold) sont conservées sur des technologies de stockage plus lentes et plus économiques pour une conservation à long terme.

• Stockage flash : le stockage IA s’appuie sur des solid state drives (SSD). Ces SSD sont des dispositifs de stockage à semi-conducteurs qui utilisent généralement de la mémoire flash NAND pour offrir de hautes performances, une faible latence et un débit élevé lors du traitement des jeux de données pour l’entraînement et l’inférence.

• Architecture à niveau unique : la plupart des solutions de stockage IA utilisent une architecture à un seul niveau, offrant un environnement consolidé et unifié pour les données fréquemment consultées. Ce type d’architecture prend en charge le stockage flash ou SSD afin d’assurer une faible latence et de hautes performances d’E/S.

• Mémoire à large bande passante (HBM) : les GPU, CPU, accélérateurs et certains SSD des centres de données utilisent la HBM pour permettre des transferts de données à haute performance avec une consommation énergétique inférieure à celle de la mémoire vive dynamique (DRAM), une architecture mémoire plus traditionnelle.

• Technologie NVMe (Non-Volatile Memory Express) : NVMe, un protocole conçu pour des transferts de données hautement parallèles, joue un rôle crucial dans le stockage IA. Les SSD NVMe et le stockage en réseau (NVMe-oF) offrent la vitesse, la programmabilité et la capacité nécessaires pour prendre en charge le traitement massivement parallèle des workloads d’IA. 

• Référentiels de données : le stockage IA utilise des plateformes et services de données (par exemple data lakes, entrepôts de données, lakehouses) pour créer un environnement centralisé pour les données brutes et non structurées. Ce processus décloisonne les systèmes et élimine la nécessité de déplacer les données entre plateformes.

• Technologies de réduction des données : les techniques de déduplication, de compression et de hiérarchisation minimisent l’empreinte de stockage et les coûts tout en maintenant les accès haute performance requis par les workloads d’IA.

• Environnements évolutifs : le stockage IA est déployé à l’aide de modèles d’infrastructure haute performance et extensibles horizontalement (scale-out), tels que le cloud hybride, les environnements sur site, les centres de données hyperscale et les environnements en périphérie (edge).

Le stockage IA offre des avantages clés qui optimisent les workflows d’IA et les performances de l’infrastructure, notamment :

• Performances accélérées par GPU : prend en charge les applications et workloads accélérées par GPU, en fournissant le débit nécessaire à l’entraînement et à l’inférence de l’IA.

• Accès unifié aux données : fournit un accès fichier, bloc et objet à partir de sources de données hétérogènes (stockage traditionnel, cloud et environnements edge) en éliminant la nécessité de déplacer les données entre systèmes.

• Accessibilité des données sans déplacement : permet l’accès aux données sur plusieurs plateformes et emplacements sans déplacement physique, réduisant la duplication et les coûts réseau.

• Protection automatisée des données : met à disposition des politiques et des méthodes de protection telles que le chiffrement entre environnements, garantissant la protection des jeux de données d’IA tout au long de leur cycle de vie.

• Intégration cloud hybride : relie les données du centre de données aux ressources de cloud public, améliorant la collaboration applicative et apportant une plus grande agilité aux workloads d’IA.

• Gestion simplifiée du stockage : offre une évolutivité intégrée, de l’automatisation et des opérations simplifiées, réduisant la complexité des initiatives d’IA.

• Optimisation des coûts : élimine les silos et la duplication de données tout en mutualisant les ressources de calcul et de stockage afin de réduire les coûts d’infrastructure sans compromettre les performances de l’IA.

Le stockage IA joue un rôle essentiel dans des workflows d’IA, de ML et de calcul haute performance (HPC) à forte intensité de données. Voici quelques cas d’utilisation sectoriels :

• Vente au détail

• Soins de santé

• Finances

• Divertissement

• Industrie

• Assurance

Dans le commerce de détail, les distributeurs utilisent le stockage IA pour gérer de grands volumes de données et de métadonnées générées par les transactions de vente, les interactions clients, les réseaux sociaux et les objets connectés (Ido). Ce processus permet l’optimisation des stocks en temps réel, des recommandations personnalisées et la prévision de la demande.

Dans le secteur de la santé, le stockage IA accélère la découverte de médicaments et soutient l’aide à la décision clinique par l’IA (par exemple NVIDIA BioNeMo, IBM watsonx), tout en gérant d’énormes jeux de données génomiques, des fichiers d’imagerie médicale et des dossiers médicaux électroniques.

Les banques et autres institutions financières s’appuient sur un stockage IA évolutif pour gérer des volumes massifs de données transactionnelles. Cela permet aux algorithmes de machine learning de détecter en temps réel des schémas et des anomalies sur des millions de transactions, soutenant la détection des fraudes et les services bancaires personnalisés.

Les services de streaming comme Netflix et Amazon utilisent le stockage IA pour traiter à grande échelle les historiques de visionnage, permettant des moteurs de recommandation en temps réel qui proposent des contenus personnalisés.

Le stockage IA assure la gestion des données issues des capteurs et des machines sur les sites industriels. Cette infrastructure permet la maintenance prédictive, l’optimisation des chaînes d’approvisionnement et l’automatisation du contrôle qualité en temps réel.

Le stockage IA soutient l’automatisation de la souscription et du traitement des sinistres en permettant un accès rapide aux documents, aux photos et aux données non structurées. Cette approche permet aux modèles de traitement automatique du langage naturel (NLP) et de reconnaissance d’images d’accélérer l’évaluation des risques et le règlement des sinistres.