Qu’est-ce qu’un accélérateur d’IA ?

À mesure que la technologie de l’IA se développe, les accélérateurs d’IA deviennent essentiels pour traiter les grandes quantités de données nécessaires à l’exécution des applications d’IA. Actuellement, les cas d’utilisation des accélérateurs d’IA comprennent les smartphones, les PC, la robotique, les véhicules autonomes, l’Internet des objets (IdO), l’edge computing et quelques autres domaines.

Pendant des décennies, les systèmes informatiques dépendaient d’accélérateurs (ou coprocesseurs) pour une variété de tâches spécialisées. Les processeurs graphiques (GPU), les cartes son et les cartes vidéo sont quelques exemples de coprocesseurs.

Cependant, en raison de la croissance des applications d’IA au cours de la dernière décennie, les processeurs ou unités centrales de traitement (CPU) classiques et même certains GPU n’étaient plus en mesure de traiter les grandes quantités de données nécessaires à leur fonctionnement. Les accélérateurs d’IA sont alors apparus, dotés de capacités de traitement parallèle spécialisées qui leur permettent d’effectuer des milliards de calculs à la fois.

Alors que l’industrie de l’IA s’étend à de nouvelles applications et de nouveaux domaines, les accélérateurs d’IA sont essentiels pour accélérer le traitement des données nécessaires à la création d’applications d’IA à grande échelle.

Sans les accélérateurs d’IA tels que les GPU, les réseaux de portes programmables in situ (FPGA) et les circuits intégrés spécifiques aux applications (ASIC) pour accélérer l’apprentissage profond, les avancées dans le domaine de l’IA comme ChatGPT auraient exigé beaucoup plus de temps et de ressources financières. Les accélérateurs d’IA sont largement utilisés par certaines des plus grandes entreprises au monde, notamment Apple, Google, IBM, Intel et Microsoft.

La vitesse et l’évolutivité étant primordiales dans le secteur des technologies de l’IA en constante évolution, les accélérateurs d’IA sont devenus indispensables pour aider les entreprises à innover à grande échelle et à commercialiser plus rapidement de nouvelles applications d’IA. Les accélérateurs d’IA sont supérieurs à leurs anciens homologues sur trois critères : vitesse, efficacité et conception.

Les accélérateurs d’IA sont beaucoup plus rapides que les CPU classiques en raison de leur latence considérablement réduite, une mesure des retards dans un système. Une faible latence est particulièrement importante pour le développement d’applications d’IA dans les domaines de la santé et des véhicules autonomes, où les retards de quelques secondes, voire quelques millisecondes, sont dangereux.

Les accélérateurs d’IA peuvent être cent à mille fois plus efficaces que les autres systèmes de calcul standard. Les grandes puces d’accélération d’IA utilisées dans les centres de données et les plus petites généralement utilisées dans les appareils de périphérie consomment moins d’énergie et dissipent moins de chaleur que leurs homologues plus anciennes.

Les accélérateurs d’IA possèdent ce que l’on appelle une architecture hétérogène, permettant à plusieurs processeurs de prendre en charge des tâches distinctes, une capacité qui augmente les performances de calcul aux niveaux requis par les applications d’IA. 

Les accélérateurs d’IA sont essentiels aux applications de la technologie de l’IA, mais ils présentent des défis qui devront être résolus rapidement, sinon ils entraveront l’innovation.

En 2023, 50 % des semi-conducteurs, y compris les accélérateurs d’IA, ont été fabriqués sur l’île de Taïwan. NVIDIA, la plus grande entreprise mondiale de matériel et de logiciels d’IA, s’est presque exclusivement toujours appuyée sur une seule entreprise pour ses accélérateurs d’IA, la Taiwan Semiconductor Manufacturing Corporation (TSMC). Selon certaines estimations, TSMC est responsable de la fabrication de près de 90 % des puces d’IA.

En raison de cette production très localisée, toute perturbation de la chaîne d’approvisionnement, qu’elle soit due à des catastrophes naturelles, à des cyberattaques ou à des troubles géopolitiques, pourrait créer de graves goulots d’étranglement et pénuries. 

Les modèles IA les plus puissants d’aujourd’hui nécessitent davantage de puissance de calcul que de nombreux accélérateurs d’IA ne peuvent en gérer, et l’innovation dans la conception des puces ne parvient pas à suivre le rythme de l’innovation dans les modèles IA.

Les entreprises explorent des domaines tels que le calcul en mémoire ou les performances et la fabrication améliorées par les algorithmes d’IA pour augmenter l’efficacité des puces, mais ces progrès ne sont pas aussi rapides que l’augmentation des exigences des applications alimentées par l’IA en matière de calcul.

Les accélérateurs d’IA sont petits, la plupart mesurent quelques millimètres et le plus grand du monde fait à peu près la taille d’un iPad. Il est donc difficile de diriger la quantité d’énergie nécessaire pour les alimenter dans un si petit espace. Le problème est d’autant plus complexe que les demandes de calcul liées aux workloads d’IA ne cessent d’augmenter ces dernières années. Il faudra bientôt renforcer les architectures des réseaux de distribution d’énergie (PDN) des accélérateurs d’IA, faute de quoi leurs performances commenceront à décliner.

Grâce à leur conception unique et à leur matériel spécialisé, les accélérateurs d’IA améliorent considérablement les performances de traitement de l’IA par rapport à leurs prédécesseurs. Des fonctionnalités spécialement conçues permettent de résoudre des algorithmes d’IA complexes à des vitesses bien supérieures à celles des puces à usage général.

Les accélérateurs d’IA sont généralement constitués d’un matériau semi-conducteur comme le silicium et d’un transistor relié à un circuit électronique. Les courants électriques traversant le matériau sont activés et désactivés, créant un signal qui est ensuite lu par un appareil numérique. Dans les accélérateurs avancés, les signaux sont activés et désactivés des milliards de fois par seconde, ce qui permet aux circuits de résoudre des calculs complexes à l’aide de code binaire.

Certains accélérateurs d’IA sont conçus pour un usage spécifique, tandis que d’autres présentent des fonctionnalités plus générales. Par exemple, les NPU sont des accélérateurs d’IA conçus spécifiquement pour l’apprentissage profond, tandis que les GPU sont des accélérateurs d’IA conçus pour le traitement des vidéos et des images.

Principalement chargés de résoudre des algorithmes avancés, les performances des accélérateurs d’IA sont cruciales pour diverses opérations liées à l’IA, telles que le machine learning (ML), l’apprentissage profond et les problèmes de réseaux neuronaux profonds.

Ils peuvent résoudre de nombreux algorithmes à la fois, rapidement et avec précision, grâce à la manière unique dont ils déploient les ressources informatiques, principalement via le traitement parallèle, leur architecture mémoire spéciale et une caractéristique appelée précision réduite.

Les accélérateurs d’IA les plus avancés d’aujourd’hui sont conçus pour traiter des problèmes vastes et complexes en les divisant en plus petits et en les résolvant en même temps, augmentant de manière exponentielle leur vitesse.

Traitement parallèle

Aucune autre caractéristique n’améliore les performances d’un accélérateur d’IA comme sa capacité à effectuer de nombreux calculs à la fois, une tâche dénommée traitement parallèle. Contrairement à d’autres puces, les accélérateurs d’IA peuvent effectuer en quelques minutes, quelques secondes, voire quelques millisecondes, des tâches qui prenaient auparavant des heures ou plusieurs jours.

Cette capacité les rend indispensables aux technologies d’IA qui reposent sur le traitement des données en temps réel, telles que l’edge computing. En raison du grand nombre d’algorithmes complexes utilisés dans les processus de ML et d’apprentissage profond, les accélérateurs d’IA sont essentiels au progrès de cette technologie et de ses applications.

Précision réduite pour l’entraînement de l’IA

Pour économiser de l’énergie, les accélérateurs d’IA peuvent utiliser une caractéristique connue sous le nom d’arithmétique à précision réduite. Les réseaux neuronaux restent très fonctionnels en utilisant des nombres à virgule flottante de 16 bits, voire de 8 bits, au lieu des 32 bits qu’utilisent les puces plus généralistes. Ils peuvent ainsi atteindre des vitesses de traitement plus rapides pour une consommation d’énergie réduite, sans sacrifier la précision.

Hiérarchie de la mémoire

La façon dont les données sont déplacées d’un endroit à un autre dans un accélérateur d’IA est essentielle à l’optimisation des workloads d’IA. Les accélérateurs d’IA utilisent des architectures mémoire différentes de celles des puces à usage général, ce qui permet d’obtenir des latences plus faibles et un meilleur débit. Ces caractéristiques de conception spécialisées, notamment les caches sur puce et la mémoire à haut débit, sont essentielles pour accélérer le traitement des grands ensembles de données nécessaires aux workloads d’IA hautes performances.

Les accélérateurs d’IA relèvent de deux architectures différentes selon leur fonction : les accélérateurs d’IA pour les centres de données et les accélérateurs d’IA pour les frameworks d’edge computing. Les accélérateurs d’IA conçus pour les centres de données nécessitent une architecture hautement évolutive et des puces de grande dimension, telles que le Wafer-Scale Engine (WSE) conçu par Cerebras pour les systèmes d’apprentissage profond, tandis que les accélérateurs d’IA destinés aux écosystèmes d’edge computing se concentrent davantage sur l’efficacité énergétique et la capacité à fournir des résultats en temps quasi réel.

Intégration au niveau du wafer

L’intégration au niveau wafer, ou WSI, est un processus permettant de construire des réseaux de puces d’IA extrêmement grands dans une seule « super puce » afin de réduire les coûts et d’accélérer les performances des modèles de deep learning. L’intégration au niveau du wafer la plus utilisée est le réseau de puces WSE-3 produit par Cerebras et construit selon le processus 5 nm de TSMC, actuellement l’accélérateur d’IA le plus rapide au monde.

NPU

Les NPU, ou unités de traitement neuronal, sont des accélérateurs d’IA conçus pour l’apprentissage profond, les réseaux neuronaux et les exigences de traitement des données propres à ces workloads. Les NPU peuvent traiter de grandes quantités de données plus rapidement que les autres puces. Ils peuvent effectuer un large éventail de tâches d’IA associées au machine learning, telles que la reconnaissance d’images et les réseaux neuronaux à l’appui des applications d’IA et de ML populaires comme ChatGPT.

Processeurs graphiques (GPU)

Les processeurs graphiques (GPU) sont des circuits électroniques conçus pour améliorer les performances des éléments graphiques informatiques et du traitement des images. Ils sont utilisés dans de nombreux dispositifs, notamment les cartes graphiques, les cartes mères et les téléphones portables. Cependant, en raison de leurs capacités de traitement parallèle, ils sont aussi de plus en plus utilisés dans l’entraînement des modèles IA. Une méthode courante consiste à connecter de nombreux GPU à un seul système d’IA pour augmenter la puissance de traitement du système.

Réseaux de portes programmables in situ (FPGAs)

Les FPGA sont des accélérateurs d’IA hautement personnalisables qui nécessitent des connaissances spécialisées pour être reprogrammés dans un but précis. Contrairement aux autres accélérateurs d’IA, les FPGA ont un design unique qui convient à une fonction particulière, souvent liée au traitement des données en temps réel. Les FPGA sont reprogrammables au niveau matériel, ce qui permet un niveau de personnalisation bien supérieur. Les applications FPGA courantes sont notamment utilisées dans l’aérospatiale, l’Internet des objets (IdO) et les réseaux sans fil.

Circuits intégrés spécifiques à une application (ASIC)

Les ASIC sont des accélérateurs d’IA qui ont été conçus pour un usage ou un workload spécifique, comme l’apprentissage profond dans le cas de l’accélérateur ASICs WSE-3 produit par Cerebras. Contrairement aux FPGA, les ASIC ne peuvent pas être reprogrammés. Cependant, comme ils sont construits dans un but spécifique, ils surpassent généralement les autres accélérateurs à usage plus général. Le Tensor Processing Unit (TPU) de Google en est un exemple, développé pour le machine learning sur réseaux neuronaux à l’aide du logiciel TensorFlow de Google.

Des smartphones et des PC aux technologies d’IA de pointe comme la robotique et les satellites, les accélérateurs d’IA jouent un rôle crucial dans le développement de nouvelles applications d’IA. Voici quelques exemples d’utilisation des accélérateurs d’IA :