NPU et GPU : quelle est la différence ?

Les GPU contiennent des milliers de cœurs pour réaliser les tâches de calcul rapides et précises nécessaires au rendu graphique et aux jeux. Les NPU donnent la priorité au flux de données et à la hiérarchie de la mémoire pour un meilleur traitement des workloads d’IA en temps réel.

Les deux types de microprocesseurs excellent dans les types de traitement parallèle utilisés dans l’IA, mais les NPU sont spécialement conçues pour les tâches de machine learning (ML) et d’intelligence artificielle. 

Les unités de traitement neuronal (NPU) ont actuellement leur heure de gloire, mais pourquoi cette technologie, vieille de près de dix ans, vole-t-elle soudainement la vedette ? La réponse réside dans les récents progrès de l’IA générative (intelligence artificielle), qui suscitent l’intérêt du public pour les applications d’IA, et par extension, les puces d’accélération de l’IA telles que les NPU et les GPU. 

L’architecture d’une NPU diffère considérablement de celle d’un CPU ou d’un GPU. Conçus pour exécuter les instructions de manière séquentielle, les CPU comportent moins de cœurs de traitement que les GPU, qui en comportent beaucoup plus et sont conçus pour les opérations exigeantes qui nécessitent des niveaux élevés de traitement parallèle. 

Alors que les CPU peinent avec les tâches de traitement parallèle et que les GPU excellent au prix d’une consommation d’énergie élevée, l’architecture NPU prospère en imitant la façon dont les cerveaux humains traitent les données. Au lieu de n’ajouter que des cœurs supplémentaires, les NPU atteignent un parallélisme élevé avec une consommation d’énergie réduite grâce à un certain nombre de fonctionnalités et de techniques uniques :

• Unités de calcul spécialisées : les NPU intègrent du matériel dédié pour les opérations de multiplication et d’accumulation, essentielles pour l’entraînement et l’inférence des réseaux de neurones.

• Mémoire sur puce à grande vitesse : pour minimiser les goulots d’étranglement liés à l’accès à la mémoire, les NPU disposent d’une fonctionnalité de mémoire intégrée à grande vitesse, ce qui permet un accès rapide aux données et aux poids des modèles.

• Architecture parallèle : les NPU sont conçues pour effectuer des milliers d’opérations parallèles, ce qui les rend extrêmement efficaces dans le traitement des lots de données.

Lorsque l’on compare des NPU et des GPU, il peut être utile d’évaluer les performances de leurs principales fonctionnalités.

• Les GPU sont conçus pour décomposer les tâches exigeantes de traitement des images en opérations plus petites qui peuvent être traitées en parallèle.   

• Les NPU sont conçus pour imiter le cerveau humain avec des modules qui permettent d’accélérer la multiplication et l’ajout tout en améliorant la mémoire sur puce.

• Les GPU offrent d’excellentes capacités de calcul parallèle, mais cela se fait au prix d’une consommation d’énergie élevée. 

• Les NPU offrent un parallélisme égal (voire supérieur), surtout lorsqu’il s’agit de calculs courts et répétitifs. Conçues pour gérer les types d’algorithmes d’IA utilisés dans les réseaux de neurones, les NPU sont particulièrement bien adaptées au traitement de jeux de données à grande échelle qui nécessitent des multiplications matricielles.

• Les GPU, bien que plus spécialisés que les CPU, sont plus adaptés à l’informatique générale.

• Les NPU sont des processeurs spécialisés conçus pour les tâches d’IA et de machine learning. Ils éliminent certaines des fonctionnalités superflues utilisées par les GPU pour optimiser l’efficacité énergétique.

• Les GPU, prédécesseurs des NPU, tirent avantage d’un environnement plus développé et sont largement disponibles sur le marché grand public. Disponible pour les professionnels et les amateurs, le langage CUDA de Nvidia facilite la programmation GPU avec une compilation open source pour plusieurs systèmes d’exploitation. 

• Les NPU sont plus récents que les GPU et sont généralement moins accessibles. De nombreux NPU propriétaires, tels que le Tensor Processing Unit (TPU) de Google ou Snapdragon de Qualcomm (utilisé par Apple), risquent de ne pas être disponibles sur le marché général. Les puces NPU produites par des fabricants comme Intel ou AMD ont, en comparaison, moins de ressources communautaires.

• Les GPU sont fréquemment utilisés dans les jeux vidéo et les animations par ordinateur, où les cartes graphiques sont chargées d’optimiser le traitement de l’image. Ils sont également efficaces dans d’autres applications qui exigent des niveaux élevés de parallélisme, comme les centres de données, le crypto mining ou l’entraînement de modèles d’IA.

• Les NPU sont utilisées de manière plus ciblée et offrent un parallélisme exceptionnel tout en nécessitant moins d’énergie. Généralement associées aux GPU, les NPU délèguent les tâches d’IA les plus exigeantes et sont mieux adaptées aux tâches de machine learning telles que le traitement des workloads d’IA dans les grands modèles de langage (LLM), la reconnaissance d’images par apprentissage profond ou encore la blockchain et l’IA. 

L’intégration des NPU dans les systèmes intégrés offre un certain nombre d’avantages évidents par rapport aux processeurs traditionnels en matière de vitesse, d’efficacité et de commodité. Voici quelques-uns de ses avantages :

• Localisation : le traitement des applications d’IA nécessite des ressources de calcul importantes et, pour cette raison, il est souvent relégué au cloud. Cependant, le fait de s’appuyer sur un serveur distant peut ralentir les opérations et rendre les informations sensibles vulnérables dans le cas de fuites de données. Les NPU permettent le traitement localisé et en temps réel des tâches d’IA, ce qui réduit la latence pour les applications critiques telles que la reconnaissance vocale ou faciale, les diagnostics médicaux et les systèmes de conduite automatisée. 

• Gestion des ressources : les NPU couramment intégrées peuvent aider à optimiser les ressources globales du système en prenant en charge les tâches répétitives nécessaires aux applications d’IA. Le transfert de ces types de tâches vers une NPU libère des ressources GPU pour traiter de grands volumes de données dans des calculs plus généraux.

• Efficacité : alors que les GPU sont capables de gérer de nombreuses tâches exigeantes associées à l'IA, les NPU sont conçues spécifiquement pour ces requêtes et peuvent atteindre des niveaux de performance similaires, voire meilleurs, tout en nécessitant une puissance exponentiellement inférieure, caractéristique particulièrement précieuse pour les appareils alimentés par batterie avec une capacité finie.

En tant que coprocesseur, les NPU sont utilisées depuis de nombreuses années et sont généralement intégrées aux GPU pour prendre en charge des tâches répétitives spécifiques. Les NPU continuent d’être utiles dans les technologies grand public (telles que AI Copilot de Microsoft Windows) et dans divers appareils de l’Internet des objets (IdO) (tels que les haut-parleurs intelligents qui utilisent les NPU pour traiter la reconnaissance vocale). 

Cependant, les récents développements de la technologie d’IA ont mis en lumière ce type de processeur, car les modèles d’IA plus avancés ont généralisé l’utilisation des outils d’IA grand public. Comme elles sont spécifiquement conçues pour les tâches d’IA exigeantes telles que le traitement automatique du langage naturel, l’intérêt pour les NPU a crû proportionnellement à l'intérêt pour l’IA grand public.

Les principaux cas d’utilisation des NPU sont les suivants :

• Intelligence artificielle et grands modèles de langage : les NPU sont conçues pour améliorer les performances des systèmes d’IA et de ML, comme les grands modèles de langage (LLM) qui nécessitent un traitement adaptatif à faible latence pour interpréter les signaux multimédias, effectuer la reconnaissance vocale et générer une réponse naturelle. Les NPU sont également parfaitement adaptées aux tâches de traitement vidéo alimentées par l’IA, telles que le brouillage de l’arrière-plan lors des appels vidéo ou l’édition automatique des images.   

• Appareils de l’Internet des objets (IdO) : peu encombrantes et économes en énergie, les NPU constituent un coprocesseur puissant pour les petits appareils intelligents, notamment les smartphones, les appareils mobiles et les accessoires connectés, où l’autonomie de la batterie est primordiale et où l'efficacité est prioritaire.

• Centres de données : connus pour traiter des workloads exigeants, les centres de données bénéficient de l’optimisation efficace des ressources offerte par les NPU. 

• Véhicules autonomes et robotique : des voitures autonomes aux véhicules aériens autonomes (drones), les NPU ajoutent de la valeur aux systèmes de pilotage autonome grâce à un parallélisme inégalé et à des vitesses de traitement du signal améliorées. Les NPU, grâce à leur faible latence, constituent un excellent choix pour les applications qui s’appuient sur la vision par ordinateur, et elles permettent aux véhicules autonomes de réagir en temps réel aux charges de travail et aux conditions environnementales imprévues. La robotique basée sur l’IA, des assistants à domicile aux outils chirurgicaux automatisés, s’appuie sur les NPU pour développer la capacité de détecter, d’apprendre et de réagir à l’environnement. 

• Edge computing et edge AI : l’edge computing et l’edge Ai cherchent à rapprocher physiquement les données critiques et les ressources informatiques des utilisateurs. Cela permet de réduire la latence, d’atténuer la consommation d’énergie et de renforcer la confidentialité. Comme elles ont besoin de moins d’énergie et offrent un encombrement réduit, les NPU deviennent un composant précieux de l’edge computing et de l’IA embarquée. 

Avant les NPU, les GPU ont longtemps été privilégiés pour les tâches de calcul qui nécessitait un traitement parallèle à forte intensité de performances. Conçus à l’origine pour gérer des graphismes complexes dans les jeux vidéo et les logiciels d’image/vidéo, les GPU ont continué à être utilisés dans les jeux sur PC et consoles, ainsi que dans la réalité virtuelle et réalité augmentée, le calcul haute performance (HPC), le rendu 3D, les centres de données et d’autres applications. 

Voici un aperçu plus détaillé de certaines des applications modernes les plus importantes de la technologie GPU :

• Intelligence artificielle (IA), machine learning (ML) et apprentissage profond (DL) : bien qu’ils ne soient pas spécifiquement conçus pour les tâches d’IA, de ML ou de DL, les GPU alimentent de nombreuses applications d’IA de pointe, comme Vela, le supercalculateur d’IA cloud natif d’IBM, qui nécessite un parallélisme à haut débit pour traiter de grands ensembles de données à des fins d’entraînement. Grâce au traitement parallèle, les GPU peuvent simuler la prise de décision du cerveau humain utilisé dans le ML et le DL. 

• Cloud computing : ces dernières années, le cloud computing est devenu un élément essentiel de l’infrastructure informatique dans tous les secteurs d’activité. La possibilité de transférer des tâches de traitement de données majeures vers des serveurs puissants stockés hors site nécessite des capacités de traitement des données. Les GPU permettent une infrastructure de cloud computing en accélérant l’analytique du big data et les requêtes de base de données grâce au calcul parallèle. 

• Visualisation et simulation : conçus pour traiter les graphiques, les GPU apportent une valeur ajoutée considérable dans tous les secteurs d’activité pour les tâches qui nécessitent des visualisations ou des simulations complexes, notamment les présentations de produits, les dessins d’ingénierie CAO, l’imagerie médicale et la modélisation sismique et géophysique. Les climatologues utilisent des simulations optimisées par des GPU pour prévoir les conditions météorologiques, tandis que les physiciens théoriques les utilisent pour modéliser le comportement des particules à l’échelle quantique.  

• Blockchain : les technologies blockchain reposent fortement sur la technologie GPU, en particulier lorsqu’il s’agit de valider des « preuves de travail ». Dans de nombreuses applications blockchain largement utilisées, comme la crypto-monnaie Bitcoin, des calculs de preuve de travail sont effectués afin de confirmer que toute mise à jour apportée au grand livre global est exacte. Ce niveau de calcul est très exigeant, car il affecte l’ensemble de la blockchain, et il ne serait pas possible sans les GPU modernes.

• Gaming et métaverse : le secteur des jeux vidéo continue de monter en flèche, et avec lui la demande pour de meilleurs graphismes, des jeux en ligne massivement multijoueurs (MMO) plus grands et des rendus gourmands en ressources de calcul, comme ceux qui permettent les jeux en réalité virtuelle et en réalité augmentée. Les développeurs de jeux et les fabricants de matériel informatique s’appuient sur les GPU pour alimenter les caractéristiques de jeu les plus avancées, comme le taux de rafraîchissement d’image élevé et le ray-tracing avancé, utilisé dans le rendu des environnements hyperréalistes. 

• Traitement vidéo et création de contenus : depuis leur commercialisation, les GPU ont progressivement réduit les temps de rendu frustrants des produits de montage vidéo populaires tels que Final Cut Pro et Adobe Premiere. Aujourd’hui, les GPU dotés de NPU intégrées accélèrent considérablement les tâches de création et de postproduction vidéo, dans les suites de montage professionnelles utilisées par les grands studios d'Hollywood comme dans les applications pour smartphones utilisées par les créateurs sur YouTube et TikTok.

Les NPU font une vraie différence dans les systèmes intégrés qui optimisent les opérations pour allouer des types de ressources spécifiques à des types de processeurs spécifiques. Conçus pour une informatique linéaire et précise, les CPU gagnent à être affectés à des processus généraux tels que la gestion des systèmes et des ressources, tandis que les GPU sont spécialisés pour les workloads intenses qui bénéficient du parallélisme.

Alors que les applications d’intelligence artificielle se généralisent, il est préférable de déployer des NPU encore plus spécialisés en complément des CPU et des GPU pour gérer les tâches spécifiques à l’IA et au ML avec un traitement parallèle à faible latence et à haute efficacité énergétique.