Qu’est-ce que le calcul haute performance (HPC) ?

Le HPC résout en temps réel certains des problèmes informatiques les plus complexes de notre époque. Les systèmes HPC fonctionnent généralement à des vitesses plus d’un million de fois supérieures à celles des systèmes de bureau, d’ordinateur portable ou de serveur les plus rapides.

Les supercalculateurs, des ordinateurs sur mesure dotés de millions de processeurs ou de cœurs de processeur, jouent un rôle essentiel dans le calcul haute performance depuis des décennies. Contrairement aux mainframes, les superordinateurs sont beaucoup plus rapides et peuvent exécuter des milliards d'opérations en virgule flottante en une seconde.

Les superordinateurs sont toujours là, le plus rapide est la société étasunienne Frontier, avec une vitesse de traitement de 1 206 exaflops, soit un quintillion d’opérations en virgule flottante par seconde (flops).¹ Mais aujourd’hui, de plus en plus d’entreprises exécutent des services HPC sur des clusters de serveurs informatiques à haut débit, hébergés sur site ou dans le cloud.

Les workloads HPC révèlent de nouvelles informations qui font progresser les connaissances humaines et créent des avantages concurrentiels significatifs. Par exemple, le calcul haute performance séquence l’ADN et automatise les transactions boursières et exécute des algorithmes et des simulations d’intelligence artificielle (IA) (tels que ceux qui permettent la conduite automobile autonome) qui analysent des téraoctets de données provenant de capteurs IdO, de radars et de systèmes GPS en temps réel afin de prendre des décisions en une fraction de seconde.

Un système informatique standard résout les problèmes principalement en utilisant l’informatique en série : il divise la workload en une séquence de tâches qu’il exécute les unes après les autres sur le même processeur.

Le calcul parallèle exécute plusieurs tâches simultanément sur plusieurs serveurs ou processeurs informatiques. Le calcul haute performance utilise le calcul massivement parallèle, qui utilise des dizaines de milliers, voire des millions de processeurs ou de cœurs de processeur.

Un cluster HPC se compose de plusieurs serveurs informatiques à haut débit mis en réseau, avec un planificateur centralisé qui gère la workload de calcul parallèle. Les ordinateurs, appelés nœuds, utilisent des processeurs multicœurs haute performance ou, plus probablement aujourd’hui, des GPU, qui sont bien adaptés aux calculs mathématiques rigoureux, aux modèles de machine learning (ML) et aux tâches gourmandes en graphiques. Un seul cluster HPC peut inclure 100 000 nœuds ou plus.

Linux est le système d'exploitation le plus utilisé pour exécuter des HPC Cluster. Parmi les autres systèmes d’exploitation, citons Windows, Ubuntu et Unix.

Toutes les autres ressources de calcul d’un cluster HPC, telles que la mise en réseau, la mémoire, le stockage et les systèmes de fichiers, sont à grande vitesse et à haut débit. Ce sont également des composants à faible latence qui peuvent suivre le rythme des nœuds et optimiser la puissance de calcul et les performances du cluster.

Les workloads HPC s’appuient sur une interface d'échange de messages (MPI), une bibliothèque standard et un protocole de programmation informatique parallèle qui permet aux utilisateurs de communiquer entre les nœuds d’un cluster ou sur un réseau.

Le calcul haute performance (HPC) repose sur des bits et des processeurs conventionnels utilisés en calcul classique. En revanche, l’informatique quantique utilise une mécanique quantique basée sur la technologie pour résoudre des problèmes complexes. Les algorithmes Quantum créent des espaces de calcul multidimensionnels qui sont un moyen beaucoup plus efficace de résoudre des problèmes complexes (comme la simulation du comportement des molécules) que les ordinateurs classiques ou les superordinateurs ne peuvent pas résoudre assez rapidement. L’informatique quantique ne devrait pas remplacer le HPC de sitôt. Au contraire, les deux technologies peuvent être combinées pour atteindre une efficacité et des performances optimales.

Il y a encore dix ans, le coût élevé du HPC (qui impliquait la possession ou la location d’un supercalculateur ou la création et l’hébergement d’un cluster HPC dans un centre de données sur site) le plaçait hors de portée de la plupart des organisations.

Aujourd’hui, le HPC dans le cloud, parfois appelé HPC en tant que service ou HPCaaS, offre aux entreprises un moyen nettement plus rapide, plus évolutif et plus abordable de tirer parti du HPC. Le HPCaaS comprend généralement l’accès aux clusters et à l’infrastructure HPC hébergés dans le centre de données d’un fournisseur de services cloud, ainsi que des capacités réseau (telles que l’IA et l’analytique de données) et une expertise HPC.

Aujourd’hui, trois tendances convergentes favorisent le HPC dans le cloud.

Les organisations de tous les secteurs dépendent de plus en plus des informations en temps réel et de l’avantage concurrentiel résultant de la résolution de problèmes complexes que seules les applications HPC peuvent résoudre. Par exemple, la détection des fraudes à la carte de crédit, sur laquelle nous comptons tous et que la plupart d’entre nous avons vécu à un moment ou à un autre, s’appuie de plus en plus sur le HPC pour identifier les fraudes plus rapidement et réduire les faux positifs gênants, alors même que l’activité frauduleuse se développe et que les tactiques des fraudeurs changent en permanence.

Depuis le lancement de technologies comme ChatGPT, les entreprises ont rapidement adopté la promesse de l’IA générative (IA générative) pour accélérer l’innovation et favoriser la croissance. Ce développement a stimulé une demande encore plus importante de calculs hautes performances. HPC offre la puissance de calcul élevée et l’évolutivité pour prendre en charge les workloads pilotées par l’IA à grande échelle. Selon un rapport d'Intersect 360 Recherche, le marché mondial des infrastructures de calcul évolutives pour le HPC et l'IA était de 85,7 milliards de dollars en 2023, soit une hausse de 62,4 % d'une année sur l'autre, principalement en raison d'un quasi-triplement des dépenses des entreprises hyperscale pour leur infrastructure d'IA²

L’accès direct à la mémoire à distance (RDMA) permet à un ordinateur du réseau d’accéder à la mémoire d’un autre ordinateur du réseau sans impliquer le système d’exploitation de l’un ou l’autre et sans interrompre le traitement de l’un ou l’autre. Cela permet de minimiser la latence et d’optimiser le débit, réduisant ainsi les goulots d’étranglement de la bande passante de la mémoire. Les nouvelles structures RDMA hautes performances, notamment InfiniBand, l’architecture d’interface virtuelle et le RDMA sur Ethernet convergent, rendent possible le HPC basé sur le cloud.

Aujourd’hui, tous les principaux fournisseurs de services cloud publics, notamment Amazon Web Services (AWS), Microsoft Azure, Google Cloud et IBM Cloud, proposent des services HPC. Et si certaines organisations continuent d’exécuter des workloads HPC hautement réglementées ou sensibles sur site, nombre d’entre elles adoptent ou migrent vers les services HPC de cloud privé proposés par les fournisseurs de matériel et de solutions.

HPC dans le cloud permet aux entreprises d’appliquer de nombreux actifs de calcul pour résoudre des problèmes complexes et offre les avantages suivants :

• Configurez et déployez rapidement des charges de travail intensives.

• Réduisez le délai d’obtention de résultats grâce à l’évolutivité grâce à la capacité à la demande.

• Gagnez en rentabilité en exploitant la technologie nécessaire à vos besoins et en ne payant que pour la puissance de calcul que vous utilisez.

• Utilisez les outils et le support de gestion des fournisseurs de cloud pour concevoir vos Workloads HPC spécifiques.

Les applications HPC sont devenues synonymes d’IA, en particulier des applications de machine learning (ML) et d’apprentissage profond. Aujourd’hui, la plupart des systèmes HPC sont conçus en tenant compte de ces Workloads.

De l’analyse des données à la recherche de pointe, le HPC stimule l’innovation continue des cas d’utilisation dans les secteurs suivants :