Le calcul HPC est une technologie qui utilise des grappes de processeurs puissants qui travaillent en parallèle pour traiter des jeux de données multidimensionnelles massives (Big Data) et résoudre des problèmes complexes à des vitesses extrêmement élevées. Les systèmes HPC sont généralement plus d'un million de fois plus rapides que les ordinateurs de bureau, les ordinateurs portables ou les serveurs les plus rapides.

Pendant des dizaines d'années, le paradigme des systèmes HPC était le superordinateur, un ordinateur conçu à cet effet et doté de millions de processeurs ou de cœurs de processeurs. Les superordinateurs sont toujours d'actualité ; à l'heure actuelle, le superordinateur le plus rapide est le Frontier  aux États-Unis (lien externe  à ibm.com), avec une vitesse de traitement de 1,102 exaflops équivalent à un quintillion d'opérations en virgule flottante par seconde (flops). Mais aujourd'hui, un nombre croissant d'organisations exécutent des solutions HPC sur des grappes de serveurs informatiques haut débit, hébergés sur site ou dans le cloud.

Les charges de travail HPC permettent de découvrir de nouvelles informations importantes qui font progresser le savoir humain et créent un avantage concurrentiel significatif. Par exemple, le calcul HCP intervient dans le séquençage de l'ADN, l'automatisation des transactions boursières et l'exécution des algorithmes et des simulations d'intelligence artificielle (IA), comme dans les véhicules autonomes, qui analysent en temps réel des téraoctets de données provenant de capteurs IoT, de radars et de systèmes GPS pour prendre des décisions en une fraction de seconde.

Un système informatique standard résout les problèmes en utilisant principalement le calcul en série ; il divise la charge de travail en séquence de tâches, puis exécute les tâches l'une après l'autre sur le même processeur.

En revanche, HPC exploite

• Calcul massivement parallèle. Le calcul parallèle exécute plusieurs tâches simultanément sur plusieurs serveurs ou processeurs informatiques. Le calcul massivement parallèle est un calcul parallèle qui utilise des dizaines de milliers voire des millions de processeurs ou de cœurs de processeurs.
  
  
• Grappes de calcul (également appelées grappes HPC). Un cluster HPC est constitué de plusieurs serveurs de calcul haut débit mis en réseau et d'un planificateur centralisé qui gère la charge de travail de calcul parallèle. Les ordinateurs, appelés « nœuds », utilisent soit des processeurs multicœurs hautes performances, soit, plus vraisemblablement aujourd'hui, des GPU (unités de traitement graphique), qui sont bien adaptés aux calculs mathématiques rigoureux, aux modèles d'apprentissage automatique et aux tâches massivement graphiques. Une grappe HPC unique peut comprendre 100 000 nœuds ou plus.
  
  
• Composants hautes performances : toutes les autres ressources informatiques d'une grappe HPC (réseau, mémoire, stockage et systèmes de fichiers) sont des composants haut débit et à faible latence, capables de répondre aux besoins des nœuds et d'optimiser la puissance et les performances de calcul de la grappe.

II y a à peine dix ans, le coût élevé du calcul HPC, qui impliquait de posséder ou de louer un superordinateur ou de construire et d'héberger une grappe HPC dans un centre de données sur site, rendait inacessible le calcul HPC à la plupart des entreprises.

Aujourd'hui, le calcul HPC dans le cloud, appelé parfois HPC en tant que service ou HPCaaS, offre aux entreprises un moyen nettement plus rapide, plus évolutif et plus abordable d'utiliser le calcul HPC. HPCaaS comprend généralement l'accès aux grappes et à l'infrastructure HPC hébergés dans le centre de données d'un fournisseur de services de cloud, ainsi que les fonctionnalités de l'écosystème (telles que l'IA et l'analyse des données) et l'expertise HPC.

Aujourd'hui, le calcul HPC dans le cloud est traversé par trois tendances convergentes :

• Demande croissante. Les organisations de tous les secteurs d'activité sont toujours plus dépendantes des informations en temps réel et de l'avantage concurrentiel qui résultent de la résolution des problèmes complexes que seules les applications HPC peuvent résoudre. Par exemple, la détection des fraudes à la carte de crédit, une activité à laquelle pratiquement tout le monde se fie et que la plupart d'entre nous ont connue à un moment ou à un autre, fait de plus en plus appel au calcul HPC pour identifier les fraudes plus rapidement et réduire les faux positifs gênants, alors même que l'activité frauduleuse se développe et que les tactiques des fraudeurs changent constamment.
  
  
• Prévalence des réseaux RDMA à faible latence et haut débit. RDMA (Remote Direct Memory Access) permet à un ordinateur en réseau d'accéder à la mémoire d'un autre ordinateur en réseau sans impliquer le système d'exploitation de l'un ou l'autre ordinateur ni interrompre le traitement de l'un ou l'autre. Il permet de réduire la latence et de maximiser le débit. Les nouvelles matrices RDMA hautes performances, notamment Infiniband, Virtual Interface Architecture et RDMA over Converged Ethernet (RoCE), rendent possible le calcul HPC dans le cloud.
  
  
• Disponibilité générale des services HPCaaS dans les clouds publics et privés. Aujourd'hui, tous les grands fournisseurs de services de cloud computing public proposent des services HPC. En outre, si certaines organisations continuent d'exécuter sur site des charges de travail HPC hautement réglementées ou sensibles, beaucoup adoptent ou migrent vers des solutions HPC dans un cloud privé proposées par des fournisseurs de matériel et de solutions. 
  

Les applications HPC sont devenues synonymes d'applications IA en général, et d'applications d'apprentissage automatique et d'apprentissage en profondeur en particulier ; aujourd'hui, la plupart des systèmes HPC sont créés en fonction de ces charges de travail. Ces applications HPC favorisent l'innovation continue dans :

Santé, génomique et sciences de la vie. La première tentative de séquençage d'un génome humain a pris 13 ans. Aujourd'hui, les systèmes de calcul HPC peuvent accomplir cette tâche en moins d'une journée. Parmi les autres applications HPC dans les secteurs des soins de santé et des sciences de la vie figurent la découverte et la conception de médicaments, le diagnostic rapide du cancer et la modélisation moléculaire.

Services financiers. Outre l'automatisation des transactions et la détection des fraudes (mentionnées ci-dessus), le calcul HPC optimise les méthods de simulation Monte Carlo et d'autres méthodes d'analyse des risques.

Gouvernement et défense . Deux cas d'utilisation croissante de HPC dans ce domaine sont les prévisions météorologiques et la modélisation du climat, qui impliquent toutes les deux de traiter d'importants volumes de données d'historiques météorologiques et des millions de changements quotidiens dans les points de données liés au climat. D'autres applications gouvernementales et de défense incluent la recherch énergétique et le travail de renseignement.

Énergie Dans certains cas, les applications HPC liées à l'énergie se chevauchent avec celles du gouvernement et de la défense, notamment le traitement des données sismiques, la simulation et la modélisation des réservoirs, l'analyse géospatiale, la simulation du vent et la cartographie du terrain.