NVIDIA inaugure l’ère des superordinateurs IA (exaflops)

A l’occasion du Computex 2023, NVIDIA a fait sensation en dévoilant une nouvelle catégorie de superordinateur à mémoire vive de haute capacité pour l’intelligence artificielle : un superordinateur NVIDIA DGX™, propulsé par les super-puces NVIDIA® GH200 Grace Hopper et le système de commutation NVIDIA NVLink®.

Cette innovation a été conçue pour permettre le développement de modèles géants de la prochaine génération pour les applications d’IA générative de langage, les systèmes de recommandation et les charges de travail d’analyse de données.

Le NVIDIA DGX GH200, doté d’un espace de mémoire partagée gigantesque, utilise la technologie d’interconnexion NVLink avec le système de commutation NVLink pour combiner 256 super-puces GH200, leur permettant de fonctionner comme un seul GPU.

La bête de calcul offre ainsi une performance de 1 exaflop et 144 téraoctets de mémoire partagée – près de 500 fois plus de mémoire que le NVIDIA DGX A100 de la génération précédente, introduit en 2020.

« L’IA générative, les grands modèles de langage et les systèmes de recommandation sont les moteurs numériques de l’économie moderne« , a déclaré Jensen Huang, fondateur et PDG de NVIDIA. « Les superordinateurs DGX GH200 intègrent les technologies de calcul accéléré et de réseau les plus avancées de NVIDIA pour repousser les frontières de l’IA.« 

Les super-puces GH200 éliminent le besoin d’une connexion traditionnelle CPU-vers-GPU PCIe en combinant un CPU NVIDIA Grace™ basé sur Arm avec un GPU à cœur tensoriel NVIDIA H100 dans le même paquet, en utilisant les interconnexions de puces NVIDIA NVLink-C2C. Cela augmente la bande passante entre le GPU et le CPU de 7 fois par rapport à la dernière technologie PCIe, réduit la consommation d’énergie de l’interconnexion de plus de 5 fois et fournit un bloc de construction GPU à architecture Hopper de 600GB pour les superordinateurs DGX GH200.

Le DGX GH200 est le premier superordinateur à associer les super-puces Grace Hopper avec le système de commutation NVIDIA NVLink, une nouvelle interconnexion qui permet à tous les GPU d’un système DGX GH200 de travailler ensemble comme un seul. Le système de la génération précédente ne permettait de combiner que huit GPU avec NVLink en un seul GPU sans compromettre les performances.

L’architecture DGX GH200 offre 48 fois plus de bande passante NVLink que la génération précédente, délivrant la puissance d’un superordinateur IA massif avec la simplicité de programmation d’un seul GPU.

L’ère des EXAFLOPS

Un exaflop est une unité de mesure utilisée en informatique pour quantifier la performance des calculs d’un ordinateur. Un exaflop correspond à un quintillion, soit un milliard de milliard, d’opérations en virgule flottante par seconde (FLOPS). En termes plus simples, un ordinateur capable d’effectuer un exaflop peut réaliser un milliard de milliard de calculs par seconde.

Pour mieux comprendre l’ampleur d’un exaflop, voici quelques comparaisons :

Si chaque personne sur Terre effectuait un calcul par seconde, il faudrait plus de 31 ans pour atteindre un exaflop.

Un exaflop est environ 1 000 fois plus rapide que un pétaflop, l’unité de mesure qui le précède. Pour mettre cela en perspective, le superordinateur le plus rapide en 2020, le Fugaku au Japon, avait une performance de pointe de 415 pétaflops.

Un superordinateur capable d’exécuter un exaflop peut effectuer autant de calculs en une seconde que le total de calculs effectués par l’ensemble des ordinateurs personnels dans le monde pendant une année entière.

Si vous pouviez compter à raison d’un chiffre par seconde, il vous faudrait 31,7 milliards d’années pour atteindre un exaflop – plus de deux fois l’âge de l’univers.

Ces comparaisons donnent une idée de l’incroyable puissance de calcul que représente un exaflop. Les superordinateurs capables d’atteindre cette performance peuvent aider à résoudre des problèmes complexes dans des domaines tels que la recherche climatique, la biologie moléculaire, la physique nucléaire et bien d’autres.