Sparxity, anciennement SpiNNcloud, a annoncé le déploiement d’un système de calcul sparse-native en rack au Centre de calcul superintensif de Jülich (JSC), en Allemagne, pour exécuter des modèles d’apprentissage automatique clairsemés et des simulations HPC à grande échelle.
Baptisé JUBIS, le système en rack de Sparxity installé au JSC représente une installation de plusieurs millions de dollars. Il doit servir à exécuter des modèles d’apprentissage automatique clairsemés et des simulations HPC à grande échelle, et être mis à disposition pour des applications HPC et d’IA plus larges.
Un calcul déclenché par les événements
Le nouveau système du JSC est basé sur les événements. Il n’effectue des calculs que lorsqu’un événement se produit, ce qui correspond en pratique à une forme de parcimonie, selon la description de Sparxity. Le calcul clairsemé consiste à réduire la charge de calcul nécessaire et la quantité de données à transférer afin de limiter les goulots d’étranglement.
Sparxity développe des systèmes « full-stack » autour de ce principe, des puces au logiciel, plutôt que de se limiter à une simple puce. L’entreprise indique que ses systèmes actuels sont au service du HPC et de l’IA, et que sa prochaine génération sera entièrement axée sur la parcimonie pour l’inférence IA.
Des gains revendiqués par l’entreprise
Sparxity indique que JUBIS est conçu pour offrir une exécution 10 fois plus rapide des solveurs clairsemés, une consommation d’énergie 18 fois inférieure pour les charges de travail d’apprentissage automatique basées sur les événements et un temps de calcul 20 fois plus court pour obtenir une solution acceptable pour les problèmes d’optimisation.
L’entreprise présente l’installation au JSC comme une démonstration de la viabilité du calcul sparse-native dans une infrastructure réelle. Elle affirme aussi que cette mise en œuvre valide la pertinence de son approche, qui consiste à ne calculer que ce qui compte. L’annonce coïncide avec le lancement de sa nouvelle identité de marque, centrée sur cette approche.
Le communiqué situe l’annonce dans un contexte de défis pour les infrastructures d’IA, liés à la consommation d’énergie et aux coûts. Il affirme que la parcimonie, ou calcul sparse-native, constitue l’une des principales voies encore inexploitées pour ces infrastructures, et que des recherches ont montré que les modèles d’IA pourraient être plus clairsemés qu’ils ne le sont aujourd’hui, le matériel conçu pour le calcul dense ayant freiné leur développement.
Le centre de Jülich
Le JSC constitue l’un des plus grands centres de recherche en supercalcul d’Europe, comme abritant le premier supercalculateur exascale d’Europe. C’est aussi un acteur de premier plan dans le domaine de l’IA grâce à la JUPITER AI Factory, l’une des 19 « usines d’IA » européennes et la seule à s’articuler autour d’une machine exascale.
« L’apprentissage automatique sur des données clairsemées représente l’une des plus grandes opportunités d’améliorer fondamentalement l’efficacité de l’IA », a déclaré le Dr Guido Trensch, du Laboratoire de simulation et de données en neurosciences du Centre de calcul superintensif de Jülich. Il estime que l’adoption de Sparxity doit permettre de compléter l’infrastructure HPC du centre, qu’il qualifie d’unique au monde, par une approche fondamentalement nouvelle, afin de faire progresser les neurosciences.
« Les concepteurs de modèles ont passé des années à s’adapter aux limites du matériel conçu pour le calcul dense », a ajouté Hector Gonzalez, cofondateur et PDG de Sparxity. Il présente la nouvelle identité de marque de l’entreprise comme centrée sur l’approche sparse-native et la collaboration avec le JSC comme une démonstration de la valeur de cette méthode à l’échelle des supercalculateurs.
