L’efficacité des systèmes informatiques pourrait être transformée par une nouvelle façon de construire des accélérateurs neuronaux. La recherche à KAUST a révélé que cela pourrait également engendrer des progrès dans le domaine florissant de l’apprentissage automatique.
Les réseaux neuronaux profonds (DNN) sont devenus des instruments essentiels dans diverses disciplines comme la reconnaissance biométrique, la robotique et même la prédiction de la propagation des maladies. Cependant, pour traiter de grands ensembles de données et prendre des décisions en temps réel, les DNN nécessitent d’énormes quantités d’énergie et de mémoire.
Les ordinateurs modernes font face à des problèmes dus à leur architecture qui impose des allers-retours constants entre les unités de traitement et de mémoire. Une transformation profonde de l’informatique s’avère donc nécessaire.
Le paradigme de la mémoire calculable
« Un nouveau paradigme de l’informatique est nécessaire, où les opérandes ne font pas de navette inutile, et où tous les calculs nécessaires sont effectués dans la mémoire », dit la chercheuse postdoctorale Kamilya Smagulova, travaillant à KAUST avec Ahmed Eltawil.
« Ce type de plateforme, appelé mémoire calculable, convient pour une accélération efficace des DNN. À l’instar des neurones biologiques, chaque cellule sert à la fois de mémoire et d’unité de traitement. »
Les accélérateurs neuronaux basés sur la ReRAM
Smagulova et ses collègues ont passé en revue l’état de l’art des accélérateurs neuronaux basés sur la mémoire d’accès aléatoire résistive (ReRAM), une technologie prometteuse pour construire des architectures de mémoire calculable. Contrairement à la RAM conventionnelle, la ReRAM fonctionne en changeant la résistance plutôt que la charge, affichant une faible consommation d’énergie et des vitesses élevées, et pouvant être fabriquée durablement avec moins de matériaux toxiques.
« Les accélérateurs neuronaux basés sur la ReRAM pourraient remodeler l’avenir de l’informatique, permettant le traitement des données en temps réel », affirme le co-auteur Mohammed Fouda de Rain Neuromorphics, USA. « De nombreux dispositifs ReRAM sont désormais disponibles commercialement ; cependant, il n’existe pas de normes largement adoptées pour leur fabrication. »
Les défis à relever
Les chercheurs ont identifié plusieurs priorités que les développeurs de ReRAM doivent aborder, telles que l’établissement de nouveaux benchmarks pour évaluer la performance des accélérateurs DNN basés sur ReRAM, la résolution de problèmes de fiabilité comme la sensibilité thermique, et la combinaison efficace de plusieurs accélérateurs ReRAM pour qu’ils puissent aborder de grands modèles DNN.
Ils testent actuellement les DNN sur les accélérateurs ReRAM avec l’aide des installations informatiques de KAUST. « Nous avons choisi les systèmes de conduite autonome comme application exemplaire pour montrer les possibilités d’un système ReRAM », explique Smagulova. « Pour ce faire, nous utiliserons Ibex, un système informatique haute performance offert à KAUST. »
« Le talon d’Achille sous-jacent de l’apprentissage automatique est la disponibilité de plateformes informatiques pouvant soutenir la croissance vertigineuse que connaît le domaine », ajoute Eltawil. « Une rupture radicale avec les architectures informatiques traditionnelles est nécessaire, et la ReRAM jouera un rôle important. »
En synthèse
Les accélérateurs neuronaux basés sur la ReRAM ouvrent de nouvelles perspectives passionnantes dans le domaine de l’informatique et de l’apprentissage automatique. Les avantages en termes d’efficacité énergétique et de rapidité sont manifestes, mais des défis subsistent pour rendre cette technologie largement adoptée. La recherche à KAUST met en lumière la manière dont ces obstacles pourraient être surmontés, plaçant la ReRAM au cœur de la prochaine génération de systèmes informatiques.
Pour une meilleure compréhension
Qu’est-ce que la ReRAM ?
La ReRAM, ou mémoire d’accès aléatoire résistive, est une forme de mémoire non volatile qui utilise des changements de résistance pour enregistrer et lire des données. Elle offre une faible consommation d’énergie et des vitesses élevées.
Comment la ReRAM transforme-t-elle l’apprentissage automatique ?
Elle permet une accélération plus efficace des DNN en exécutant des calculs dans la mémoire plutôt que de les déplacer constamment entre différentes unités, réduisant ainsi l’énergie et le temps nécessaires.
Quels sont les avantages des accélérateurs neuronaux ReRAM ?
Les accélérateurs neuronaux ReRAM consomment moins d’énergie, sont plus rapides et peuvent être fabriqués avec moins de matériaux toxiques. Ils sont donc considérés comme une alternative plus durable et efficace.
Quels sont les défis actuels à la mise en œuvre de la ReRAM ?
Les obstacles comprennent l’absence de normes pour la fabrication, la fiabilité, comme la sensibilité thermique, et la nécessité de combiner efficacement plusieurs accélérateurs ReRAM pour aborder de grands modèles DNN.
Référence : Smagulova, K., Fouda, M.E., Kurdahi, F., Salama, K.N. & Eltawil, A. Resistive neural hardware accelerators. Proceedings of the IEEE 111, 500-527 (2023).| article
Légende illustration principale : La mémoire vive résistive, ou ReRAM, est une technologie prometteuse qui présente une faible consommation d’énergie et des vitesses élevées, et qui peut être construite de manière durable avec moins de matériaux toxiques que la plupart des technologies de semi-conducteurs. Image générée par l’IA à l’aide de Midjourney.
