Les réseaux neuronaux artificiels pourraient bientôt traiter les informations dépendantes du temps, telles que les données audio et vidéo, de manière plus efficace. Une étude dirigée par l’Université du Michigan, rapporte la création du premier memristor avec un « temps de relaxation » ajustable.
Les memristors, composants électriques qui stockent des informations dans leur résistance électrique, pourraient réduire les besoins énergétiques de l’IA d’environ un facteur de 90 par rapport aux unités de traitement graphique actuelles. Actuellement, l’IA devrait représenter environ un demi-pourcent de la consommation totale d’électricité mondiale en 2027, et cette proportion pourrait augmenter à mesure que davantage d’entreprises vendent et utilisent des outils d’IA.
« En ce moment, il y a beaucoup d’intérêt pour l’IA, mais pour traiter des données plus volumineuses et plus intéressantes, l’approche consiste à augmenter la taille du réseau. Ce n’est pas très efficace », a précise Wei Lu, professeur d’ingénierie à l’Université du Michigan et co-auteur de l’étude avec John Heron, professeur associé de science et ingénierie des matériaux à l’Université du Michigan.
Le défi des unités de traitement graphique (GPU)
Le problème réside dans le fait que les GPU fonctionnent très différemment des réseaux neuronaux artificiels qui exécutent les algorithmes d’IA. Le réseau entier et toutes ses interactions doivent être chargés séquentiellement depuis la mémoire externe, ce qui consomme à la fois du temps et de l’énergie. En revanche, les memristors offrent des économies d’énergie car ils imitent des aspects clés du fonctionnement des réseaux neuronaux artificiels et biologiques sans mémoire externe. Dans une certaine mesure, le réseau de memristors peut incarner le réseau neuronal artificiel.
« Nous anticipons que notre tout nouveau système de matériaux pourrait améliorer l’efficacité énergétique des puces d’IA six fois par rapport au matériau de pointe sans constantes de temps variables », a indiqué Sieun Chae, récent diplômé en doctorat en science et ingénierie des matériaux à l’Université du Michigan et co-premier auteur de l’étude avec Sangmin Yoo, récent diplômé en doctorat en ingénierie électrique et informatique à l’Université du Michigan.
Le mécanisme de relaxation dans les réseaux neuronaux biologiques
Dans un réseau neuronal biologique, la gestion du temps est réalisée par la relaxation. Chaque neurone reçoit des signaux électriques et les transmet, mais il n’est pas garanti qu’un signal soit transmis. Un certain seuil de signaux entrants doit être atteint avant que le neurone n’envoie le sien, et cela doit se produire dans un certain laps de temps. Si trop de temps passe, le neurone se détend alors que l’énergie électrique s’échappe de lui. Avoir des neurones avec des temps de relaxation différents dans nos réseaux neuronaux nous aide à comprendre les séquences d’événements.
Les memristors fonctionnent un peu différemment. Plutôt que la présence ou l’absence totale d’un signal, ce qui change, c’est la quantité de signal électrique qui passe. L’exposition à un signal réduit la résistance du memristor, permettant à plus de signal de passer. Dans les memristors, la relaxation signifie que la résistance augmente à nouveau avec le temps.
Des matériaux innovants pour des memristors performants
Le groupe de Lu avait déjà exploré l’intégration du temps de relaxation dans les memristors, mais ce n’était pas quelque chose qui pouvait être contrôlé systématiquement. Désormais, l’équipe de Lu et Heron a démontré que des variations sur un matériau de base peuvent fournir différents temps de relaxation, permettant aux réseaux de memristors d’imiter ce mécanisme de gestion du temps.
Les matériaux ont été construits sur le superconductor YBCO, composé d’yttrium, de baryum, de carbone et d’oxygène. Il n’a aucune résistance électrique à des températures inférieures à -292 Fahrenheit, mais ils le voulaient pour sa structure cristalline. Cela a guidé l’organisation des oxydes de magnésium, de cobalt, de nickel, de cuivre et de zinc dans le matériau du memristor.
Des matériaux stables et abordables
Heron appelle ce type d’oxyde, un oxyde stabilisé par l’entropie, le « lavabo de la cuisine du monde atomique » — plus ils ajoutent d’éléments, plus il devient stable. En changeant les ratios de ces oxydes, l’équipe a obtenu des constantes de temps allant de 159 à 278 nanosecondes, ou milliardièmes de seconde. Le simple réseau de memristors qu’ils ont construit a appris à reconnaître les sons des chiffres de zéro à neuf. Une fois formé, il pouvait identifier chaque chiffre avant que l’entrée audio ne soit complète.
Ces memristors ont été fabriqués par un processus énergivore car l’équipe avait besoin de cristaux parfaits pour mesurer précisément leurs propriétés, mais ils anticipent qu’un processus plus simple fonctionnerait pour la fabrication en masse.
« Jusqu’à présent, c’est une vision, mais je pense qu’il existe des voies pour rendre ces matériaux évolutifs et abordables », a déclaré Heron. « Ces matériaux sont abondants sur Terre, non toxiques, bon marché et vous pouvez presque les pulvériser. »
Légende illustration : L’oxyde stabilisé par l’entropie est pris en sandwich entre le supraconducteur YBCO, sur lequel il a été cultivé, et une électrode de titane et de platine. Les nombreuses couleurs représentent les différents composants de l’oxyde stabilisé par entropie. En modifiant les proportions des composants, l’équipe a pu créer des memristors qui se détendent à des rythmes différents après avoir été exposés à un courant électrique, imitant ainsi la façon dont les neurones perçoivent le temps. Crédit : Sieun Chae et Sangmin Yoo, Université du Michigan.
Article : Efficient data processing using tunable entropy-stabilized oxide memristors (DOI: 10.1038/s41928-024-01169-1)
