Alors que les scientifiques repoussent les limites de l’intelligence artificielle, le temps, l’énergie et l’argent nécessaires pour former des modèles de réseaux neuronaux de plus en plus complexes montent en flèche. Un nouveau domaine de l’intelligence artificielle appelé apprentissage profond analogique promet des calculs plus rapides avec une fraction de l’énergie utilisée.
Les résistances programmables sont les éléments clés de l’apprentissage profond analogique, tout comme les transistors sont les éléments de base des processeurs numériques. En répétant des réseaux de résistances programmables en couches complexes, les chercheurs peuvent créer un réseau de « neurones » et de « synapses » artificiels analogiques qui exécutent des calculs comme un réseau neuronal numérique. Ce réseau peut ensuite être entraîné à réaliser des tâches complexes d’IA, comme la reconnaissance d’images et le traitement du langage naturel.
Une équipe pluridisciplinaire de chercheurs du MIT a entrepris de repousser les limites de vitesse d’un type de synapse analogique de fabrication humaine qu’ils avaient précédemment développé. Ils ont utilisé un matériau inorganique pratique dans le processus de fabrication qui permet à leurs dispositifs de fonctionner 1 million de fois plus vite que les versions précédentes, ce qui est aussi environ 1 million de fois plus rapide que les synapses du cerveau humain.
En outre, ce matériau inorganique rend également la résistance extrêmement économe en énergie. Contrairement aux matériaux utilisés dans la version précédente de leur dispositif, le nouveau matériau est compatible avec les techniques de fabrication du silicium. Ce changement a permis de fabriquer des dispositifs à l’échelle du nanomètre et pourrait ouvrir la voie à une intégration dans le matériel informatique commercial pour les applications d’apprentissage profond.
« Grâce à cette idée clé et aux techniques de nanofabrication très puissantes dont nous disposons au MIT.nano, nous avons pu rassembler les pièces et démontrer que ces dispositifs sont intrinsèquement très rapides et fonctionnent avec des tensions raisonnables« , explique l’auteur principal Jesús A. del Alamo, professeur Donner au département de génie électrique et d’informatique (EECS) du MIT. « Ce travail a vraiment placé ces dispositifs à un point où ils semblent maintenant vraiment prometteurs pour les applications futures« .
« Le mécanisme de fonctionnement du dispositif est l’insertion électrochimique du plus petit ion, le proton, dans un oxyde isolant pour moduler sa conductivité électronique. Comme nous travaillons avec des dispositifs très fins, nous pouvons accélérer le mouvement de cet ion en utilisant un champ électrique puissant, et pousser ces dispositifs ioniques jusqu’au régime de fonctionnement de la nanoseconde« , explique l’auteur principal Bilge Yildiz, professeur Breene M. Kerr dans les départements de science et de génie nucléaires et de science et de génie des matériaux.
« Le potentiel d’action dans les cellules biologiques augmente et diminue à une échelle de temps de quelques millisecondes, car la différence de tension d’environ 0,1 volt est limitée par la stabilité de l’eau« , explique l’auteur principal Ju Li, professeur de science et d’ingénierie nucléaires à la Battelle Energy Alliance et professeur de science et d’ingénierie des matériaux. Et plus le champ est fort, plus les dispositifs ioniques sont rapides.«
Ces résistances programmables augmentent considérablement la vitesse à laquelle un réseau neuronal est formé, tout en réduisant drastiquement le coût et l’énergie nécessaires à cette formation. Cela pourrait aider les scientifiques à développer des modèles d’apprentissage profond beaucoup plus rapidement, qui pourraient ensuite être appliqués dans des utilisations telles que les voitures à conduite autonome, la détection des fraudes ou l’analyse des images médicales.
« Une fois que vous aurez un processeur analogique, vous ne serez plus en train de former des réseaux sur lesquels tout le monde travaille. Vous formerez des réseaux d’une complexité sans précédent que personne d’autre ne peut se permettre, et vous les dépasserez donc tous largement. En d’autres termes, il ne s’agit pas d’une voiture plus rapide, mais d’un vaisseau spatial« , ajoute Murat Onen, auteur principal et post-doc du MIT.
Parmi les co-auteurs figurent Frances M. Ross, titulaire de la chaire Ellen Swallow Richards au département de science et de génie des matériaux, les post-doctorants Nicolas Emond et Baoming Wang, ainsi que Difei Zhang, étudiant diplômé de l’EECS. Ces recherches sont publiées aujourd’hui dans Science.
Accélérer l’apprentissage profond
L’apprentissage profond analogique est plus rapide et plus économe en énergie que son homologue numérique pour deux raisons principales. « Tout d’abord, le calcul est effectué en mémoire, de sorte que d’énormes charges de données ne sont pas transférées dans les deux sens entre la mémoire et un processeur. » Les processeurs analogiques effectuent également des opérations en parallèle. Si la taille de la matrice augmente, un processeur analogique n’a pas besoin de plus de temps pour effectuer de nouvelles opérations, car tous les calculs sont effectués simultanément.
L’élément clé de la nouvelle technologie de processeur analogique du MIT est connu sous le nom de résistance programmable protonique. Ces résistances, qui sont mesurées en nanomètres (un nanomètre est un milliardième de mètre), sont disposées en réseau, comme un échiquier.
Dans le cerveau humain, l’apprentissage se produit grâce au renforcement et à l’affaiblissement des connexions entre les neurones, appelées synapses. Les réseaux neuronaux profonds ont depuis longtemps adopté cette stratégie, où les poids du réseau sont programmés par des algorithmes d’apprentissage. Dans le cas de ce nouveau processeur, l’augmentation et la diminution de la conductance électrique des résistances protoniques permettent l’apprentissage automatique analogique.
La conductance est contrôlée par le mouvement des protons. Pour augmenter la conductance, davantage de protons sont poussés dans un canal de la résistance, tandis que pour diminuer la conductance, des protons sont retirés. Pour ce faire, on utilise un électrolyte (semblable à celui d’une batterie) qui conduit les protons mais bloque les électrons.
Pour mettre au point une résistance protonique programmable ultra-rapide et très économe en énergie, les chercheurs se sont intéressés à différents matériaux pour l’électrolyte. Alors que d’autres dispositifs utilisaient des composés organiques, M. Onen s’est concentré sur le verre phosphosilicaté (PSG) inorganique.
Le PSG est essentiellement du dioxyde de silicium, un matériau déshydratant en poudre que l’on trouve dans les petits sacs qui accompagnent les meubles neufs pour éliminer l’humidité. C’est également l’oxyde le plus connu utilisé dans le traitement du silicium. Pour fabriquer le PSG, un tout petit peu de phosphore est ajouté au silicium afin de lui donner des caractéristiques particulières pour la conduction des protons.
Onen a émis l’hypothèse qu’un PSG optimisé pourrait avoir une conductivité protonique élevée à température ambiante sans avoir besoin d’eau, ce qui en ferait un électrolyte solide idéal pour cette application. Il avait raison.
Une vitesse surprenante
Le PSG permet un mouvement ultrarapide des protons car il contient une multitude de pores de taille nanométrique dont les surfaces offrent des chemins pour la diffusion des protons. Il peut également résister à des champs électriques pulsés très puissants. Cet aspect est essentiel, explique M. Onen, car l’application d’une tension plus élevée au dispositif permet aux protons de se déplacer à une vitesse aveuglante.
« La vitesse a certainement été surprenante. Normalement, nous n’appliquerions pas des champs aussi extrêmes sur des dispositifs, afin de ne pas les transformer en cendres. Mais au lieu de cela, les protons ont fini par se déplacer à des vitesses immenses à travers la pile de dispositifs, plus précisément un million de fois plus vite que ce que nous avions auparavant. Et ce mouvement n’endommage rien, grâce à la petite taille et à la faible masse des protons. C’est presque comme de la téléportation« , explique-t-il.
« L’échelle de temps de l’ordre de la nanoseconde signifie que nous sommes proches du régime balistique ou même du régime de tunnel quantique pour le proton, sous un champ aussi extrême« , ajoute M. Li.
Comme les protons n’endommagent pas le matériau, la résistance peut fonctionner pendant des millions de cycles sans tomber en panne. Ce nouvel électrolyte a permis de créer une résistance protonique programmable qui est un million de fois plus rapide que le dispositif précédent et qui peut fonctionner efficacement à température ambiante, ce qui est important pour l’incorporer au matériel informatique.
Grâce aux propriétés isolantes du PSG, presque aucun courant électrique ne traverse le matériau lors du déplacement des protons. Cela rend le dispositif extrêmement efficace sur le plan énergétique, ajoute M. Onen.
Maintenant qu’ils ont démontré l’efficacité de ces résistances programmables, les chercheurs prévoient de les remanier pour les fabriquer en grande quantité, explique M. del Alamo. Ils pourront alors étudier les propriétés des réseaux de résistances et les mettre à l’échelle pour qu’ils puissent être intégrés dans des systèmes.
Parallèlement, ils prévoient d’étudier les matériaux afin d’éliminer les goulots d’étranglement qui limitent la tension nécessaire pour transférer efficacement les protons vers, à travers et depuis l’électrolyte.
« Une autre direction passionnante que ces dispositifs ioniques peuvent permettre est un matériel économe en énergie pour émuler les circuits neuronaux et les règles de plasticité synaptique qui sont déduits en neuroscience, au-delà des réseaux neuronaux profonds analogiques« , ajoute Yildiz.
« La collaboration que nous avons sera essentielle pour innover à l’avenir. Le chemin à parcourir sera encore très difficile, mais en même temps, il est très excitant« , ajoute M. del Alamo.
