Les progrès récents en intelligence artificielle et en apprentissage automatique ont conduit à une augmentation exponentielle de la taille des réseaux neuronaux, posant des défis en termes de consommation d’énergie et de temps d’entraînement.
Une nouvelle méthode, développée par l’Institut Max Planck pour la Science de la Lumière, pourrait offrir une solution plus efficace et durable.
Les applications de l’intelligence artificielle et de l’apprentissage automatique se multiplient, allant de la vision par ordinateur à la génération de texte, comme le démontre ChatGPT. Ces tâches complexes nécessitent en contrepartie des réseaux neuronaux de plus en plus sophistiqués, certains comptant plusieurs milliards de paramètres.
Cette croissance rapide des réseaux neuronaux a mis en lumière des problèmes de durabilité en raison de la consommation d’énergie et des temps d’entraînement exponentiellement croissants. Par exemple, l’entraînement de GPT-3 a consommé plus de 1 000 MWh d’énergie, équivalant à la consommation électrique quotidienne d’une petite ville.
La solution neuromorphique
Face à ces défis, le domaine de l’informatique neuromorphique se développe rapidement. L’objectif est de remplacer les réseaux neuronaux sur nos ordinateurs numériques par des réseaux neuronaux physiques, conçus pour effectuer les opérations mathématiques requises de manière potentiellement plus rapide et plus économe en énergie.
Les plateformes optiques et photoniques sont particulièrement prometteuses pour l’informatique neuromorphique, car la consommation d’énergie peut être minimisée et les calculs peuvent être effectués en parallèle à des vitesses très élevées, limitées uniquement par la vitesse de la lumière.
Les défis techniques
Deux défis majeurs ont jusqu’à présent entravé les progrès dans ce domaine : la réalisation des calculs mathématiques complexes nécessaires nécessite des puissances laser élevées, et l’absence d’une méthode d’entraînement générale et efficace pour ces réseaux neuronaux physiques.
Ces défis peuvent être surmontés grâce à la nouvelle méthode proposée par Clara Wanjura et Florian Marquardt dans leur article publié dans Nature Physics, intitulé «Nonlinear computation with linear systems».
Florian Marquardt, directeur à l’Institut, explique : « Normalement, les données d’entrée sont imprimées sur le champ lumineux. Cependant, dans nos nouvelles méthodes, nous proposons d’imprimer l’entrée en modifiant la transmission de la lumière. »
De cette manière, le signal d’entrée peut être traité de manière arbitraire, même si le champ lumineux lui-même se comporte de la manière la plus simple possible, où les ondes interfèrent sans s’influencer mutuellement. L’approche conçue permet d’éviter les interactions physiques compliquées pour réaliser les fonctions mathématiques requises, qui nécessiteraient autrement des champs lumineux de haute puissance.
Évaluation et formation simplifiées
Clara Wanjura, première auteure de l’étude, ajoute : « Il serait vraiment aussi simple que d’envoyer de la lumière à travers le système et d’observer la lumière transmise. Cela nous permet d’évaluer la sortie du réseau. En même temps, cela permet de mesurer toutes les informations pertinentes pour l’entraînement. »
Les auteurs ont démontré dans des simulations que leur approche peut être utilisée pour effectuer des tâches de classification d’images avec la même précision que les réseaux neuronaux numériques.
À l’avenir, les auteurs prévoient de collaborer avec des groupes expérimentaux pour explorer la mise en œuvre de leur méthode. Leur proposition, en assouplissant considérablement les exigences expérimentales, peut être appliquée à de nombreux systèmes physiquement très différents, ouvrant ainsi de nouvelles possibilités pour les dispositifs neuromorphiques permettant une formation physique sur une large gamme de plateformes.
