Un algorithme pour des réseaux neuronaux moins énergivore

La consommation d’énergie des technologies numériques devient préoccupante. Aussi, des chercheurs ont mis au point un algorithme qui pourrait changer la donne. Cette innovation pourrait permettre de former des réseaux neuronaux analogiques avec la même précision que leurs homologues numériques, tout en étant plus économes en énergie.

Les réseaux neuronaux profonds, comme Chat-GPT, sont connus pour leur capacité à traiter d’énormes quantités de données grâce à l’apprentissage algorithmique. A mesure que leur portée et leur impact se sont développés, leur taille, leur complexité et leur consommation d’énergie ont également augmenté. Cette dernière est devenue suffisamment importante pour susciter des inquiétudes quant à sa contribution aux émissions mondiales de carbone.

Alors que nous associons souvent le progrès technologique à une transition de l’analogique vers le numérique, les chercheurs cherchent désormais des solutions à ce problème dans des alternatives physiques aux réseaux neuronaux profonds numériques.

Une nouvelle approche pour l’entraînement des systèmes physiques

Une équipe de chercheurs de l’EPFL, dirigée par Romain Fleury du Laboratoire d’ingénierie des ondes, a développé un algorithme pour former des systèmes physiques. Selon une étude publiée dans Science, cet algorithme présente une vitesse améliorée, une robustesse accrue et une consommation d’énergie réduite par rapport à d’autres méthodes.

« Nous avons testé avec succès notre algorithme d’entraînement sur trois systèmes physiques basés sur les ondes qui utilisent des ondes sonores, des ondes lumineuses et des micro-ondes pour transporter l’information, plutôt que des électrons. Mais notre approche polyvalente peut être utilisée pour former n’importe quel système physique », précise Ali Momeni, auteur de l’étude et chercheur à l’EPFL.

Une méthode d’apprentissage « plus biologiquement plausible »

L’entraînement des réseaux neuronaux consiste à aider les systèmes à générer des valeurs optimales de paramètres pour une tâche, comme la reconnaissance d’images ou de la parole. Cela implique traditionnellement deux étapes : une passe en avant, où les données sont envoyées à travers le réseau et une fonction d’erreur est calculée sur la base de la sortie ; et une passe en arrière (également connue sous le nom de rétropropagation), où un gradient de la fonction d’erreur par rapport à tous les paramètres du réseau est calculé.

En plus d’être très énergivore, la rétropropagation est encore mal adaptée aux systèmes physiques. En fait, l’entraînement des systèmes physiques nécessite généralement un jumeau numérique pour cette étape, ce qui est inefficace et comporte le risque d’un décalage entre la réalité et la simulation.

L’idée des chercheurs était de remplacer l’étape de rétropropagation par une seconde passe en avant à travers le système physique pour mettre à jour chaque couche du réseau localement. Cette méthode reflète mieux l’apprentissage humain et élimine le besoin d’un jumeau numérique, tout en réduisant la consommation d’énergie.

Vers un futur analogique ?

Si l’approche de l’EPFL est la première à permettre un entraînement sans rétropropagation de réseaux neuronaux physiques profonds, certaines mises à jour numériques des paramètres sont encore nécessaires. «C’est une approche d’entraînement hybride, mais notre objectif est de réduire autant que possible le calcul numérique », explique Momeni.

Les chercheurs espèrent maintenant mettre en œuvre leur algorithme sur un système optique à petite échelle, avec pour objectif ultime d’augmenter la scalabilité du réseau.

En synthèse

Les chercheurs de l’EPFL ont développé un algorithme innovant pour former des réseaux neuronaux analogiques avec la même précision que leurs homologues numériques, tout en étant plus économes en énergie. Cette avancée pourrait ouvrir la voie à des alternatives plus efficaces et moins gourmandes en énergie aux technologies d’apprentissage profond actuelles.

Pour une meilleure compréhension

Qu’est-ce qu’un réseau neuronal ?

Un réseau neuronal est un système d’apprentissage automatique inspiré du fonctionnement du cerveau humain. Il est capable de traiter de grandes quantités de données et d’apprendre à partir de celles-ci pour effectuer des tâches spécifiques.

Qu’est-ce que la rétropropagation ?

La rétropropagation est une méthode utilisée dans l’entraînement des réseaux neuronaux pour ajuster les poids et les biais du réseau en fonction de l’erreur de sortie.

Qu’est-ce qu’un réseau neuronal analogique ?

Un réseau neuronal analogique est un type de réseau neuronal qui utilise des signaux analogiques plutôt que numériques pour traiter l’information.

Quels sont les avantages des réseaux neuronaux analogiques ?

Les réseaux neuronaux analogiques peuvent être plus économes en énergie que leurs homologues numériques et peuvent également traiter l’information plus rapidement.

Quels sont les défis associés à l’utilisation des réseaux neuronaux analogiques ?

Les défis associés à l’utilisation des réseaux neuronaux analogiques comprennent la difficulté de leur formation et la nécessité de surmonter certaines limitations techniques des systèmes physiques.