L’IA multisensorielle : une révolution dans la communication des capteurs

L'IA multisensorielle : une révolution dans la communication des capteurs

La sensation du pelage d’un chat peut révéler certaines informations, mais voir le félin fournit des détails essentiels : s’agit-il d’un chat domestique ou d’un lion ? Si le crépitement d’un feu peut être ambigu, son odeur confirme la combustion du bois. Nos sens se combinent pour donner une compréhension globale, en particulier lorsque les signaux individuels sont subtils. La somme collective des entrées biologiques peut être supérieure à leurs contributions individuelles.

Les robots ont tendance à suivre une addition plus simple, mais des chercheurs de l’université de Penn State ont maintenant exploité ce concept biologique pour l’appliquer à l’intelligence artificielle (IA) et développer le premier neurone artificiel intégré multisensoriel.

Une approche inspirée de la biologie

Dirigée par Saptarshi Das, professeur associé en sciences de l’ingénierie et mécanique à Penn State, l’équipe a publié ses travaux le 15 septembre dans la revue Nature Communication.

« Les robots prennent des décisions en fonction de l’environnement dans lequel ils se trouvent, mais leurs capteurs ne communiquent généralement pas entre eux », a déclaré Das, qui a également des nominations conjointes en génie électrique et en science des matériaux.

« Une décision collective peut être prise par une unité de traitement des capteurs, mais est-ce la méthode la plus efficace ou la plus efficiente ? Dans le cerveau humain, un sens peut influencer un autre et permettre à la personne de mieux juger une situation. »

Intégration des capteurs pour une meilleure efficacité

Par exemple, une voiture peut avoir un capteur qui détecte les obstacles, tandis qu’un autre capteur détecte l’obscurité pour moduler l’intensité des phares. Individuellement, ces capteurs transmettent des informations à une unité centrale qui donne ensuite l’ordre à la voiture de freiner ou d’ajuster les phares.

Selon le Professeur Das, ce processus consomme plus d’énergie. Permettre aux capteurs de communiquer directement entre eux peut être plus efficace en termes d’énergie et de rapidité, en particulier lorsque les entrées des deux sont faibles.

Imiter le fonctionnement du cerveau humain

« La biologie permet à de petits organismes de prospérer dans des environnements aux ressources limitées, minimisant la consommation d’énergie dans le processus », a déclaré encore Saptarshi Das, également affilié à l’Institut de recherche sur les matériaux.

« Les exigences pour différents capteurs sont basées sur le contexte – dans une forêt sombre, on s’appuierait davantage sur l’écoute que sur la vision, mais nous ne prenons pas de décisions en nous basant uniquement sur un sens. Nous avons une compréhension complète de notre environnement, et notre prise de décision est basée sur l’intégration de ce que nous voyons, entendons, touchons, sentons, etc. Les sens ont évolué ensemble en biologie, mais séparément en IA. Dans ce travail, nous cherchons à combiner des capteurs et à imiter le fonctionnement de notre cerveau. »

Intégration d’un capteur tactile et d’un capteur visuel

L’équipe s’est concentrée sur l’intégration d’un capteur tactile et d’un capteur visuel de sorte que la sortie d’un capteur modifie l’autre, avec l’aide de la mémoire visuelle.

Selon Muhtasim Ul Karim Sadaf, étudiant en doctorat de troisième année en sciences de l’ingénierie et mécanique, même un bref éclair de lumière peut considérablement augmenter les chances de se déplacer avec succès dans une pièce sombre.

Les coauteurs, de gauche à droite, Muhtasim Ul Karim Sadaf, étudiant diplômé en sciences de l’ingénieur et en mécanique, Saptarshi Das, professeur associé en sciences de l’ingénieur et en mécanique, et Andrew Pannone, étudiant diplômé en sciences de l’ingénieur et en mécanique, se tiennent ensemble dans le laboratoire de Das. Non photographiés : les coauteurs Najam U Sakib et Harikrishnan Ravichandran, tous deux étudiants diplômés en sciences de l’ingénieur et en mécanique. Crédit : Tyler Henderson/Penn State.

« Cela est dû au fait que la mémoire visuelle peut ensuite influencer et aider les réponses tactiles pour la navigation », a déclaré le doctorant Karim Sadaf. « Cela ne serait pas possible si notre cortex visuel et tactile ne réagissait qu’à leurs indices unimodaux respectifs. Nous avons un effet de mémoire photographique, où la lumière brille et nous pouvons nous souvenir. Nous avons incorporé cette capacité dans un dispositif grâce à un transistor qui fournit la même réponse. »

En synthèse

Les chercheurs ont réussi à développer le premier neurone artificiel intégré multisensoriel en s’inspirant du fonctionnement du cerveau humain. En intégrant un capteur tactile et un capteur visuel, ils ont pu créer un dispositif capable de prendre des décisions plus efficacement en termes d’énergie et de rapidité.

Légende illustration principale : Une équipe de chercheurs de Penn State a mis au point un neurone artificiel bio-inspiré capable de traiter simultanément les entrées sensorielles visuelles et tactiles. Crédit : Tyler Henderson/Penn State.

Article adapté au contenu de l’auteure : Ashley WennersHerron

[ Rédaction ]

Articles connexes