Un dispositif portable permet aux utilisateurs de contrôler des machines et des robots en mouvement

Des ingénieurs de l’Université de Californie à San Diego ont développé un système portable de nouvelle génération qui permet aux personnes de contrôler des machines en utilisant des gestes quotidiens même en courant, en roulant en voiture ou en flottant sur des vagues océaniques turbulentes.

Le système combine des électroniques extensibles avec l’intelligence artificielle pour surmonter un défi de longue date dans la technologie portable : la reconnaissance fiable des signaux gestuels dans des environnements réels.

Les technologies portables avec capteurs de gestes fonctionnent bien lorsqu’un utilisateur est assis immobile, mais les signaux commencent à se dégrader sous un bruit de mouvement excessif, a expliqué le co-premier auteur de l’étude Xiangjun Chen, chercheur postdoctoral au département de génie chimique et nano de la famille Aiiso Yufeng Li à l’école d’ingénierie Jacobs de UC San Diego. Cela limite leur praticité dans la vie quotidienne. « Notre système surmonte cette limitation, » a t-il indiqué. « En intégrant l’IA pour nettoyer les données bruitées des capteurs en temps réel, la technologie permet aux gestes quotidiens de contrôler de manière fiable les machines même dans des environnements hautement dynamiques. »

La technologie pourrait permettre aux patients en rééducation ou aux individus à mobilité réduite, par exemple, d’utiliser des gestes naturels pour contrôler des aides robotiques sans dépendre de la motricité fine. Les travailleurs industriels et les premiers intervenants pourraient potentiellement utiliser la technologie pour le contrôle mains libres d’outils et de robots dans des environnements à mouvement élevé ou dangereux. Elle pourrait même permettre aux plongeurs et aux opérateurs à distance de commander des robots sous-marins malgré des conditions turbulentes. Dans les appareils grand public, le système pourrait rendre les contrôles basés sur les gestes plus fiables dans les contextes quotidiens.

Le travail était une collaboration entre les laboratoires de Sheng Xu et Joseph Wang, tous deux professeurs au département de génie chimique et nano de la famille Aiiso Yufeng Li à l’école d’ingénierie Jacobs de UC San Diego.

À la connaissance des chercheurs, c’est la première interface homme-machine portable qui fonctionne de manière fiable sur une large gamme de perturbations de mouvement. En conséquence, elle peut fonctionner avec la façon dont les gens se déplacent réellement.

L’appareil est un patch électronique souple collé sur un brassard en tissu. Il intègre des capteurs de mouvement et musculaires, un microcontrôleur Bluetooth et une batterie extensible dans un système compact multicouche. Le système a été entraîné à partir d’un ensemble de données composites de gestes et conditions réels, de la course et des secousses au mouvement des vagues océaniques. Les signaux du bras sont capturés et traités par un cadre d’apprentissage profond personnalisé qui élimine les interférences, interprète le geste et transmet une commande pour contrôler une machine telle qu’un bras robotique en temps réel.

« Cette avancée nous rapproche d’interfaces homme-machine intuitives et robustes qui peuvent être déployées dans la vie quotidienne, » a ajouté Xiangjun Chen.

Le système a été testé dans de multiples conditions dynamiques. Les sujets ont utilisé l’appareil pour contrôler un bras robotique en courant, exposés à des vibrations haute fréquence et sous une combinaison de perturbations. L’appareil a également été validé sous des conditions océaniques simulées en utilisant le simulateur de recherche océan-atmosphère de Scripps à l’institut d’océanographie Scripps de UC San Diego, qui a recréé à la fois des mouvements marins générés en laboratoire et réels. Dans tous les cas, le système a fourni une performance précise et à faible latence.

À l’origine, ce projet était inspiré par l’idée d’aider les plongeurs militaires à contrôler des robots sous-marins. Mais l’équipe a rapidement réalisé que l’interférence due au mouvement n’était pas un problème unique aux environnements sous-marins. C’est un défi commun à travers le domaine de la technologie portable, qui a longtemps limité la performance de tels systèmes dans la vie quotidienne.

« Ce travail établit une nouvelle méthode pour la tolérance au bruit dans les capteurs portables, » a conclu Xiangjun Chen. « Il ouvre la voie à des systèmes portables de nouvelle génération qui sont non seulement extensibles et sans fil, mais aussi capables d’apprendre à partir d’environnements complexes et d’utilisateurs individuels. »

Étude complète : « Une interface homme-machine tolérante au bruit basée sur des capteurs portables améliorés par l’apprentissage profond. » Les co-premiers auteurs de l’étude sont les chercheurs de UC San Diego Xiangjun Chen, Zhiyuan Lou, Xiaoxiang Gao et Lu Yin.

Article : A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors – DOI : Lien vers l’étude