Des ingénieurs de l’Université Northwestern étudient de nouvelles façons de savoir ce que font les mains y compris en observant sous la peau les muscles et les tendons en mouvement. Les nouvelles méthodes ne recourent ni à des caméras high-tech, ni à des scanners médicaux, ni à des techniques d’imagerie avancées. Elles utilisent plutôt une montre connectée ordinaire.
Dans l’un des projets, les ingénieurs ont conçu un nouveau système de montre connectée pour déduire des activités à partir du bras et des mains. Dans l’autre, des électrodes intégrées au dos d’une montre peuvent suivre des mouvements de la main plus subtils et des gestes, comme un pouce levé ou un poing serré.
En suivant ces mouvements, les chercheurs pourraient un jour contribuer à améliorer le contrôle des prothèses bioniques ou surveiller des patients dans des établissements de soins spécialisés, y compris les soins aux personnes âgées. Au-delà du secteur de la santé, ces systèmes pourraient aussi rendre les montres connectées plus faciles à utiliser, un peu comme la reconnaissance faciale a simplifié l’accès aux smartphones, ou s’étendre à la surveillance des activités quotidiennes, comme aider les hygiénistes dentaires à suivre combien de dents ils nettoient en une semaine.
Les chercheurs ont présenté les deux études, intitulées TransfHAR et EITWatch, aujourd’hui (3 novembre) lors du Symposium on User Interface Software and Technology (UIST) de l’Association for Computing Machinery. L’intégralité du symposium se tiendra du 2 au 5 novembre 2026, à Détroit.
« Vos mains sont votre façon d’agir sur le monde, mais votre montre connectée ne sait presque rien de ce qu’elles font », a déclaré Karan Ahuja, de Northwestern, investigateur principal des deux publications. « Ces deux projets montrent tout ce que le poignet à lui seul peut révéler — l’un en détectant les muscles et les tendons sous la peau, l’autre en apprenant comment le bras bouge. Nous ne pouvons pas encore reconnaître chaque mouvement, mais c’est un point de départ solide. »
Ahuja est professeur adjoint Lisa Wissner-Slivka et Benjamin Slivka en informatique à la McCormick School of Engineering de Northwestern, où il dirige le Sensing, Perception, Interactive Computing and Experiences (SPICE) Lab.
TransfHAR a été co-écrit par Aidan Bradshaw, doctorant au sein du laboratoire SPICE, Riku Arakawa, de l’Université Carnegie Mellon, et Xin Liu, chercheur scientifique senior chez Google Health Research. EITWatch a été co-écrit par les membres du laboratoire SPICE Xuanyou Liu et Novel Alam, qui ont contribué à parts égales et dirigé les travaux.
Une montre à l’affût de la main
EITWatch tire parti du contact permanent entre la montre connectée et le poignet. À l’aide d’une technique appelée tomographie par impédance électrique (EIT), huit petites électrodes au dos de la montre envoient de minuscules signaux électriques à travers le poignet pour cartographier les muscles et les tendons sous la peau.
Chaque geste de la main — du doigt pointé au pouce levé — produit un motif distinct lorsque les muscles et les tendons bougent. En apprenant à reconnaître ces motifs, EITWatch peut identifier des gestes spécifiques et les traduire en commandes pour la montre connectée. Un pouce levé, par exemple, pourrait envoyer un SMS, tandis qu’un doigt pointé pourrait activer un compteur de pas pendant l’exercice.
« Ce qui me tient le plus à cœur, c’est l’accessibilité. Les écrans tactiles excluent beaucoup de personnes », a déclaré Alam. « Un second canal d’entrée intégré à l’appareil leur offre un autre moyen d’y accéder. »
Comme ces mêmes signaux du poignet encodent ce que la main a l’intention de faire, les chercheurs explorent également si ce type de détection pourrait aider à contrôler des prothèses de main. Regarder à l’intérieur du bras offre aussi aux scientifiques une nouvelle façon de suivre la main, sans avoir besoin de caméras.
« À l’heure actuelle, la meilleure façon de savoir ce que font les mains, c’est une caméra, et c’est un cauchemar pour la vie privée », a déclaré Ahuja. « De plus, cela ne fonctionne que lorsque votre main se trouve dans le champ de vision. Le poignet, lui, est toujours là. »
EITWatch reste un prototype de recherche. Dans l’étude, il a reconnu six gestes courants de la main avec une précision supérieure à 92 % et cinq mouvements de doigts plus subtils avec une précision supérieure à 91 %, mais il fonctionne au mieux lorsqu’il est calibré pour un seul utilisateur. Cela signifie qu’emprunter, par exemple, la montre connectée d’un membre de la famille pourrait rendre plus difficile pour l’appareil la reconnaissance précise des mouvements du poignet du nouvel utilisateur.
« À l’avenir, nous nous concentrerons sur deux choses. Côté matériel, intégrer l’électronique dans la montre est la prochaine étape », a déclaré Alam. « Ensuite, il y a le problème des utilisateurs. Avec une seule personne portant la montre, les résultats sont bien meilleurs. Mais l’objectif reste simple : que n’importe quel porteur mette la montre et que les gestes fonctionnent. Sans étape de calibration. »
Observer tout le bras
Bien que les montres connectées et les smartphones actuels puissent reconnaître certains gestes, ces mouvements sont généralement limités à un ensemble prédéterminé de motions. TransfHAR adopte une approche plus flexible. Le système apprend d’abord à partir de milliers d’heures de données de mouvement publiques et non étiquetées, issues d’activités quotidiennes telles que la marche et l’exercice. Il peut ensuite apprendre une activité entièrement nouvelle à partir de quelques démonstrations seulement. Les utilisateurs peuvent alors associer des mouvements spécifiques à des commandes personnalisées, élargissant ce que leurs appareils peuvent faire.
« Les personnes ayant des activités, des habitudes ou des routines spécialisées ne sont pas bien représentées dans les jeux de données existants. La recherche sur la reconnaissance d’activités se concentre souvent sur des catégories communes au sein d’une population, mais celles-ci ne reflètent pas toujours ce qui compte pour un individu », a déclaré Bradshaw. « Je suis particulièrement intéressé par le soutien à ces différences dans la façon dont les gens vivent et bougent. »
TransfHAR utilise les capteurs de mouvement intégrés à la montre connectée pour capturer la manière dont le poignet accélère et pivote, puis attribue ces motions à différentes tâches. La montre enregistre les mouvements répétitifs du quotidien, en les personnalisant pour chaque porteur. Là où le mouvement de bras d’un utilisateur peut correspondre au fait de peindre un mur, un autre utilisateur peut avoir un mouvement similaire pour brosser les cheveux d’un client.
Au-delà de l’usage quotidien de la personne moyenne, des professionnels de santé comme les infirmiers des établissements pour personnes âgées pourraient utiliser ces motions pour suivre la fréquence à laquelle un patient répète certaines activités. Cela pourrait inclure des gestes quotidiens d’hygiène personnelle ou des mouvements plus spécialisés, comme des exercices de physiothérapie.
« Dans le domaine des soins aux personnes âgées, un infirmier pourrait voir passivement si un patient s’est brossé les dents ou s’est rasé, sans caméra dans la chambre », a déclaré Ahuja. « À la salle de sport, la montre pourrait simplement consigner les exercices que vous avez faits. »
TransfHAR fonctionne en utilisant des outils déjà présents dans les montres connectées, comme des accéléromètres ou des gyroscopes, qui mesurent la manière dont le poignet accélère et pivote. Les chercheurs ont utilisé plus de 2 700 heures de données de mouvement accessibles au public pour préentraîner le système. Ensuite, les utilisateurs peuvent nommer une nouvelle activité, l’illustrer devant la montre et l’ajouter à leur propre répertoire. Dans une étude menée avec 10 participants, la montre a reconnu sept nouvelles activités avec une précision d’environ 90 % après un seul enregistrement d’une minute pour chacune.
« Avec nos partenaires de Google, nous augmentons le volume de données afin que le système apprenne davantage d’activités et gagne en précision », a déclaré Ahuja. « La même approche devrait s’appliquer à d’autres formats, comme les bagues et les bracelets. »
Source : NorthWestern U.
















