Une équipe de recherche de l’Université des sciences et technologies de Hong Kong (HKUST) a développé un bras robotique sensorimoteur incarné (EmArm) capable de perception tactile sur l’ensemble du bras et de manipulation adaptative. En intégrant directement une peau tactile optique souple dans un squelette robotique et en l’associant à un algorithme de prise de décision en temps réel, EmArm peut percevoir et analyser les informations de contact sur ses bras supérieur et inférieur, permettant une perception tactile semblable à celle de l’humain et une manipulation adaptative des objets. Le système peut également distinguer différentes interactions tactiles, comme les chatouillements et les tapes, répondre en temps réel et éviter les obstacles grâce au retour tactile, ouvrant de nouvelles possibilités pour le développement de robots intelligents incarnés.
Une perception tactile atteignant une fidélité de 97,9 % tout en préservant un actionnement de haute précision
Inspirée de la structure « os-muscle-peau » du corps humain, l’équipe a profondément intégré une peau tactile optique souple de grande surface à l’intérieur du squelette mécanique rigide d’EmArm, alliant fonctionnement sous charge élevée et perception tactile souple. Plus de 71 000 millimètres carrés de peau tactile souple recouvrent les bras supérieur et inférieur, tandis que des caméras internes à l’échelle submillimétrique analysent la répartition des forces appliquées sur le bras robotique.
EmArm atteint une résolution spatiale de 0,085 millimètre, comparable à celle de la peau du bout des doigts humains. Son seuil de discrimination à deux points peut descendre jusqu’à 18,2 millimètres, surpassant la plage typique de 30 à 50 millimètres de la peau du bras humain et permettant une différenciation plus fine des espacements de contact. L’approche de détection optique évite également le câblage complexe qu’exige une peau électronique et est intrinsèquement résistante aux interférences électromagnétiques, lumineuses, thermiques, d’humidité et acoustiques.
Les expériences ont montré qu’EmArm maintenait une fidélité de détection allant jusqu’à 97,9 % sous cinq types d’interférences environnementales.
Plus important encore, la peau tactile intégrée n’a eu aucun impact matériel sur le fonctionnement du bras robotique sous charge élevée. Les expériences ont montré qu’EmArm atteignait une répétabilité de positionnement comparable à celle des bras robotiques conventionnels. Le système pouvait également supporter des charges en pression supérieures à 15 kg et des charges de torsion de 7,35 Nm. EmArm intègre ainsi une perception tactile sur l’ensemble du bras et un actionnement de haute précision dans une architecture sensorimotrice incarnée unifiée.
Un cadre en boucle fermée perception-action permet cinq expressions de retour émotionnel et fait progresser l’intelligence incarnée
Le professeur Shen, auteur correspondant de l’étude, a souligné : « Pour que les robots acquièrent des capacités perceptives, au-delà de l’obtention de signaux bruts précis provenant des capteurs, un aspect plus important consiste à savoir comment décoder rapidement ces signaux afin que le robot “sache” ce que signifie cette information tactile et “comment agir”. Nous avons affaire à un flux de données de champ de forces multidimensionnel et variant continuellement dans le temps. Si nous utilisons directement un apprentissage de bout en bout, cela nécessitera non seulement des quantités massives de données annotées, mais exigera aussi une puissance de calcul élevée, rendant difficile une exécution en temps réel sur un robot. »
Pour transformer EmArm d’un capteur en un agent intelligent, l’équipe a en outre proposé une boucle perception-action. Ce cadre combine en temps réel les données d’angles articulaires (proprioception) et les informations tactiles (extéroception), et extrait des caractéristiques incluant la position du contact, sa surface, la force et le nombre de points de contact afin d’étayer la prise de décision autonome. Ensuite, les données de détection sont transmises directement au système de commande de mouvement du bras robotique. Par exemple, lorsqu’EmArm tient un ballon de basket positionné en dehors de son centre de gravité, le système compare les caractéristiques tactiles en temps réel à une politique préalablement apprise, génère en temps réel des commandes d’angles articulaires et ajuste en continu les forces exercées par les bras supérieur et inférieur pour maintenir l’équilibre.
L’équipe de recherche a démontré le potentiel d’application d’EmArm à travers trois scénarios typiques.
Dans les scénarios d’interaction humain-robot, EmArm peut identifier cinq comportements tactiles, à savoir caresser, pincer, pousser du doigt, chatouiller et frapper. Il interprète les interactions en temps réel et affiche des expressions de retour émotionnel correspondant à la joie, la tristesse, la curiosité, la timidité ou la colère, avec une précision de reconnaissance allant jusqu’à 99,8 %.
Dans les scénarios de tâches de manipulation, lorsqu’un ballon de basket est placé de manière décentrée sur le bras, EmArm ajuste de façon autonome sa posture grâce au retour tactile de l’ensemble du bras et au contrôle de la force afin de stabiliser l’objet. Dans une expérience de replanification de trajectoire plus exigeante, lorsque des obstacles dynamiques indétectables visuellement, tels qu’une main humaine, entrent dans sa trajectoire de mouvement, EmArm peut les détecter immédiatement par le toucher, effectuer un arrêt d’urgence, déterminer si l’obstacle est temporaire ou permanent et replanifier de façon autonome sa trajectoire pour le contourner. Les résultats montrent qu’EmArm peut maintenir un fonctionnement autonome sûr et flexible même lorsque la vision est occultée.
EmArm représente une avancée technologique significative dans le domaine des capteurs et marque une évolution plus large de la conception robotique, de la « perception ajoutée de l’extérieur » vers l’« intelligence intrinsèque », et de la « suprématie de la vision » vers la « fusion multimodale ».
L’équipe de recherche note que le système EmArm pourrait être étendu aux jambes, aux torsos et à d’autres parties du corps, permettant des interactions plus sûres et plus adaptatives de la part des robots humanoïdes dans les services à domicile, les environnements industriels, l’assistance médicale et d’autres scénarios d’application.
Le système pourrait également contribuer à faire progresser l’IA incarnée, dans laquelle des systèmes d’IA dotés de corps physiques perçoivent le monde réel, interagissent avec lui et en apprennent.
L’étude a été dirigée par le professeur SHEN Yajing, professeur au département de génie électronique et informatique (ECE) et directeur adjoint de l’Institut de robotique Cheng Kar-Shun, et son équipe du Mevita Robotics Lab. Les autres auteurs de l’article sont les chercheurs postdoctoraux Dr TANG Yifeng (premier auteur), Dr LI Gen et Dr REN Hao ; les doctorants YIN Tianci, LING Zhengrong, ZHAO Haoxiang et ZHANG Ruijia ; ainsi que les diplômés du laboratoire, les professeurs ZHANG Tieshan (Université de Shenzhen) et YANG Liu (Université Nankai, Tianjin).
Article : Embodied sensorimotor integration for whole-arm tactile sensing and adaptive robotic manipulation – Journal : Nature Sensors – Méthode : Observational study – DOI : Lien vers l’étude
Source : HKUST
