La main d’un robot capable de fonctionner dans le noir sans vision

Pensez à ce que vous faites avec vos mains lorsque vous êtes chez vous le soir et que vous appuyez sur les boutons de la télécommande de votre téléviseur, ou au restaurant lorsque vous utilisez toutes sortes de couverts et de verres. Ces compétences sont toutes basées sur le toucher, pendant que vous regardez un programme télévisé ou que vous choisissez quelque chose sur le menu. Nos mains et nos doigts sont des mécanismes incroyablement habiles et très sensibles.

Les chercheurs en robotique tentent depuis longtemps de créer une « véritable » dextérité dans les mains des robots, mais l’objectif reste frustrant. Les pinces et les ventouses des robots peuvent saisir et placer des objets, mais les tâches plus délicates telles que l’assemblage, l’insertion, la réorientation, l’emballage, etc. sont restées du domaine de la manipulation humaine.

Toutefois, grâce aux progrès de la technologie de détection et des techniques d’apprentissage automatique pour traiter les données détectées, le domaine de la manipulation robotique évolue très rapidement.

Une main robotique très dextre fonctionne même dans l’obscurité

Des chercheurs de Columbia Engineering ont fait la démonstration d’une main robotisée d’une grande dextérité, qui combine un sens du toucher avancé et des algorithmes d’apprentissage moteur afin d’atteindre un niveau élevé de dextérité.

Pour démontrer ses compétences, l’équipe a choisi une tâche de manipulation difficile : exécuter une rotation arbitrairement importante d’un objet de forme irrégulière saisi dans la main, tout en maintenant l’objet dans une position stable et sûre. Il s’agit d’une tâche très difficile car elle nécessite le repositionnement constant d’un sous-ensemble de doigts, tandis que les autres doigts doivent maintenir l’objet stable. Non seulement la main a été capable d’accomplir cette tâche, mais elle l’a fait sans aucun retour visuel, en se basant uniquement sur la détection tactile.

Outre les nouveaux niveaux de dextérité, la main a travaillé sans aucune caméra externe, ce qui l’immunise contre les problèmes d’éclairage, d’occlusion ou autres. Le fait que la main ne s’appuie pas sur la vision pour manipuler des objets signifie qu’elle peut le faire dans des conditions d’éclairage très difficiles qui perturberaient les algorithmes basés sur la vision – elle peut même fonctionner dans l’obscurité.

« Bien que notre démonstration ait porté sur une tâche de validation de concept, destinée à illustrer les capacités de la main, nous pensons que ce niveau de dextérité ouvrira la voie à des applications entièrement nouvelles pour la manipulation robotique dans le monde réel« , a déclaré Matei Ciocarlie, professeur associé aux départements d’ingénierie mécanique et d’informatique. « Parmi les utilisations les plus immédiates, on peut citer la logistique et la manutention, qui permettent de résoudre les problèmes de chaîne d’approvisionnement tels que ceux qui ont frappé notre économie ces dernières années, ainsi que la fabrication de pointe et l’assemblage dans les usines.« 

Exploiter les doigts tactiles basés sur l’optique

Dans des travaux antérieurs, le groupe de M. Ciocarlie a collaboré avec Ioannis Kymissis, professeur d’ingénierie électrique, pour développer une nouvelle génération de doigts de robot tactiles basés sur l’optique. Il s’agissait des premiers doigts de robot permettant de localiser un contact avec une précision inférieure au millimètre tout en couvrant entièrement une surface complexe à courbes multiples. En outre, l’emballage compact et le faible nombre de fils des doigts ont permis de les intégrer facilement dans des mains de robot complètes.

Apprendre à la main à effectuer des tâches complexes

Pour ce nouveau travail, dirigé par Gagan Khandate, chercheur doctorant à CIocarlie, les chercheurs ont conçu et construit une main robotisée dotée de cinq doigts et de 15 articulations actionnées de manière indépendante, chaque doigt étant équipé de la technologie de détection tactile de l’équipe. L’étape suivante consistait à tester la capacité de la main tactile à effectuer des tâches de manipulation complexes. Pour ce faire, ils ont utilisé de nouvelles méthodes d’apprentissage moteur, c’est-à-dire la capacité d’un robot à apprendre de nouvelles tâches physiques par la pratique. Ils ont notamment utilisé une méthode appelée apprentissage par renforcement profond, complétée par de nouveaux algorithmes qu’ils ont mis au point pour explorer efficacement les stratégies motrices possibles.

Le robot a effectué environ un an de pratique en seulement quelques heures de temps réel.

Les algorithmes d’apprentissage moteur ont été alimentés exclusivement par les données tactiles et proprioceptives de l’équipe, sans aucune vision. En utilisant la simulation comme terrain d’entraînement, le robot a réalisé environ un an de pratique en seulement quelques heures de temps réel, grâce à des simulateurs de physique modernes et à des processeurs hautement parallèles. Les chercheurs ont ensuite transféré cette compétence de manipulation acquise en simulation à la main réelle du robot, qui a pu atteindre le niveau de dextérité espéré par l’équipe.

Ciocarlie a noté que « l’objectif directionnel du domaine reste la robotique d’assistance à domicile, le terrain d’essai ultime pour une véritable dextérité. Dans cette étude, nous avons montré que les mains robotisées peuvent également être très dextres en se basant uniquement sur la détection du toucher. Une fois que nous aurons ajouté un retour visuel au toucher, nous espérons pouvoir atteindre une dextérité encore plus grande et, un jour, nous approcher de la reproduction de la main humaine.« 

Objectif ultime : associer l’intelligence abstraite à l’intelligence incarnée

En fin de compte, a observé M. Ciocarlie, un robot physique utile dans le monde réel a besoin à la fois d’une intelligence abstraite et sémantique (pour comprendre conceptuellement comment le monde fonctionne) et d’une intelligence incarnée (la capacité d’interagir physiquement avec le monde). Les grands modèles de langage tels que le GPT-4 d’OpenAI ou le PALM de Google visent à fournir la première, tandis que la dextérité dans la manipulation, telle qu’elle a été obtenue dans cette étude, représente des avancées complémentaires dans la seconde.

Par exemple, lorsqu’on lui demande comment faire un sandwich, ChatGPT tape un plan étape par étape en réponse, mais il faut un robot dextre pour prendre ce plan et faire le sandwich. De la même manière, les chercheurs espèrent que des robots physiquement compétents seront capables de sortir l’intelligence sémantique du monde purement virtuel de l’internet et de l’utiliser à bon escient pour des tâches physiques du monde réel, peut-être même dans nos maisons.

L’article a été accepté pour publication à la prochaine conférence Robotics : Science and Systems Conference (Daegu, Corée, 10-14 juillet 2023), et est actuellement disponible en tant que prépublication.

Légende illustration : utilisant le sens du toucher, une main robotique peut manipuler dans l’obscurité ou dans des conditions d’éclairage difficiles. / Crédit : Laboratoire ROAM de l’université de Columbia

À propos de l’étude

Conférence : Robotics : Science and Systems Conference (Daegu, Corée, 10-14 juillet 2023)

L’étude est intitulée « Sampling-based Exploration for Reinforcement Learning of Dexterous Manipulation » (Exploration basée sur l’échantillonnage pour l’apprentissage par renforcement de la manipulation dextre).

Les auteurs sont tous de Columbia Engineering : Gagan Khandate et Tristan Luca Saidi (informatique), Siqi Shang, Eric Chang, Johnson Adams et Matei Ciocarlie (génie mécanique). Les capteurs tactiles ont été développés en collaboration avec Ioannis Kymissis (génie électrique).

Ce travail a été soutenu en partie par la subvention N00014-21-1-4010 de l’Office of Naval Research et la subvention CMMI-2037101 de la National Science Foundation.

Les auteurs ne déclarent aucun conflit d’intérêt financier ou autre.