Les casques de réalité augmentée (RA) et de réalité mixte (RM) nous permettent de voir le monde qui nous entoure avec des éléments virtuels superposés. Par exemple, de nombreux casques AR/MR modernes utilisent des caméras de suivi des mains pour détecter les gestes dans les airs, ce qui permet aux utilisateurs de taper sur un clavier virtuel qui semble flotter devant eux. Aussi excitant que cela puisse paraître au premier abord, cette approche nécessite souvent des contrôleurs manuels, et garder les mains en l’air pendant longtemps peut causer une fatigue musculaire. Ces gestes aériens manquent également de retour physique, ce qui peut rendre l’interaction moins confortable.
En quête d’une manière innovante de rendre la frappe plus confortable lors de l’utilisation de la technologie AR/MR, des chercheurs de l’Université du Tohoku ont trouvé une méthode qui transforme les surfaces ordinaires en claviers – sans équipement supplémentaire requis.
La clé de cette innovation est une réaction naturelle de notre corps lorsque nous appliquons une pression sur nos doigts. Si vous essayez d’appuyer sur une surface dure comme un bureau, vous remarquerez un blanchiment. Ce changement de couleur est appelé le phénomène de blanchiment. En analysant les images de la caméra du casque avec un modèle d’IA, le système peut détecter quand un doigt touche une surface.
« Cette recherche signifie que les surfaces ordinaires qui nous entourent – murs, bureaux ou cloisons – peuvent être utilisées comme zone de saisie tactile », explique Guanghan Zhao, qui a dirigé l’étude. « De plus, cette méthode ne nécessite pas de capteurs spéciaux, de marqueurs ou d’appareils supplémentaires. Tout le monde peut l’utiliser facilement.
Pour concrétiser cette vision, l’équipe de recherche a entraîné un modèle d’IA à reconnaître de manière fiable le phénomène de blanchiment dans les images du bout des doigts capturées par une caméra standard du casque. En outre, un système d’interaction de support a été développé pour offrir une expérience utilisateur facile d’accès.
Des études utilisateurs ont montré que le système détectait de manière fiable le contact du bout des doigts sur plusieurs matériaux de surface courants. Les participants ont pu effectuer des tâches d’interaction avec une précision de saisie stable. L’interaction supportée par la surface a également permis aux utilisateurs de reposer leurs doigts sur la surface pendant l’opération.
« Notre objectif principal était de développer une technologie qui permet une saisie tactile sur les surfaces physiques quotidiennes pour la RA et la RM sans avoir besoin de matériel spécial, rendant ces appareils plus faciles à utiliser et favorisant l’adoption plus large des technologies AR et RM pour un usage quotidien », souligne Guanghan.
Les résultats ont été présentés à la 33e Conférence IEEE sur la Réalité Virtuelle et les Interfaces Utilisateur 3D, qui s’est tenue en Corée du Sud du 21 au 25 mars 2026. L’article a également été accepté pour une future publication dans l’IEEE Computer Society Digital Library.
Source : Tohoku U.
