Des lunettes utilisent le sonar et l’IA pour interpréter les poses du haut du corps en 3D

Depuis toujours, le sonar a été utilisé pour cartographier les océans, repérer les sous-marins ennemis et trouver des navires coulés. Aujourd’hui, une variation de cette technologie, en format miniature, développée par des chercheurs américains, s’avère être un véritable « Game Changer » dans la technologie de détection corporelle portable.

PoseSonic est le dernier dispositif portable équipé de sonar du laboratoire Smart Computer Interfaces for Future Interactions (SciFi) de Cornell. Il s’agit de lunettes de vue standard équipées d’un micro sonar qui peut suivre les mouvements du haut du corps de l’utilisateur en 3D grâce à une combinaison d’ondes sonores inaudibles et d’intelligence artificielle (IA).

Avec un développement supplémentaire, les chercheurs estiment que PoseSonic pourrait améliorer la réalité augmentée et la réalité virtuelle, et suivre des données physiques et comportementales détaillées pour la santé personnelle.

« Ce qui m’excite à propos de PoseSonic, c’est le potentiel de son utilisation pour détecter des activités humaines fines dans la nature », a commenté Saif Mahmud, doctorant en sciences de l’information. « Quand nous avons beaucoup de données grâce à la technologie de détection corporelle comme PoseSonic, cela peut nous aider à être plus conscients de nous-mêmes et de nos comportements. »

Une première dans le domaine de la détection corporelle

« Nous sommes le premier groupe de recherche à utiliser des acoustiques inaudibles et l’IA pour suivre les poses corporelles à travers un dispositif portable », a ajouté l’auteur principal Cheng Zhang, professeur assistant de sciences de l’information au Cornell Ann S. Bowers College of Computing and Information Science, et directeur du laboratoire SciFi.

« En intégrant une IA de pointe dans des systèmes de détection acoustique à faible coût, à faible consommation d’énergie et respectueux de la vie privée, nous utilisons moins d’instrumentation sur le corps, ce qui est plus pratique, et la performance de la batterie est nettement meilleure pour une utilisation quotidienne. »

En synthèse

PoseSonic représente une avancée majeure par rapport aux dispositifs portables existants qui nécessitent souvent une mini caméra vidéo, ce qui n’est pas toujours pratique. Les chercheurs ont déclaré que les dispositifs portables actuels avec des caméras vidéo nécessitent une puissance de batterie significative et posent des problèmes de confidentialité.

La détection acoustique nécessite une puissance minimale – 10 fois moins qu’une caméra portable. De ce fait, la technologie permet un dispositif portable beaucoup plus petit et moins intrusif, ont déclaré les chercheurs. De plus, ils ont ajouté, il y a beaucoup moins de risques pour la vie privée avec le sonar.

Pour une meilleure compréhension

1. Qu’est-ce que PoseSonic ?

PoseSonic est un dispositif portable équipé de sonar développé par le laboratoire SciFi de Cornell. Il s’agit de lunettes de vue standard équipées d’un micro sonar qui peut suivre les mouvements du haut du corps de l’utilisateur en 3D grâce à une combinaison d’ondes sonores inaudibles et d’intelligence artificielle (IA).

2. Comment fonctionne PoseSonic ?

PoseSonic utilise deux paires de minuscules microphones et haut-parleurs attachés aux charnières des lunettes. Les haut-parleurs émettent des ondes sonores inaudibles qui rebondissent sur le haut du corps et remontent jusqu’aux microphones, générant une image de profil d’écho.

Cette image est ensuite alimentée dans l’algorithme d’apprentissage automatique de PoseSonic, qui estime la pose du corps avec une précision quasi parfaite.

3. Quels sont les avantages de PoseSonic par rapport aux autres dispositifs portables ?

PoseSonic est une avancée majeure par rapport aux dispositifs portables existants qui nécessitent souvent une mini caméra vidéo, ce qui n’est pas toujours pratique. La détection acoustique nécessite une puissance minimale – 10 fois moins qu’une caméra portable. De ce fait, la technologie permet un dispositif portable beaucoup plus petit et moins intrusif.

4. Quels sont les potentiels usages de PoseSonic ?

Avec un développement supplémentaire, PoseSonic pourrait améliorer la réalité augmentée et la réalité virtuelle, et suivre des données physiques et comportementales détaillées pour la santé personnelle.

5. PoseSonic pose-t-il des problèmes de confidentialité ?

Les chercheurs ont déclaré que les dispositifs portables actuels avec des caméras vidéo nécessitent une puissance de batterie significative et posent des problèmes de confidentialité. Il y a beaucoup moins de risques pour la vie privée avec le sonar.

Principaux enseignements

Références

Les informations fournies dans cet article sont basées sur les recherches menées par le laboratoire SciFi de Cornell et présentées lors de la conférence conjointe Pervasive and Ubiquitous Computing (Ubicomp) et International Symposium on Wearable Computing (ISWC), à Cancun, au Mexique.

Saif Mahmud est l’auteur principal de « PoseSonic: 3D Upper Body Pose Estimation Through Egocentric Acoustic Sensing on Smartglasses », qui a été présenté le 10 octobre lors de la conférence conjointe Pervasive and Ubiquitous Computing (Ubicomp) et International Symposium on Wearable Computing (ISWC), à Cancun, au Mexique.