Une caméra qui capte profondeur et spectre : une avancée en 3D

Des chercheurs ont récemment utilisé l’impression jet d’encre pour créer une version compacte et multispectrale d’une caméra à champ lumineux. Cette caméra, qui tient dans la paume de la main, pourrait être utile pour de nombreuses applications, notamment la conduite autonome, la classification des matériaux recyclés et la télédétection.

Les informations spectrales en 3D sont précieuses pour la classification des objets et des matériaux. Cependant, la capture de ces informations nécessite généralement plusieurs dispositifs ou des processus de numérisation chronophages. La nouvelle caméra à champ lumineux résout ce problème en acquérant simultanément des données 3D et spectrales en une seule prise de vue.

« À notre connaissance, il s’agit de la version la plus avancée et intégrée d’une caméra à champ lumineux multispectral », a indiqué Uli Lemmer, chef de l’équipe de recherche de l’Institut de Technologie de Karlsruhe en Allemagne. « Nous l’avons combinée avec de nouvelles méthodes d’IA pour reconstruire les propriétés de profondeur et spectrales de la scène, créant ainsi un système de capteur avancé pour l’acquisition d’informations 3D. »

Applications potentielles et avantages

Les chercheurs rapportent que la nouvelle caméra et les méthodes de reconstruction d’image peuvent être utilisées pour distinguer les objets dans une scène en fonction de leurs caractéristiques spectrales. L’utilisation de l’impression jet d’encre pour fabriquer les composants optiques clés de la caméra permet de les personnaliser facilement ou de les produire en grande quantité.

« Les données 3D reconstruites à partir des images de la caméra trouvent une utilisation répandue dans la réalité virtuelle et augmentée, les voitures autonomes, la robotique, les dispositifs domestiques intelligents, la télédétection et d’autres applications », a ajouté Michael Heizmann, membre de l’équipe de recherche. « Cette nouvelle technologie pourrait, par exemple, permettre aux robots d’interagir plus efficacement avec les humains ou améliorer la précision de la classification et de la séparation des matériaux dans le recyclage. Elle pourrait également être utilisée pour classifier les tissus sains et malades. »

Ajout de la couleur grâce à l’impression jet d’encre

Les caméras à champ lumineux, également appelées caméras plénoptiques, sont des dispositifs d’imagerie spécialisés qui capturent la direction et l’intensité des rayons lumineux. Après l’acquisition de l’image, un traitement informatique est utilisé pour reconstruire les informations 3D à partir des données acquises. Ces caméras utilisent généralement des réseaux de microlentilles alignés avec les pixels d’une puce de caméra haute résolution.

Pour créer une caméra à champ lumineux multispectral, les chercheurs ont utilisé l’impression jet d’encre pour déposer une seule goutte de matériau afin de former chaque lentille individuelle sur un côté de lames de microscope ultrafines, puis ont imprimé des réseaux de filtres colorés entièrement alignés de l’autre côté des lames de microscope. Le composant optique résultant a été intégré directement sur une puce de caméra CMOS. La méthode d’impression jet d’encre a permis un alignement précis entre les composants optiques, réduisant considérablement la complexité de fabrication et améliorant l’efficacité.

Parce que cette configuration produit des informations spectrales et de profondeur qui sont entrelacées dans l’image de la caméra, les chercheurs ont développé des méthodes pour séparer chaque composant. Ils ont découvert qu’une approche basée sur l’apprentissage profond était la plus efficace pour extraire les informations souhaitées directement à partir des mesures acquises.

Détection d’objets basée sur le spectre

« Relever le défi de créer une caméra à champ lumineux multispectral n’a été possible qu’en combinant les avancées récentes de la fabrication, de la conception de systèmes et de la reconstruction d’images basée sur l’IA », a précisé Qiaoshuang Zhang, premier auteur de l’article. « Ce travail repousse les limites de l’impression jet d’encre — une méthode polyvalente avec une haute précision et une évolutivité industrielle — pour la fabrication de composants photoniques. »

Les chercheurs ont testé la caméra en enregistrant une scène de test contenant des objets 3D multicolores à différentes distances. L’algorithme de reconstruction d’image a été formé et testé sur de nombreuses images multispectrales synthétiques et réelles. Les résultats montrent que le prototype de caméra peut acquérir simultanément des informations spatiales et spectrales en 3D et que différents objets peuvent être imagés et distingués par leur composition spectrale et leurs informations de profondeur en une seule prise de vue.

Maintenant que cette première preuve de concept est achevée, les chercheurs explorent diverses applications où une caméra à champ lumineux capable d’acquérir des informations multispectrales pourrait être utile.

Légende illustration : Des chercheurs ont utilisé l’impression à jet d’encre pour créer une version multispectrale d’une caméra à champ lumineux, qui tient dans la paume de la main. La caméra 3D pourrait être utile pour des applications telles que la conduite autonome, la classification des matériaux recyclés et la télédétection. Crédit : Maximilian Schambach, Institut de technologie de Karlsruhe