Un nouveau cap a été franchi dans le domaine de la vision par ordinateur grâce à une puce photonique intelligente capable de traiter, transmettre et reconstruire des images en quelques nanosecondes. Cette innovation pourrait transformer les applications de vision machine, notamment pour la conduite autonome, l’inspection industrielle et la vision robotique.
Les chercheurs ont mis au point une puce photonique de détection et de calcul intelligente, capable de traiter, transmettre et reconstruire des images d’une scène en quelques nanosecondes. Cette avancée ouvre la voie à un traitement d’images extrêmement rapide, bénéfique pour l’intelligence de pointe dans les applications de vision machine telles que la conduite autonome, l’inspection industrielle et la vision robotique.
Le calcul en périphérie, qui effectue des tâches de calcul intensives comme le traitement et l’analyse d’images sur des dispositifs locaux, évolue vers une intelligence de périphérie en ajoutant une analyse et une prise de décision pilotées par l’intelligence artificielle (IA).
Des performances inégalées
« Capturer, traiter et analyser des images pour des tâches basées en périphérie, telles que la conduite autonome, est actuellement limité à des vitesses de l’ordre de la milliseconde en raison de la nécessité de conversions optiques-électroniques », a précisé Lu Fang, chef de l’équipe de recherche de l’Université Tsinghua en Chine. « Notre nouvelle puce peut effectuer tous ces processus en quelques nanosecondes en les maintenant dans le domaine optique. Cela pourrait être utilisé pour améliorer considérablement, voire remplacer, l’architecture traditionnelle d’acquisition de capteurs suivie d’un post-traitement par IA. »
Les chercheurs décrivent la nouvelle puce, qu’ils appellent une puce de réseau de calcul optique parallèle (OPCA). Ils montrent que l’OPCA a une bande passante de traitement allant jusqu’à cent milliards de pixels et un temps de réponse de seulement 6 nanosecondes, soit environ six ordres de grandeur plus rapide que les méthodes actuelles. Ils ont également utilisé la puce pour créer un réseau neuronal optique intégrant la perception, le calcul et la reconstruction d’images.
Éliminer les conversions optiques-électroniques
La vision par ordinateur, qui utilise des caméras, des capteurs d’image, des éclairages et des algorithmes informatiques pour capturer, traiter et analyser des images pour des tâches spécifiques, implique traditionnellement la conversion des informations optiques en signaux électriques numériques à l’aide de capteurs. Ces signaux sont ensuite transmis par fibres optiques pour la transmission de données à longue distance et les tâches en aval. Cependant, la conversion fréquente entre les signaux optiques et électriques, ainsi que les avancées limitées des processeurs électroniques, sont devenues une restriction majeure pour améliorer la vitesse et la capacité de traitement de la vision par ordinateur.
« Le monde entre dans une ère de l’IA, mais l’IA est très gourmande en temps et en énergie », a ajouté Lu Fang. « Pendant ce temps, la croissance des dispositifs en périphérie, tels que les smartphones, les voitures intelligentes et les ordinateurs portables, a entraîné une croissance explosive des données d’image à traiter, transmettre et afficher. Nous travaillons à faire progresser la vision par ordinateur en intégrant la détection et le calcul dans le domaine optique, ce qui est particulièrement important pour le calcul en périphérie et pour permettre des applications d’IA plus durables. »
Créer une connexion tout-optique entrée-sortie
L’architecture de la puce a permis aux chercheurs de créer un réseau neuronal optique multi-longueur d’onde de bout en bout pour coupler la lumière modulée sur puce dans un guide d’ondes optique à large bande, où la lumière modulée est additionnée spectralement. Les sorties optiques multispectrales peuvent ensuite être utilisées pour des tâches de classification ou pour créer une reconstruction tout-optique de l’image.
« Parce que chaque élément de détection-calcul de cette puce est reconfigurable, ils peuvent chacun fonctionner comme un neurone programmable qui génère une sortie de modulation de lumière basée sur l’entrée et le poids », a dit encore Lu Fang. « Le réseau neuronal connecte tous les neurones de détection-calcul avec un seul guide d’ondes, facilitant une connexion complète tout-optique entre les informations d’entrée et la sortie. »
Vers des applications pratiques
Pour démontrer les capacités de la puce OPCA, les chercheurs ont montré qu’elle pouvait être utilisée pour classer une image manuscrite et effectuer une convolution d’image, un processus qui applique un filtre à une image pour en extraire des caractéristiques. Les résultats ont montré que l’architecture de la puce peut effectivement compléter la compression de l’information et la reconstruction de la scène, indiquant son potentiel pour des applications généralisées.
Les chercheurs travaillent maintenant à améliorer la puce de détection-calcul OPCA pour améliorer encore les performances de calcul tout en étant plus alignée avec les scénarios du monde réel et optimisée pour les applications de calcul en périphérie. Ils affirment que pour une utilisation pratique, la capacité de traitement du réseau neuronal optique devrait être augmentée pour gérer efficacement des tâches intelligentes de plus en plus complexes et réalistes. La taille de la puce OPCA et la forme globale doivent également être minimisées.
« Nous espérons que la vision par ordinateur sera progressivement améliorée pour être plus rapide et plus économe en énergie en utilisant la lumière pour effectuer à la fois la détection et le calcul », a conclu Lu Fang. « Même si l’approche d’aujourd’hui ne sera probablement pas complètement remplacée, nous nous attendons à ce que la méthode de détection-calcul trouve sa niche dans le calcul en périphérie où elle peut conduire à une large gamme d’applications prometteuses. »
Des chercheurs ont mis au point une nouvelle puce photonique intelligente de détection et d’informatique capable de traiter, de transmettre et de reconstruire des images d’une scène en quelques nanosecondes. Crédit : Wei Wu, Université de Tsinghua
Article : W. Wu, T. Zhou, L. Fang, “Parallel photonic chip for nano-second end-to-end image processing, transmission, and reconstruction,”11, 6, 831-837 (2024). DOI: doi.org/10.1364/OPTICA.516241
