Des chercheurs de l’Université de Pennsylvanie présentent F3, une méthode qui transforme le flux brut des caméras événementielles en représentations directement exploitables par les logiciels de vision robotique. Publié dans Science Robotics, le système atteint jusqu’à 120 traitements par seconde en haute définition et 440 en résolution VGA.
Les caméras événementielles ne produisent pas des images complètes à intervalles réguliers. Chaque pixel signale uniquement un changement de luminosité. Cette approche réduit le flou de mouvement et conserve une grande dynamique dans les scènes très claires ou très sombres, mais elle génère un flux de points difficile à interpréter avec les outils classiques.
Une représentation commune pour plusieurs tâches
Fast Feature Field, abrégé F3, cherche à fournir une couche commune entre ce capteur et les applications de perception. L’équipe a entraîné un réseau neuronal à prédire les événements futurs à partir des événements passés. Pour réussir cette prédiction, le modèle doit apprendre à représenter simultanément la structure de la scène et ses mouvements.
Les chercheurs ont ensuite exploité la forte sparsité du signal. Environ 95 % des positions possibles ne contiennent aucun événement à un instant donné. F3 concentre donc les calculs là où l’information existe, au lieu de traiter une grille complète comme le ferait une caméra conventionnelle.
D’après les résultats présentés dans Science Robotics, les algorithmes utilisant F3 sont environ deux à cinq fois plus rapides que les approches comparées. Ils atteignent aussi un niveau de pointe sur plusieurs tâches de perception, dont la reconnaissance d’objets, l’estimation de profondeur et le suivi du mouvement.
Des voitures, quadrupèdes et drones dans les essais
L’évaluation ne se limite pas à un seul robot. L’équipe a utilisé des données issues de voitures, de robots quadrupèdes et de drones, dans des rues de nuit, des espaces intérieurs chargés et des environnements naturels. Cette diversité est importante, car les chaînes de vision événementielle sont souvent conçues pour une tâche ou un capteur précis.
Le laboratoire travaille désormais sur des drones autonomes capables de naviguer dans des zones encombrées et faiblement éclairées. À terme, les chercheurs envisagent d’intégrer F3 directement dans l’électronique des caméras. Le logiciel pourrait alors jouer un rôle proche d’un pilote de capteur et fournir une sortie compatible avec davantage d’outils existants.
Notre analyse
La contribution la plus utile de F3 n’est pas seulement un record de vitesse. Elle réside dans la possibilité de réutiliser une même représentation pour plusieurs fonctions robotiques. Si les résultats se confirment sur des machines et des processeurs variés, les industriels pourraient éviter de développer une chaîne spécialisée pour chaque scénario.
Le travail reste toutefois une publication de recherche. Il ne démontre pas encore une robustesse industrielle continue, ni un coût énergétique mesuré sur une flotte. Le passage à des drones autonomes réels sera un test important pour vérifier si les gains observés en laboratoire résistent aux vibrations, aux changements de lumière et aux contraintes de calcul embarqué.
