NVIDIA et plusieurs universités présentent VFlash, un système qui produit en parallèle les trajectoires visuelles dont un robot a besoin pour agir. Sur Jetson AGX Thor, les chercheurs mesurent une planification robotique cinq fois plus rapide au niveau du pipeline de modèles, tout en réduisant l’erreur des trajectoires.
Le travail a été rendu public le 5 novembre avec un article scientifique et un site de démonstration. L’équipe réunit des chercheurs de NVIDIA, Johns Hopkins, Hong Kong Polytechnic University, Purdue University et de l’Université de Hong Kong. VFlash vise un goulet d’étranglement précis : les modèles vision-langage génèrent souvent les coordonnées d’un mouvement token après token, alors que les robots doivent recalculer rapidement leurs plans.
Une trajectoire complète en une passe
VFlash remplace cette génération séquentielle par ce que les auteurs appellent le « Flash Primitive Decoding ». Une requête indique la forme attendue, par exemple dix points en trois dimensions, puis un petit modèle prédit l’ensemble de la primitive géométrique en parallèle. Le modèle vision-langage principal reste gelé et relit ensuite le plan afin de fournir les caractéristiques nécessaires au contrôleur du robot.
Cette organisation exploite la structure connue des sorties robotiques : points, boîtes, profondeur ou trajectoires 2D et 3D. Elle évite de traiter une suite de coordonnées comme du texte ordinaire. Les chercheurs insistent toutefois sur l’importance de conserver des positions fixes pour chaque axe et chaque point. Sans cet alignement, la prédiction parallèle perd sa cohérence spatiale.
Des tests sur la manipulation robotique
Sur ShareRobot-Bench et VABench-V, VFlash réduit les six mesures d’erreur de trajectoire suivies par l’équipe. L’erreur moyenne de déplacement en 3D baisse de 42,6 % par rapport au décodage autorégressif, sur trois jeux de données robotiques et trois variantes du modèle cible.
Les auteurs ont aussi relié les plans visuels à un modèle d’action entraîné pour la manipulation. Sur les quatre suites de MolmoSpaces, le taux moyen de réussite atteint 70,2 %, contre 62,6 % pour la base de comparaison et 61 % avec des plans produits de manière autorégressive. Le résultat suggère que la géométrie transmise au contrôleur apporte davantage qu’une simple description textuelle de la tâche.
Cinq fois plus rapide sur Jetson Thor
La réduction de latence est la promesse centrale. Sur Jetson AGX Thor, le décodage passe de 3 107,6 à 258,2 millisecondes dans la mesure publiée. Le pipeline complet du modèle est annoncé 5,1 fois plus rapide. Les chercheurs obtiennent également un décodage douze fois plus rapide pour la planification robotique sur Thor et DGX Spark.
Ces chiffres ne correspondent pas encore à une mesure complète, du capteur jusqu’aux moteurs. L’équipe exclut notamment le chargement des modèles, la préparation CPU externe et certaines opérations d’entrée-sortie. VFlash reste un travail de recherche, sans annonce d’intégration dans un produit commercial.
Pourquoi cette approche compte
Un robot déployé dans une usine ou un entrepôt doit réagir à des changements sans attendre plusieurs secondes entre perception et mouvement. En réduisant le coût du plan visuel, VFlash pourrait libérer du temps de calcul pour la perception, le contrôle ou les vérifications de sécurité. Sa portée dépasse aussi la manipulation : l’équipe teste le même principe sur la conduite autonome, avec des trajectoires de longueurs différentes.
La prochaine étape sera de confirmer ces gains sur davantage de robots physiques et dans des scènes moins contrôlées. Les résultats publiés montrent néanmoins qu’un modèle n’a pas besoin de « penser » uniquement en texte. Pour certaines tâches physiques, une géométrie produite directement peut être à la fois plus rapide et plus utile.
Sources : NVIDIA Research, article VFlash et Interesting Engineering.
