NVIDIA ouvre les inscriptions à son Video to Data Challenge, un concours de recherche destiné à mesurer comment des vidéos de démonstrations humaines peuvent devenir des données d’entraînement puis des compétences exécutables par des robots. Organisé autour de la plateforme open source V2D et d’Isaac Lab, le défi doit démarrer son classement public le 21 septembre 2026. Les résultats seront annoncés le 12 novembre pendant un tutoriel de la conférence CoRL 2026.
NVIDIA Robotics présente le Video to Data Challenge et ses trois axes de recherche.
NVIDIA Robotics 16 septembre 2026
Trois étapes critiques mises à l’épreuve
Le premier volet porte sur la reconstruction 4D d’interactions entre une personne et un objet à partir d’une seule caméra RGB. Les équipes devront retrouver le corps humain, la pose et la géométrie de l’objet dans un repère commun. L’évaluation comparera notamment les maillages obtenus à une référence multivue, mais aussi la plausibilité physique des mouvements et des contacts.
Le deuxième volet commence avec une reconstruction déjà disponible. Il demande de transférer le geste humain vers une configuration imposée, le robot humanoïde Unitree G1 équipé des mains Dex3, puis d’entraîner une politique de contrôle. Trois niveaux de difficulté introduisent progressivement du bruit, des pertes de données et des reconstructions produites par les méthodes actuelles. NVIDIA veut ainsi mesurer la quantité d’erreur qu’une chaîne d’apprentissage robotique peut absorber avant que la tâche échoue.
Le troisième volet relie directement une vidéo égocentrique à une politique robotique. Les participants peuvent employer une chaîne explicite de reconstruction et de transfert, ou une approche de bout en bout fondée sur des modèles vision-langage-action. Cette piste vise les dispositifs de capture peu coûteux, plus faciles à déployer qu’un studio de mouvement équipé de nombreuses caméras.
Une chaîne open source de la vidéo au robot réel
Le dépôt officiel Video to Data décrit trois briques composables. Un agent segmente les vidéos et construit une base d’actions interrogeable en langage naturel. Des modules de vision calculent ensuite profondeur, masques, maillages, poses 6D et paramètres du corps humain. Enfin, les mouvements sont adaptés au robot cible dans Isaac Lab, où un apprentissage par renforcement produit la politique à déployer.
Cette architecture répond à une limite bien connue de la robotique apprenante. La téléopération fournit des exemples précis, mais elle mobilise un opérateur et du matériel pour chaque heure enregistrée. Les vidéos humaines existent à une échelle beaucoup plus grande. Elles ne décrivent toutefois ni la géométrie complète de la scène ni les forces et contacts nécessaires au robot. Le concours doit donc évaluer toute la chaîne avec les mêmes tâches, au lieu de juger séparément chaque module sur son propre jeu de données.
Un benchmark avant une industrialisation
Le calendrier prévoit l’ouverture des classements le 21 septembre, puis un gel des résultats le 5 novembre. Trois distinctions sont prévues pour chacun des trois volets, dont un prix consacré au caractère déployable, à l’efficacité des données et du calcul, à la nouveauté et à la reproductibilité. Les montants restent à annoncer. Les meilleures équipes pourront présenter leurs méthodes à CoRL et participer au rapport technique publié après le défi.
L’enjeu dépasse donc un simple classement académique. Si les évaluations révèlent précisément où les erreurs s’accumulent, les fabricants pourront mieux choisir entre amélioration de la reconstruction, simulation plus robuste et collecte supplémentaire sur robot réel. Pour NVIDIA, le défi sert aussi à éprouver publiquement une chaîne qui relie ses outils de vision, Isaac Lab et le calcul GPU aux politiques destinées aux machines physiques.
