Apprendre à un robot à manipuler des objets nécessite des milliers d’heures de données réelles. Collecter ces données coûte cher, prend du temps, et ne se transfère pas bien d’un environnement à un autre. Une équipe de chercheurs de NVIDIA GEAR, Georgia Tech, Stanford, UT Austin et de l’Université de Toronto vient de proposer une alternative radicale : une seule vidéo réelle suffit pour générer automatiquement un monde de simulation complet, utilisable directement pour entraîner et évaluer des politiques robotiques.
Le pipeline real-to-sim-to-real en quatre étapes
Le système, baptisé SimFoundry, enchaîne quatre opérations à partir d’une simple vidéo RGB ordinaire. La vidéo est d’abord convertie en une scène 3D interactive (un « jumeau numérique »). Depuis ce jumeau, des variantes appelées « cousins numériques » sont générées automatiquement : objets remplacés, agencements modifiés, nouvelles tâches assignées. Ces cousins constituent un réservoir pratiquement illimité de données d’entraînement. Les politiques entraînées uniquement sur ces données simulées peuvent ensuite être déployées directement sur des robots réels.
Les résultats publiés sur arXiv (référence 2606.28276) par Nadun Ranawaka Arachchige et ses co-auteurs, dont Fei-Fei Li, Jim Fan (NVIDIA) et Yuke Zhu, montrent trois catégories de cousins numériques, chacune apportant un gain distinct : +17 %, +21 % et +40 % de taux de réussite sur des tâches réelles par rapport aux baselines. La corrélation de Pearson entre l’évaluation en simulation et la performance sur robot réel atteint 0,911, ce qui est une mesure de confiance très élevée pour du sim-to-real.
Pourquoi c’est important pour la robotique pratique
Les approches précédentes de réplication sim-to-real résolvaient généralement un seul aspect du problème : soit la reconstruction de la scène 3D, soit l’évaluation des politiques. SimFoundry fait les deux en même temps, dans un pipeline automatisé. Concrètement, un opérateur qui filme son poste de travail peut générer, sans compétences particulières en simulation, une quantité de données d’entraînement suffisante pour adapter un robot à son environnement spécifique.
La recherche s’inscrit dans un effort plus large porté par NVIDIA via ses programmes GEAR (Generalist Embodied Agent Research) et GR00T. Jim Fan, l’un des auteurs principaux, travaille depuis plusieurs années à réduire le fossé entre simulation et déploiement réel, obstacle historique de la robotique apprenante.
Un signal fort pour le déploiement industriel
Si la méthode tient ses promesses à plus grande échelle, elle change fondamentalement l’économie de la personnalisation robotique. Aujourd’hui, adapter un robot à un environnement industriel spécifique nécessite des mois de collecte de données et de téléopération. Demain, une caméra et quelques minutes de vidéo pourraient suffire à générer les données nécessaires.
C’est précisément ce type d’accélération que les fabricants d’humanoïdes cherchent pour rendre leurs robots déployables dans des centaines d’usines différentes sans reconfiguration manuelle à chaque site.
