NVIDIA publie un workflow qui confie à des agents de développement une partie de l’entraînement d’une politique de navigation transférable entre plusieurs formes de robots. Le tutoriel s’appuie sur le quadrupède Spot, Isaac Sim 6.0 et le framework COMPASS.
L’objectif est de réduire le travail répété lorsqu’une équipe change de robot ou d’environnement. Habituellement, chaque nouvelle combinaison impose de préparer des scènes, vérifier les interfaces, relancer l’entraînement et diagnostiquer les échecs. Le processus décrit le 26 août automatise plusieurs de ces étapes, tout en conservant des validations humaines avant les phases sensibles.
Adapter une politique sans tout réapprendre
COMPASS signifie Cross-Embodiment Mobility Policy via Residual RL and Skill Synthesis. Le framework part de X-Mobility, une politique de navigation préentraînée, puis entraîne un spécialiste résiduel pour corriger ses actions en fonction du robot et de l’environnement choisis. Les données de plusieurs spécialistes peuvent ensuite être distillées dans une politique commune.
Cette méthode cherche à transférer des comportements utiles plutôt qu’à recommencer l’apprentissage depuis zéro. Dans le tutoriel, Spot sert de robot de référence. Les essais commencent dans un entrepôt intégré à COMPASS, puis peuvent être étendus à une scène issue de SAGE-10K ou à une reconstruction d’environnement réalisée avec Omniverse NuRec.
SAGE-10K rassemble 10 000 scènes intérieures générées couvrant 50 types de pièces. NuRec suit une autre logique : reconstruire une cible réelle à partir de captures stéréo afin de préparer la politique avant son déploiement. Dans les deux cas, la géométrie, les collisions, les cartes d’occupation et le dégagement du robot doivent être vérifiés.
Des agents pour préparer, tester et diagnostiquer
Le développeur indique le robot, la scène et le résultat de navigation attendu. Un agent de code, par exemple Codex ou Claude Code dans le workflow documenté, vérifie les dépendances, prépare les actifs, lance un test minimal, analyse les erreurs et compare les points de contrôle.
NVIDIA impose plusieurs portes de validation humaine : acceptation de la scène, contrôle d’un test sur un seul environnement et promotion du modèle entraîné. L’agent intervient donc dans la chaîne de développement, pas dans le contrôle du robot en fonctionnement. À l’exécution, la politique et le contrôleur robotique naviguent sans l’agent de code.
La configuration testée demande Isaac Lab 3.0 avec Isaac Sim 6.0, au moins 32 Go de mémoire et un GPU NVIDIA disposant de 16 Go de mémoire vidéo. Le guide cite une GeForce RTX 4080 comme référence minimale pour Isaac Sim 6.0 et prévoit une intégration ROS 2 pour le déploiement.
Une méthode reproductible, mais exigeante
Le principal apport est opérationnel : chaque phase produit des journaux, des contrôles et des artefacts examinables avant de poursuivre. Cette traçabilité peut aider les équipes à comparer les entraînements et à éviter qu’un agent modifie silencieusement l’environnement.
Le tutoriel ne démontre toutefois pas qu’une seule politique résout déjà tous les robots et tous les sites. La robustesse réelle dépend toujours de la qualité des scènes, des capteurs, de l’odométrie et des essais physiques. COMPASS propose surtout une voie plus structurée pour passer de la simulation à plusieurs corps robotiques.
Source : tutoriel officiel NVIDIA Robotics.
