NVIDIA détaille une nouvelle voie pour exécuter des politiques de manipulation directement sur un robot, sans envoyer la boucle de contrôle vers un GPU de centre de données. Dans un billet technique publié le 19 août, l’entreprise explique comment post-entraîner Cosmos 3 Edge afin de produire des actions pour un bras robotisé et les servir sur Jetson Thor.
L’annonce est moins un lancement grand public qu’un jalon important pour les équipes qui travaillent sur l’IA physique. Cosmos 3 Edge est présenté comme un modèle 4B de la famille Cosmos, avec un raisonneur Nemotron 2B, conçu pour tenir sur du matériel embarqué. NVIDIA le positionne comme une base de travail pour apprendre des politiques capables d’exploiter des images, des états articulaires et des instructions de tâche.
Une politique qui reste sur le robot
Le tutoriel publié par NVIDIA couvre toute la chaîne : préparation du jeu de données Cosmos3-DROID, post-entraînement, service de la politique sur Jetson Thor, puis évaluation en boucle fermée dans RoboLab. Le point central est la latence. Selon NVIDIA, la politique DROID post-entraînée génère un paquet d’actions en environ 1,53 seconde sur Jetson AGX Thor T5000, à 640 x 540 et 15 Hz. Chaque paquet couvre environ 2,13 secondes de mouvement, ce qui laisse le temps de replanifier avant la fin de l’exécution.
Cette architecture évite une dépendance permanente à une infrastructure distante. Le serveur de politique tourne sur le robot, le client lui envoie l’observation locale, et le modèle renvoie une séquence d’actions. Pour une application de manipulation, cette proximité compte : les caméras, les positions articulaires et l’état du gripper restent dans une boucle où chaque retard peut affecter le geste.
Des résultats encore modestes, mais mesurables
NVIDIA indique que la politique Cosmos 3 Edge atteint 22,9 % de succès en évaluation RoboLab fermée. Le chiffre ne doit pas être lu comme une promesse de robot généraliste prêt à l’emploi. Il donne plutôt un repère sur le compromis visé : faire tenir une politique issue d’un modèle de monde sur un calculateur embarqué, avec une boucle de manipulation continue, quitte à accepter un taux de réussite inférieur à celui de modèles plus lourds.
Le jeu de données utilisé, Cosmos3-DROID, rassemble 76 000 trajectoires téléopérées réussies, soit environ 350 heures sur 86 tâches et 564 scènes, avec un bras Franka Panda et un gripper Robotiq. Les données sont conditionnées au format LeRobotDataset v3, avec vidéo, états et actions. NVIDIA précise aussi que le post-entraînement validé reste coûteux : 64 nœuds de quatre GB200 pendant environ 68 heures dans la configuration décrite.
Notre analyse
Le signal intéressant n’est pas seulement la taille du modèle. Il est dans le passage d’un modèle de monde vers une politique actionnable par un robot, puis dans l’effort pour ramener l’inférence sur la machine physique. Beaucoup d’annonces d’IA physique restent centrées sur la simulation ou la vidéo. Ici, NVIDIA documente les contraintes de mémoire, de fréquence de contrôle, de données et d’évaluation.
Pour les industriels, la marche reste haute : il faut adapter l’embodiment, vérifier les risques, tester en simulation puis sur matériel réel, et construire une supervision robuste. Mais le billet donne une recette reproductible et des artefacts publics qui permettent aux équipes robotique d’évaluer plus concrètement ce que Cosmos 3 Edge peut apporter à la manipulation embarquée.
