NVIDIA publie une méthode et un modèle de contrôle qui font fonctionner Cosmos 3 Edge directement sur un Jetson AGX Thor embarqué. La politique génère 2,13 secondes de mouvement robotique en environ 1,53 seconde, puis recalcule sa trajectoire à partir des images et de l’état du bras.
Présentée le 2 septembre, cette version post-entraînée de Cosmos 3 Edge vise un problème concret de la robotique : conserver un modèle assez riche pour comprendre une scène physique, tout en respectant la mémoire et la latence d’un ordinateur installé sur la machine. Aucun GPU distant n’intervient pendant l’exécution.
A robot policy can be compact enough to run onboard and fast enough to keep the arm moving continuously.
— NVIDIA Robotics (@NVIDIARobotics) September 2, 2026
Un modèle de 4 milliards de paramètres sur Jetson Thor
Cosmos 3 Edge compte 4 milliards de paramètres, dont un module de raisonnement fondé sur Nemotron de 2 milliards de paramètres. NVIDIA indique que les poids occupent environ 9 Go en BF16. Ils tiennent donc dans la mémoire du Jetson AGX Thor T5000 avec le serveur de politique et le client de contrôle.
Le système produit des blocs de 32 actions à 15 Hz. Le bras exécute seulement une partie de ce bloc avant de demander une nouvelle prédiction. Cette boucle à horizon glissant permet de tenir compte de nouvelles images, des positions articulaires mesurées et de l’ouverture réelle de la pince, au lieu de poursuivre aveuglément un plan calculé quelques secondes plus tôt.
Le modèle publié a été entraîné pour une configuration Franka Panda équipée d’une pince Robotiq. Il utilise trois vues caméra et les états du robot. NVIDIA documente aussi l’adaptation à d’autres plateformes, notamment des bras Universal Robots, WidowX 250, LeRobot SO-101 et une configuration Franka à deux bras.
76 000 trajectoires pour 86 tâches
Le jeu Cosmos3-DROID rassemble 76 000 trajectoires de téléopération réussies, soit environ 350 heures réparties sur 86 tâches et 564 scènes. Les données sont distribuées au format LeRobotDataset v3.0. Le dépôt du framework, le modèle post-entraîné et le jeu de données sont accessibles afin que les équipes puissent reproduire la chaîne ou convertir leurs propres données.
Cette ouverture ne signifie pas que l’entraînement soit léger. La recette validée par NVIDIA utilise 64 nœuds équipés chacun de quatre accélérateurs GB200, pendant environ 68 heures. Le gain porte surtout sur l’inférence embarquée après cette phase très coûteuse.
Un résultat en temps réel, mais encore limité
Dans RoboLab, le modèle atteint 22,9 % de réussite sur 120 tâches de manipulation en boucle fermée. Le chiffre reste nettement inférieur aux 36,8 % annoncés pour Cosmos 3 Nano. NVIDIA assume ce compromis entre taux de réussite, taille et vitesse d’exécution sur le robot.
Le test repose en outre sur la simulation. La démonstration établit qu’un modèle du monde compact peut servir de politique en temps réel sur une plateforme embarquée, mais elle ne mesure pas encore sa robustesse sur un bras exposé à des objets, des éclairages et des perturbations imprévus.
Notre analyse
L’apport principal de Cosmos 3 Edge est de rapprocher perception, raisonnement et commande du matériel. Réduire la dépendance à un centre de données limite la latence réseau et permet au robot de continuer à calculer localement. Cela peut aussi faciliter le contrôle des données captées par ses caméras.
Le taux de réussite rappelle toutefois que la vitesse ne suffit pas. Pour un déploiement industriel, les équipes devront mesurer les erreurs, ajouter des dispositifs de sécurité et valider chaque adaptation à un nouveau robot. Cette publication fournit une base reproductible, pas une autonomie générale prête à l’emploi.
