NVIDIA met en avant Cosmos 3 comme une nouvelle brique pour les robots capables d’agir, pas seulement de reconnaître leur environnement. Le groupe décrit des « world action models » qui associent vidéo, langage et actions pour aider un robot à raisonner sur l’effet physique de ses gestes.
L’annonce a été publiée le 4 août sur le blog technique de NVIDIA, puis relayée dans ses espaces développeurs. Elle s’inscrit dans la famille Cosmos 3, déjà disponible sur Hugging Face, avec des modèles ouverts destinés à la « Physical AI ». Le point central n’est pas un nouveau bras robotique, mais la façon d’entraîner et de piloter des politiques de manipulation plus robustes.
Jusqu’ici, beaucoup de modèles vision-langage-action savent relier une instruction à une scène et produire une action plausible. NVIDIA estime que cette approche reste limitée lorsque le robot doit comprendre ce qui va changer après un contact, un déplacement ou une prise. Cosmos 3 part donc d’un modèle du monde vidéo, capable de représenter les objets, le mouvement, les relations spatiales et les conséquences possibles d’une action.
Un modèle pour relier pixels, langage et gestes
Dans sa description technique, NVIDIA explique que Cosmos 3 combine deux tours de transformeurs. La première traite les jetons de vision et de texte pour le raisonnement. La seconde traite la vidéo, l’audio et les jetons d’action pour la prédiction et la génération. Les couches d’attention multimodales sont partagées afin de rapprocher ces signaux dans une représentation commune.
Ce choix vise un problème très concret : les robots n’utilisent pas tous le même espace d’action. Un véhicule raisonne en trajectoire, une caméra en mouvement optique, un bras en pose d’effecteur, une pince en état de préhension. Cosmos 3 encode ces différences sous forme de vecteurs géométriques compacts, avec translation, rotation et état de manipulation. L’objectif est de relier ce que le robot voit à ce qu’il peut réellement commander.
NVIDIA cite aussi deux variantes orientées politique robotique : Cosmos3-Nano-Policy-DROID pour station de travail et Cosmos3-Edge-Policy-DROID pour exécution embarquée. Dans l’exemple publié, l’initialisation depuis le point de départ Cosmos 3 fait progresser le taux de réussite RoboLab de 28,1 % à 36,8 %, à recette d’entraînement, données et calcul comparables. Le chiffre ne suffit pas à qualifier un déploiement industriel, mais il donne un repère mesurable sur un banc d’essai de manipulation.
Cosmos 3 Edge vise l’exécution embarquée
Le billet Hugging Face consacré à Cosmos 3 Edge apporte l’autre moitié du contexte. NVIDIA y présente un modèle ouvert de 4 milliards de paramètres, conçu pour fonctionner sur des machines contraintes en mémoire. Le groupe mentionne les GPU RTX PRO, DGX, GeForce RTX et Jetson, dont les modules Jetson T2000 et T3000.
Pour la robotique, le point le plus intéressant est le mode « world action model » post-entraîné. NVIDIA indique que Cosmos 3 Edge travaille à une résolution d’observation de 640 x 360, génère 32 actions par inférence et atteint un contrôle temps réel à 15 Hz sur Jetson Thor. Ce sont des paramètres importants pour des robots proches du terrain, où la latence et la mémoire disponible pèsent autant que la précision d’un modèle.
L’approche reste toutefois une brique de développement, pas une garantie d’autonomie générale. Les équipes devront encore adapter les données, vérifier les politiques sur leur propre matériel, encadrer les collisions et tester les cas limites. Mais Cosmos 3 marque une inflexion nette : NVIDIA ne présente plus seulement des modèles pour simuler ou analyser des scènes. Il pousse un cadre où la prédiction du monde et la génération d’actions deviennent un même problème.
Pour les laboratoires et les industriels qui travaillent sur la manipulation, l’intérêt est double. Ils peuvent comparer leurs politiques VLA classiques à un modèle explicitement entraîné pour anticiper les effets d’une action, et ils disposent d’une voie plus compacte pour l’embarqué. La question sera maintenant de savoir si ces gains se maintiennent hors benchmark, sur des objets changeants, des préhenseurs différents et des cycles longs sans intervention humaine.
