NVIDIA Research présente Hydra-0, un modèle du monde destiné à prévoir et contrôler les actions de plusieurs types de robots avec une représentation commune : le déplacement de points dans l’image. L’approche est entraînée sur 2 202 heures de vidéos mêlant mains humaines, pinces et bras robotisés.
Les systèmes robotiques apprennent habituellement avec des commandes propres à une machine, par exemple les angles de ses articulations ou la position de son outil. Ces formats rendent difficile le partage des données entre un bras simple, un robot à deux bras et une démonstration humaine. Hydra-0 cherche à contourner cette incompatibilité en décrivant l’action comme des trajectoires visibles dans le plan de la caméra.
Robot actions can be represented as motion in pixel space. NVIDIA Research introduces Hydra-0, a generalist world model conditioned on action flow.
— NVIDIA Robotics (@NVIDIARobotics) August 31, 2026
Une interface visuelle commune à plusieurs robots
Le modèle reçoit une image initiale et un « flux d’action », c’est-à-dire des points qui indiquent comment la partie visible du robot doit se déplacer pendant la séquence. Cette même représentation peut décrire une main, une pince tenue par une personne, un bras Franka ou un système bimanuel. Lors du déploiement, la trajectoire peut être projetée depuis la géométrie connue du robot dans l’image de la caméra.
NVIDIA explique avoir rassemblé des données issues de plusieurs ensembles, dont DROID pour les bras simples et XVLA-Soft-Fold pour la manipulation bimanuelle de vêtements. Le modèle peut alors générer la conséquence visuelle d’une commande candidate, par exemple la manière dont un tissu devrait se déplacer lorsqu’un bras exécute une trajectoire.
Des résultats chiffrés sur la prédiction du mouvement
Dans sa meilleure configuration, Hydra-0 réduit de 90,4 % l’erreur sur le mouvement du robot et de 60,2 % l’erreur sur le mouvement des objets par rapport à une base conditionnée avec les commandes natives. Sur RoboLab, les taux de réussite rejoués par le modèle obtiennent une corrélation de Pearson de 0,96 avec les résultats de référence, sur 300 épisodes couvrant cinq politiques et six tâches.
Cette évaluation reste en boucle ouverte : le système rejoue une trajectoire déjà réalisée et vérifie s’il préserve son résultat. Il ne prouve donc pas encore qu’Hydra-0 puisse sélectionner seul la meilleure commande face à une situation nouvelle.
Du modèle du monde au contrôle physique
Les chercheurs montrent également un fonctionnement inverse. Au lieu de fournir le mouvement du robot, ils donnent le déplacement souhaité de l’objet, extrait d’une démonstration humaine. Le modèle prédit alors un mouvement robotique compatible, puis une tête d’action le convertit en commandes exécutables par un robot bimanuel à 14 degrés de liberté.
Cette piste pourrait rendre les vidéos humaines plus utiles pour l’apprentissage robotique, sans exiger une démonstration experte propre à chaque machine. Elle doit toutefois franchir plusieurs limites. L’équipe signale environ un centimètre d’imprécision lors de certaines prises, ainsi que des ambiguïtés sur le contact réel avec l’objet. La profondeur, le toucher et les forces ne sont pas encore intégrés à l’interface.
Hydra-0 propose donc moins un contrôleur universel prêt au déploiement qu’un langage intermédiaire entre données hétérogènes, simulation visuelle et robot réel. Son intérêt dépendra désormais de validations en boucle fermée et sur des tâches où les erreurs de contact ne peuvent pas être corrigées après coup.
