Ropedia publie W0, un modèle du monde destiné à la locomotion et à la manipulation robotiques. Le système a été entraîné avec environ 10 000 heures de vidéo humaine et 3 000 heures de données issues de robots, puis évalué sur des bras et des humanoïdes de plusieurs constructeurs.
Le projet réunit des chercheurs de Ropedia, de l’université technologique de Nanyang, de Duke, de l’université de Californie à San Diego et de Tsinghua. Le papier a été déposé sur arXiv le 19 octobre, avec une page de démonstration, du code et des poids de modèle.
Une représentation commune pour humains et robots
Les robots n’utilisent pas tous les mêmes moteurs, articulations ou formats de commande. Ropedia W0 contourne une partie de cette diversité avec deux signaux visuels communs : les mouvements de caméra pour représenter la locomotion et des squelettes projetés dans l’image pour représenter les mains ou les pinces.
Cette interface permet d’entraîner un seul modèle sur des vidéos humaines et robotiques. Le corpus Xp-Data regroupe 14 jeux de données humains, 13 jeux robotiques et plus de 6 000 heures enregistrées par l’équipe avec un dispositif à quatre caméras. Les séquences reçoivent des trajectoires, des points articulaires et des descriptions, avec des contrôles humains ciblés.
Des essais sur Unitree G1, Fourier GR-1 et AgiBot
D’après les auteurs, W0 dépasse les modèles comparés sur cinq bancs d’essai couvrant notamment Unitree G1, Fourier GR-1 et des données AgiBot. Ces résultats sont rapportés par l’équipe et doivent encore être confirmés par des évaluations indépendantes. Le modèle existe en version dense de 5 milliards de paramètres et en architecture à experts avec 14 milliards de paramètres actifs.
Après distillation, Ropedia annonce 21,3 images par seconde en 640 × 480 sur un seul GPU et des séquences de plus d’une minute. Dans une expérience de planification sur un robot réel, la sélection d’actions imaginées par le modèle améliore les résultats par rapport au meilleur contrôleur utilisé seul. Sur Unitree G1, l’initialisation d’un modèle d’action avec W0 fait passer la progression moyenne annoncée de 33,3 % à 56,7 %.
Du modèle vidéo au contrôle physique
Un modèle du monde ne commande pas nécessairement directement le robot. Il simule les conséquences possibles d’une action, ce qui peut servir à classer des politiques, choisir une trajectoire ou générer des données d’entraînement. W0 est donc davantage une brique de décision qu’un produit robotique prêt à déployer.
La publication reste notable par son ouverture. Le code est sous licence Apache 2.0, les poids sous CC BY-NC 4.0 et le jeu Xp-Teleop sous CC BY 4.0. La carte graphique recommandée doit disposer d’au moins 40 Go de mémoire pour le modèle 5B, ce qui limite encore les essais locaux. Ropedia fournit néanmoins un point de départ reproductible pour mesurer si l’expérience humaine peut accélérer l’apprentissage de robots aux morphologies différentes.
Sources : Ropedia W0, article scientifique et dépôt GitHub.
