Microsoft publie Rho, une famille de modèles vision-langage-action conçue pour adapter plus vite un robot à de nouvelles tâches. Les modèles et plusieurs points de contrôle sont proposés en poids ouverts pour trois plateformes à deux bras utilisées en recherche et dans l’industrie.
Le projet part d’un constat : un modèle généraliste peut connaître de nombreux robots sans maîtriser précisément les caméras, la cinématique et les commandes d’une machine donnée. Lors d’un réglage classique, les démonstrations doivent donc enseigner à la fois le robot et la tâche. Rho sépare ces deux apprentissages.
Trois modèles déjà adaptés à leur robot
Microsoft fournit un socle Rho-base et trois variantes : Rho-YAM-Box, Rho-UR-AI-Trainer et Rho-FR3-Duo. Chacune a reçu une phase intermédiaire d’entraînement consacrée à son embodiment, c’est-à-dire au corps, aux capteurs et à l’espace d’action du robot. L’utilisateur peut ensuite affiner le modèle sur une tâche précise avec moins de démonstrations.
La documentation du projet indique que cette phase intermédiaire permet d’atteindre un taux de réussite donné avec environ deux fois moins de données de réglage que Rho-base. Sur trois robots physiques, les variantes égalent ou dépassent les modèles ouverts π0.5, GR00T N1.7 et MolmoAct2 dans les essais présentés par l’équipe.
Démonstrations du robot YAM Box piloté par Rho. Vidéo officielle Microsoft.
De 30 % à 70 % après quinze corrections
Rho combine un modèle vision-langage de 4,68 milliards de paramètres avec un module d’action de 542 millions de paramètres. Le préentraînement mobilise plus de 3 200 heures de données provenant de plus d’une douzaine de robots. Les variantes propres à chaque machine reçoivent ensuite environ 280 à 300 heures de données supplémentaires.
Le système peut aussi continuer à progresser après son déploiement. Sur une tâche difficile d’assemblage de tubes avec deux bras Franka FR3, quinze épisodes corrigés ont fait passer le taux de réussite de 30 % à 70 %. Seule une petite politique latente est alors mise à jour, tandis que le reste du modèle demeure gelé.
Un enjeu industriel plus large que le classement des modèles
L’intérêt de Rho tient moins à une victoire ponctuelle sur un benchmark qu’à la réduction du coût d’intégration. Collecter et valider des démonstrations sur une ligne réelle mobilise des opérateurs, immobilise du matériel et expose l’entreprise à des arrêts. Diviser ce besoin de données peut accélérer les essais de nouvelles tâches.
Les résultats restent ceux de l’équipe et portent sur trois plateformes bimanuelles. Ils devront être reproduits sur d’autres robots, avec des objets, des éclairages et des cadences différents. La publication des poids, du rapport scientifique et des variantes adaptées donne toutefois aux laboratoires un point de départ vérifiable pour comparer cette méthode.
