RoboTryOn transforme des vidéos égocentriques de gestes humains en démonstrations synthétiques utilisables pour entraîner des robots. Dans les essais publiés par les chercheurs, le taux de réussite moyen sur de nouvelles tâches passe de 2 % à 60 %, sans démonstration réelle de ces tâches sur le robot.
La méthode, détaillée dans une étude mise à jour le 4 novembre, traite le transfert humain-robot comme un essayage virtuel. Au lieu de changer un vêtement sur une personne, le système conserve le mouvement, les objets et le décor, puis remplace visuellement l’humain par le robot cible.
Conserver la tâche tout en changeant de corps
Une vidéo humaine ne fournit pas directement les commandes d’un bras robotique. Les articulations, la géométrie des doigts, la caméra et les prises possibles diffèrent. Une simple superposition 3D peut aussi créer un écart important entre l’image produite et les actions réellement exécutables.
RoboTryOn sélectionne donc des images clés, les traduit de manière autorégressive et s’appuie sur le squelette de la main humaine pour guider la génération de la séquence. Une image de référence indique quelle incarnation robotique doit apparaître. Le système cherche à maintenir la position des objets et la progression de la tâche d’une image à l’autre.
Une seconde étape utilise un modèle de dynamique inverse enrichi de données de profondeur. Il estime les actions susceptibles d’expliquer les transitions observées dans la vidéo synthétique. Ces couples images-actions servent ensuite à entraîner une politique de contrôle.
De 2 % à 60 % de réussite moyenne
Les auteurs ont évalué la méthode sur plusieurs incarnations humanoïdes et sur des tâches comprenant de la manipulation à deux mains. Ils annoncent une progression moyenne de 58 points, de 2 % à 60 %, pour des tâches nouvelles sans démonstration réelle spécifique. Les politiques entraînées avec les données synthétiques atteignent également, selon l’étude, une performance comparable à celles reposant uniquement sur la téléopération, pour environ un tiers du coût de collecte.
Le chiffre de 60 % reste toutefois une moyenne expérimentale, pas une garantie de fiabilité. Une vidéo cohérente peut encore représenter une prise physiquement impossible, ignorer la force nécessaire ou déplacer légèrement un objet. Une erreur au moment du contact suffit à faire échouer l’action réelle.
Une piste pour élargir les jeux de données
La téléopération demeure coûteuse parce qu’elle mobilise la machine, son opérateur et un environnement instrumenté. Les vidéos humaines sont beaucoup plus faciles à produire. Si leur conversion conserve correctement la géométrie et l’intention, elles peuvent diversifier les tâches vues pendant l’entraînement.
Notre analyse
RoboTryOn ne supprime pas la validation sur robot ; il déplace une partie de la collecte vers un support plus abondant. L’intérêt est particulièrement fort pour les comportements rares ou les configurations difficiles à répéter. Le prochain test décisif sera la robustesse hors laboratoire : objets inconnus, éclairage variable, erreurs de perception et différences mécaniques entre plateformes.
Sources : article scientifique et page officielle du projet RoboTryOn.
