Une équipe de Robbyant et de l’Université des sciences et technologies de Hong Kong présente Zero-WAM, un modèle destiné à apprendre à un robot une tâche de manipulation inédite à partir d’une simple démonstration vidéo humaine. La version révisée de l’étude, publiée le 27 août, décrit des essais en simulation et sur un système robotique réel.
La vidéo humaine devient une consigne pour le robot
Les politiques robotiques classiques reçoivent généralement une instruction textuelle ou sont entraînées sur de nombreuses trajectoires propres à une tâche. Zero-WAM ajoute une autre forme de consigne : une vidéo montrant une personne en train d’exécuter l’action attendue. Le modèle doit alors identifier l’objet concerné, comprendre l’ordre des gestes et produire les commandes du robot sans nouvel ajustement de ses paramètres.
Cette approche vise notamment les situations où une phrase reste ambiguë. Une vidéo peut préciser quel objet saisir parmi plusieurs éléments semblables, comment manipuler un objet inconnu ou dans quel ordre mener une opération longue. Le système combine pour cela un modèle vidéo causal et un modèle d’action, conditionnés soit par le langage, soit par la démonstration visuelle.
74 200 paires humain-robot pour 8 600 tâches
Pour constituer les données d’entraînement, les chercheurs ont développé HumanGen. Cette chaîne transforme des trajectoires robotiques existantes en vidéos humaines sémantiquement alignées. Le jeu obtenu rassemble 74 200 paires humain-robot couvrant 8 600 tâches. Une méthode dite de prédiction de séquences futures oblige également le modèle à tenir compte de la vidéo, au lieu de se reposer uniquement sur l’historique du robot ou sur le texte.
Dans RoboTwin 2.0, Zero-WAM a été évalué sur sept tâches de manipulation absentes de l’entraînement. L’étude annonce un taux de réussite moyen de 47 %, soit 29,5 points de mieux que le meilleur modèle vidéo-action utilisé comme référence. Les démonstrations physiques montrent aussi des manipulations à plusieurs objets, des séquences longues et des insertions fines guidées par des vidéos humaines.
Une généralisation prometteuse, encore expérimentale
Le résultat ne signifie pas qu’un robot peut reproduire n’importe quelle vidéo. Les essais réels restent menés sur des familles de tâches préparées et dans des environnements maîtrisés. Le taux de 47 % concerne la simulation, et les résultats sont rapportés par les auteurs sans validation indépendante à ce stade. Le dépôt prévoit par ailleurs une ouverture progressive du code, des données et des modèles.
L’intérêt industriel tient surtout à l’interface. Si elle se confirme, une démonstration filmée pourrait raccourcir la programmation de petites séries, d’opérations logistiques ou de gestes difficiles à décrire précisément. Zero-WAM déplace ainsi une partie de l’apprentissage vers un format naturel pour les opérateurs, tout en laissant intactes les questions de fiabilité, de sécurité et d’adaptation à des ateliers réellement variables.
La page officielle du projet réunit l’article scientifique, les vidéos de démonstration et le calendrier de publication des artefacts.
