Une nouvelle politique robotique baptisée FACT combine vidéo, suivi des mouvements et forces tactiles pour apprendre des manipulations fines à partir de gestes humains. Présenté le 28 octobre par une équipe de l’Université du Michigan, de Stanford et de Microsoft Research, le système dépasse deux méthodes de référence sur dix tâches réelles, avec un gain pouvant atteindre 60 points de réussite face à T-Rex.
Le projet s’appuie sur EgoForce, un jeu de données d’environ 2 000 heures. Les chercheurs ont enregistré près de 40 000 séquences couvrant 1 000 tâches, 120 environnements et 1 000 participants. Trois caméras placées du point de vue de l’opérateur captent les gestes, tandis que des gants tactiles mesurent les forces exercées par les mains.
La force complète ce que montre la vidéo
Une vidéo permet d’observer où se déplacent les doigts, mais elle ne révèle pas directement l’effort nécessaire pour ouvrir un bouchon, tendre un lacet ou stabiliser un objet fragile. FACT cherche à combler cette information manquante. Son planificateur grossier prédit les prochaines images, les trajectoires visuelles et les actions. Un second module affine ensuite le geste en prédisant conjointement la force future et la commande du robot.
Cette organisation associe vision, état du robot, toucher et consigne en langage naturel. L’objectif est de transférer l’expérience humaine vers une autre morphologie sans supposer que la main du robot reproduit exactement celle de la personne. Les forces servent à distinguer des mouvements visuellement proches qui produisent pourtant des contacts très différents.
Dix démonstrations robot suffisent pour l’adaptation
Pour chaque tâche, l’équipe a affiné le modèle avec seulement dix démonstrations réalisées par le robot et 90 démonstrations humaines. Les essais couvrent notamment le pipetage, l’usage d’outils, des instruments de musique, l’ouverture de bouchons, le laçage et le mélange de cartes.
Les ablations publiées montrent le rôle de la supervision tactile. Sans les forces humaines lors du préentraînement, le taux de réussite tombe de 80 % à 0 % pour l’ouverture d’un bouchon de tube, de 50 % à 10 % pour un bouchon à clapet et de 20 % à 0 % pour le laçage. Avec le même nombre de démonstrations robot, ajouter 90 séquences humaines fait passer le laçage de 10 % à 20 % et le mélange de cartes de 10 % à 30 %.
Une preuve de recherche, pas encore un produit
FACT reste un prototype de laboratoire. Le code et les données sont annoncés mais pas encore disponibles sur la page du projet. Les résultats portent sur dix tâches contrôlées et ne démontrent ni la robustesse sur une chaîne industrielle, ni la sécurité au contact de personnes, ni la capacité à généraliser sans nouvel ajustement.
Notre analyse
L’intérêt du travail tient moins à un nouveau record qu’à la méthode de collecte. La vidéo humaine est abondante, mais elle ignore la physique du contact. En ajoutant une mesure de force, EgoForce fournit au robot une indication sur l’intention du geste et sur sa réussite mécanique. Si l’approche se confirme sur davantage de matériels, elle pourrait réduire la quantité de téléopération robot nécessaire pour apprendre des tâches où quelques millimètres ou quelques newtons font la différence.
Sources : article scientifique FACT ; site officiel et démonstrations ; présentation par l’équipe.
