ROBOTIS a comparé trois méthodes d’apprentissage pour faire séparer et empiler des gobelets en papier par son robot bimanuelle AI Worker. Le meilleur système, ViTacFormer, atteint 40 % de réussite en prédisant l’évolution des pressions mesurées au bout des doigts, contre 0 % pour une politique fondée uniquement sur les caméras et la position des articulations.
Le test paraît simple, mais deux gobelets emboîtés présentent presque la même image qu’un seul. Le robot doit serrer assez pour faire glisser celui du dessus, sans écraser le papier ni entraîner le second. La vision seule renseigne mal sur cette force de contact.
Des mains tactiles dans un problème à 54 degrés de liberté
AI Worker utilise deux mains HX5-D20 de 20 degrés de liberté chacune. Chaque bout de doigt intègre une matrice de pression. Avec les deux bras et les mains, la politique pilote un espace d’action total de 54 degrés de liberté, ce qui multiplie les décisions à coordonner pendant la manipulation.
ROBOTIS a entraîné et évalué les trois modèles sur la même tâche. La base ACT, alimentée par les images RGB et les états articulaires, n’a réussi aucun essai. Selon l’équipe, le robot renversait les gobelets ou ne parvenait pas à les séparer.
Une seconde version ajoutant directement les pressions tactiles à ACT atteint 10 %. La préhension devient plus stable, mais le robot soulève encore souvent les deux gobelets en même temps. Ajouter un capteur ne suffit donc pas si le modèle ne sait pas exploiter la dynamique du contact.
ViTacFormer anticipe la pression future
ViTacFormer fonctionne en deux étapes. Le modèle prédit d’abord les futurs états tactiles à partir de l’historique visuel, proprioceptif et tactile. Le décodeur d’actions s’appuie ensuite sur ces états prévus pour commander le mouvement. Cette anticipation aide la main à ajuster son effort pendant que le gobelet commence à glisser.
Le taux de 40 % reste insuffisant pour une application industrielle sans supervision. Il montre néanmoins un écart net avec les deux références testées. Le résultat est particulièrement intéressant pour les objets souples, les câbles, les textiles ou l’alimentaire, où la forme visible donne peu d’informations sur la qualité du contact.
Notre analyse : mesurer le progrès sans masquer ses limites
La démonstration apporte des chiffres et met le code ainsi que la documentation technique à disposition, ce qui permet d’examiner l’architecture. Elle ne précise toutefois pas dans l’annonce le nombre total d’essais, les intervalles de confiance ni la capacité du modèle à généraliser vers d’autres objets.
La prochaine étape sera de vérifier si la prédiction tactile conserve son avantage sur davantage de tâches et avec des perturbations non vues pendant l’entraînement. À ce stade, le gain de 0 à 40 % établit surtout que le toucher doit être traité comme une séquence à anticiper, et pas comme une simple donnée supplémentaire.
Voir la comparaison vidéo publiée par ROBOTIS.
Sources : documentation technique ROBOTIS et présentation sur Open Robotics Discourse.
