Robbyant, la branche robotique d’Ant Group, ouvre LingBot-Touch, un modèle conçu pour transformer des signaux tactiles très différents en une représentation commune utilisable par plusieurs mains robotiques. Le projet publie son code d’inférence et deux jeux de poids sous licence Apache 2.0.
Près de 5 000 heures de données tactiles
LingBot-Touch a été préentraîné sur près de 5 000 heures d’enregistrements provenant de gants et de mains robotisées. Le corpus réunit trois familles de capteurs : magnétique, piézorésistive et visuotactile. Ces technologies ne produisent ni les mêmes valeurs ni les mêmes géométries, ce qui complique habituellement le transfert d’une politique d’un matériel à un autre.
Le modèle utilise des convertisseurs propres à chaque modalité, puis un Transformer tactile partagé. Une interface géométrique ramène les points de mesure dans un espace commun. Chaque jeton conserve son instant, son doigt et sa position, tout en intégrant le contexte des autres zones de contact.
Transférer le toucher entre deux mains
Les auteurs mettent en avant la capacité du modèle à réutiliser une représentation apprise sur un type de capteur avec une autre main, sans nouvel entraînement de l’encodeur. Le dépôt fournit des exemples pour la main Sharpa Wave, équipée de capteurs visuotactiles, et pour XHand, qui utilise des mesures magnétiques.
Deux variantes sont disponibles, Tiny et Small. Les poids sont distribués sur Hugging Face et ModelScope, tandis que le dépôt GitHub contient le code, les interfaces de données et 120 fichiers d’exemple. L’environnement de référence s’appuie sur Python 3.12 et PyTorch 2.11.
Le modèle ne commande pas directement le robot. Il produit des caractéristiques tactiles que le développeur doit ensuite relier à une politique de manipulation. Robbyant recommande un mécanisme d’attention pour interroger l’ensemble des jetons plutôt qu’une simple moyenne, car chaque représentation contient déjà des informations venues d’autres doigts et d’autres instants.
Pourquoi un toucher commun intéresse la robotique
La vision suffit pour localiser un objet, mais elle renseigne mal sur une fermeture éclair qui résiste, un câble qui glisse ou une prise qui commence à basculer. Le toucher peut signaler ces changements avant qu’ils soient visibles. Un encodeur commun permettrait de réutiliser plus facilement les données collectées avec un gant, puis de les exploiter sur plusieurs mains robotisées.
Le projet montre aussi une limite importante : un format de tenseur compatible ne garantit pas que les capteurs sont alignés. La calibration géométrique, l’ordre des points et les axes de mesure doivent rester vérifiés pour chaque matériel. Les gains annoncés devront également être reproduits hors des plateformes fournies dans le dépôt.
Une brique ouverte pour la manipulation fine
LingBot-Touch complète les modèles LingBot de perception et d’action de Robbyant. Son intérêt immédiat réside moins dans une nouvelle main que dans une couche logicielle commune entre capteurs. Si les transferts se confirment, elle pourrait réduire la quantité de données tactiles à recollecter pour chaque nouveau robot.
Aucune vidéo officielle propre au lancement n’a été trouvée. La page du projet présente toutefois l’architecture, les jeux de données et les liens vers les poids ouverts.
