AIRSEAI publie la version 2.0 de sa plateforme de recherche en robotique à deux bras. Le projet réunit simulation, téléopération, données tactiles et entraînement de politiques dans une même chaîne open source.
L’annonce a été faite le 19 octobre, en parallèle d’une mise à jour du dépôt officiel. AIRSEAI 2.0 s’appuie sur deux bras OpenArm et quatre doigts dotés de capteurs tactiles visuels. L’objectif est de pouvoir enregistrer les mêmes types de données dans Isaac Sim et sur le robot réel, puis de mesurer précisément l’écart entre les deux environnements.
Neuf tâches pour tester la manipulation à deux bras
Le dépôt propose neuf scènes. Certaines sollicitent surtout la coordination, comme empiler deux cubes, dévisser un bouchon ou transmettre un objet d’un bras à l’autre. D’autres sont conçues pour mettre le toucher au premier plan. Le robot doit par exemple insérer une tige dans un trou sans s’appuyer sur la vision, ou trier deux balles selon leur texture dans l’obscurité.
Trois tâches évaluent aussi la maîtrise des objets mobiles ou fragiles : transporter une boîte de pièces sans en renverser le contenu, accrocher une tasse par son anse et déplacer un plateau portant trois verres. Chaque scène dispose d’un expert scripté chargé de produire des démonstrations. Les trajectoires réussies peuvent ensuite être converties au format LeRobot v3 et utilisées pour entraîner une politique.
- La variante
visionconserve les caméras et l’état du robot. - La variante
tacffajoute des représentations du champ de forces. - La variante
tacrgbintègre les images tactiles en couleur.
Un banc d’essai partagé entre simulation et robot réel
La configuration matérielle documentée comprend quatre bras OpenArm, deux meneurs et deux suiveurs, avec sept degrés de liberté par bras. Une caméra RealSense D435 observe la scène, tandis que deux D405 sont installées aux poignets. Quatre capteurs DM-Tac équipent les doigts des pinces. Ils produisent des images tactiles ainsi que des estimations de profondeur, de cisaillement, de déformation et d’effort.
La collecte réelle repose sur une téléopération meneur-suiveur. Côté simulation, les scènes tournent avec Isaac Sim 5.1 et Isaac Lab. Le pipeline couvre l’installation, la prévisualisation, la collecte, la conversion des données, l’entraînement et l’évaluation. Le modèle ACT sert de base initiale, mais l’architecture prévoit d’autres politiques compatibles avec l’écosystème LeRobot.
Une ouverture utile, mais encore sans résultats comparatifs
Le code est publié sous licence Apache 2.0. Le dépôt AIRSEAI 2.0 contient les scènes, les scripts et la documentation nécessaires pour reproduire la chaîne. Il détaille aussi les dépendances, notamment Ubuntu 22.04, Python 3.11, PyTorch 2.7 et LeRobot 0.5.1.
Le projet ne fournit toutefois pas encore de score global permettant de comparer les performances avec d’autres bancs d’essai. La téléopération par clavier ou casque VR apparaît également comme une fonction à compléter. AIRSEAI présente donc aujourd’hui surtout une infrastructure de recherche reproductible, et non une politique robotique prête à être déployée.
Pourquoi le toucher compte pour les robots
La vision suffit rarement lorsque les objets s’occluent, se déforment ou doivent être ajustés avec peu de jeu. Un capteur tactile peut signaler qu’une tige bute contre le bord d’un trou, qu’un objet glisse ou qu’une pince exerce trop de force. En reliant ces signaux aux mêmes clés de données dans le simulateur et sur la machine, AIRSEAI cherche à faciliter les expériences sur le transfert du virtuel vers le réel.
L’intérêt du projet dépendra désormais de la qualité des jeux de données publiés, des taux de réussite obtenus sur les neuf tâches et de la participation de nouveaux laboratoires. Son périmètre est néanmoins clair : donner aux équipes un point de départ commun pour étudier la manipulation bimanuelle avec vision et toucher.
