Ai2 publie ToyBlocks, un environnement ouvert pour entraîner des modèles de manipulation et comprendre précisément pourquoi ils échouent. Le système associe un bras robotique, des blocs, un simulateur contrôlé et des essais sur un robot physique.
Ce premier « FoundationWorld » a été présenté le 6 novembre. L’Allen Institute for AI veut offrir aux chercheurs un banc d’essai reproductible : les données d’entraînement, les propriétés physiques et les scénarios peuvent être modifiés séparément, puis comparés sur des tâches conservées hors entraînement.
Un monde réduit pour isoler les erreurs
ToyBlocks place un bras au-dessus d’une table où il doit pousser, retourner, saisir et empiler des cubes. Les faces portent des lettres ou des images. Le robot doit parfois manipuler un bloc pour révéler une face cachée avant de choisir une action.
Le cadre génère automatiquement des tâches et des démonstrations, sans téléopération humaine. L’entraînement des mouvements courts s’appuie sur Isaac Lab. Un planificateur enchaîne ensuite les compétences et exécute des centaines de plans en parallèle sur un GPU, jusqu’à 24 fois la vitesse du temps réel selon Ai2.
La première livraison réunit 85 336 démonstrations longues, soit près de 1 600 heures d’exécution et 144 millions d’images. Le code, les actifs de simulation, les jeux de données, deux modèles entraînés et les outils d’évaluation sont publiés.
Des performances proches sur le vrai robot
Ai2 ne limite pas l’évaluation au simulateur. Les chercheurs ont transféré sans nouvel entraînement ManiFlow et une architecture associant Molmo 2 à ManiFlow vers un bras Franka FR3 équipé d’une pince Robotiq.
Les compétences élémentaires de ManiFlow réussissent 80 % des essais simulés et 81,1 % des essais physiques. Pour les tâches plus longues d’empilement de trois blocs, le système atteint 55,5 % en simulation, contre 50 % sur le robot réel. L’échantillon physique ne compte que 30 épisodes, ce qui impose de rester prudent.
Les modèles raisonnent, mais voient encore mal
Dans une expérience, un agent devait retrouver des lettres puis construire un mot de trois caractères. Il a réussi ou correctement déclaré la tâche impossible dans 63 % des cas. Les erreurs venaient souvent de lettres confondues ou mal orientées.
Un autre test montre qu’un agent capable d’expérimenter sur ses outils peut améliorer ses descriptions de compétences. Le taux de réussite passe de 24 % avec les descriptions initiales à 63 %, contre 36 % avec celles rédigées par un expert humain.
Un outil pour comparer les méthodes
Le principal intérêt de ToyBlocks n’est pas la difficulté spectaculaire de ses démonstrations. Son environnement restreint permet de mesurer l’effet d’un type de données, d’un changement de géométrie ou d’une nouvelle politique sans modifier tout le système à la fois.
Ai2 prévoit d’ajouter davantage de données, l’entraînement par renforcement intégré, la manipulation à deux bras et des mains dotées de capteurs tactiles. Ces extensions devront conserver l’avantage central du projet : relier chaque résultat à des conditions reproductibles et vérifier ensuite si les conclusions résistent au passage sur un robot réel.
Sources : Ai2, dépôt ToyBlocks et RuntimeWire.
