RoboColosseum veut comparer les modèles de robotique sur plus de 100 machines réellement installées dans des environnements variés. Cette initiative portée notamment par l’Université nationale de Singapour, Hugging Face et plusieurs partenaires publie les essais réussis comme les échecs, avec 10 000 heures d’évaluation gratuites promises aux laboratoires.
Des tests physiques distribués
Les modèles généralistes de robotique sont souvent évalués dans un seul laboratoire ou en simulation. RoboColosseum relie au contraire des opérateurs, des scènes et plusieurs types de robots. Le réseau comprend des bras SO-101, des bras Franka, des stations bimanipulatrices YAM et des humanoïdes Unitree G1.
Deux protocoles sont proposés. Dans l’Open Track, deux modèles anonymisés reçoivent la même instruction dans la même scène. L’évaluateur choisit la meilleure exécution ou déclare une égalité. Dans le Fine-tune Track, chaque modèle dispose des mêmes 100 démonstrations pour une tâche, puis effectue 25 tentatives.
Les vidéos et données de chaque essai sont publiées sur Hugging Face au format LeRobot, y compris lorsque le robot échoue. Le dispositif couvre déjà plus de 140 scènes réelles. Les équipes peuvent connecter leur propre serveur d’inférence ou confier un point de contrôle à un ordinateur placé près du robot.
5 699 comparaisons et des limites visibles
La première étude porte sur cinq politiques vision-langage-action et trois agents d’intelligence artificielle, testés sur quatre plateformes. Les chercheurs ont réalisé 5 699 comparaisons par paires sur 124 sites pour l’Open Track. Le Fine-tune Track couvre 20 tâches avec le même budget de démonstrations.
Les classements changent fortement selon le robot. Après adaptation, GR00T N1.7 arrive en tête sur SO-101, tandis que pi0.5 domine sur Franka et YAM. L’accord entre les classements des différentes plateformes reste faible, avec un coefficient de concordance de Kendall de 0,24.
Le résultat le plus parlant concerne l’humanoïde G1. Aucun modèle n’a terminé les cinq tâches retenues. La mesure de progression partielle distingue néanmoins les systèmes, avec des scores moyens compris entre 13,3 % et 23,2 %. Un simple taux de réussite aurait masqué ces écarts.
Rendre les démonstrations plus comparables
RoboColosseum ne supprime pas les variations du monde réel. La lumière, le placement des objets, l’usure du matériel et les réglages locaux continuent d’influencer les résultats. Le projet cherche plutôt à documenter ces conditions et à accumuler assez d’essais pour stabiliser les comparaisons.
Cette approche répond à une faiblesse du secteur : une vidéo réussie ne renseigne ni sur le taux d’échec, ni sur la répétabilité. En publiant chaque tentative, le benchmark permet d’examiner les erreurs et de comparer la généralisation entre morphologies.
Les équipes académiques peuvent demander une part des 10 000 heures gratuites. La valeur scientifique dépendra du maintien des protocoles, de la diversité des scènes et de l’indépendance des évaluateurs. Mais le lancement fournit déjà une base physique plus large que les démonstrations choisies par les fabricants.
Sources : article scientifique RoboColosseum, site du projet et données sur Hugging Face.
