RoboDojo évalue les bras robots sur 54 tâches dans Isaac Lab

Deux bras robots évalués dans le benchmark RoboDojo sous Isaac Lab
RoboDojo mesure les politiques de manipulation sur 54 tâches avec un robot ARX X5 à deux bras.

RoboDojo devient disponible dans NVIDIA Isaac Lab-Arena pour évaluer des politiques de manipulation robotique sur 54 tâches. L’intégration reproduit les scènes, les objets et les annotations du benchmark avec un robot à deux bras ARX X5, afin de comparer les modèles dans un environnement commun avant leur passage sur le matériel réel.

NVIDIA Robotics a annoncé cette disponibilité le 6 novembre. Le dépôt couvre 42 tâches de base et 12 variantes aléatoires. Le protocole complet représente 2 100 épisodes, avec des budgets différents selon la complexité de chaque exercice.

https://x.com/NVIDIARobotics/status/2118751657169187110
Démonstration officielle de RoboDojo dans NVIDIA Isaac Lab-Arena.

Des manipulations qui dépassent la simple préhension

Les exercices incluent l’insertion précise, le pliage, l’utilisation d’outils et des séquences composées de plusieurs étapes. Ces tâches sollicitent les deux bras, la perception depuis la tête et les poignets, ainsi que la capacité du modèle à maintenir un plan d’action dans le temps.

L’intégration fournit un adaptateur pour la politique π0.5. Le modèle reçoit les images RGB de la tête et des poignets avec l’état des 14 articulations des bras. Les chercheurs peuvent ainsi exécuter un contrôle de bout en bout avec les mêmes observations et les mêmes règles de réussite pour chaque essai.

Les scènes conservent les dispositions et les modèles d’objets officiels de RoboDojo. Les variantes aléatoires servent à vérifier qu’une politique ne mémorise pas une seule configuration. Un modèle robuste doit continuer à agir lorsque la position d’un objet ou l’agencement de la table change.

Une procédure lourde mais traçable

Le dépôt officiel impose Isaac Sim 5.1, Python 3.11 et un GPU NVIDIA compatible. Le sous-ensemble d’actifs nécessaire représente environ 38,4 Gio. Des scripts vérifient les dépendances, les sommes de contrôle, les scènes et les résultats avant de lancer une campagne complète.

L’évaluation peut fonctionner sur plusieurs environnements et plusieurs GPU. Chaque tâche produit des fichiers de résultats, les chemins des scènes et les empreintes des actifs utilisés. Cette traçabilité facilite la comparaison entre laboratoires et limite les écarts liés à une configuration locale mal documentée.

Réduire l’écart entre démonstration et mesure

Les vidéos de manipulation montrent souvent un essai réussi, mais elles renseignent peu sur la fréquence des échecs. RoboDojo impose au contraire des dizaines d’épisodes par tâche. Il devient possible de mesurer la régularité d’une politique, sa sensibilité aux variations et les catégories d’actions qui restent fragiles.

La simulation ne remplace pas un test physique. Les contacts, les déformations et les erreurs de calibration diffèrent encore du monde réel. Elle permet toutefois d’éliminer plus tôt les modèles instables et de réserver le temps sur robot aux politiques les plus prometteuses. L’enjeu sera désormais de relier ces scores simulés aux performances du même système sur un ARX X5 réel.

Le briefing RoboActu

L’essentiel de la robotique, une fois par semaine.

Une sélection courte des annonces, usages et robots à suivre.

Continuer sur ce sujet

Comparer les robots