NVIDIA a présenté GR00T 2, un modèle ouvert destiné à apprendre des gestes de manipulation à plusieurs types de robots avec très peu de démonstrations. Dévoilé le 9 novembre à la conférence CoRL d’Austin, il est déjà testé par Foxconn, Siemens, Nexuni et MicroAGI.
Le modèle s’appuie sur NVIDIA Cosmos et sur un mélange de données humaines et robotiques, dont 100 000 heures de vidéos égocentriques ouvertes. L’objectif est de faire circuler une compétence d’un corps robotique à un autre sans devoir recommencer toute la collecte sur chaque machine.
De 71 % à 95 % de réussite selon le nombre de démonstrations
Selon les évaluations communiquées par NVIDIA, GR00T 2 a réussi au moins une fois 40 des 50 tâches testées sans démonstration propre à ces tâches. Avec un seul exemple, son taux moyen de réussite atteint 71 %. Cinq démonstrations le portent à 95 %.
Ces chiffres restent ceux du constructeur et devront être reproduits sur des équipements et des protocoles indépendants. Ils donnent néanmoins une mesure précise de la promesse : réduire la quantité de données robotiques coûteuses à produire, tout en conservant la possibilité d’adapter le modèle à un nouveau bras, une nouvelle main ou un autre environnement.
Des essais dans l’usine, la blanchisserie et les câbles réseau
Foxconn applique le modèle à l’automatisation de la fabrication de serveurs. Siemens l’évalue sur plusieurs scénarios industriels. Nexuni teste la manipulation de linge, tandis que MicroAGI l’a adapté par apprentissage par renforcement au remplacement de câbles Ethernet avec un bras YAM.
GR00T 2 expose aussi une interface permettant à des agents logiciels d’enchaîner des compétences et de tenter une reprise après erreur. Cette couche est importante pour les tâches longues : la réussite d’un geste isolé ne suffit pas si le robot ne sait pas détecter qu’une étape a échoué.
Un ensemble plus large pour entraîner et évaluer les robots
NVIDIA accompagne le modèle d’Isaac Lab 3.0, qui peut désormais basculer entre les moteurs physiques PhysX et Newton. Ce dernier simule notamment des objets déformables comme les câbles et les tissus. L’entreprise annonce jusqu’à 2,5 fois plus de débit d’entraînement qu’Isaac Lab 2.3 avec PhysX sur un banc de manipulation dextre.
Deux nouveaux bancs d’essai, DexBench et VABAR, ciblent par ailleurs des tâches de commerce, de logistique, de production et d’hôtellerie. Le point déterminant sera la tenue des performances hors laboratoire : diversité des objets, variations de lumière, usure du matériel et capacité à récupérer après un échec. L’ouverture du modèle et des outils donne désormais aux laboratoires les moyens de confronter les résultats annoncés à ces conditions.
