Un pipeline commun pour toute la chaîne robotique
Entraîner un robot humanoïde demande aujourd’hui des ressources considérables : des jeux de données massifs, des modèles fondationnels coûteux, des environnements de simulation disparates et des outils de déploiement rarement compatibles entre eux. NVIDIA et Hugging Face viennent de s’attaquer frontalement à ce problème en intégrant les outils phares de NVIDIA directement dans LeRobot, la bibliothèque open source de Hugging Face dédiée à la robotique.
Concrètement, deux ressources sont désormais disponibles dans LeRobot. D’abord, Isaac GR00T 1.7, présenté comme le premier modèle fondationnel de robot ouvert et commercialement viable : il permet aux développeurs d’adapter et de déployer un modèle VLA (vision-langage-action) pour humanoïdes directement dans leurs flux de travail LeRobot. Ensuite, Isaac Teleop, un cadre open source de collecte de données robotiques qui standardise les démonstrations humaines en formats interopérables, facilitant la constitution et le partage de jeux de données à l’échelle communautaire.
Cosmos 3 dans le viseur
La troisième brique, Cosmos 3, est annoncée pour bientôt. Ce modèle de fondation mondial pour l’IA physique doit permettre de générer et d’augmenter des données robotiques, de simuler des scénarios et de soutenir le développement de politiques de contrôle là où les données réelles sont trop rares ou trop onéreuses à collecter.
Thomas Wolf, cofondateur et directeur scientifique de Hugging Face, résume l’ambition : « L’open source, c’est la façon dont un domaine transforme la recherche avancée en quelque chose que les gens peuvent étudier, adapter et construire. Avec Isaac GR00T 1.7 et Isaac TeleOp dans LeRobot, les développeurs robotiques peuvent utiliser des modèles, des données et des flux de travail partagés pour entraîner et évaluer des robots de manière ouverte. »
Des millions de développeurs réunis
L’enjeu de cette intégration est d’abord une question d’échelle. NVIDIA compte 3 millions de développeurs robotiques dans son écosystème ; Hugging Face en réunit 16 millions côté IA. En connectant ces deux communautés autour d’une bibliothèque commune, les deux entreprises espèrent reproduire dans la robotique la dynamique qui a fait la force de l’IA générative open source ces dernières années.
Les intégrations s’appuient également sur des ressources déjà présentes dans LeRobot : un jeu de données physiques open source de plus de 350 000 trajectoires réelles et simulées, 57 millions de saisies, ainsi que les simulateurs Isaac Sim et Isaac Lab pour configurer des environnements et valider des comportements avant de passer au robot réel. La plateforme prend aussi en charge Jetson Thor de NVIDIA avec le robot humanoïde open source Reachy 2, permettant de déployer des modèles VLA sur du matériel accessible.
Résultat : un développeur peut désormais aller de la collecte de données à l’évaluation d’un robot physique sans changer d’écosystème, et partager l’ensemble de sa chaîne de travail avec la communauté. C’est précisément le modèle qui a propulsé l’IA générative, et que les deux géants tentent de transposer à la robotique humanoïde.
