LeRobot intègre NAT VLA pour piloter des robots sans pause entre deux prédictions

Schéma officiel du modèle NAT VLA intégré au projet open source LeRobot
NAT VLA rejoint LeRobot avec un modèle de 450 millions de paramètres et un tokenizer d’actions. Image : Ahad Jawaid.

Le projet open source LeRobot vient d’intégrer NAT VLA, un modèle vision-langage-action de 450 millions de paramètres conçu pour transformer une consigne, des images et l’état d’un robot en commandes motrices. La nouveauté tient surtout à la manière dont ces commandes sont produites : le robot peut commencer à agir avant que toute la séquence ait été calculée.

Le code et la documentation ont été ajoutés le 21 novembre. Le modèle s’appuie sur LFM2-VL-450M et sur un tokenizer d’actions NAT. Son checkpoint préentraîné est disponible sur Hugging Face, tandis que l’implémentation est désormais accessible dans LeRobot sous la politique nat_vla.

Des actions diffusées par blocs

NAT VLA prédit des séquences de 32 étapes. Pour un robot comportant jusqu’à sept dimensions d’action, ces étapes sont représentées par 14 tokens. Les premiers tokens suffisent déjà à décoder les premières actions : quatre tokens pour huit étapes, sept pour seize et onze pour vingt-quatre.

Cette organisation permet au contrôleur d’envoyer les premiers mouvements pendant que le modèle calcule la suite. LeRobot décrit aussi un mécanisme de « token-prefix real-time chunking ». La fin d’un bloc en cours est réinjectée au début du bloc suivant. L’objectif est d’éviter une pause entre deux prédictions et un saut brutal dans la trajectoire.

Le mécanisme fonctionne en mode synchrone, asynchrone ou avec un serveur d’inférence distant. La documentation fournit notamment une commande de déploiement sur un bras SO-100, avec une caméra et une consigne telle que « ramasser le cube ».

https://x.com/ahadj0/status/2124196354004001011
Une démonstration de NAT VLA manipulant les éléments d’un sapin de Noël. Vidéo : Ahad Jawaid.

Un modèle à adapter au robot cible

Le checkpoint compte 477 millions de paramètres entraînés, auxquels s’ajoute un tokenizer NAT gelé de 63 millions de paramètres. Il a été préentraîné pendant 95 315 étapes sur un mélange de données provenant notamment de DROID, Bridge, RT-1, BC-Z, de bras Franka, de systèmes bimanipulateurs YAM et des SO-100 ou SO-101.

Ce n’est donc pas un contrôleur universel prêt à brancher sur n’importe quelle machine. Le modèle doit être affiné sur les données, les caméras et le mode de commande du robot visé. LeRobot indique qu’un entraînement de référence sur LIBERO utilise 50 000 étapes avec un lot de 64. Sur une carte de 24 Go, l’accumulation de gradients permet de réduire la taille du lot au prix d’un plus grand nombre d’itérations.

Pourquoi cette intégration compte

Les modèles VLA cherchent à réunir perception visuelle, compréhension d’une instruction et commande physique. Leur déploiement bute toutefois sur la latence : une bonne prédiction perd de sa valeur si le robot reste immobile en attendant le bloc suivant.

NAT VLA propose une réponse logicielle précise à ce problème. L’intégration dans LeRobot la rend testable avec les outils de collecte, d’entraînement, d’évaluation et de déploiement déjà utilisés par la communauté. Le code est sous licence Apache 2.0. Les poids, dérivés de LFM2-VL, restent soumis à la licence LFM Open v1.0, avec une limite spécifique pour l’usage commercial par les organisations dépassant 10 millions de dollars de chiffre d’affaires annuel.

Le briefing RoboActu

L’essentiel de la robotique, une fois par semaine.

Une sélection courte des annonces, usages et robots à suivre.

Continuer sur ce sujet

Comparer les robots