NVIDIA ouvre Flora, une suite de modèles conçue pour transformer des vidéos humaines et robotiques en données utilisables pour entraîner et évaluer des robots. Le système produit des légendes horodatées, des récompenses et des diagnostics d’échec.
Développé par le laboratoire GEAR de NVIDIA, Flora est déjà utilisé dans le moteur de données interne qui alimente les modèles GR00T. L’entreprise publie les poids sur Hugging Face, avec un premier modèle de 27 milliards de paramètres consacré à l’annotation de vidéos.
Une même chaîne pour les gestes humains et robotiques
Flora découpe une séquence en actions décrites dans le temps. Il peut aussi estimer la réussite d’une tâche, repérer une mauvaise action et expliquer une cause d’échec. Ces signaux servent à filtrer des corpus, équilibrer les données d’entraînement ou alimenter l’apprentissage par renforcement.
L’enjeu est concret. Les modèles de robotique générale ont besoin de nombreuses démonstrations, mais les vidéos brutes ne précisent pas toujours quand commence une action, si elle a réussi ni pourquoi elle s’est interrompue. Une annotation automatique réduit le travail humain nécessaire avant l’entraînement.
200 000 heures de vidéo annotées par jour
La page de recherche officielle indique que le système traite 200 000 heures de données par jour sur 512 GPU GB300. NVIDIA estime son coût environ 125 fois inférieur à celui d’une annotation équivalente par GPT-6 Astra via API.
Ces chiffres proviennent de l’entreprise et devront être reproduits hors de son infrastructure. Ils donnent néanmoins une idée de l’échelle recherchée : faire passer l’annotation robotique d’un travail artisanal à une chaîne industrielle, capable d’absorber à la fois des démonstrations de robots et des vidéos humaines.
Des résultats variables selon les tâches
NVIDIA publie des mesures sur WGO-Bench, RoboReward et Robometer. Flora obtient des résultats de premier plan sur plusieurs métriques de légendage et de récompense, mais ne domine pas tous les modèles propriétaires. GPT-6 Astra reste devant sur certaines évaluations, notamment la qualité de certains points de légende.
Le point fort revendiqué est donc moins une victoire absolue sur chaque test qu’un compromis entre qualité, coût, ouverture et débit. Les poids ouverts permettent aussi aux laboratoires d’adapter le système à leurs propres robots, objets et vocabulaires métier.
Notre analyse
Flora ne commande pas directement un robot. Il intervient en amont, là où se construit la matière première des modèles vision-langage-action. Cette couche est stratégique : des annotations imprécises peuvent propager des erreurs dans toute la chaîne d’apprentissage.
L’ouverture des poids facilitera les comparaisons avec des annotateurs humains et d’autres modèles. Les tests les plus utiles porteront sur des vidéos longues, des échecs rares et des changements de matériel. C’est dans ces situations que la promesse d’un moteur de données général devra être démontrée.
Sources : NVIDIA GEAR, collection officielle sur Hugging Face et annonce de Jim Fan.
