Natura-1 apprend la dextérité robotique sur un million d’heures de vidéo humaine

Une main robotique pilotée par Natura-1 manipule des objets lors d’une démonstration
Nature Will présente Natura-1 sur des tâches de manipulation réalisées avec une main robotique à 20 degrés de liberté.

Nature Will présente Natura-1, un modèle de 50 milliards de paramètres destiné à piloter des mains robotiques à 20 degrés de liberté. L’entreprise affirme l’avoir préentraîné sur plus d’un million d’heures de vidéos humaines en vue subjective, avant une adaptation sur une quantité limitée de données issues de robots.

Le modèle reçoit des images et des instructions en langage naturel, puis produit des actions dans une boucle de contrôle inférieure à 100 millisecondes. Les démonstrations publiées le 13 octobre montrent notamment la manipulation d’objets déformables, l’usage d’un pinceau et des séquences comprenant plusieurs outils.

Apprendre les gestes dans les vidéos humaines

Le choix de Nature Will répond à une limite connue de la robotique : les données collectées sur des machines restent coûteuses et dépendent des capacités qu’elles possèdent déjà. Les vidéos humaines offrent un volume bien supérieur et montrent des gestes réalisés dans des environnements variés.

L’entreprise indique avoir construit une chaîne de traitement couvrant des dizaines de pétaoctets. Elle déduplique les séquences, détecte les anomalies et reconstruit des poses de mains en trois dimensions à partir de vidéos monoculaires ou stéréo. Les activités sont ensuite annotées, de l’objectif général jusqu’aux étapes élémentaires.

Natura-1 repose sur une architecture à mélange d’experts, ou MoE. Dans une même séquence, le modèle traite langage, images, vidéo et actions. Nature Will entraîne conjointement la prédiction de la vidéo future et celle des commandes robotiques, avec l’idée que l’évolution visuelle d’une scène et le mouvement de la main décrivent deux aspects d’un même état physique.

https://x.com/naturewill/status/2109858475333570565
Nature Will a publié une démonstration officielle de Natura-1 sur des tâches de manipulation.

Des gains mesurés, mais encore internes

En faisant passer le volume d’entraînement d’environ 44 000 à un million d’heures, l’équipe annonce une baisse de 47,7 % de l’erreur quadratique moyenne sur des données humaines tenues à l’écart de l’entraînement. Sur un jeu de validation issu de vrais robots, la baisse atteindrait 67,7 %, sans entraînement supplémentaire pour cette évaluation.

Ces chiffres constituent un signal intéressant, mais ils proviennent du laboratoire et utilisent une évaluation en « teacher forcing », où chaque prédiction est conditionnée par l’observation passée correcte. Ils ne suffisent pas à établir la robustesse du système lors d’un déploiement prolongé, face à des erreurs qui peuvent s’accumuler.

La dextérité comme test de l’IA physique

Les mains robotisées concentrent plusieurs difficultés : nombreux axes de mouvement, contacts changeants, objets fragiles et marge d’erreur réduite. Beaucoup de systèmes généralistes utilisent donc des pinces simples, tandis que les mains articulées restent souvent limitées à une tâche soigneusement entraînée.

Natura-1 cherche à combiner généralisation et dextérité. Selon Nature Will, le modèle suit sans exemple préalable des consignes comprenant des relations spatiales ou des conditions négatives, puis peut être spécialisé pour des workflows autonomes plus longs. Les vidéos restent toutefois des démonstrations sélectionnées par l’entreprise ; aucun benchmark indépendant ni accès public au modèle n’est annoncé.

La prochaine étape sera de vérifier le transfert vers d’autres mains, d’autres capteurs et des environnements moins contrôlés. La stabilité mécanique, la qualité du retour tactile et le coût de calcul compteront autant que la taille du modèle. Le lancement montre néanmoins une stratégie claire : utiliser l’expérience humaine à très grande échelle pour réduire la dépendance aux données robotiques rares.

Sources : billet technique officiel de Nature Will et annonce et démonstration officielles sur X.

Le briefing RoboActu

L’essentiel de la robotique, une fois par semaine.

Une sélection courte des annonces, usages et robots à suivre.

Continuer sur ce sujet

Comparer les robots