Scale AI et Hugging Face publient FineART, un jeu de données ouvert conçu pour apprendre aux robots à décomposer des tâches longues en actions plus simples. La collection rassemble 40 543 démonstrations téléopérées, 1 718 heures d’enregistrement, 151 tâches et 533 913 annotations de sous-tâches.
Les données sont disponibles sur Hugging Face dans l’écosystème LeRobot. Selon Trossen Robotics, toutes les séquences ont été enregistrées sur sa plateforme Stationary AI. Scale AI accompagne le jeu de données d’un modèle ouvert qui associe une phase de raisonnement sur les étapes à une politique d’action robotique.
Des démonstrations découpées étape par étape
Une consigne comme ranger plusieurs objets peut cacher une longue suite d’opérations : repérer la cible, l’atteindre, la saisir, déplacer le bras, vérifier la position, puis déposer l’objet. Les politiques robotiques apprennent souvent à partir de trajectoires complètes, sans description explicite de ces transitions. FineART ajoute des libellés humains au niveau des sous-tâches afin de rendre cette structure visible pendant l’entraînement et l’évaluation.
Le volume annoncé dépasse 40 000 épisodes pour 151 tâches. Trossen cite notamment une séquence dans laquelle un robot place six bougeoirs sur une étagère. Le constructeur indique aussi que les démonstrations utilisent toutes le même matériel Stationary AI, un choix qui réduit les variations mécaniques dans le corpus mais limite la diversité des plateformes représentées.
Un modèle ouvert à deux niveaux
Scale AI décrit le modèle associé comme une architecture « System 1-System 2 ». Dans cette approche, un composant raisonne sur la progression de la tâche et les étapes à accomplir, tandis qu’un autre produit les commandes nécessaires à l’action. L’enjeu est d’éviter qu’un robot poursuive mécaniquement une trajectoire lorsqu’une étape intermédiaire a échoué.
L’ouverture du corpus permet aux laboratoires de reproduire les expériences, de tester d’autres politiques et de mesurer la capacité de transfert vers de nouvelles tâches. Elle ne supprime pas le décalage entre démonstration et déploiement : éclairage, objets, caméras, préhenseurs et tolérances mécaniques peuvent modifier fortement les résultats sur une autre installation.
Notre analyse
FineART apporte surtout une granularité rare à grande échelle. Les 533 913 libellés décrivent le déroulement des tâches plutôt que leur seul résultat final. Cette information peut faciliter le diagnostic d’un échec et l’entraînement de politiques capables de reprendre à une étape précise. La portée réelle du projet dépendra maintenant des évaluations indépendantes, de la qualité des annotations et du transfert vers d’autres robots.
Le partenariat réunit trois maillons complémentaires : Scale AI pour l’annotation et le modèle, Hugging Face pour la diffusion ouverte et LeRobot, et Trossen Robotics pour le matériel de collecte. Pour la communauté, l’intérêt immédiat est concret : les données peuvent être téléchargées, inspectées et comparées à d’autres corpus sans dépendre d’une plateforme fermée.
Sources : présentation officielle de FineART, jeu de données sur Hugging Face et annonce de Scale AI.
