Sharpa Robotics a publié SharpaDex v1.0, un jeu de données consacré à la manipulation bimanuelle réelle. L’ensemble réunit 28 993 démonstrations, environ 300 heures d’enregistrements et 59 tâches réalisées par un système robotique à deux bras et deux mains tactiles.
Disponible sur Hugging Face sous licence CC BY-NC 4.0, SharpaDex cible l’apprentissage par imitation, le contrôle visuomoteur et les modèles associant vision, langage et action. Le dépôt est proposé dans les formats LeRobot v3.0 et v2.1 afin de faciliter son utilisation dans les chaînes de recherche existantes.
Des gestes réels, synchronisés à 30 images par seconde
La plateforme de collecte associe deux bras à sept degrés de liberté, deux mains à 22 degrés de liberté, quatre caméras RGB et des capteurs tactiles au bout des dix doigts. Chaque épisode synchronise les positions et couples articulaires, les commandes, les poses des effecteurs, les mesures tactiles, les vidéos et des annotations textuelles.
Le corpus totalise 32 396 172 images enregistrées à 30 images par seconde. Il comprend six flux vidéo synchronisés : deux vues de tête, deux vues de poignet, une visualisation de la déformation tactile et une vue tactile brute. Sharpa recense aussi 224 087 segments de langage alignés dans le temps et 45 étiquettes de compétences.
De l’assemblage au linge
Les 59 tâches dépassent le simple déplacement de cubes. Le catalogue comprend l’insertion de piles et de prises, l’assemblage d’engrenages, l’utilisation d’un marteau, le pliage d’une serviette, le repassage d’un vêtement, la pose d’un sac dans une poubelle, le rangement d’ustensiles ou encore le transfert de liquides et de comprimés.
La présence de contacts, de matières déformables et de séquences longues est importante. Ces situations sont précisément celles où une politique entraînée seulement sur l’image rencontre des ambiguïtés : une main peut sembler correctement placée alors que la pression est insuffisante, qu’un objet glisse ou qu’une insertion force.
Un corpus volumineux, pas un résultat de modèle
Sharpa présente SharpaDex comme le plus grand jeu public de ce type. Le volume est notable, mais il ne doit pas être confondu avec une preuve de performance. Le dépôt ne démontre pas à lui seul qu’un modèle entraîné sur ces données généralisera à une autre main, un autre bras ou une autre caméra.
La licence interdit par ailleurs l’usage commercial sans accord supplémentaire. Les chercheurs devront aussi contrôler les doublons entre les exports v2.1 et v3.0 : ils représentent les mêmes démonstrations et ne doivent pas être additionnés.
Notre analyse
L’intérêt de SharpaDex tient à la combinaison de trois signaux rarement réunis à cette échelle : la vision, la dynamique articulaire et le toucher. Cette synchronisation peut aider à étudier la reprise après erreur et la détection du contact, deux limites majeures des robots de manipulation. Les comparaisons futures devront publier des séparations d’entraînement rigoureuses par tâche et par objet pour éviter de surestimer la généralisation.
Sources : dépôt officiel SharpaDex, métadonnées Hugging Face et Another Daily AI Newsletter.
