Noitom Robotics présente ITW-Ego Plus, un système destiné à enregistrer des gestes humains dans des environnements ordinaires afin d’entraîner des robots. La solution associe une vidéo à la première personne aux mouvements du corps, puis peut ajouter des vues externes, la pression des mains ou le son.
L’entreprise dévoilera la plateforme lors de la conférence CoRL 2026, organisée à Austin du 9 au 12 novembre. Le matériel repose sur Sol, un casque de capture égocentrique, et Jupiter, un ensemble de petits capteurs portés sur le corps. Noitom veut éviter les combinaisons de capture intégrales et les salles équipées de nombreuses caméras.
Relier ce que voit l’humain à la manière dont il bouge
Une vidéo filmée depuis la tête montre les objets et la tâche, mais décrit mal la posture, les appuis ou la trajectoire des bras. ITW-Ego Plus synchronise ces informations. L’option Body ajoute les mouvements du corps, Wrist filme depuis le poignet, Exo fournit une vue externe, Touch enregistre la pression des mains et Sound capte l’environnement sonore.
L’objectif est de produire des données directement exploitables par des modèles d’intelligence physique. Noitom ne cherche donc pas seulement à accumuler des heures de vidéo. L’entreprise veut structurer chaque séquence pour relier perception, contact et mouvement, puis transférer ces gestes vers différents robots.
Cette approche s’appuie sur HiPHI, un corpus de mouvements humains et d’interactions avec des objets. Le papier principal annonce 617,5 heures de capture. La méthode Unified Motion Retargeting a été validée par l’équipe sur cinq humanoïdes mesurant de 75 cm à 1,83 m, selon le communiqué.
Trois travaux présentés à CoRL
Noitom accompagne le lancement de trois articles scientifiques. HiPHI étudie la couverture des gestes et leur transfert vers des robots réels. OmniContact utilise les contacts pour enchaîner des compétences sur des tâches longues. AdaPT s’intéresse à des styles de tennis professionnels reproduits par des humanoïdes à partir de vidéos de compétition.
L’entreprise publie également HiPHI-Hand sur Hugging Face. Cet ensemble comprend onze heures de vidéo égocentrique synchronisée avec une vérité terrain 3D des mains obtenue par marqueurs. NVIDIA a utilisé cette capture comme l’une des sources réelles pour entraîner EgoHand, son modèle de reconstruction des mains en trois dimensions.
Notre analyse
La collecte de données devient une infrastructure à part entière pour la robotique. Les démonstrations enregistrées en laboratoire sont précises, mais elles couvrent mal la diversité des logements, ateliers et objets. À l’inverse, les vidéos ordinaires sont abondantes, mais trop peu structurées pour commander directement une machine.
ITW-Ego Plus tente de combler cet écart avec un équipement portable. Son intérêt dépendra de la précision des capteurs, de la synchronisation entre les modalités et de la qualité du transfert vers des morphologies robotiques différentes. Les jeux de données ouverts permettront aux laboratoires de vérifier une partie des résultats, tandis que les corpus complets resteront proposés sous licence commerciale.
Sources : communiqué de Noitom Robotics ; site officiel de Noitom Robotics.
