Dans un entrepôt de San Leandro, en Californie, Andrew Ceja retire lentement des blocs d’une tour de Jenga. Il porte un casque de capture EEG : ses ondes cérébrales sont enregistrées en temps réel pendant l’exercice. Ceja est un « pilote » chez Encord, une entreprise spécialisée dans les outils de données pour les modèles d’IA. Son employeur mise sur une idée audacieuse : les signaux cérébraux humains peuvent améliorer les modèles qui font tourner les robots physiques.
Un problème de données que personne n’a encore résolu
Vineeth Velmurugan, responsable du robot learning chez Encord, vient du labo robotique d’OpenAI et de Berkshire Grey, spécialiste de l’automatisation en entrepôt. Il pose le problème clairement : « Les données n’existent tout simplement pas. » Pour entraîner les prochains modèles d’IA physique, il faudrait un corpus de vidéos cinq fois supérieur à celui de YouTube. A cette échelle, la collecte de données devient un marché à part entière, pas seulement un problème de recherche.
Les entreprises de robotique se tournent actuellement vers deux grandes sources : les vidéos « egocentriques » captées par des opérateurs portant des caméras sur la tête, et les simulations en environnement synthétique. Encord a décidé d’aller plus loin en ajoutant une troisième couche : les états mentaux de l’opérateur humain.
L’EEG comme métadonnée pour les modèles robotiques
Le partenaire technologique est Zander Labs, une startup allemande de neurosciences. Ses casques EEG mesurent les états mentaux de l’opérateur en temps réel : erreur, intention, surprise. Ces métadonnées s’ajoutent aux vidéos de démonstration habituellement collectées.
Lukas Gehrke, neuroscientifique chez Zander qui supervise les travaux, donne l’intuition centrale : l’intensité de l’activité cérébrale pendant une tâche révèle les moments où le robot doit mobiliser ses ressources de traitement les plus lourdes. Si l’humain se concentre davantage, c’est que la situation est complexe. Le modèle peut en tirer des informations que la seule vidéo ne fournit pas.
L’expérience avec Encord est encore exploratoire. L’objectif : constituer un premier jeu de données tagué avec les ondes cérébrales, le soumettre à des modèles robotiques de clients, et évaluer si cela améliore réellement les performances. Si oui, le projet pourra passer à plus grande échelle.
Pourquoi la donnée de robot est si difficile à obtenir
Encord a été fondée pour aider les équipes d’IA à annoter et évaluer leurs données. Quand ses clients, principalement des entreprises de robotique, ont commencé à passer à l’apprentissage de bout en bout, l’équipe a réalisé qu’il fallait produire les données elles-mêmes plutôt que de simplement les gérer.
La difficulté centrale des robots physiques est bien connue dans le secteur : contrairement aux modèles de langage, on ne peut pas entraîner un robot humanoïde sur le contenu d’Internet. Il faut des données de manipulation réelle, dans des environnements réels, avec des variations suffisantes pour que le modèle généralise. Encord travaille avec plusieurs des entreprises de robotique les plus avancées du secteur, sans pouvoir les nommer publiquement.
Les capteurs EEG représentent le front le plus avancé de cette quête de données. Un pari risqué, mais qui pourrait changer la façon dont les robots apprennent à interagir avec le monde physique.
