PokeBot ouvre RoboAPI, une interface en préversion technique qui permet d’envoyer des instructions en langage naturel à des bras robots compatibles sans collecter de nouvelles données ni réentraîner un modèle pour chaque tâche. Le service repose sur Poke-Aurora, présenté comme le premier « modèle monde-action » de l’entreprise.
L’API reçoit les observations visuelles et l’état du robot, puis prédit presque en temps réel la prochaine séquence d’actions. Elle est proposée gratuitement pendant la préversion, dans un cadre non commercial. PokeBot veut ainsi déplacer l’évaluation de son modèle hors de ses propres démonstrations et vers les laboratoires des développeurs.
Une caméra au poignet et le contrôle de la pose
RoboAPI ne fonctionne pas avec n’importe quelle installation telle quelle. PokeBot demande une configuration inspirée d’UMI, avec une caméra fisheye montée au poignet et un contrôle par pose de l’effecteur. Le bras doit aussi disposer d’une résolution correcte de la cinématique inverse.
L’entreprise explique avoir choisi cette approche pour réduire les différences entre les architectures mécaniques, les capteurs et les commandes des robots. Lors de ses essais, le passage d’une caméra Insta360 Ace Pro2 à une DJI Action 6 aurait eu peu d’effet. Poke-Aurora aurait également été transféré d’un bras UR7e vers une plateforme YAM Standard qui n’avait pas servi à l’entraînement.
Ces affirmations restent celles de PokeBot. Aucun rapport technique complet n’est encore publié pour détailler le protocole, les taux de réussite ou les écarts entre les plateformes. L’accès public à l’API doit permettre de confronter ces résultats à des environnements et à des objets moins contrôlés.
Près de 10 000 instructions dans l’évaluation interne
Pour entraîner et mesurer Poke-Aurora, l’équipe dit avoir construit une évaluation portant sur près de 1 000 objets manipulables et presque 10 000 instructions. Les tâches couvrent le déplacement et le rangement, l’alignement de formes et de poses, ainsi que l’utilisation d’objets dans l’environnement.
Le modèle combine la prédiction de futures observations visuelles avec celle des actions du robot. PokeBot introduit un mécanisme baptisé Modulated Residual Coupling, censé mieux aligner l’apprentissage du monde visuel et celui de la commande. Les détails doivent être publiés ultérieurement dans un rapport consacré à Poke-Aurora.
Une préversion qui impose encore des garde-fous
PokeBot prévient qu’une caméra unique peut être masquée par l’objet saisi et que les instructions longues restent difficiles. L’entreprise recommande de découper les tâches en étapes courtes, de définir une zone de sécurité et d’utiliser un bras doté d’un contrôle compliant. Une barrière logicielle doit refuser les demandes susceptibles de blesser une personne ou d’endommager l’environnement.
Notre analyse
L’intérêt de RoboAPI tient moins à une nouvelle démonstration qu’à son ouverture. Les modèles robotiques généralistes restent difficiles à comparer, car chaque équipe utilise ses propres bras, caméras et tâches. Une interface accessible peut élargir rapidement le nombre d’essais, mais elle transfère aussi une part de la validation aux utilisateurs.
La limite sera la compatibilité matérielle réelle. Une caméra au poignet et une bonne cinématique inverse simplifient l’intégration, sans effacer les différences de latence, de sécurité et de précision entre robots. Les premiers retours externes devront donc distinguer les réussites ponctuelles d’une généralisation robuste.
Sources : PokeBot ; annonce officielle sur X.
