Isaac 0.5 réunit perception et contrôle pour les robots industriels

Présentation du modèle robotique ouvert Isaac 0.5 de Perceptron
Isaac 0.5 associe compréhension vidéo, raisonnement spatial et génération d’actions robotiques.

La start-up américaine Perceptron a dévoilé Isaac 0.5, un modèle ouvert conçu pour réunir compréhension vidéo, raisonnement spatial et commande de robots. Son architecture sparse totalise 36 milliards de paramètres et peut produire aussi bien du texte que des coordonnées, un état de tâche ou des actions robotiques.

Le modèle a été entraîné sur plus de 35 systèmes robotiques, 100 000 heures d’expérience robotique et un million d’heures de vidéo générale, selon sa fiche technique. Perceptron publie le code, les outils d’évaluation, une intégration avec LeRobot et les interfaces nécessaires pour adapter Isaac à une nouvelle machine. Les poids sont annoncés, mais leur page indique encore « coming soon » au moment de la publication.

Un seul modèle pour percevoir et agir

Les robots industriels combinent généralement plusieurs briques : perception, localisation, planification et contrôleur de mouvement. Isaac 0.5 cherche à partager un même socle entre ces fonctions. Il accepte des images, de la vidéo, des instructions en langage naturel, l’état du robot et ses actions précédentes.

Pour la commande continue, un expert dédié génère des séquences d’actions pendant que le robot exécute encore la séquence précédente. Cette boucle fermée doit permettre d’intégrer rapidement une nouvelle observation, par exemple lorsqu’un objet glisse pendant une manipulation. Le modèle propose aussi une interface discrète fondée sur un vocabulaire de 2 048 jetons d’action.

Perceptron met particulièrement en avant l’apprentissage à partir de vidéos sans commandes robotiques. Le système apprend à prédire des changements utiles pour une tâche : déplacement d’un objet, contact, maintien d’une prise ou progression d’une opération. Cette représentation est ensuite reliée aux trajectoires de robots.

Réduire le besoin de téléopération

La collecte sur robot réel est l’une des ressources les plus coûteuses du secteur. Les essais de Perceptron suggèrent qu’un volume important de vidéo générale peut réduire le nombre d’heures de téléopération nécessaires pour atteindre une perte donnée. Pour une cible fixée par l’entreprise, passer de 1 000 à un million d’heures de vidéo ferait tomber le besoin estimé de 5 900 à 28 heures de téléopération.

Ce résultat doit être interprété avec prudence. Il mesure une perte de prédiction sur des trajectoires conservées pour le test, pas la réussite garantie d’un robot dans toutes les usines. La société publie néanmoins ses courbes, ses tâches d’évaluation et son rapport technique, ce qui permettra aux laboratoires de confronter ces affirmations à leurs propres matériels.

Un outil destiné aux entrepôts et aux usines

Perceptron vise la fabrication, la logistique, les entrepôts, la sécurité et la mobilité. Un intégrateur peut ajuster Isaac comme politique robotique complète ou n’utiliser que ses sorties visuelles dans un planificateur existant. Cette modularité est importante dans l’industrie, où remplacer toute la chaîne logicielle d’un coup serait risqué.

Isaac 0.5 ne constitue pas à lui seul un déploiement industriel. Sa valeur dépendra de la disponibilité effective des poids, des besoins matériels en inférence et des performances sur des tâches longues, avec des erreurs et des changements d’environnement. La publication d’un socle ouvert et reproductible offre toutefois un nouveau point de comparaison pour les équipes qui cherchent à relier les modèles vidéo au contrôle de robots réels.

Sources : fiche officielle d’Isaac 0.5, TechCrunch.

Le briefing RoboActu

L’essentiel de la robotique, une fois par semaine.

Une sélection courte des annonces, usages et robots à suivre.

Continuer sur ce sujet

Comparer les robots