STMicroelectronics présente cette semaine quatre démonstrations de « Physical AI » à Embedded World North America, dont deux directement consacrées à la robotique. Le fabricant franco-italien combine des capteurs réels avec les outils de simulation NVIDIA Isaac Sim et Isaac Lab pour améliorer la stabilité d’une main robotique et la marche d’un humanoïde virtuel.
L’annonce, publiée le 22 septembre, illustre une approche concrète du passage entre simulation et machine physique. Au lieu de modéliser un capteur idéal, ST reproduit dans le simulateur ses défauts réels, comme le bruit, le biais et la dérive. Les politiques de contrôle peuvent ainsi être entraînées dans des conditions plus proches de celles qu’elles rencontreront sur un robot.
Une main robotique confrontée aux défauts des capteurs
La première démonstration s’appuie sur les centrales inertielles LSM6DSV16X et ASM330LHHX de ST. Leur modèle Sim2Real injecte dans Isaac Lab les comportements mesurés sur le matériel. Selon l’entreprise, cette étape permet de concevoir une politique capable de stabiliser plus efficacement la main robotique, tout en réduisant le temps de développement nécessaire avant les essais physiques.
L’intérêt dépasse la seule précision du mouvement. Un contrôleur entraîné avec des données trop propres peut échouer lorsqu’il reçoit les mesures imparfaites d’un accéléromètre ou d’un gyroscope réel. La simulation des écarts de mesure aide à révéler ces fragilités plus tôt, avant l’intégration dans un prototype coûteux.
ST ne publie toutefois ni taux de réussite comparatif ni mesure chiffrée de la stabilité obtenue. La présentation reste donc une démonstration d’ingénierie, pas encore la validation d’un produit robotique complet.
Des données réelles pour corriger la marche d’un humanoïde
Le second cas place une centrale inertielle ASM330LHHX dans un Holoscan Sensor Bridge installé sur le torse d’un robot. Les mesures sont transmises par Ethernet à une plateforme NVIDIA Jetson Thor, puis exploitées dans Isaac Sim afin de corriger la démarche et l’équilibre d’un humanoïde virtuel soumis à des perturbations.
Cette architecture associe le matériel dans la boucle à la simulation. Le système de contrôle reçoit rapidement des données issues d’un capteur réel, tandis que le comportement du robot reste testé dans un environnement virtuel. Pour les équipes de développement, cette configuration peut multiplier les essais sans exposer immédiatement un humanoïde physique aux chutes.
Les deux autres démonstrations concernent la vision embarquée. ST montre une caméra arrière exécutant des algorithmes d’apprentissage automatique en périphérie, ainsi qu’un module Leopard Imaging LI-ASTRO-VB1940-VCL-DTOF. Celui-ci réunit un LiDAR 3D VL53L9, deux capteurs d’image VB1940 et une centrale inertielle LSM6DSV16X, avec une liaison Ethernet à 10 Gbit/s vers une plateforme Jetson.
Réduire l’écart entre simulation et robot réel
Le sujet central est le « sim-to-real », l’écart qui apparaît lorsqu’une politique entraînée en simulation doit piloter une machine soumise aux vibrations, aux délais de communication et aux imprécisions de ses composants. ST cherche ici à rendre ses capteurs disponibles comme modèles dans l’écosystème NVIDIA, puis à connecter leurs équivalents physiques par Holoscan Sensor Bridge.
La démarche prolonge une collaboration annoncée en mars autour d’un module de perception conçu avec Leopard Imaging. ST participe aussi à NVIDIA Halos, un ensemble consacré à la sécurité fonctionnelle des robots et des systèmes d’IA physique.
Notre analyse
La valeur de ces démonstrations tient moins à un nouveau robot qu’à la chaîne d’outils proposée aux intégrateurs. Une simulation qui reproduit les limites du capteur peut éviter qu’un algorithme paraisse robuste dans un monde virtuel trop parfait. L’usage d’un pont Ethernet entre capteurs, calcul embarqué et simulateur facilite aussi les essais avec du matériel dans la boucle.
Il reste à mesurer le gain sur des robots physiques et dans des scénarios répétés. Les informations publiées ne permettent pas encore de comparer le temps d’entraînement, la stabilité ou le taux d’échec avec une méthode classique. Elles montrent néanmoins comment fabricants de composants et plateformes de simulation tentent de raccourcir le chemin entre un modèle de contrôle et une machine exploitable.
Source : STMicroelectronics.
