Google DeepMind affirme avoir appris à l’humanoïde Apollo d’Apptronik à lancer des sacs de cornhole à partir d’une simple vidéo humaine. Gemini 4 Argon a reconstruit la scène, généré une simulation physique et calculé les mouvements du robot. Lors de l’essai réel présenté le 13 octobre, Apollo a réussi sept lancers consécutifs.
De la vidéo humaine au mouvement du robot
La démonstration suit une chaîne que Google décrit comme « Video-to-Sim-to-Real ». Le modèle observe d’abord une séquence brute d’une personne jouant au cornhole. Il repère les coordonnées spatiales, estime la trajectoire nécessaire et produit le code d’une simulation. Ce travail sert ensuite à préparer les mouvements complets du corps d’Apollo avant leur transfert sur la machine.
Selon Google, cette méthode ramène à quelques heures une phase de modélisation qui peut demander plusieurs semaines de travail manuel. Le résultat reste une démonstration interne et ciblée, pas la preuve qu’Apollo pourrait apprendre n’importe quelle tâche sans adaptation. Il montre toutefois comment un modèle généraliste peut intervenir plus en amont de la programmation robotique, entre l’observation visuelle et la génération d’un environnement d’entraînement.
Un modèle généraliste appliqué à plusieurs étages de la robotique
Le billet technique de Google élargit le propos au-delà de ce lancer. Argon est présenté comme un modèle de raisonnement physique capable d’aider au contrôle, à la reconstruction « réel vers simulation », à l’annotation de données et à l’amélioration itérative d’actions. L’entreprise cite aussi des essais avec Spot de Boston Dynamics, un bras robotique et des mains dexterous dans MuJoCo.
Sur le benchmark ERQA, consacré au raisonnement physique et spatial en trois dimensions, Google annonce un score de 87 %. Ce chiffre est fourni par l’éditeur du modèle et devra être confronté à des évaluations indépendantes. Le cas Apollo apporte néanmoins une mesure concrète : sept tirs réussis à la suite après création automatique de la simulation.
Ce que cette démonstration change pour les équipes robotiques
La programmation d’une nouvelle tâche ne se limite pas au geste final. Il faut construire la scène virtuelle, régler les contraintes physiques, produire une trajectoire stable puis vérifier le transfert vers le matériel. Automatiser une partie de cette chaîne pourrait réduire le coût de prototypage et permettre de tester davantage de variantes avant de mobiliser un robot réel.
Le point décisif sera la robustesse hors démonstration. Un atelier présente des changements de lumière, de position, d’objets et de sécurité bien plus nombreux qu’un jeu cadré. Les développeurs devront aussi contrôler le code généré, les limites articulaires et la stabilité du robot. Argon ne supprime donc pas l’ingénierie de validation, mais cherche à accélérer la construction des premières solutions.
Notre analyse
L’intérêt de l’essai tient moins au cornhole qu’au passage automatisé entre trois représentations : vidéo, simulation et corps physique. Si cette chaîne se généralise, les vidéos de démonstration pourraient devenir une source de scénarios d’entraînement plus directement exploitable. Pour Apptronik, l’expérience donne aussi à Apollo un rôle de plateforme d’évaluation pour des modèles qui n’ont pas été conçus uniquement comme politiques robotiques.
