ROBOTIS a publié une démonstration de manipulation dans laquelle son bras OMY choisit et saisit des objets grâce à GraspNet, puis utilise Gemini pour les identifier ou retrouver une cible décrite en langage naturel. Le constructeur fournit aussi le code et la procédure permettant de reproduire cette chaîne sous ROS 2.
Présenté le 28 août par l’équipe open source de ROBOTIS, le système combine trois briques. Une caméra RGB-D produit d’abord une image et un nuage de points. GraspNet génère ensuite des prises possibles à six degrés de liberté. Enfin, Gemini intervient soit après la saisie pour classer l’objet, soit avant le mouvement pour localiser une cible demandée, par exemple une balle de tennis ou le manche d’un marteau.
Une chaîne de manipulation en deux modes
Dans le premier mode, le robot sélectionne la prise jugée la plus sûre, saisit l’objet et envoie à Gemini un recadrage de l’image centré sur la zone manipulée. La réponse du modèle sert à orienter l’objet vers un emplacement défini par l’utilisateur. Des images de référence peuvent être ajoutées pour améliorer la classification d’une catégorie particulière.
Le second mode part d’une consigne textuelle. Gemini cherche la cible dans l’image complète, puis le système retient parmi les prises de GraspNet celle qui se trouve le plus près de la position repérée. Cette séparation est importante : le modèle de langage visuel ne commande pas directement les moteurs. Il fournit une information sémantique, tandis que la sélection de prise et le contrôle du mouvement restent confiés à des composants spécialisés.
Des garde-fous avant chaque mouvement
Avant l’exécution, les prises candidates sont filtrées selon la largeur de la pince, la distance à la table, l’accessibilité et l’angle d’approche. Les coordonnées issues de la caméra sont ensuite transformées dans le repère de la base du robot. Cyclo Control envoie alors les mouvements successifs : approche, fermeture de la pince, levage, déplacement vers la zone de dépôt puis retour à la position initiale.
La documentation prévoit aussi un mode sans Gemini. Dans ce cas, OMY choisit simplement la meilleure prise calculée par GraspNet et dépose l’objet à un emplacement fixe. Cette possibilité permet de comparer la manipulation géométrique classique avec l’apport de la compréhension visuelle et du langage.
Un exemple reproductible sous ROS 2
ROBOTIS publie les paquets nécessaires dans une branche dédiée de son dépôt Open Manipulator. L’inférence GraspNet et les appels à Gemini s’exécutent sur un ordinateur utilisateur équipé pour CUDA, tandis que le bras conserve son démarrage habituel. Les commandes sont transmises par ROS 2 et Zenoh, avec un contrôleur MoveL pour les trajectoires cartésiennes.
Cette démonstration ne constitue pas encore un déploiement industriel ni une mesure indépendante de fiabilité. Elle montre toutefois une architecture concrète et inspectable pour associer perception 3D, modèle visuel et contrôle déterministe. Pour les intégrateurs, l’intérêt tient moins à une performance annoncée qu’à la possibilité de tester, modifier et reproduire chaque étape sur un robot réel.
Sources : documentation et vidéo officielles ROBOTIS, annonce publiée sur Open Robotics Discourse.
