Robbyant, l’unité d’IA incarnée d’Ant Group, publie LingBot-VA 2.0. Ce n’est pas une mise à jour de ses modèles précédents : c’est une architecture conçue depuis zéro pour le contrôle physique des robots, acceptée à la conférence RSS 2026 (Robotics: Science and Systems).
Le problème de fond : des architectures héritées du cinéma numérique
Presque tous les modèles vidéo-action existants s’appuient sur deux composants initialement construits pour créer du contenu numérique. D’un côté, un encodeur VAE (variational autoencoder) optimisé pour la reconstruction d’images. De l’autre, un backbone de diffusion vidéo bidirectionnel, auquel on ajoute un module d’action en bout de chaîne.
Ce choix crée plusieurs limitations concrètes. Les représentations latentes préservent bien l’apparence visuelle, mais contiennent peu d’informations sur la physique. La dénoisation itérative sur des séquences de jetons vidéo est trop lente pour fermer une boucle de contrôle en temps réel. Et les objectifs d’entraînement génériques sur la vidéo n’enseignent jamais comment une action modifie le monde.
LingBot-VA 1.0 avait déjà partiellement corrigé ce dernier point en affinant cette architecture. La version 2.0 va plus loin : elle préentraîne un transformer causal nativement, sans partir d’un modèle vidéo généraliste.
Deux innovations majeures
La première est un tokenizer sémantico-visuel-action. Il remplace l’encodeur de reconstruction classique par un système à triple objectif : reconstruction d’image, alignement sémantique avec un modèle de perception gelé, et extraction de variables d’action latentes entre deux frames consécutives. Concrètement, états du monde et actions partagent le même espace latent. Les vidéos non labellisées du web deviennent ainsi une source de supervision implicite sur les actions, même sans annotation humaine.
La deuxième est un transformer de diffusion causal (causal DiT) avec un sparse Mixture-of-Experts. L’architecture hérite du layout Mixture-of-Transformers de la version 1.0 : un expert vidéo et un expert action partagent la même attention causale, mais chacun dispose de sa propre couche feed-forward. L’expert vidéo utilise un MoE épars avec 128 spécialistes routés (top-8 sélectionnés à chaque token). Résultat : beaucoup de paramètres, peu de calcul actif par token.
Pourquoi « causal » change tout
Les backbones bidirectionnels regardent dans les deux sens du temps pour chaque token. C’est utile pour comprendre une vidéo après coup. Mais un robot ne contrôle pas le futur pour décider du présent. Le contrôle se déroule strictement de manière causale, token après token, vers l’avant. Former l’ensemble du stack de cette façon dès le préentraînement aligne l’architecture sur la réalité du déploiement.
Cette propriété permet aussi d’utiliser la vidéo non labellisée comme données d’entraînement : si le modèle prédit le prochain état en sachant l’action qu’il a prise, n’importe quelle séquence vidéo contient une supervision implicite sur les dynamiques du monde réel.
Troisième modèle en quatre jours
Robbyant publie LingBot-VA 2.0 quelques jours après LingBot-VLA 2.0 (modèle polyvalent ouvert, compatible 20 plateformes) et LingBot-World 2.0 (modèle de simulation pour entraîner des robots sans quitter l’usine virtuelle). Ces trois publications sont complémentaires : l’une pour simuler, l’autre pour apprendre à partir de données multi-tâches, et celle-ci pour le contrôle vidéo-action de bas niveau.
Le code et le paper sont disponibles sur GitHub (github.com/Robbyant/lingbot-va) et arXiv (2607.08639). Aucune date de déploiement commercial n’est communiquée pour l’instant.
