VLA : quand les machines arrêtent de regarder et commencent à agir

Un robot reçoit une instruction : "range la bouteille à gauche du bol". Il n'a pas été entraîné sur cette configuration précise. Il n'est pas connecté à un serveur distant. Il regarde la scène, comprend la consigne, et exécute.

Ce qui paraissait être une utopie il y a encore quelques années est désormais une réalité, et c'est ce que font les VLA. Pour comprendre pourquoi c'est une rupture, il faut d'abord comprendre ce qui existait avant.

Un peu de contexte : vision, langage, et leurs limites

Pendant des années, la computer vision avait un rôle borné : percevoir. Détecter un objet, segmenter une image, classifier une scène. Le résultat était une information, à charge d'un autre système de décider quoi en faire.

Les Vision Language Models (VLM) ont changé ça. Un VLM couple un encodeur visuel (qui transforme une image en vecteurs) à un encodeur textuel (qui transforme du texte en vecteurs), et aligne les deux dans un espace commun. Le résultat : un modèle qui peut répondre à des questions sur une image, décrire une scène, classifier sans classes prédéfinies, extraire des informations de documents scannés. C'est une rupture réelle. Mais elle a une limite structurelle.

La sortie d'un VLM, c'est du texte. Des tokens. Un VLM peut te dire "le verre est renversé sur la table". Il ne le redresse pas. Il peut décrire la trajectoire optimale d'un bras robotique. Il ne l'exécute pas. Entre la compréhension multimodale et l'action dans le monde physique, il manque quelque chose.

Le gap : pourquoi comprendre n'est pas agir

Le problème n'est pas trivial. Une action physique (déplacer un objet, orienter un bras, ajuster une prise) ce n'est pas du texte. C'est une séquence de commandes motrices : des angles articulaires, des vecteurs de force, des trajectoires dans l'espace.

Un VLM prédit le prochain token textuel le plus probable. Une action physique demande de prédire le prochain état moteur le plus approprié. Ce sont deux espaces de sortie fondamentalement différents.

La question que les VLA résolvent est donc précise : comment étendre un VLM pour que sa sortie ne soit plus seulement du texte, mais des actions exécutables dans le monde physique ?

Architecture : comment un VLA fonctionne

Un VLA repose sur trois blocs : un VLM qui voit et comprend, un action head qui traduit cette compréhension en commandes motrices, et un pipeline d'entraînement qui apprend à associer observations et actions depuis des démonstrations humaines.

Le backbone VLM

Le point de départ d'un VLA, c'est un VLM existant (souvent un modèle de la famille PaLM, LLaMA, ou Gemini). Ce backbone gère déjà la perception visuelle et la compréhension linguistique. On ne le réentraîne pas from scratch : on l'étend.

C'est l'idée centrale de RT-2 (Robotic Transformer 2), publié par Google DeepMind en 2023. RT-2 prend un VLM préentraîné sur du web-scale data et le fine-tune sur des données de démonstrations robotiques. Le modèle apprend à traiter les actions comme des tokens, exactement comme il traite des mots.

Les action tokens

C'est le cœur architectural du VLA. Plutôt que de prédire le prochain mot, le modèle prédit le prochain action token : une valeur discrétisée qui encode un mouvement (position du bras, orientation du poignet, ouverture de la pince).

Concrètement, une action continue (par exemple "déplacer le bras de 3cm vers la gauche") est discrétisée en bins, des intervalles de valeurs, et chaque bin devient un token dans le vocabulaire du modèle. Le VLM étendu peut alors prédire ces tokens exactement comme il prédirait des tokens textuels, avec le même mécanisme d'attention, la même architecture transformer.

La séquence d'entrée ressemble à : [image de la scène] + [consigne textuelle]. La séquence de sortie : [action token 1] [action token 2] ... [action token N], qui se décode en une trajectoire motrice.

L'action head

Certaines architectures ajoutent un module séparé en sortie du VLM : l'action head, qui prend les représentations internes du modèle et les projette vers l'espace des actions continues. C'est l'approche d'OpenVLA, un modèle open-source basé sur LLaMA 2 et un encodeur visuel DINOv2.

L'avantage : l'action head peut être entraîné séparément, ce qui permet de fine-tuner le comportement moteur sans toucher au backbone de perception. C'est plus modulaire, plus économe en compute.

L'entraînement

Un VLA apprend depuis des démonstrations : des séquences (observation, action) collectées par des humains qui télé-opèrent le robot. Pour chaque frame, une image de la scène, une consigne textuelle, l'action effectuée par l'humain.

Le modèle apprend à imiter. C'est ce qu'on appelle l'imitation learning, ou behavior cloning dans sa forme la plus simple. À chaque pas de temps, il prédit l'action que l'humain aurait prise, et la loss mesure l'écart entre sa prédiction et la vraie action.

La grande force des VLA par rapport aux approches robotiques classiques : le backbone VLM apporte une compréhension sémantique du monde déjà riche, acquise sur des milliards de paires image/texte. Le robot n'apprend pas le langage depuis zéro, il hérite de cette compréhension et l'adapte à l'action.

Ce que ça change concrètement

Généralisation zéro-shot et few-shot

Un système robotique classique est entraîné sur un ensemble de tâches fixées. Hors distribution, il échoue. Un VLA hérite de la généralisation du VLM sous-jacent : il peut aborder des configurations nouvelles qu'il n'a pas vues à l'entraînement, à condition que la consigne soit compréhensible.

RT-2 a montré des capacités de raisonnement émergentes : demandé de "prendre l'objet qui peut servir à soigner une coupure", le modèle identifie correctement un kit de premiers secours dans la scène, sans avoir été entraîné sur cette tâche spécifique.

Adaptation rapide depuis des démonstrations

Gemini Robotics On-Device, présenté par Google DeepMind début 2025, pousse cette logique plus loin : un VLA capable de tourner directement sur le matériel embarqué, sans connexion cloud permanente, et qui peut adapter son comportement après seulement 50 à 100 démonstrations humaines.

C'est significatif pour le déploiement réel. Jusqu'ici, adapter un système robotique à un nouvel environnement supposait des cycles d'entraînement longs, des datasets massifs, une infrastructure lourde. 50 démonstrations, c'est une après-midi de télé-opération.

Instruction following en langage naturel

Le bénéfice le plus immédiat : on peut donner des consignes en langage naturel, avec toute la nuance que ça implique. "Range ça doucement", "évite le bord de la table", "prends le plus grand des deux" : des instructions que les systèmes robotiques classiques ne pouvaient tout simplement pas interpréter.

Les limites actuelles

Les données de démonstration sont coûteuses

L'entraînement d'un VLA dépend de démonstrations humaines de qualité. Collecter ces données est lent, coûteux, et difficile à scaler. Des initiatives comme Open X-Embodiment (un dataset agrégé de plusieurs dizaines de robots et laboratoires) tentent de mutualiser ces données, mais le problème reste ouvert.

Le sim-to-real gap

Entraîner en simulation pour déployer sur du matériel réel reste difficile. Les VLA n'échappent pas à ce problème : les dynamiques physiques simulées ne correspondent jamais parfaitement au monde réel. Un modèle performant en sim peut échouer sur des surfaces légèrement différentes, des éclairages changeants, des objets déformables.

La latence

Un VLA, c'est un grand modèle de langage qui tourne à chaque pas de temps de contrôle. La fréquence de contrôle d'un bras robotique typique est de 10 à 100Hz. Faire tourner un LLM à cette fréquence sur du matériel embarqué, c'est un défi d'ingénierie non trivial. La quantization et la distillation aident, sans tout résoudre.

La sécurité

Un modèle qui prédit des actions dans le monde physique peut prédire des actions dangereuses. La vérification formelle des comportements, les garanties de sécurité, les mécanismes d'arrêt d'urgence : tout ça devient critique dès qu'on sort du labo. C'est un chantier actif, et probablement le plus important avant tout déploiement à grande échelle.

Et après ?

Les VLA résolvent le passage de la compréhension à l'action, mais sur un horizon court. Un action token, un mouvement, un pas de temps.

Ce qui se profile ensuite, c'est la planification sur plusieurs étapes : des systèmes qui reçoivent un objectif de haut niveau ("prépare le café") et décomposent eux-mêmes la séquence de sous-tâches nécessaires, en s'adaptant aux imprévus en cours de route.

C'est le territoire des agents visuels : des modèles qui ne réagissent plus à une consigne immédiate, mais qui planifient, exécutent, observent le résultat, et réajustent. La computer vision comme boucle de feedback dans un système qui agit sur le monde.