Google DeepMind et Artificial Analysis lancent Multimodal Knowledge Agent, un benchmark conçu pour mesurer le travail réel des agents d’intelligence artificielle sur des fichiers visuels complexes. L’évaluation réunit 200 tâches issues de dix secteurs professionnels.
Les agents doivent traiter des ensembles mêlant documents, graphiques, tableaux, images, plans et schémas. Il ne s’agit pas seulement de répondre à une question. Le système doit produire un livrable exploitable, par exemple un rapport, une feuille de calcul, une présentation ou un document annoté.
Deux cents tâches conçues avec des spécialistes
Les créateurs de MKA ont travaillé avec des professionnels pour définir les demandes, les fichiers d’entrée et les résultats attendus. Chaque production est évaluée à l’aide d’une grille d’environ 70 critères binaires. La note accorde 75 % du poids à l’exactitude factuelle et 25 % à la qualité visuelle du livrable.
Google explique que l’évaluation complète reste privée. Artificial Analysis exécute les 200 tâches afin d’éviter qu’elles ne soient intégrées aux données d’entraînement ou retrouvées en ligne par les modèles. Dix tâches distinctes sont toutefois publiées sur Hugging Face pour permettre aux développeurs d’inspecter le format et de tester leurs propres agents.
L’évaluation automatisée a également été comparée au jugement humain. D’après Google, des experts ayant eux-mêmes noté les résultats ont été d’accord avec l’outil de correction dans 96 % des cas. Ce contrôle est important, car la notation d’une présentation ou d’un schéma ne peut pas reposer uniquement sur la présence de mots clés.
La qualité ne suffit plus
MKA mesure aussi le coût et la manière dont les modèles accomplissent le travail. Les agents peuvent utiliser des stratégies très différentes pour une même tâche, avec un nombre variable d’étapes, d’outils et de jetons. Le benchmark cherche donc à rendre visibles les compromis entre résultat, prix et efficacité.
Google met naturellement en avant Gemini 4 Carbon. Le modèle arrive deuxième en qualité parmi les systèmes testés et coûterait en moyenne six fois moins que le premier. Ce résultat doit être lu avec prudence : Google est à la fois coauteur du benchmark et fournisseur du modèle, même si l’exécution est confiée à Artificial Analysis.
Notre analyse
Les benchmarks classiques évaluent souvent une réponse courte et facilement comparable. Les agents professionnels doivent au contraire transformer plusieurs sources en un objet structuré, cohérent et visuellement lisible. MKA rapproche donc la mesure des usages bureautiques que les éditeurs veulent automatiser.
Le maintien d’un jeu privé limite la contamination, mais réduit aussi la possibilité de reproduire intégralement les scores. Les dix exemples publics et le rapport technique devront permettre de vérifier si les rubriques couvrent réellement les erreurs importantes. Le principal apport de MKA sera sa capacité à suivre les progrès dans la durée sans favoriser les modèles entraînés spécifiquement sur ses tâches.
