Google DeepMind lance avec quatre partenaires un pilote d’évaluation en double aveugle pour un modèle Gemini Flash Lite. Le dispositif doit empêcher à la fois le laboratoire de voir les tests confidentiels et les évaluateurs d’accéder au modèle propriétaire.
Le projet associe le Singapore AI Safety Institute, OpenMined, AVERI et MLCommons. Il utilise un environnement cryptographiquement protégé afin de faire passer des benchmarks externes sans révéler leurs questions au développeur du modèle. L’objectif est de réduire la contamination des tests, un problème qui peut gonfler artificiellement les résultats lorsqu’un modèle a déjà rencontré les questions pendant son entraînement.
Deux secrets à protéger en même temps
Une évaluation classique impose généralement un compromis. Le laboratoire peut exécuter le benchmark en interne, mais il accède alors aux données de test. À l’inverse, un évaluateur externe peut recevoir le modèle, au risque d’exposer ses poids ou des informations techniques sensibles.
Le protocole annoncé cherche à supprimer ce choix. Les tests et le modèle sont réunis dans une « boîte » cryptographique. Les calculs y sont exécutés sans que les deux parties puissent inspecter l’actif confidentiel de l’autre. Seuls les résultats autorisés sortent de l’environnement.
DeepMind présente cette protection comme un complément aux accords contractuels et aux politiques de non-journalisation déjà utilisés avec les laboratoires externes. Le pilote doit vérifier qu’une garantie technique peut soutenir les mêmes objectifs sur un modèle propriétaire de classe frontière.
Des benchmarks moins faciles à contaminer
La contamination ne signifie pas nécessairement qu’un laboratoire a volontairement triché. Les corpus d’entraînement sont immenses et peuvent contenir des variantes d’un benchmark public. À mesure que les tests deviennent connus, les développeurs peuvent aussi optimiser leurs modèles en fonction de leurs faiblesses, ce qui réduit la valeur d’une comparaison future.
Des questions confidentielles conservées hors de portée du fournisseur rendent cette optimisation directe plus difficile. Elles permettent également à des instituts de sécurité, des chercheurs et des entreprises de tester des capacités sensibles sans publier immédiatement leurs scénarios.
Un pilote qui doit encore faire ses preuves
L’annonce ne fournit pas encore de résultats chiffrés ni de comparaison avec une évaluation conventionnelle. Le coût du calcul confidentiel, les limites de taille des modèles et la vérification indépendante de l’environnement seront déterminants pour un usage à grande échelle.
Le dispositif pourrait toutefois améliorer la crédibilité des évaluations propriétaires. Si les partenaires démontrent que ni les questions ni le modèle ne peuvent être récupérés pendant le test, les laboratoires externes disposeront d’un moyen plus solide de vérifier des systèmes qu’ils ne peuvent pas auditer directement.
