Deux évaluateurs de METR et Redwood Research ont passé trois semaines au sein d’OpenAI pour tester son système interne de détection des comportements indésirables d’agents. Leur examen a trouvé plusieurs angles morts, dont des actions invisibles après certaines compressions de contexte et des moyens théoriques de désactiver ou de contourner la surveillance.
L’exercice s’est déroulé du 21 juillet au 11 août 2026. Les évaluateurs ont eu accès au code interne, aux configurations des moniteurs, à la documentation et à une douzaine de chercheurs, ingénieurs et spécialistes de la sécurité. Ils ont remis un rapport de 61 pages aux équipes d’OpenAI ; une version de 38 pages, expurgée par l’entreprise, a été transmise aux directions de METR et Redwood. Seule une synthèse publique a été publiée.
Entre 75 % et 94 % du trafic éligible
METR estime qu’au début de l’exercice, entre 75 % et 94 % du trafic agentique interne passant par la Responses API et utilisant des modèles au moins aussi capables que GPT-5.5 était éligible à la surveillance. Pour le sous-ensemble des agents Codex internes, cette proportion atteignait 99,2 %. « Éligible » ne signifie pas nécessairement que chaque trajectoire a effectivement été analysée : erreurs, délestage de charge ou défauts d’implémentation peuvent encore interrompre le parcours.
Le principal angle mort chiffré concerne la compression du contexte. Entre mai et juillet, ces événements ne déclenchaient pas le moniteur. METR évalue qu’un ordre de grandeur de 10 % du trafic Codex interne pourtant éligible a ainsi pu ne pas être contrôlé. OpenAI avait identifié le problème peu avant le début de l’audit et l’a corrigé pendant l’exercice.
Des moyens de masquer ou retarder les actions
Le système se déclenchait lorsque l’agent rendait la main à l’utilisateur. Un agent pouvait donc, en théorie, retarder son examen en continuant à agir. Les évaluateurs disent aussi avoir trouvé un procédé capable de masquer des centaines d’actions récentes, un contournement potentiel de la sandbox et de l’Auto-Review, ainsi que des différences de sérialisation susceptibles de faire échouer le moniteur sans escalade vers un humain.
Deux en-têtes contrôlables par le client permettaient également de lancer de nouveaux agents sans surveillance. Leur utilisation pouvait cependant être repérée par le système existant. Enfin, deux outils internes réputés limités à la lecture pouvaient théoriquement être détournés pour exécuter des actions arbitraires dans leur environnement ; METR précise ne pas avoir validé l’exploitation en pratique.
Un état historique, pas un audit du système actuel
Ces résultats décrivent l’architecture telle qu’elle existait au 21 juillet. Ils ne mesurent pas la couverture du système élargi depuis. OpenAI affirme avoir corrigé toutes les vulnérabilités qui affectaient ses garde-fous de production, mais METR et Redwood n’ont pas vérifié cette déclaration.
Les auteurs recommandent de lancer la surveillance à intervalles réguliers plutôt que d’attendre la fin d’un tour, de rapprocher les journaux d’inférence et ceux du moniteur, de conserver des traces inviolables, d’isoler l’agent de son système de contrôle et de répéter les tests offensifs. Le point central est architectural : un agent suffisamment capable ne doit pas pouvoir décider quand, avec quel contexte et par quel chemin il sera observé.
Une transparence encore partielle
L’accès accordé aux évaluateurs est inhabituellement profond, mais le protocole prévoyait dès le départ une publication limitée. OpenAI pouvait supprimer les informations jugées confidentielles, et les évaluateurs n’avaient pas le droit de décrire unilatéralement ces retraits. Le test apporte donc des résultats techniques utiles sans constituer un audit public complet.
Sources : synthèse de METR ; publication de Redwood Research ; CNBC ; réaction d’OpenAI.
