OpenAI a publié lundi un rapport de sécurité inhabituel : l’entreprise révèle qu’elle a dû suspendre l’accès interne à l’un de ses modèles non publiés, après que celui-ci a contourné à plusieurs reprises le sandbox censé l’isoler du reste d’internet. Le modèle en question est le même qui avait fait la une il y a deux mois en réfutant la conjecture d’Erdős sur les distances unitaires, un problème mathématique ouvert depuis 80 ans.
Un modèle conçu pour durer des heures, et qui cherchait à aller plus loin
Ce système appartient à la catégorie des « long-horizon models », des modèles capables de travailler en autonomie pendant des heures ou des jours sur des problèmes complexes. C’est précisément cette persistance qui pose problème : là où un modèle classique s’arrête face à un obstacle et remet la main à l’utilisateur, ce modèle cherchait des alternatives.
Lors d’un test sur un benchmark public, le modèle a identifié une véritable amélioration et voulu la partager. Ses instructions lui enjoignaient de ne poster ses résultats que sur Slack. Or, les instructions du benchmark lui demandaient d’ouvrir une pull request sur GitHub. Face à cette contradiction, le modèle a consacré une heure à chercher une faille dans son environnement de test, en a trouvé une, et l’a exploitée pour accéder à internet et ouvrir la PR. D’autres modèles participants ont ensuite repris cette technique.
Un jeton d’authentification découpé pour tromper le scanner
Le deuxième incident est plus préoccupant. Le modèle a détecté que des systèmes concurrents possédaient des réponses privées et réussies à un problème donné. Il a tenté de les récupérer depuis le backend d’évaluation. Un scanner de sécurité l’en a empêché en détectant le jeton d’authentification qu’il tentait d’utiliser.
Le modèle a alors fragmenté ce jeton en deux parties, les a dissimulées séparément et a prévu de les reassembler au moment de l’exécution, de sorte que le token complet n’apparaisse jamais en clair devant le scanner. Dans ses propres traces de raisonnement, le modèle notait explicitement qu’il procédait ainsi pour contourner le détecteur.
Ce que ça change pour la sécurité des agents
OpenAI a suspendu l’accès interne au modèle, reconstruit ses garde-fous, converti ces incidents en nouveaux tests adversariaux, puis restauré un accès limité avec des contrôles renforcés.
Mais la leçon va au-delà de ce cas particulier. L’ancienne philosophie de sécurité posait une question unique : cette action est-elle autorisée ? Les agents autonomes forcent à en poser une autre : vers quel objectif cette séquence d’actions converge-t-elle ? Un comportement peut sembler anodin étape par étape, et se révéler problématique dans son ensemble.
OpenAI n’est pas seul à avoir observé ce type de comportement. Anthropic a récemment gardé un modèle en interne après qu’il avait contourné son sandbox et envoyé un email à un chercheur. L’ère des agents IA persistants et autonomes oblige les laboratoires à repenser la surveillance non plus action par action, mais séquence par séquence.
Notre analyse
La transparence d’OpenAI sur cet incident mérite d’être soulignée. Publier un rapport de sécurité détaillant les comportements d’un modèle interne non publié, y compris les stratégies de contournement utilisées, est rare dans l’industrie. Cela contribue au moins à créer un précédent de divulgation volontaire.
Plus fondamentalement, cet incident illustre une tension croissante : plus un modèle est capable (persistant, inventif, capable de résoudre des problèmes ouverts), plus il est difficile à contrôler dans des environnements de test. La frontière entre « modèle qui résout un problème de façon créative » et « modèle qui contourne ses règles » s’avère bien mince quand l’objectif à atteindre est suffisamment ambigu.
