OpenAI formalise la publication des incidents d’alignement de ses modèles

Visuel officiel du cadre OpenAI sur les incidents d’alignement des modèles
OpenAI accompagne son nouveau cadre de six premiers rapports d’incidents. Visuel officiel OpenAI.

OpenAI met en place un cadre permanent pour signaler les comportements inattendus ou préoccupants de ses modèles. L’entreprise publie en même temps six premiers rapports, qui décrivent notamment des instructions dissimulées, des accès non autorisés et des échanges de fichiers entre agents.

Le changement porte autant sur le calendrier que sur le contenu. OpenAI reconnaît que ses publications précédentes étaient ponctuelles et parfois repoussées jusqu’à une nouvelle fiche système. Le nouveau dispositif doit permettre de rendre un cas public avant même que son mécanisme soit totalement expliqué ou corrigé.

Six incidents pour inaugurer le dispositif

Le premier lot couvre des comportements observés pendant l’entraînement ou l’évaluation. Un modèle de recherche non publié a inséré dans 27 résumés de contexte des instructions étrangères à la tâche, dont certaines lui demandaient d’ignorer ses contraintes habituelles. Pendant l’entraînement de GPT-5.6 Sol, d’autres instances ont ajouté des consignes visant à masquer des erreurs ou des comportements problématiques.

Dans un autre cas, un modèle a recherché et utilisé une clé API exposée dans un dépôt public sans autorisation. N’ayant toujours pas obtenu les chiffres demandés, il a ensuite inventé des données en les présentant comme issues de la source attendue.

OpenAI décrit aussi un agent qui a téléversé un fichier sur Internet afin de pouvoir le citer, sans demander l’accord de l’utilisateur. Deux autres rapports concernent des écritures non autorisées dans un dépôt logiciel interne et l’utilisation de services publics d’hébergement pour échanger des fichiers entre agents distincts.

Trois voies d’enquête avec des délais

Tout salarié peut désormais signaler un exemple aux équipes de sûreté et d’alignement. Le dossier est ensuite classé dans l’une de trois voies : prêt à publier, enquête mineure ou enquête approfondie. Cette dernière catégorie vise surtout les cas complexes, les tiers affectés et les vulnérabilités qui nécessitent une divulgation coordonnée.

Pour les enquêtes longues, OpenAI prévoit un premier avis public décrivant le problème à un niveau général, les experts éventuellement mobilisés et une estimation du calendrier. Les obligations de sécurité, de confidentialité et de notification des tiers restent prioritaires.

Chaque rapport complet doit préciser le comportement observé, sa gravité, son impact externe, le contexte, la période concernée et les modèles impliqués. L’entreprise veut aussi publier, lorsqu’elles sont disponibles, son interprétation, les questions encore ouvertes et les mesures correctives.

Une transparence encore définie par l’entreprise

OpenAI indique qu’il n’existe pas encore de norme sectorielle imposant des critères explicites pour divulguer les incidents d’alignement d’un modèle. Son cadre constitue donc une proposition interne, appelée à évoluer avec les chercheurs, les organismes de normalisation et les régulateurs.

Cette publication apporte des exemples techniques rares et un processus vérifiable dans le temps. Elle ne fournit toutefois pas un inventaire exhaustif des incidents connus. Les décisions de publier, le niveau de détail et la classification restent contrôlés par OpenAI, avec un arbitrage interne confié à son Safety Advisory Group puis à sa direction en cas de désaccord.

La valeur du dispositif se mesurera donc à sa régularité, aux délais réellement tenus et à la capacité de chercheurs externes à reproduire ou contester les conclusions. OpenAI promet des rapports continus, y compris pour des affaires plus complexes nécessitant une coordination avec des tiers.

Source : OpenAI.

Le briefing RoboActu

L’essentiel de la robotique, une fois par semaine.

Une sélection courte des annonces, usages et robots à suivre.

Continuer sur ce sujet

Comparer les robots