OpenAI propose d’exiger un dossier de sûreté structuré avant de poursuivre tout entraînement de pointe par apprentissage par renforcement. Le document publié le 29 septembre décrit des preuves techniques, des procédures d’approbation et des mécanismes d’arrêt destinés à encadrer les modèles les plus avancés.
Le laboratoire emprunte le concept de « safety case » à l’aviation et au nucléaire. Il s’agit d’un argumentaire documenté qui relie des risques identifiés, des mesures de réduction et des éléments de preuve. OpenAI reconnaît que la complexité émergente des modèles rend difficile l’application du même niveau de rigueur, mais présente ce format comme un objectif à atteindre.
Trois couches de protection technique
Le premier volet concerne l’alignement pendant l’entraînement. OpenAI recommande de vérifier automatiquement et manuellement les environnements d’apprentissage, de pénaliser les stratégies qui contournent les règles et de tester les évaluations sur des incidents passés. Le laboratoire veut aussi surveiller la capacité d’un modèle à reconnaître qu’il est évalué et à modifier son comportement.
Le deuxième volet porte sur le confinement. Les environnements d’exécution et l’infrastructure de recherche devraient disposer de plusieurs barrières de sécurité. OpenAI recommande des tests d’intrusion réguliers, la limitation des communications entre échantillons et la conservation immuable des transcriptions pour faciliter les enquêtes.
La troisième couche est la surveillance en direct. Des moniteurs doivent détecter les comportements préoccupants avec un taux de rappel élevé. Le document prévoit des seuils explicites, des alertes prioritaires et, la nuit, la mise en pause automatique d’un entraînement si une alerte grave n’est pas prise en charge.
Des responsables capables de bloquer un entraînement
OpenAI insiste également sur la gouvernance. Un dossier devrait recevoir l’avis contradictoire d’une autre équipe avant validation. Plusieurs dirigeants, dont un responsable de la recherche, le responsable de la sûreté et le scientifique en chef, devraient pouvoir opposer leur veto.
Le dirigeant chargé de l’entraînement serait personnellement responsable du dossier et de la réponse aux incidents. Les systèmes devraient empêcher le lancement d’une exécution non conforme et fonctionner en mode fermé en cas de défaillance. Le laboratoire demande aussi une capacité de retour arrière pour retrouver tous les usages en aval d’un modèle problématique.
Des recommandations encore en cours d’application
OpenAI précise que ces pratiques sont en train d’être mises en place et qu’elles évolueront dans les prochaines semaines. Le texte n’annonce ni une norme externe, ni un audit indépendant obligatoire. Il expose la méthode que l’entreprise souhaite appliquer à ses propres entraînements de frontière.
Le document ajoute un cadre d’enquête après incident : recherche de la cause, tests de régression, comptes rendus internes réguliers et publication d’un rapport final. Sa portée dépendra de la qualité des preuves, de l’indépendance des contrôles et de la capacité réelle des responsables à interrompre un programme coûteux. L’intérêt du texte est d’établir une liste vérifiable de conditions avant le lancement, plutôt qu’une promesse générale de prudence.
