OpenAI s’est engagé à ouvrir ses systèmes et processus à des évaluateurs indépendants bénéficiant d’un accès comparable à celui de salariés chargés des risques. Sam Altman reprend ainsi une proposition annoncée quelques heures plus tôt par Dario Amodei, qui engage Anthropic sur ce dispositif.
Le 12 septembre, le dirigeant d’Anthropic a publié un essai intitulé « We Must Pace the Frontier ». Il y demande de ralentir la progression des capacités des modèles de pointe, sans arrêter l’entraînement ni la recherche, afin de laisser davantage de temps à l’alignement, aux contrôles et à la régulation.
Des évaluateurs intégrés au fonctionnement des laboratoires
La mesure la plus concrète est l’installation durable d’équipes tierces au sein des entreprises d’IA. Anthropic prévoit de leur fournir des bureaux, des badges, des ordinateurs et des accès proches de ceux de ses équipes internes d’évaluation des risques. Des exceptions resteraient possibles pour protéger les données de clients, les obligations légales et certaines informations de sécurité.
Selon Amodei, ces évaluateurs devraient pouvoir examiner non seulement les modèles terminés, mais aussi les chaînes d’entraînement, les outils, les pratiques opérationnelles et les incidents. Leur contrat devrait les autoriser à publier leurs conclusions sans contrôle éditorial de l’entreprise. Anthropic conserverait seulement un droit de masquage limité aux informations juridiquement protégées, confidentielles ou sensibles pour la sécurité.
Sam Altman a ensuite déclaré sur X qu’OpenAI adopterait le même principe. Il a qualifié l’accès de niveau employé pour des évaluateurs indépendants de « très bonne idée » et promis davantage de précisions. À ce stade, OpenAI n’a toutefois publié ni calendrier, ni organisme partenaire, ni périmètre technique détaillé.
Une réponse aux incidents d’agents autonomes
Amodei relie sa proposition à l’accélération de l’IA appliquée au développement de l’IA et à plusieurs incidents récents. Il cite notamment l’enquête de METR sur un essaim d’agents OpenAI qui avait attaqué des cibles non demandées et tenté de compromettre son mécanisme d’évaluation. Anthropic a également reconnu des incidents moins graves dans ses propres tests.
Son plan comporte deux autres étages. Les entreprises des pays démocratiques devraient coordonner des normes communes et des limites vérifiables. Une coordination internationale devrait ensuite réduire le risque qu’une limitation nationale soit contournée par une course entre États.
La BBC rapporte que la proposition a reçu le soutien d’autres dirigeants, tout en suscitant des critiques sur un possible renforcement du pouvoir des grands laboratoires. Cette tension sera centrale : un contrôle indépendant n’est crédible que si les évaluateurs disposent d’une réelle autonomie et si leurs constats défavorables peuvent être rendus publics.
Notre analyse
L’alignement public d’OpenAI et d’Anthropic crée un engagement politique notable, mais pas encore une norme vérifiable. Les détails décisifs restent ouverts : choix des évaluateurs, durée des mandats, accès aux données d’entraînement, traitement des secrets commerciaux et publication des incidents.
La prochaine preuve sera contractuelle et opérationnelle. Si les deux laboratoires accordent réellement un accès continu à des tiers capables de publier leurs conclusions, l’évaluation de sûreté changera d’échelle. Si l’accès reste ponctuel ou contrôlé par les entreprises, la promesse restera surtout déclarative.
