David Robinson, membre de l’équipe Safety Systems d’OpenAI, a annoncé son départ après trois ans et demi dans l’entreprise. Dans un essai publié le 3 octobre, il affirme que la culture interne ne suit plus le niveau de risque créé par des modèles toujours plus capables. OpenAI répond avoir renforcé ses contrôles, ses évaluations externes et sa surveillance en temps réel.
Robinson ne se présente pas comme un observateur extérieur. Il explique avoir dirigé la rédaction de rapports de sécurité accompagnant plusieurs lancements majeurs d’OpenAI et avoir contribué au cadre de préparation de l’entreprise. Son départ donne donc un éclairage direct sur la manière dont les risques sont évalués avant la diffusion de nouveaux systèmes.
La méthode des déploiements progressifs remise en cause
Le point central de sa critique concerne l’« iterative deployment », la stratégie qui consiste à mettre progressivement les modèles entre les mains des utilisateurs, observer les problèmes, puis ajuster les garde-fous. Cette approche a permis aux laboratoires d’apprendre rapidement à partir d’usages réels. Robinson estime toutefois qu’elle garantit aussi des échecs périodiques dont la gravité augmente avec les capacités des modèles.
Dans son essai publié par The Atlantic, il compare le niveau de rigueur nécessaire à celui d’une centrale nucléaire ou d’un aéroport très fréquenté. Ces secteurs ne reposent pas sur un seul contrôle, mais sur plusieurs couches de sécurité, des procédures lentes et une redondance pensée pour absorber l’erreur humaine.
Le chercheur affirme aussi que les équipes courent en permanence après les échéances. Selon lui, ce rythme laisse peu de place à une remise à plat des méthodes, du recrutement ou de l’organisation. Sa conclusion est que des incitations extérieures plus fortes seront nécessaires pour modifier durablement les pratiques des laboratoires de pointe.
OpenAI défend les changements engagés
Contactée par TechCrunch, OpenAI affirme veiller à ce que les capacités de ses modèles ne dépassent pas ce qu’elle peut gérer et sécuriser. Son porte-parole Drew Pusateri indique que l’entreprise peut ralentir un entraînement ou retenir un modèle si nécessaire.
OpenAI met également en avant le renforcement de la sécurité de ses environnements de recherche et de test, le recours accru à des évaluateurs tiers et l’amélioration de la détection de comportements préoccupants pendant l’entraînement. Ces mesures répondent directement à une partie des critiques, mais pas à la question plus large de la culture de décision soulevée par Robinson.
Une alerte qui dépasse un départ individuel
La démission intervient dans un débat plus vaste sur la gouvernance des entreprises développant les modèles les plus puissants. D’autres chercheurs ont récemment quitté des laboratoires en invoquant la vitesse de développement, les risques d’agents autonomes ou l’insuffisance des mécanismes de contrôle.
Le cas Robinson est notable parce qu’il ne réclame pas seulement une nouvelle règle technique. Il demande que la sûreté devienne une contrainte structurante pour l’entreprise, au même titre que les performances et la rapidité de mise sur le marché. Pour les utilisateurs professionnels, les pouvoirs publics et les partenaires d’OpenAI, l’enjeu sera désormais de distinguer les engagements déclarés des mécanismes réellement capables d’arrêter ou de retarder un lancement.
