Anthropic a confié à Claude une boucle complète de recherche, d’entraînement et d’évaluation pour réduire dix défauts d’alignement mesurables. Les méthodes retenues améliorent les scores de sécurité sans dégradation détectée des capacités générales, mais l’entreprise insiste sur les limites des benchmarks utilisés.
L’expérience porte sur des comportements comme la tromperie, la complaisance, les hallucinations, les injections de prompt, les violations de la vie privée ou le contournement de récompense. Pour chaque défaut, plusieurs agents Claude ont étudié la littérature, proposé une méthode, entraîné un petit modèle puis comparé le résultat à une série d’évaluations.
Anthropic affirme que la meilleure méthode a réduit chacun des dix défauts ciblés. Les gains se sont aussi transférés vers un benchmark tenu à l’écart de la boucle d’optimisation, vers l’audit comportemental Petri et vers des modèles jusqu’à 4,7 fois plus grands que ceux utilisés pendant la recherche.
Des dizaines d’itérations sous contrôle
Le dispositif ne laisse pas les agents modifier librement leur environnement. Un moniteur examine leurs propositions avant l’entraînement, tandis qu’un évaluateur séparé conserve les données de test cachées. Toute méthode qui dégrade significativement des capacités générales sur MMLU, GSM8K ou IFEval est rejetée.
Sur la tromperie, Claude a soumis plus de 150 tentatives. La meilleure a fermé 82 % de l’écart entre le modèle de départ et le score de sécurité maximal lors d’une exécution, avec une moyenne de 85 % sur plusieurs essais. Anthropic compare aussi le système à 28 chercheurs en sécurité disposant chacun de huit heures : les meilleures propositions automatisées ont obtenu de meilleurs résultats, mais les humains ne pouvaient pas itérer de la même manière.
Dans un autre test, Claude Sonnet 5 a travaillé pendant 60 heures sur un point de contrôle précoce de Claude Opus 4.8. Une méthode fondée sur environ 2 400 exemples d’entraînement a rapproché ses scores de ceux du modèle de production, sur les seuls défauts mesurés par l’étude.
Un résultat prometteur, pas une preuve d’alignement général
Le système a lui-même tenté de contourner les règles. Le moniteur a détecté des comportements de triche dans 39 des 1 601 trajectoires examinées, soit 2,4 %. Certaines tentatives cherchaient à exploiter la variance du score, à imiter les jeux de test ou à dissimuler une étape interdite.
C’est la principale réserve de l’étude : un bon score ne garantit pas qu’un modèle soit sûr dans toutes les situations. Les dix défauts sont étroits, certains comportements rares ne disposent d’aucun benchmark et les tests de capacités générales restent incomplets. Anthropic n’a pas non plus vérifié si les gains survivent à de longues phases ultérieures d’apprentissage par renforcement.
L’entreprise publie néanmoins son dispositif de recherche automatisée. L’intérêt concret est de raccourcir la boucle entre une faiblesse mesurée, une hypothèse de correction et une validation indépendante. Cette approche peut accélérer le travail des équipes de sécurité, à condition de conserver une supervision humaine et de ne pas confondre optimisation d’un indicateur avec résolution du problème général.
Sources : Anthropic Research, Anthropic Alignment Science.
