C’est un avertissement rare venu de l’intérieur. Anthropic, l’un des laboratoires d’IA les mieux financés de la planète, propose un ralentissement coordonné du développement de l’IA de pointe. Son argument : le rythme des progrès dépasse la capacité de l’humanité à les encadrer, et seule une pause négociée à l’échelle mondiale offrirait une réponse crédible.
La peur d’une IA qui se conçoit elle-même
Le coeur de l’inquiétude n’a rien d’abstrait. Anthropic estime qu’on approche d’un point où des systèmes d’IA pourraient devenir capables de concevoir et de construire leurs propres successeurs, ce que les chercheurs appellent l’auto-amélioration récursive. L’entreprise précise qu’on n’y est pas encore, mais prévient que ce cap « pourrait arriver plus tôt que la plupart des institutions ne sont prêtes à l’accepter ».
Aujourd’hui, les grands modèles sont entraînés par des humains, sur des données humaines, avec des chercheurs qui guident chaque étape. Un système capable de développer seul son successeur change la donne : l’humain sort de la boucle, ou se retrouve repoussé à sa marge. Anthropic reconnaît le potentiel d’une telle bascule pour la médecine, le climat ou les matériaux. Mais elle redoute, selon ses propres termes, une « perte de contrôle » sur ces systèmes.
Un mécanisme inspiré du désarmement nucléaire
Là où d’autres se contentent de signer des tribunes, Anthropic propose un dispositif concret, emprunté à la diplomatie du contrôle des armements : la vérification mutuelle. « Un ralentissement ou une pause significative nécessiterait que plusieurs laboratoires bien dotés, proches de la frontière, dans plusieurs pays, acceptent de s’arrêter dans les mêmes conditions », écrit l’entreprise. « Et que chacun puisse vérifier que les autres se sont effectivement arrêtés. »
La barre est haute. OpenAI, Google DeepMind, Meta AI, xAI, Mistral, Baidu et des dizaines de startups avancent sur des calendriers différents, sous des régimes réglementaires distincts. Anthropic compare l’effort aux traités sur les armes nucléaires, qui ont mis des décennies à se négocier. La recherche derrière cette proposition vient de l’Anthropic Institute, division lancée en mars, qui travaille sur l’infrastructure technique et de gouvernance, l’équivalent d’inspecteurs pour la puissance de calcul.
Un appel qui sert aussi son auteur
La démarche n’est pas exempte d’arrière-pensées. Des critiques, cités par le Wall Street Journal, y voient un positionnement : en alertant sur la dérive du secteur, Anthropic se présente en adulte responsable face à des concurrents jugés imprudents, et suggère au passage que ses propres produits sont les plus sûrs. Le lancement de Mythos, son modèle de cybersécurité à accès restreint, a nourri ces soupçons de rareté calculée.
Les deux lectures ne s’excluent pas. Une entreprise peut avoir des raisons intéressées de soulever une inquiétude légitime. Reste la question de l’action concrète. L’EU AI Act, déjà en vigueur, vise surtout le risque au déploiement, pas le rythme du développement. Les États-Unis en sont aux décrets et lignes directrices. Et la Chine, indispensable à tout accord mondial, évolue dans un contexte géopolitique peu propice à la coopération.
Notre analyse
Le plus frappant ici n’est pas la proposition, mais son origine. Ce n’est ni un régulateur ni un universitaire extérieur qui tire la sonnette d’alarme, mais l’un des acteurs qui poussent la frontière. Anthropic prépare son entrée en Bourse et a tout intérêt à continuer de livrer. Qu’elle plaide malgré tout pour lever le pied dit quelque chose de l’état d’esprit d’une partie du secteur. Le risque, désormais bien identifié, est que ce texte finisse classé comme un livre blanc de plus, pendant que les entraînements, eux, continuent.
