Anthropic lance un programme de 5 millions de dollars pour financer des évaluations indépendantes des effets de l’intelligence artificielle sur le bien-être des utilisateurs. Les équipes retenues recevront un financement direct, un accès aux modèles de l’entreprise et un soutien technique. Leurs travaux devront être publiés en open source afin de pouvoir être réutilisés par d’autres développeurs.
L’annonce, publiée le 25 août, vise un problème encore difficile à mesurer : un assistant peut donner une réponse acceptable isolément, mais inadaptée lorsque l’on tient compte de plusieurs échanges ou de la situation personnelle de l’utilisateur. Anthropic cite notamment les conversations liées à la détresse psychologique, à la recherche de compagnie ou aux troubles alimentaires.
Évaluer des conversations longues, pas seulement une réponse
Les évaluations classiques comparent souvent une réponse à un résultat attendu. Cette méthode devient insuffisante lorsque le risque apparaît progressivement. Une personne en crise peut, par exemple, ne révéler une intention d’automutilation qu’après plusieurs messages. À l’inverse, une réponse excessivement prudente peut aussi refuser une aide légitime et utile.
Anthropic demande donc aux candidats de mesurer à la fois les précautions prises par le modèle et les dommages susceptibles d’être causés par un excès d’acquiescement ou de refus. Les scénarios devront refléter les usages réels, notamment au moyen de conversations à plusieurs tours dans lesquelles le contexte évolue.
Le programme insiste également sur l’intervention de spécialistes cliniques et d’experts du domaine dans la conception et la validation des tests. Les systèmes chargés de noter automatiquement les réponses devront eux-mêmes être comparés au jugement de ces experts. Ce point doit limiter le risque de construire un benchmark précis en apparence, mais déconnecté des situations auxquelles il prétend s’appliquer.
Des résultats ouverts et indépendants
Anthropic affirme que les bénéficiaires travailleront de manière indépendante et publieront leurs projets en open source. L’objectif annoncé est de produire des outils utilisables au-delà de Claude, alors que les pratiques de mesure du bien-être restent fragmentées dans l’industrie.
Cette ouverture sera déterminante pour juger la portée du programme. Un benchmark utile devra pouvoir être audité, reproduit et confronté à des modèles concurrents. Il faudra aussi vérifier qu’il couvre des langues, des cultures et des profils d’utilisateurs variés, car une réponse jugée appropriée dans un contexte peut devenir maladroite ou dangereuse dans un autre.
Pourquoi ce financement compte
Les assistants conversationnels sont désormais utilisés pour travailler, apprendre et résoudre des problèmes, mais aussi comme soutien émotionnel. Cette évolution élargit les situations dans lesquelles une erreur ne se limite plus à une information inexacte. Elle peut renforcer une dépendance, valider un raisonnement dangereux ou, au contraire, interrompre une conversation qui nécessitait une réponse nuancée.
Le financement ne constitue pas encore une norme commune ni une preuve d’efficacité des protections existantes. Il crée toutefois un cadre pour transformer des principes généraux en tests comparables. Les candidatures sont ouvertes jusqu’au 21 septembre 2026. Les équipes invitées à soumettre une proposition complète seront prévenues le 5 octobre.
