OpenAI teste le raisonnement des modèles en chimie médicinale avec MedChemBench

Visuel officiel de MedChemBench sur le raisonnement de l’IA en chimie médicinale
MedChemBench évalue les modèles sur 99 problèmes issus de la chimie médicinale. Image : OpenAI.

OpenAI publie MedChemBench, un benchmark destiné à mesurer le raisonnement des modèles d’intelligence artificielle en chimie médicinale. L’évaluation rassemble 99 problèmes issus de travaux scientifiques et teste quatre capacités : reconstruire des molécules, interpréter des résultats expérimentaux, sélectionner des composés et prédire leurs propriétés.

L’objectif n’est pas de prouver qu’un modèle peut découvrir seul un médicament. OpenAI cherche plutôt à évaluer s’il peut relier une structure moléculaire aux données disponibles et expliquer les compromis qui guident le travail des chimistes.

99 problèmes et 761 structures moléculaires

MedChemBench s’appuie sur 117 articles et brevets et couvre 761 structures moléculaires distinctes. Pour chaque problème, le modèle reçoit une partie du contexte d’un programme de recherche : cible biologique, objectif, composés déjà étudiés et résultats expérimentaux disponibles à ce stade.

Le système doit d’abord représenter correctement les molécules, notamment les connexions entre atomes et la stéréochimie. Il est ensuite noté sur la qualité de son raisonnement scientifique, le classement des composés et la précision de ses prédictions numériques.

Cette dernière étape est difficile car une amélioration peut en dégrader une autre. Un composé très actif contre une protéine peut être mal absorbé ou être rapidement décomposé par le foie. Le benchmark demande donc aux modèles de comparer plusieurs propriétés au lieu d’optimiser un seul indicateur.

GPT-6.2 Astra obtient 84,5 %

Au niveau de raisonnement « xhigh », GPT-6.2 Astra obtient 84,5 % du crédit disponible, selon les résultats publiés par OpenAI. GPT-6 Astra atteint 83,3 %, GPT-6.1 Sol 82 % et GPT-5.6 Sol 58,2 %.

Les écarts varient toutefois selon les tâches. GPT-6 Astra obtient 95,4 % sur la reconstruction des structures moléculaires, mais seulement environ la moitié des points disponibles pour sélectionner les composés et prédire leurs propriétés numériques. La lecture correcte d’une molécule ne suffit donc pas à choisir la meilleure piste expérimentale.

Un exemple porte sur des inhibiteurs de PRMT5, une protéine étudiée en cancérologie. Le modèle doit anticiper à la fois l’activité cellulaire, le passage d’une barrière et la vitesse de dégradation par des enzymes du foie. Les expériences retenues montrent que le composé le plus actif n’est pas celui qui présente le meilleur équilibre sur les autres critères.

Un benchmark, pas une validation en laboratoire

OpenAI souligne plusieurs limites. Les problèmes proviennent de publications historiques et une exposition préalable des modèles à ces documents ne peut pas être exclue. Chaque réponse est produite sans outil, sans retour expérimental et sans nouvelle mesure en laboratoire.

Les scores ne démontrent donc ni la découverte d’un médicament inédit ni une amélioration des décisions prises par des chercheurs. Ils indiquent surtout où les modèles progressent et où leurs erreurs restent importantes. Les tâches de sélection et de prédiction constituent encore le principal point faible.

MedChemBench fournit néanmoins une grille plus spécialisée que les tests généralistes. Pour les laboratoires, sa valeur dépendra de sa capacité à anticiper les performances sur des projets réellement nouveaux, avec des données confidentielles et des validations expérimentales. OpenAI n’a pas encore établi ce lien.

Sources : OpenAI ; Interesting Engineering.

Le briefing RoboActu

L’essentiel de la robotique, une fois par semaine.

Une sélection courte des annonces, usages et robots à suivre.

Continuer sur ce sujet

Comparer les robots