OpenAI a présenté MedChemBench, un benchmark dédié à l’évaluation du raisonnement scientifique des modèles d’Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. appliqués à la chimie médicinale. Le DatasetEnsemble de données organisé pour entraîner, valider, tester ou évaluer un modèle d'intelligence artificielle. regroupe 99 problèmes tirés de 117 articles et brevets, couvrant 761 structures moléculaires distinctes. Chaque problème fournit au modèle un contexte de recherche – cible biologique, objectifs, composés déjà étudiés et résultats expérimentaux – et l’interroge sur quatre capacités : reconstruction de la molécule, interprétation des données expérimentales, sélection des composés et prédiction de leurs propriétés.
Le but n’est pas de démontrer qu’une IA peut découvrir un médicament de manière autonome, mais plutôt de mesurer sa capacité à relier une structure à des données disponibles et à expliquer les compromis qui guident les décisions des chimistes. Ainsi, le benchmark ne se contente pas d’un score unique ; il oblige les modèles à équilibrer plusieurs propriétés, par exemple l’activité contre une protéine, l’absorption cellulaire ou la stabilité hépatique. Cette approche reflète la réalité du développement de médicaments, où l’optimisation d’un critère entraîne souvent une détérioration d’un autre.
Parmi les modèles testés, GPTFamille de modèles génératifs préentraînés reposant sur l'architecture Transformer, notamment utilisés pour produire du texte.‑6.2 Astra obtient le meilleur résultat global avec 84,5 % du crédit disponible, suivi de près par GPT‑6 Astra (83,3 %) et GPT‑6.1 Sol (82 %). Les écarts sont plus marqués selon les tâches : GPT‑6 Astra atteint 95,4 % sur la reconstruction des structures, mais seulement la moitié des points sur la sélection des composés et la prédiction de leurs propriétés numériques. Un exemple concret porte sur des inhibiteurs de PRMT5, cible étudiée en cancérologie. Le modèle doit anticiper l’activité cellulaire, la perméabilité et la vitesse de dégradation hépatique. Les résultats montrent que le composé le plus actif ne possède pas l’équilibre optimal sur l’ensemble des critères, soulignant la difficulté de la prise de décision multi‑objectif.
OpenAI rappelle plusieurs limites du benchmark. Les problèmes proviennent de publications historiques ; il n’est donc pas exclu que les modèles aient déjà vu ces documents pendant leur TrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances.. De plus, chaque réponse est générée sans outil externe, sans rétro‑action expérimentale et sans mesures en laboratoire. Les scores ne prouvent donc pas la découverte d’un nouveau médicament ni une amélioration concrète des décisions de recherche. Ils indiquent simplement où les modèles progressent et où leurs erreurs restent majeures, la sélection et la prédiction de propriétés restant les points faibles.
MedChemBench constitue néanmoins un test plus spécialisé que les benchmarks généralistes. Pour les laboratoires, sa valeur dépendra de sa capacité à anticiper les performances sur des projets réellement nouveaux, avec des données confidentielles et une validation expérimentale. OpenAI n’a pas encore établi ce lien, mais le benchmark offre déjà une grille d’évaluation détaillée qui pourrait aider les équipes à identifier les scénarios où l’IA peut apporter un vrai gain de temps.
En pratique, les chercheurs pourront utiliser MedChemBench pour comparer différents modèles, identifier leurs forces et leurs limites, et orienter les développements futurs vers des systèmes capables de gérer la complexité multi‑critères inhérente à la découverte de médicaments.




