BioBasicsBench : un benchmark dédié aux IA de laboratoire biologique

OpenAI a annoncé le 6 novembre 2026 BioBasicsBench, un ensemble de 100 tâches conçues avec la société d’ingénierie enzymatique Ligo. L’objectif est d’évaluer la capacité des agents d’intelligence artificielleIntelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. à interpréter des données brutes issues d’expériences de biologie de routine, au-delà des graphiques et images soigneusement sélectionnés dans les publications.

Un défi ancré dans le quotidien du laboratoire

Contrairement aux benchmarks traditionnels qui reposent sur des figures épurées, BioBasicsBench intègre les imperfections du travail réel : expériences ratées, images ambiguës, observations contradictoires et besoin de dépannage. Les tâches couvrent plusieurs domaines – méthodes protéiques, imagerie et cytométrie, quantificationQuantificationTechnique réduisant la précision numérique des paramètres ou des calculs d'un modèle afin de diminuer les ressources nécessaires. d’assays, techniques d’acides nucléiques et clonage moléculaire – et exigent que les modèles reconnaissent quand les preuves sont insuffisantes pour tirer une conclusion.

Les scientifiques ont créé chaque tâche à partir de leurs propres expériences, en rédigeant des grilles d’évaluation détaillées. Les entrées comprennent des gels, des images de western blot, des colonies sur plaque, des piles de microscopie, des lectures de séquence, des exportations de lecteurs de plaque, des photos de banc et même des vidéos de protocoles. Certains exercices combinent plusieurs types de preuves et des documents de référence comme des cartes de plasmides ou des échelles de poids.

Performances des modèles testés

OpenAI a évalué sept modèles sous le paramètre « xhigh », la configuration de plus grand effort de raisonnement. Le modèle le plus avancé, GPTGPTFamille de modèles génératifs préentraînés reposant sur l'architecture Transformer, notamment utilisés pour produire du texte.‑6 Astra, a atteint un score moyen de 66,7 % (IC 95 % : 60,3‑73,1), tandis que GPT‑5.6 Sol s’est limité à 43,8 % (IC 95 % : 37,6‑50,0). Astra a généré en moyenne 4 704 tokensTokenUnité de contenu traitée par un modèle de langage, pouvant représenter un mot, une partie de mot ou un caractère. de sortie par tâche, contre 9 099 pour Sol, indiquant une production plus concise.

Illustrations des différences

• Imagerie cellulaire : Sol a classé des cellules comme mortes à partir d’un signal de colorant. Astra a détecté que les fenêtres de détection pouvaient se chevaucher, risquant une interférence avec un second colorant, et a demandé des contrôles séparant les signaux.
• Clonage ADN : Sol a jugé une plaque de contrôle négatif fiable malgré l’absence de colonies. Astra a remarqué que la plaque était marquée « kanamycin », alors que l’expérience utilisait l’ampicilline, et a rejeté la plaque comme contrôle.
• Pile d’images (z‑stack) : Sol a cherché une explication biologique à la disparition apparente de cellules, tandis qu’Astra a identifié une série d’images prises à différentes profondeurs, expliquant le phénomène.

Ces exemples montrent que le modèle Astra gère mieux le multimodal, exploite le contexte expérimental et sait reconnaître les limites des données.

Où le benchmark met en lumière les failles

OpenAI précise que des scores plus élevés ne garantissent pas encore un jugement fiable en laboratoire. Dans une tâche de PCR de colonies, Astra a sélectionné des bandes incorrectes, alors que l’interprétation de référence aurait retenu d’autres lanes, ce qui aurait conduit à la purification d’un plasmide erroné.

D’autres cas révèlent des observations correctes qui ne se traduisent pas en réponses adéquates : Astra a généralisé que les vacuoles sont généralement plus sombres, alors que l’image présentait des vacuoles claires dues à la profondeur de mise au point. En comptage de colonies, l’agent a confondu des colonies rapprochées, a manqué des colonies visibles et a compté du vide, entraînant un dépassement d’environ 12 % du nombre réel, ce qui fausserait l’estimation de l’efficacité d’introduction d’ADN.

Perspectives et enjeux

OpenAI indique que l’évolution de ces capacités informera également l’évaluation des impacts de biosécurité et de bio‑sécurité. Le véritable défi ne réside pas uniquement dans un meilleur score agrégé : un agent doit transcrire des observations précises en conclusions fiables, vérifier les contrôles et s’abstenir de conclure lorsque les données sont insuffisantes.

BioBasicsBench fixe ces exigences comme objectifs d’amélioration et montre, à travers ses échecs documentés, que la distance entre observation et décision expérimentale reste à combler avant que l’assistance IA en laboratoire devienne réellement fiable.

Loin d’être une simple démonstration technique, ce benchmark ouvre la voie à des outils capables d’alléger la charge d’interprétation des chercheurs, à condition qu’ils apprennent à respecter les exigences rigoureuses du raisonnement scientifique.