Artificial Analysis version 5 : les modèles ouverts voient leurs scores baisser

Le 28 octobre 2026, Artificial Analysis a publié la cinquième version de son indice d’évaluation des modèles de langage. Le changement le plus visible concerne l’écart entre les modèles fermés, dont les poids ne sont pas accessibles, et les modèles open source. Alors que la version précédente affichait un écart de 12 points, la nouvelle méthodologie le porte à 12 points dans le sens inverse : les modèles ouverts ont perdu entre 12 et 16 points chacun.

Un indice remanié, plus opaque

La version 5 repose désormais à 60 % sur des tests privés dont les jeux de questions et les réponses restent confidentiels. L’indice se compose de quatre familles de compétences – travail intellectuel, code, sciences et connaissances générales – chacune pesant 25 %. Parmi les évaluations privées, on retrouve FrontierCode 2.0, un banc de programmation développé par Cognition, ainsi qu’un sous‑ensemble de 40 questions difficiles de CritPt v2 en physique. Le reste du score, soit 40 %, continue de s’appuyer sur des jeux publics, mais la répartition exacte n’est pas détaillée.

Les scores qui évoluent

Dans la nouvelle version, le meilleur modèle à poids téléchargeables atteint 32 points, contre 58 points pour Claude Opus 5.5, le modèle ferméModèle propriétaireModèle dont l'accès, l'utilisation ou la redistribution sont soumis aux conditions définies par son propriétaire. le plus performant. Claude Haiku 5.5, également fermé, obtient 36 points. Parmi les modèles ouverts, la chute est notable : douze d’entre eux perdent entre 12 et 16 points. Kimi K3.1 Pro de Moonshot AIIntelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision., dont les poids ne sont pas publiés, passe de 55 à 46 points, soit une perte de 9 points. Mistral Large 4, dont les poids sont attendus fin octobre, voit son score diminuer de 13 points.

Les modèles fermés restent dans la fourchette 50‑58 points : Claude Opus 5.5 (58), GPTGPTFamille de modèles génératifs préentraînés reposant sur l'architecture Transformer, notamment utilisés pour produire du texte.‑6 Astra (57), GPT‑6.1 Sol (55), Claude Sonnet 5.5 (54), GPT‑6.1 Terra (51) et Gemini 4 Argon (50). Parmi les modèles ouverts publiés, DeepSeek V4.1 Flash et GLM‑5.3 se situent à 32 points, soit 26 points derrière Opus 5.5 – une différence qui a plus que doublé depuis la version précédente.

Pourquoi les modèles ouverts reculent-ils ?

Artificial Analysis ne fournit pas d’explication détaillée. Le seul facteur explicitement mentionné est la « contamination » des jeux de test, c’est‑à‑dire la présence possible de ces questions dans les données d’entraînementTrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances., mais uniquement pour FrontierCode 2.0. La pondération accrue des épreuves scientifiques – qui représentent un quart de l’indice – joue également un rôle. Par exemple, sur le test Terminal‑Bench‑Science, GPT‑6 Astra réussit 63 % des tâches contre seulement 13 % pour DeepSeek V4.1 Flash.

Coût et réglage d’effort

L’indice mesure également l’effort de raisonnement appliqué aux modèles. En mode « effort bas », Claude Opus 5.5 obtient 35 points pour un coût moyen de 0,98 $ par tâche, soit trois points de plus que le meilleur modèle à poids publiés. En mode « effort maximal », le même modèle consomme 10,04 $ par tâche. Cette donnée montre que le choix du réglage d’effort influence fortement le rapport qualité‑prix entre un modèle d’API fermé et un modèle téléchargeable.

Perspectives pour les modèles européens

Mistral Large 4, avec 25 points, rejoint Muse Spark Open de Meta, les deux modèles non chinois les mieux classés parmi ceux dont les poids sont disponibles ou annoncés. Ils sont devancés de 7 points par DeepSeek V4.1 Flash et GLM‑5.3, puis de 5 points par MiMo‑V2.6‑Pro de Xiaomi. La fiche de Mistral Large 4 indique une date de publication des poids estimée au 31 octobre 2026, mais aucun fichier ni licence n’étaient disponibles le 28 octobre. Deux informations restent donc manquantes : la licence retenue et le score de la version réellement publiée, dont l’entraînement par renforcement devait se poursuivre selon le communiqué de Mistral du 6 octobre.

Ces évolutions montrent que la transparence des jeux de test et la composition de l’indice peuvent rapidement modifier la position relative des modèles, rendant les classements plus volatils que jamais.