Les agents de codage IA peinent encore : le nouveau benchmark Co‑Design Bench dévoile leurs limites

Un groupe de chercheurs d'Alibaba et de plusieurs universités asiatiques a publié un test inédit, le Co‑Design Bench, qui mesure la capacité réelle des agents de codage à modifier des applications web à partir de demandes d'utilisateurs. Contrairement aux benchmarks classiques, où les modèles affichent des scores supérieurs à 99 %, ce nouveau cadre s’appuie sur des requêtes issues de sessions de développement réelles, souvent ambiguës ou nécessitant plusieurs itérations.

Un test ancré dans le quotidien des développeurs

Les scénarios sélectionnés proviennent de cas où les utilisateurs ont dû reformuler leurs demandes ou revenir en arrière, ce qui reflète les difficultés rencontrées en production. Les tâches varient d’un simple ajustement – par exemple extraire un montant d’une facture et mettre à jour les totaux associés – à une refonte complète d’un projet. Certaines consignes incluent des médias (images, audio, vidéo) ou des documents, forçant les agents à gérer plusieurs types de changements simultanément.

Des performances loin de la perfection

Parmi les dix modèles testés, le meilleur, nommé GPTGPTFamille de modèles génératifs préentraînés reposant sur l'architecture Transformer, notamment utilisés pour produire du texte.‑6 Astra, satisfait en moyenne 70 % des exigences d’une tâche, mais ne fournit une solution entièrement correcte que dans 26,4 % des cas. Les autres modèles – Claude Opus 5, Qwen3.8‑Max, Grok 4.6, etc. – obtiennent des scores nettement inférieurs. Le point commun est que l'agent réalise la majeure partie du travail, mais laisse toujours au moins un détail à corriger, obligeant l’utilisateur à intervenir manuellement.

L’impact du type de modification

Lorsque la tâche combine plusieurs catégories de changements – mise en page, design, interaction, contenu – les scores chutent pour tous les modèles. Cette situation n’est pas exceptionnelle : les projets réels comportent souvent des exigences croisées. Même en augmentant la puissance de calcul, le gain reste limité ; le modèle GLM‑5.2 consomme près de six fois plus de jetonsTokenUnité de contenu traitée par un modèle de langage, pouvant représenter un mot, une partie de mot ou un caractère. que GPT‑6 Astra sur des modifications simples, sans améliorer son résultat.

L’influence de l’environnement d'exécution

Les chercheurs ont également testé les modèles dans différents « harnesses », c’est‑à‑dire les outils qui lisent, écrivent et exécutent le code. Le même modèle, Qwen3.8‑27B, obtient 75 % de réussite sur de petites refontes dans un environnement, mais seulement 56 % lorsqu’il travaille sur des projets plus lourds dans un autre. Le rang des modèles peut donc varier en fonction de l'infrastructure, ce qui montre que les classements qui ne mentionnent que le modèle donnent une vision incomplète.

Limites du benchmark

Co‑Design Bench ne reproduit pas les échanges continus entre l’utilisateur et l'agent ; chaque tâche se limite à une requête unique. De plus, les juges IAIntelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. qui évaluent les applications peuvent eux‑mêmes se tromper. Des études antérieures, comme celle de METR, ont déjà souligné l’écart entre les scores de benchmarks et le taux d'adoption réel du code généré, qui était inférieur de 24 points de pourcentage sur le benchmark SWE‑bench Verified.

Que retenir pour les développeurs et les entreprises ?

Le principal enseignement est que, malgré des avancées notables, les agents de codage ne sont pas encore prêts à remplacer la relecture humaine. Les entreprises qui envisagent d’intégrer ces outils doivent tester le couple modèle‑environnement dans leurs propres contextes, plutôt que de se fier uniquement aux classements publics. En pratique, cela signifie prévoir du temps de vérification et de correction après chaque génération, même avec les modèles les plus performants.

En fin de compte, le Co‑Design Bench rappelle que les performances affichées sur des benchmarks simplifiés masquent encore de nombreuses lacunes lorsqu’il s’agit de travaux concrets, et que l'human‑in‑the‑loop reste indispensable pour garantir la qualité du code livré.