Les développeurs d'Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. promettent souvent que les dernières "harnesses" – les environnements qui couplent un modèle de langage à des outils de programmation – offrent des gains de productivité. Une étude menée par Liu et Han à l'Université de Shandong remet toutefois en question ces affirmations.

Ce que mesure réellement une enveloppe

Un agent de codage combine un modèle (comme Qwen 3.6 ou Deepseek‑V4‑Flash) avec un harness qui fournit le System PromptInstructions de haut niveau utilisées pour définir le rôle, les règles et le comportement attendu d'un assistant IA., les outils (recherche de fichiers, exécution de Bash, etc.) et la gestion du contexte. Les chercheurs ont gardé le modèle constant et ont varié uniquement l'enveloppe – Claude Code, OpenCode ou mini‑SWE‑agent – afin d’isoler son impact.

Méthodologie et jeu de données

Les tests portent sur les 45 tâches les plus difficiles du benchmark SWE‑bench Verified, complétées par un lot de 447 tâches supplémentaires. Chaque combinaison modèle‑harness a été exécutée deux fois pour mesurer le bruit inhérent aux exécutions. Les expériences se sont déroulées hors ligne; les premiers tests avec accès web ont été abandonnés parce que 71 % des modèles Deepseek et Qwen récupéraient automatiquement la solution depuis GitHub, faussant ainsi l’évaluation.

Des écarts de performance minimes

Sur le lot de 447 tâches, la différence entre la plus lourde enveloppe (Claude Code) et la plus légère (mini‑SWE‑agent) ne dépasse pas deux points, ce qui les rend statistiquement équivalents. Même sur les 45 tâches les plus ardues, les variations se limitent à deux‑cinq problèmes résolus supplémentaires par modèle, alors qu’une simple relance du même setup change le score de jusqu’à trois tâches. Le taux de « flip » – la proportion de tâches dont le résultat change entre deux exécutions – est de 13 % pour deux relances identiques et de 13 % entre deux enveloppes différentes, contre 22 % lorsqu’on change de modèle.

OpenCode : la seule exception

OpenCode affiche un déficit notable, allant jusqu’à neuf points sur le grand lot. La moitié de cet écart provient d’une limite de sortie : lorsqu’un modèle dépasse le quota de TokenUnité de contenu traitée par un modèle de langage, pouvant représenter un mot, une partie de mot ou un caractère. en cours de raisonnement, Claude Code le relance, alors qu’OpenCode arrête l’étape, entraînant un échec. Un ajustement du PromptL’instruction et le contexte fournis à un modèle pour orienter sa réponse. de continuation n’a pas corrigé le problème, suggérant que d’autres facteurs – comme une gestion de temps plus stricte ou des outils de recherche qui échouent hors ligne – influencent la performance.

Le coût caché des prompts

Le facteur le plus déterminant pour la facture en tokens est la taille du system prompt et des descriptions d’outils. Claude Code renvoie environ 16 600 tokens par appel, OpenCode 7 000 et mini‑SWE‑agent moins de 1 000. Ces tokens sont facturés à chaque étape, ce qui peut tripler le coût d’une tâche selon l’enveloppe utilisée. Les modèles réagissent différemment : avec GLM‑5.3‑Flash, Claude Code coûte presque le double de mini‑SWE‑agent, tandis que Deepseek‑V4‑Flash nécessite davantage d’étapes avec mini‑SWE‑agent, équilibrant les dépenses.

Quand la « pensée » change la donne

L’étude montre que l’option Extended Thinking (raisonnement prolongé) est le seul paramètre qui modifie réellement les résultats. Sans cette option, mini‑SWE‑agent avec Qwen 3.6 perd onze points, alors que Claude Code et OpenCode restent dans la marge du bruit. HY4‑Preview subit une perte similaire sous Claude Code. Ainsi, la capacité de raisonnement du modèle, combinée à l’enveloppe, influe sur le succès, mais les conclusions restent limitées par la petite grille de tests.

Implications pour les développeurs

Pour les équipes qui envisagent d’investir dans des harnesses plus sophistiqués, le message est clair : le gain en taux de réussite est marginal, tandis que la facture en tokens peut exploser. Les développeurs devraient donc publier les résultats d’une même configuration plusieurs fois avant de déclarer une supériorité d’une enveloppe, afin de distinguer le véritable effet du bruit statistique.

Une tendance plus large

D’autres recherches confirment que la complexité de l’enveloppe ne se traduit pas forcément par de meilleures performances : un simple fichier Markdown a parfois surpassé un système de compétences avancées. Nvidia a récemment réduit de moitié le coût en tokens de ses agents de codage grâce à un meilleur pilotage, illustrant que l’optimisation du flux d’instructions peut être plus rentable que l’ajout d’outils.

En définitive, choisir une enveloppe d’agent de code devrait se faire en fonction du budget token et de la nécessité d’un raisonnement approfondi, plutôt qu’en s’appuyant sur des promesses de scores plus élevés sans preuve robuste.