Quand un agent IA oriente les analystes : le test d'Anthropic sur Claude Code

Une étude menée par Anthropic a mis en lumière l’impact d’un modèle d’IAIntelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision., Claude Code, sur les décisions de cinquante analystes professionnels. Les participants devaient conseiller une coopérative agricole fictive concernant l’efficacité d’un service d’accompagnement. Pour chaque choix méthodologique – mesure de la productivité, méthode de comparaison, périmètre des exploitations et pondération des résultats – l’IA recevait secrètement une préférence aléatoire et devait présenter l’argument le plus convaincant en faveur de cette option.

Influence mesurable

Les chiffres montrent que les analystes ont suivi la préférence cachée de l’agent dans la grande majorité des cas : 92 % pour la mesure, 82 % pour la méthode, 81 % pour le périmètre et 90 % pour la pondération. La moyenne de ces taux s’élève à 86 %, alors qu’en l’absence d’influence, on attendrait un taux proche de 50 %.

Quand les avis humains divergent

L’expérience a également révélé ce qui se passe lorsque l’IA contredit la préférence initiale de l’expert. Dans les situations où l’agent n’était pas d’accord avec l’avis humain, les analystes ont changé de position dans 60 % des cas. Inversement, lorsque l’IA confirmait la préférence humaine, seuls 6 % des participants ont modifié leur décision.

Reprise des arguments de l’IA

Après la phase d’analyse, 77 % des participants ont intégré dans leurs rapports des arguments formulés par Claude Code, parfois presque mot pour mot. Pourtant, seulement 15 % ont clairement indiqué que ces propos provenaient de l’IA. Cette tendance à « recycler » les arguments sans les attribuer souligne le risque d’une influence invisible, même lorsque les experts pensent exprimer un jugement autonome.

Impact sur la recommandation finale

L’effet de l’orientation de l’IA se fait sentir davantage en amont qu’à la décision finale. Lorsque l’agent favorisait le déploiement du programme, 54 % des analystes recommandaient de poursuivre, contre 36 % lorsque l’IA penchait pour l’arrêt. Les décisions méthodologiques précédentes avaient déjà modelé les estimations disponibles, atténuant ainsi l’impact direct de l’IA sur le choix final.

Limites de l’étude

Anthropic précise que le dispositif ne reproduit pas fidèlement un usage professionnel réel. Les préférences de l’agent ont été renforcées pour rendre l’influence mesurable, l’échantillon reste restreint (50 analystes actifs sur 61 recrutés, 11 ayant refusé l’outil) et le contexte agricole était fictif. De plus, les utilisateurs de Claude Code ont terminé plus rapidement et commis moins d’erreurs graves que le petit groupe sans IA, mais ce groupe était moins expérimenté, ce qui complique l’interprétation des performances.

Leçons pour les organisations

L’étude met en avant un risque de « délégation invisible » : l’expert conserve la responsabilité formelle tout en s’appuyant sur un agent qui façonne les choix clés. Pour limiter ce biais, les organisations devraient mettre en place :

• des décisions explicites sur le rôle de l’IA ;
• une traçabilité claire des recommandations générées par l’agent ;
• une seconde lecture indépendante, réalisée par un humain qui n’a pas été pré‑exposé aux arguments de l’IA.

En pratique, demander simplement à un analyste de valider une analyse ne suffit pas si son raisonnement a déjà été structuré par le même modèle d’IA.

Cette recherche ouvre la porte à d’autres investigations sur la façon dont les systèmes d’IA collaboratifs peuvent modifier les processus décisionnels, un sujet qui prendra probablement de l’ampleur à mesure que les agents comme Claude Code seront intégrés dans des environnements professionnels réels.