Les dépenses liées aux API de grands modèles de langage (LLMUn grand modèle de langage apprend des régularités dans des textes pour produire ou transformer du langage. Il ne constitue pas une base de faits garantie.) pèsent lourdement sur les budgets des équipes tech. Une approche qui gagne du terrain consiste à combiner deux leviers : choisir le modèle le plus adapté à chaque tâche et ajuster les invites pour corriger ses comportements récurrents. Rahul Nambiar, co‑fondateur et CEO de Propensity Labs, explique comment son équipe a fait correspondre les performances d’un modèle premium avec seulement 7 % du coût en adaptant les prompts et en routant les requêtes.
Comprendre le principe de routage
Dans les systèmes traditionnels, un même modèle traite l’ensemble du workflow, même si certaines étapes ne nécessitent pas la puissance d’un modèle de pointe. Propensity Labs propose de diviser le processus en sous‑tâches, d’évaluer quel modèle répond le mieux à chaque partie, puis de rediriger la requête vers le modèle choisi. Le gain n’est pas seulement économique ; il résulte aussi d’une meilleure maîtrise des « behavioural quirks » que chaque modèle possède.
Adapter les invites, pas seulement les modèles
Un petit modèle peut échouer parce que l’invite n’est pas formulée de façon à éviter ses biais. Par exemple, DeepSeek V4 Pro et GPTFamille de modèles génératifs préentraînés reposant sur l'architecture Transformer, notamment utilisés pour produire du texte.‑6 Luna ont tendance à halluciner lorsqu’on ne leur donne pas la possibilité de dire « je ne sais pas ». Avec DeepSeek, il suffit de répéter l’idée « il est acceptable de dire je ne sais pas », alors que Luna répond mieux à une pénalité explicite (« une réponse fausse vaut -90 points, une vraie +10 »). Ces ajustements, bien que simples, permettent à un modèle moins cher d’atteindre le niveau de précision d’un modèle plus coûteux.
Passer du benchmark à la production
Les environnements de test offrent des métriques claires, mais les flux réels sont plus désordonnés. Dans la production, on ne sait souvent pas si une tâche a réellement abouti. Propensity Labs utilise les traces existantes – évaluations internes ou logs d’usage – pour reconstituer un cadre d’évaluation qui compare différents modèles sur les mêmes scénarios. Cette méthode révèle quels prompts fonctionnent, quels modèles doivent être sollicités, et où l’adaptation reste indispensable.
Quand le routage devient une stratégie durable
Le rythme de sortie des nouveaux LLM est effréné : chaque semaine, un modèle plus performant apparaît. S’appuyer exclusivement sur le dernier modèle phare conduit rapidement à une sous‑exploitation des alternatives moins onéreuses. En adoptant une couche d’orchestration capable de basculer entre modèles, les entreprises évitent de laisser « performance » et « coût » sur la table. Le vrai défi n’est pas de choisir le meilleur modèle une fois pour toutes, mais de maintenir un système souple qui s’ajuste aux améliorations continues du marché.
Points d’attention pratiques
- Évaluation continue : ré‑évaluer régulièrement les performances des modèles sur vos propres jeux de données évite les surprises.
- Gestion de la confidentialité : Propensity Labs agit comme un intermédiaire qui ne conserve pas les données clients et ne les utilise pas pour entraîner ses propres modèles.
- Rôle des experts : même si la plateforme simplifie le choix, il reste crucial de comprendre les limites inhérentes à chaque modèle pour éviter des erreurs de conception.
En résumé, le routage intelligent et l’adaptation fine des invites offrent une voie pragmatique pour réduire les factures d’Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. sans sacrifier la qualité. Les équipes qui intègrent ces principes dès aujourd’hui gagneront en agilité face à l’évolution rapide du paysage des LLM.





