Baseten Grid : optimisation du routage et des garde‑fous pour le code IA en entreprise

Baseten a ouvert le 4 novembre 2026 la prévisualisation publique de Grid, une couche de routage, de passerelle et de garde‑fous destinée aux équipes qui intègrent l’IAIntelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. dans leurs processus de développement. Le service promet une réduction du coût par tâche proche de 70 % dans les premiers benchmarks, avec une perte de qualité de seulement 0,9 point de pourcentage face à Opus 5.5. L’accès se fait via une liste d’attente.

Un routage qui dépasse le simple prix des tokens

Dans la plupart des environnements d’entreprise, le développeur doit choisir manuellement le modèle qui exécutera une tâche de génération de code – que ce soit Claude Code, Codex ou un modèle propriétaireModèle propriétaireModèle dont l'accès, l'utilisation ou la redistribution sont soumis aux conditions définies par son propriétaire.. Grid automatise ce choix : pour chaque requête, le Baseten Router examine les modèles autorisés (ouverts ou fermés) et évalue la performance attendue contre le coût. Le calcul ne se base pas uniquement sur le prix du tokenTokenUnité de contenu traitée par un modèle de langage, pouvant représenter un mot, une partie de mot ou un caractère. ; il intègre également le coût des nouvelles tentatives, des appels d’outils infructueux et des réponses incomplètes. Le résultat est un itinéraire qui privilégie le coût, l’intelligence ou un compromis entre les deux, selon les paramètres définis par l’équipe.

Les entreprises peuvent partager les traces d’exécution afin d’entraîner des routeurs personnalisés adaptés à leurs charges de travail spécifiques. Baseten précise que les économies réelles dépendront de la forme de la charge (complexité, volume) et du compromis qualité‑coût choisi, le benchmark restant donc une indication de potentiel plutôt qu’une garantie universelle.

Chintan Parikh, responsable de l’ingénierie chez Opendoor, a indiqué que Grid avait centralisé la visibilité sur les dépenses IA et réduit les coûts sans perte de qualité notable. « Presque tout le monde chez Opendoor utilise l’IA, et la plupart des collaborateurs ne souhaitent pas choisir le modèle à chaque appel », précise‑t‑il.

Une passerelle administrative sans changer les outils de dev

Grid Gateway constitue la couche d’administration. Les équipes plateformes peuvent approuver des modèles, attribuer des accès par équipe, fixer des budgets et gérer les identifiants d’entreprise, tout en suivant l’usage à travers un tableau de bord. Ce tableau indique les dépenses par modèle, le volume de tokens, le taux de cache et le montant économisé.

À son lancement, Grid prend en charge les modèles d’OpenAI, Anthropic, Gemini Enterprise Agent Platform, Amazon Bedrock et Baseten. Les développeurs n’ont besoin que d’une seule commande d’installation pour connecter Claude Code, Codex, OpenCode et Pi. Les administrateurs peuvent automatiser la configuration via la gestion des appareils mobiles.

Les applications internes ou les agents qui utilisent déjà les API d’Anthropic ou d’OpenAI peuvent basculer en modifiant simplement l’URL de base et l’identifiant du modèle. Ainsi, les logiciels existants sont redirigés vers le même point d’entrée sans devoir remplacer leurs outils de développement.

Il est aussi possible de désigner un modèle principal pour le codage et un modèle plus léger pour des tâches annexes comme la génération de résumés. Les développeurs reçoivent ces paramètres par défaut, mais conservent la liberté de les modifier.

Garde‑fous partagés et infrastructure d’inférence

Au niveau de la passerelle, Grid propose des politiques de sécurité configurables qui vérifient chaque requête et chaque réponse. Les contrôles peuvent être ajustés selon la charge de travail : détection d’instructions cachées, prévention d’actions non autorisées ou filtrage d’informations client sensibles. Les enregistrements indiquent ce qui a été signalé et la manière dont le système a réagi.

Ces garde‑fous se distinguent des contrôles d’exécution qui définissent ce qu’un agent peut accéder ou faire. Baseten estime que les deux couches sont indispensables pour les organisations.

Sous la passerelle, la plateforme d’inférenceInférencePhase durant laquelle un modèle entraîné utilise ses paramètres pour produire une prédiction ou une réponse à partir de nouvelles données. de Baseten assure le routage, la traduction des protocoles, le caching, la mise à l’échelle et l’optimisation. En cas de sessions multi‑tour prolongées, le cache clé‑valeur permet de réduire le coût en réutilisant les réponses précédentes. Les équipes de recherche de performances, de post‑formation et d’infrastructure travaillent également sur des noyaux personnalisés, le décodage spéculatif et les évaluations de conformité avant le déploiement.

Perspectives et limites de la prévisualisation

Baseten envisage d’ajouter à terme la délégation de travaux de longue durée à des agents hébergés dans le cloud et la coordination de plusieurs agents pour des tâches complexes. D’autres améliorations prévues : routage affiné grâce aux données du client, signaux de sécurité enrichis et prise en charge de garde‑fous spécifiques au client.

Le test économique présenté se base sur le coût d’une tâche terminée à la qualité requise, le prix du token n’étant qu’un des paramètres. Comme les économies dépendront de la forme exacte des charges de travail et que certaines fonctions de gestion d’agents restent à développer, il reste à vérifier comment ces résultats se traduiront dans des déploiements de production à grande échelle.

En résumé, Grid propose une approche centralisée du routage et de la gouvernance pour les projets de code assisté par IA. Les premiers chiffres de réduction de coût sont encourageants, mais les entreprises devront mesurer les bénéfices réels en fonction de leurs propres flux et des évolutions futures de la plateforme.