Baseten rend le fine‑tuning LLM accessible en mode serverless

Le 6 novembre 2026, Baseten a annoncé la disponibilité générale de Serverless Loops, une plateforme qui ouvre son SDK géré aux développeurs souhaitant affiner ou entraîner par renforcement des modèles ouverts. L’offre se démarque par une facturation au tokenTokenUnité de contenu traitée par un modèle de langage, pouvant représenter un mot, une partie de mot ou un caractère. et une passerelle directe entre les points de contrôle (checkpoints) et l’inférenceInférencePhase durant laquelle un modèle entraîné utilise ses paramètres pour produire une prédiction ou une réponse à partir de nouvelles données. dédiée.

Une approche « division du travail »

Serverless Loops repose sur un principe simple : l’utilisateur fournit le signal d’entraînementTrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances. (données, fonction de perte, hyper‑paramètres) tandis que Baseten prend en charge l’infrastructure GPUGPUProcesseur conçu pour effectuer de nombreux calculs en parallèle, notamment utilisé pour entraîner et exécuter des modèles d'IA., les kernels et la logique de formation distribuée. Le SDK Python crée des adaptateurs LoRA en maintenant les poids du modèleParamètres du modèleValeurs numériques internes apprises pendant l'entraînement et utilisées par le modèle pour produire ses résultats. de base gelés. L’utilisateur choisit le modèle de base, le rang LoRA, le taux d’apprentissage, la fonction de perte, ainsi que le type de données ou l’environnement d’apprentissage. Baseten exécute ensuite le processus complet : entraînement, échantillonnage, synchronisation des poids et suivi de l’infrastructure.

Une couche de compatibilité conserve les importations Tinker et les appels d’entraînement classiques, ce qui facilite la migration des scripts existants. Le passage à l’authentification via une clé API Baseten, la génération d’URL paginées pour les checkpoints, et l’obligation d’alimenter les images en ligne sont les principales différences à gérer.

Modèles serverless et modèle de facturation

Le catalogue serverless propose trois modèles : Qwen/Qwen3.6‑35B‑A3B et zai‑org/GLM‑5.3‑Flash (texte + vision) ainsi que zai‑org/GLM‑5.3 (texte uniquement). Tous supportent une longueur de séquence maximale de 262 144 tokens. La version long‑context de GLM‑5.3 ne gère pas les pertes cross_entropy ni dpo.

En mode serverless, la capacité est partagée ; aucune réservation GPU n’est requise. La facturation porte uniquement sur les tokens consommés pendant l’entraînement et le sampling. Le temps passé à lire les résultats, à changer la fonction de récompense ou à rester inactif n’est pas facturé. Si un modèle, un rang LoRA ou une longueur de séquence n’est pas pris en charge, le système bascule automatiquement vers le mode dédié, ou bien rejette la requête si l’on force le mode serverless.

Le mode dédié, quant à lui, donne accès à un catalogue plus large, facture le temps GPU et propose des contrôles sur le nombre de répliques, la réutilisation à chaud et la capacité spot.

Checkpoints, déploiement et usage en production

Le processus de démarrage expose quatre opérations principales :

• forward_backward : calcul de la perte et du gradient,
• optim_step : mise à jour de l’adaptateur LoRA,
• sample : génération de texte ou d’image,
• save_state : sauvegarde de l’état du modèle et de l’optimiseur.

Lorsque l’on publie les poids du sampler, Baseten crée un checkpoint déployable et un client d’échantillonnage lié à ce checkpoint. Le premier appel de sampling peut prendre plusieurs minutes le temps que la capacité serverless s’active, ce qui est à garder à l’esprit pour les expérimentations rapides.

Les checkpoints restent disponibles après la fin d’un run et peuvent être déployés via CLI, API REST ou tableau de bord en fournissant un jeton d’accès Hugging Face. Le point d’accès OpenAI‑compatible ainsi créé facture le GPU tant qu’il reste actif; la suppression du déploiement arrête la charge, mais le checkpoint persiste.

Premiers retours clients et limites pratiques

Baseten a validé la solution avec des tests numériques et des expériences de reinforcement learningReinforcement LearningMéthode d'apprentissage dans laquelle un agent améliore ses décisions en fonction des récompenses reçues lors de ses interactions. sur des tâches τ‑bench couvrant la vente au détail, l’aérien et la banque. Les expériences ont montré, par exemple, une amélioration de la précision de classification d’intention de 76,8 % à 94 % sur le modèle Nemotron Super 3.5 VL post‑entraîné par NVIDIA, ainsi qu’un score F1 de 87 % sur l’extraction de reçus.

Parmi les utilisateurs précoces, Datadog explore le RL multi‑tour pour son agent SRE, tandis qu’Ambience Healthcare utilise le post‑training pour corriger des erreurs de transcription clinique. LangChain Labs, quant à lui, entraîne des modèles sur des traces d’agents afin d’automatiser le diagnostic de bugs dans des dépôts GitHub.

Ces cas d’usage illustrent la boucle d’infrastructure : les données d’application deviennent le signal d’entraînement, les checkpoints sont évalués, puis les modèles retenus sont mis en production. La facturation au token élimine les coûts liés aux GPU inactifs, mais la capacité réelle dépend toujours des limites de l’espace de travail, des GPUs disponibles et des quotas organisationnels.

Points à retenir pour les développeurs

• Facilité d’accès : aucune réservation GPU, facturation uniquement à l’usage.
• Choix du modèle : trois options serverless, mais le mode dédié reste nécessaire pour certains rangs LoRA ou longueurs de séquence.
• Déploiement : les checkpoints sont persistants et compatibles Hugging Face, permettant une migration fluide vers des endpoints de production.
• Limites : le catalogue serverless est restreint, la première requête d’échantillonnage peut être lente, et les quotas d’espace de travail peuvent bloquer des runs.

En résumé, Serverless Loops propose une passerelle pratique entre la recherche en fine‑tuning et le déploiement en production, tout en limitant les dépenses inutiles. Pour les équipes qui cherchent à itérer rapidement sur des modèles ouverts sans investir dans une infrastructure GPU permanente, l’offre de Baseten représente une option à considérer dès les premiers prototypes.