Les modèles de langage les plus performants demandent d’énormes ressources : puissance de calcul, énergie, coût d’infrastructure. Quand une entreprise veut proposer un service réactif et abordable, ces exigences deviennent un obstacle. La DistillationTechnique permettant d'entraîner un modèle à reproduire certaines capacités ou sorties d'un autre modèle., technique d’TrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances. qui consiste à transférer les connaissances d’un modèle volumineux (« professeur ») vers un modèle plus petit (« élève »), apparaît alors comme une solution pragmatique.

De quoi parle-t-on exactement ?

Dans les réseaux de neurones, chaque réponse n’est pas simplement « oui » ou « non ». Le modèle attribue une probabilité à chaque option possible. Cette distribution fine révèle comment le modèle généralise : il peut, par exemple, juger qu’une image de BMW a une très faible probabilité d’être confondue avec un camion poubelle, mais cette erreur reste plus probable que de la prendre pour une carotte. La distillation exploite ces nuances. Le petit modèle apprend non seulement la bonne réponse, mais aussi le profil de probabilité du professeur, ce qui lui permet de reproduire le raisonnement sous‑jacent.

Historique et principe

Le concept a été formalisé en mars 2015 par Geoffrey Hinton, Oriol Vinyals et Jeff Dean, alors chez Google, s’appuyant sur des travaux antérieurs de Rich Caruana sur la compression de modèles. Depuis, la méthode s’est généralisée aux grands modèles de langage (LLMUn grand modèle de langage apprend des régularités dans des textes pour produire ou transformer du langage. Il ne constitue pas une base de faits garantie.). Trois étapes sont généralement suivies :

  1. Collecte des réponses du professeur : le grand modèle reçoit un large jeu de requêtes couvrant les compétences visées (code, mathématiques, rédaction, etc.) et ses sorties sont enregistrées.
  2. Entraînement de l’élève : le petit modèle tente de reproduire ces réponses. Si l’on contrôle le professeur, on peut même exploiter ses probabilités détaillées ; avec une simple API, le texte généré suffit déjà à transmettre une partie des capacités.
  3. Évaluation : on mesure l’écart entre les performances de l’élève et celles du professeur sur les tâches ciblées.

Ce qui rend la distillation attractive aujourd’hui

Les modèles de raisonnement, capables d’expliquer leurs réponses pas à pas, sont particulièrement convoités. Leur Chain of ThoughtApproche consistant à utiliser des étapes intermédiaires de raisonnement pour faciliter la résolution de problèmes complexes. expose les étapes intermédiaires, information que le simple résultat final ne révèle pas. En janvier 2025, DeepSeek a publié six modèles plus petits distillés à partir de son Modèle de raisonnementModèle d'intelligence artificielle optimisé pour résoudre des problèmes nécessitant plusieurs étapes de raisonnement. R1, en s’appuyant sur des architectures ouvertes comme Qwen (Alibaba) et Llama (Meta). De même, Amazon propose dans sa plateforme Bedrock de distiller un modèle Nova avancé vers une version plus légère, offrant aux clients un moyen clé en main de réduire leurs coûts.

Distillation vs fine‑tuning

Le fine‑tuning consiste à réentraîner un modèle existant sur des jeux de données spécifiques afin d’ajuster son comportement (ton, domaine, format). La distillation utilise quant à elle des données générées par un autre modèle plutôt que des exemples humains annotés. Ainsi, le fine‑tuning spécialise, alors que la distillation vise à condenser l’ensemble des capacités d’un grand modèle dans une version plus compacte.

Controverses et accusations récentes

Depuis le début de 2026, les laboratoires d’Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. américains – Anthropic, OpenAI et même la Maison‑Blanche – accusent plusieurs acteurs chinois, dont DeepSeek, Moonshot et MiniMax, d’avoir « distillé » leurs modèles à grande échelle. Les reproches portent sur l’utilisation de comptes frauduleux (environ 24 000 comptes) pour générer plus de 16 millions d’échanges afin d’extraire le raisonnement des modèles propriétaires. En juillet, le conseiller scientifique de la Maison‑Blanche, Michael Kratsios, a affirmé que Moonshot aurait distillé Claude Fable pour créer Kimi K3. OpenAI, à son tour, a identifié une campagne visant à extraire le raisonnement de ses modèles.

Anthropic a déclaré en février que les laboratoires d’IA « distillent régulièrement leurs propres modèles pour en créer des versions plus petites et moins chères à destination de leurs clients ». Ces versions permettent des réponses plus rapides, des coûts d’InférencePhase durant laquelle un modèle entraîné utilise ses paramètres pour produire une prédiction ou une réponse à partir de nouvelles données. réduits et, dans certains cas, une exécution locale. Cependant, les critiques soulignent que l’élève hérite des failles de son professeur : il reproduit les mêmes biais et erreurs, et peut même perdre une partie des garde‑fous de sécurité.

Les griefs portent surtout sur le contournement des restrictions d’accès et la violation des conditions d’utilisation des fournisseurs. Anthropic avance que les modèles distillés de façon non autorisée ne conservent pas les protections mises en place sur le modèle original. De l’autre côté, les laboratoires accusés rappellent que leurs propres modèles ont été entraînés sur des contenus collectés sans l’accord explicite des auteurs, un point qui complique la discussion juridique autour de la distillation.

Un cadre juridique encore flou

Actuellement, aucune législation spécifique ne régule la distillation. Les limites sont donc définies par les conditions d’utilisation des plateformes (OpenAI, Anthropic, etc.). Cette absence de cadre crée une zone grise où les pratiques légitimes et les violations se confondent, alimentant les tensions entre acteurs américains et chinois.

Vers l’avenir : quels enjeux ?

  1. Coût vs performance : la distillation permettra probablement à davantage d’entreprises de proposer des services IA abordables, notamment dans des contextes où la LatenceDélai entre l'envoi d'une requête à un système et l'obtention d'une réponse ou du début de celle-ci. est critique (applications mobiles, edge computing).
  2. Sécurité : si le petit modèle perd les garde‑fous du professeur, les risques de génération de contenus dangereux ou de fuite d’informations augmentent. Les fournisseurs investissent donc dans des protections (Anthropic affirme réduire de 90 à 99 % les données de raisonnement récupérées), mais ces chiffres restent à valider par des audits indépendants.
  3. Propriété intellectuelle : la frontière entre réutilisation légitime et vol de propriété intellectuelle continuera d’alimenter les débats, surtout si les modèles distillés sont commercialisés sans licence explicite.
  4. Innovation : la disponibilité de techniques de distillation clé en main (comme le service Bedrock d’Amazon) pourrait accélérer le développement de modèles spécialisés pour des secteurs spécifiques – santé, finance, industrie – où la puissance de calcul locale est un atout majeur.

En résumé, la distillation se révèle être une méthode efficace pour rendre les IA puissantes plus accessibles, mais elle soulève des questions de sécurité et de légalité qui restent à clarifier. Alors que les grands modèles continuent de croître en taille, la capacité à les condenser sans perdre l’essentiel de leurs compétences deviendra probablement un critère de compétitivité majeur pour les acteurs du secteur.

Au cœur de la question RAG

RAGUne méthode qui recherche des documents pertinents pour les ajouter au contexte du modèle avant sa réponse. combine un modèle de génération avec un moteur de recherche interne, permettant au modèle de puiser des informations actualisées dans une base de connaissances externe avant de formuler sa réponse. Cette approche, souvent couplée à la distillation, ouvre la voie à des IA capables de fournir des réponses à la fois précises et à jour tout en conservant une empreinte légère.