Le 22 novembre 2026, OpenAI a publié un document intitulé Perplexity and Intelligence dans lequel la société propose d’utiliser la perplexité comme indicateur commun pour comparer la progression des modèles de pointe et définir des seuils de sécurité partagés. L’objectif affiché est de rendre plus transparent le suivi interne des modèles avant leur mise en production et d’inciter l’ensemble du secteur à harmoniser ses critères d’évaluation.
La perplexité, un indicateur remis au centre du débat
La perplexité mesure la capacité d’un modèle à prédire le prochain TokenUnité de contenu traitée par un modèle de langage, pouvant représenter un mot, une partie de mot ou un caractère. d’une séquence ; plus la valeur est basse, plus les prédictions sont précises. OpenAI suit cette métrique depuis GPTFamille de modèles génératifs préentraînés reposant sur l'architecture Transformer, notamment utilisés pour produire du texte.‑3.5 sur un DatasetEnsemble de données organisé pour entraîner, valider, tester ou évaluer un modèle d'intelligence artificielle. interne stable, même si les architectures et les méthodes d’TrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances. ont largement évolué depuis. Selon les chiffres fournis, GPT‑3.5 affichait une log‑perplexité d’environ 0,99, GPT‑4 était à 0,91, et les modèles les plus récents seraient déjà passés sous la barre des 0,8. OpenAI associe cette baisse à l’émergence de capacités renforcées en cybersécurité et en mathématiques, sans toutefois publier le jeu de données utilisé ni rendre les mesures comparables avec d’autres laboratoires.
Des seuils avant de pousser l’entraînement
Au‑delà de la simple courbe, OpenAI propose de fixer des limites de perplexité à ne pas franchir tant que des outils de surveillance et de compréhension ne sont pas en place. La société évoque une prochaine zone de progression autour de 0,68‑0,70 de log‑perplexité, tout en admettant qu’elle ne sait pas quelles nouvelles capacités pourraient alors apparaître. L’idée est de lier chaque seuil à des exigences concrètes : nouveaux tests de raisonnement, protocoles de suivi du comportement du modèle, ou évaluations de sécurité renforcées. Selon OpenAI, un tel cadre offrirait une base scientifique plus stable que les benchmarks applicatifs, qui se saturent rapidement.
Limites reconnues et perspectives d’un standard partagé
OpenAI n’occulte pas les faiblesses de la perplexité. Les laboratoires n’utilisent pas les mêmes jeux de données d’évaluation, et la métrique ne reflète pas directement l’utilité d’une tâche ni les gains obtenus après le pré‑entraînement, comme le fine‑tuning ou l’Reinforcement LearningMéthode d'apprentissage dans laquelle un agent améliore ses décisions en fonction des récompenses reçues lors de ses interactions.. De plus, la corrélation entre baisse de perplexité et nouvelles capacités a été observée uniquement sur les propres systèmes d’OpenAI ; elle devra être vérifiée de façon indépendante avant d’être adoptée comme norme industrielle.
Malgré ces réserves, la publication constitue un rare aperçu des indicateurs internes suivis par un grand laboratoire avant la mise en produit. Le vrai enjeu réside moins dans les valeurs annoncées que dans l’appel à établir des règles communes dès le début du processus d’entraînement. Si la communauté accepte d’adopter un repère partagé, cela pourrait réduire les risques liés à des modèles de plus en plus puissants, à condition que la métrique reste auditable et complétée par des évaluations de risques plus concrètes.
Le prochain défi sera de TransformerArchitecture de réseau neuronal reposant notamment sur des mécanismes d'attention pour traiter des séquences de données. ce repère interne en un critère vérifiable par l’ensemble de la communauté.




