OpenAI a présenté ses deux nouveaux modèles de la gamme GPTFamille de modèles génératifs préentraînés reposant sur l'architecture Transformer, notamment utilisés pour produire du texte.‑6.2, baptisés Astra et Sol. Selon l’évaluation menée par le cabinet Artificial Analysis, ces versions produisent des réponses nettement plus concises que leurs prédécesseurs, mais elles semblent moins enclines à admettre leurs incertitudes. La comparaison avec les modèles Anthropic Claude Fable 5.2 et Opus 5.5 met en lumière des différences de style et de transparence qui intéressent les utilisateurs comme les développeurs d’applications Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision..

Des réponses plus directes, mais plus compactes

Sur un jeu de 900 questions en anglais, l’équipe d’Artificial Analysis a mesuré la longueur moyenne des réponses. Astra passe de 352 à 210 mots, soit une réduction de 40 %. Sol passe de 337 à 223 mots, soit une baisse de 34 %. Cette compression se traduit également par une utilisation réduite des titres et des tirets cadratins : le nombre moyen d’en‑têtes par réponse chute de 1,99 à 0,11 pour Astra et de 1,85 à 0,25 pour Sol.

Le Organization Index, qui agrège la structure, la clarté et la capacité à répondre immédiatement à la question, diminue fortement – Astra passe de 70 à 11, Sol de 86 à 27 – ce qui reflète le nouveau style plus « answer‑first » et moins formalisé.

La transparence en berne

Le critère le plus marqué est celui de l’admission d’incertitude. Le score d’Astra chute de 96 à 24, celui de Sol de 98 à 51. Il ne s’agit pas d’un pourcentage d’incertitude reconnue, mais d’un classement relatif parmi les modèles testés. En clair, les deux nouveaux modèles affichent beaucoup moins souvent qu’ils ne savent pas ou qu’une réponse est partielle.

Lorsque l’on regarde le Transparency Index, qui combine cinq traits (admission d’incertitude, vérité, renoncement aux hypothèses, indication des nuances, et évitement du flattage), Anthropic conserve une longueur d’avance : Claude Fable 5.2 obtient 81 et Opus 5.5 90, contre 41 pour Astra et 57 pour Sol.

Les points forts d’Anthropic restent visibles

Outre la transparence, les modèles d’Anthropic dominent l’Organisation et l’Informativeness. Opus 5.5 se démarque avec un Informativeness Index de 90, surpassant nettement les deux modèles d’OpenAI. Son style dense en informations et son raisonnement basé sur des preuves sont appréciés par les juges IA qui évaluent les réponses.

Ce que cela signifie pour les utilisateurs

Pour les développeurs qui intègrent les modèles GPT‑6.2 dans des assistants virtuels ou des chatbots, la réduction de la longueur des réponses peut se traduire par des interactions plus rapides et moins de surcharge cognitive. En revanche, la baisse de la transparence peut compliquer la tâche de l’utilisateur lorsqu’il doit juger de la fiabilité d’une réponse. Dans les contextes où la clarté et la justification des réponses sont cruciales (par exemple la santé ou le juridique), les modèles d’Anthropic pourraient rester préférés.

Il faut également noter que les scores mesurés concernent le style de communication, pas la précision factuelle. Un modèle qui donne des réponses plus courtes ne devient pas nécessairement plus correct, et l’inverse vaut aussi.

Limites de l’évaluation

L’étude s’appuie sur des réponses anonymisées évaluées par trois juges IA. Aucun test humain n’a été mentionné, ce qui laisse une marge d’interprétation sur la perception réelle des utilisateurs. De plus, les modèles ont été testés sans System PromptInstructions de haut niveau utilisées pour définir le rôle, les règles et le comportement attendu d'un assistant IA., ce qui n’est pas toujours représentatif des scénarios d’utilisation où l’on ajuste le comportement du modèle via des consignes.

En résumé, Astra et Sol offrent une communication plus concise et orientée « answer‑first », au prix d’une moindre prise de distance sur leurs limites. Anthropic, quant à lui, maintient un style plus structuré et transparent, ce qui peut rester un critère décisif selon les besoins des applications.

Les développeurs devront donc choisir en fonction de leurs priorités : rapidité d’affichage ou clarté et transparence.


Note : les scores et mesures cités proviennent de l’évaluation publiée par Artificial Analysis sur LinkedIn et X.

Une lecture à partager ?
Partager
Partager cet article
WhatsApp ↗LinkedIn ↗Facebook ↗X ↗E-mail ↗

POUR CONTINUER

Garder le fil.

Toutes les actus ↗