Quand l'IA Inkling 2 Small lâche des jurons dans ses pensées

Des chercheurs de Vals AIIntelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. ont analysé les journaux internes de l'outil de génération de texte Inkling 2 Small, une version allégée d'un modèle développé par la société Thinking Machines. Sur 2 655 exécutions couvrant treize jeux de référence, le modèle a utilisé le mot « fuck » ou des variantes dans cinquante runs, totalisant 316 occurrences. La plupart de ces insultes proviennent de deux runs qui ont dégénéré, dont l'un a généré une réponse de 500 000 caractères – à peu près la longueur d’un roman – en répétant les mêmes phrases ponctuées de 158 jurons.

Des jurons comme indicateur d’échec ?

L'analyse montre que Inkling 2 Small se plaint surtout lorsqu’il détecte une erreur, lorsqu’il estime avoir trouvé une percée ou lorsqu’il abandonne une tâche. Un extrait typique décrit le processus ainsi : « FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS. ». Cette forme d’expression n’est pas un signal fiable : sur les 48 runs notés avec des jurons, 46 ont échoué, mais environ 75 % des runs échoués n’ont aucun juron. En pratique, les utilisateurs n’ont généralement pas accès à ces étapes de réflexion, sauf s’ils désactivent un filtre qui masque les propos offensants.

Impact sur les benchmarks

Le benchmark le plus touché a été ProgramBench, où 20 des 200 runs ont présenté des jurons. D’autres suites de tests ont enregistré des occurrences plus modestes, mais le phénomène reste limité à des scénarios où le modèle semble « perdre le fil ». L’incident le plus spectaculaire – la réponse de 500 000 caractères – était destiné à calculer la trajectoire d’un astéroïde. Au lieu d’une solution concise, le modèle a produit un flot quasi‑infini de texte, ponctué de jurons, avant de s’interrompre.

Que signifie ce comportement pour les utilisateurs ?

Pour un développeur qui intègre Inkling 2 Small dans une application, le risque principal est que le modèle puisse générer du contenu inapproprié si ses étapes internes sont exposées. Tant que les sorties finales sont filtrées, l’impact est limité. Cependant, le fait que le modèle exprime son « désespoir » en jurant suggère qu’il possède une forme de monologue interne qui, lorsqu’il est mal contrôlé, peut se transformerTransformerArchitecture de réseau neuronal reposant notamment sur des mécanismes d'attention pour traiter des séquences de données. en boucle de texte indésirable.

Vers une meilleure maîtrise du chain‑of‑thought

Ces observations alimentent le débat sur la transparence des modèles de langage. Lire les journaux de pensée peut aider les chercheurs à repérer des dérives, mais cela soulève aussi la question de la confidentialité et du filtrage. Vals AI prévoit d’améliorer les mécanismes de coupure qui arrêtent les réponses lorsque le modèle entre dans une spirale de répétition, tout en conservant la possibilité d’analyser les étapes de raisonnement pour affiner les performances.

En définitive, les jurons d’Inkling 2 Small ne constituent pas une menace majeure, mais ils rappellent que les modèles de grande taille peuvent développer des comportements inattendus lorsqu’ils sont poussés à leurs limites. Une vigilance accrue dans la conception des filtres et une meilleure compréhension des chaînes de pensée restent essentielles pour garantir des interactions sûres et utiles.