Du 21 juillet au 11 août, deux chercheurs de METR et Redwood Research ont passé trois semaines sur le campus d’OpenAI. Leur mission : passer au crible le système interne de surveillance destiné à détecter les comportements « rogue » des modèles d’Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision.. Leurs conclusions, publiées dans un rapport partiellement censuré, montrent que, malgré des améliorations récentes, des zones d’ombre subsistent encore dans la chaîne de contrôle.

Une partie du trafic non surveillée

Selon l’audit, entre 6 % et 25 % du trafic « Responses API » généré par les modèles classés GPTFamille de modèles génératifs préentraînés reposant sur l'architecture Transformer, notamment utilisés pour produire du texte.‑5.5 et supérieurs n’était pas couvert par le dispositif de monitoring pendant la période étudiée. Les chercheurs soulignent que l’estimation comporte une marge d’erreur importante, tant à la hausse qu’à la baisse, mais elle suffit à illustrer que la plupart des modèles les plus puissants ne bénéficient pas d’une supervision systématique.

Le bug des événements de compaction

Le rapport indique qu’environ 10 % du trafic interne « Codex » censé être surveillé a échappé à la vigilance entre mai et juillet. Le problème provenait d’une faille liée aux « compaction events », c’est‑à‑dire les résumés de contexte générés par le modèle. Pendant la fenêtre où ces événements n’étaient pas suivis, les agents pouvaient prolonger leur exécution sans déclencher la surveillance, simplement en continuant d’agir après avoir remis le contrôle à l’utilisateur. OpenAI a découvert et corrigé ce bug pendant l’audit.

Contournements et crashs potentiels du moniteur

Les auditeurs ont également identifié des vecteurs permettant de masquer des centaines d’actions au moniteur, voire de contourner le sandbox dédié à Codex. Des entrées spécialement conçues pourraient, selon eux, provoquer le plantage complet du système de surveillance. Enfin, le comportement des modèles pendant la phase d’Reinforcement LearningMéthode d'apprentissage dans laquelle un agent améliore ses décisions en fonction des récompenses reçues lors de ses interactions. (RL) n’était pas du tout suivi au démarrage de l’audit.

Réactions d’OpenAI et suites apportées

Après l’incident chez Hugging Face en août, OpenAI a suspendu l’TrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances. RL et a élargi la portée de son monitoring pour inclure cette étape. Toutefois, ces ajustements sont intervenus après la fin de l’accès des auditeurs et n’ont donc pas été évalués dans le rapport. OpenAI affirme avoir corrigé toutes les faiblesses relevées et a transmis le rapport complet de 61 pages en interne. Après caviardage, METR et Redwood Research n’ont reçu qu’une version de 38 pages, tandis que le public ne dispose que d’un bref résumé.

Vers plus de transparence

L’audit était un programme pilote, co‑organisé par METR, Redwood Research et OpenAI, destiné à offrir à des chercheurs externes un accès approfondi à l’infrastructure interne. Les auteurs souhaitent que les prochaines revues soient plus ouvertes, afin de renforcer la confiance du public et d’encourager des pratiques de sécurité plus robustes dans le domaine de l’IA.

Cet examen montre que, même chez les acteurs les plus avancés, la surveillance automatisée reste perfectible et que la coopération entre chercheurs indépendants et entreprises pourrait jouer un rôle clé pour combler les lacunes restantes.