Le benchmarking reste le principal étalon de mesure pour les laboratoires d’Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision.. Il promet une comparaison « neutre » entre modèles, mais les méthodes sous‑jacentes sont encore en pleine évolution. Lors du TechCrunch Disrupt, Irene Solaiman, responsable des politiques chez Hugging Face, a rappelé que la confiance dans ces tests repose d’abord sur leur capacité à être reproduits.
La difficulté de reproduire les évaluations
« Trust is such a weighted term », a‑t‑elle déclaré, en soulignant que la reproductibilité dépend de l’accès aux Paramètres du modèleValeurs numériques internes apprises pendant l'entraînement et utilisées par le modèle pour produire ses résultats.. Sans modèles à source ouverte, il devient quasi impossible de vérifier les résultats d’une évaluation indépendante. Cette limitation alimente un débat récurrent dans la communauté : comment garantir que deux laboratoires, avec des ressources différentes, arrivent aux mêmes conclusions ?
Comparaison entre différents tests
Outre la reproductibilité, la comparaison entre benchmarks pose problème. Solaiman a décrit le domaine comme « an evolving science » où il n’existe pas encore de méthode fiable pour mesurer la pertinence d’un test face à un autre. Les évaluations deviennent rapidement obsolètes, et le manque d’un écosystème partagé empêche l’accumulation de connaissances solides.
L’émergence des évaluateurs « embeddés »
Face à ces incertitudes, plusieurs acteurs ont proposé d’insérer des observateurs neutres au sein même des équipes de R&D. L’idée, popularisée ces derniers mois, vise à pallier l’absence de réglementation gouvernementale en matière de sécurité des modèles. Toutefois, la neutralité de ces évaluateurs reste contestée : le recours d’Anthropic à Accenture a suscité des critiques, certains estimant qu’une société de conseil ne possède pas les compétences techniques suffisantes pour juger de la sûreté d’un modèle d’IA.
Du modèle au système complet
Les évaluations ne portent plus uniquement sur le modèle brut. Solaiman a expliqué que l’on doit désormais examiner l’ensemble du système : le harness (l’outil qui permet d’interagir avec le modèle) et l’agent qui orchestre les réponses. Un harness performant peut faire dépasser un modèle moins avancé un modèle de pointe, ce qui montre que la performance dépend fortement de l’infrastructure d’accès. Cette évolution rend les tests plus complexes et coûteux ; les évaluations « agentic » sont notamment décrites comme « really hard and really expensive ».
Vers une standardisation industrielle
Le paysage actuel ressemble à un champ libre où chaque laboratoire conçoit ses propres métriques. Pour que le benchmarking redevienne un repère fiable, il faudrait une approche uniforme, soutenue par un consortium ou un organisme de standardisation. Une telle harmonisation permettrait de comparer plus justement les performances et de réduire les redondances de travail.
Limites et perspectives
- Accès aux poids : tant que les modèles restent fermés, la vérification indépendante restera limitée.
- Coût des évaluations complètes : inclure le harness et l’agent demande des ressources que toutes les organisations n’ont pas.
- Neutralité des évaluateurs : sans cadre clairement défini, le risque de conflits d’intérêts persiste.
- Évolution rapide : les nouveaux modèles et architectures surgissent plus vite que les standards ne peuvent s’adapter.
Malgré ces obstacles, le débat autour du benchmarking montre une volonté collective d’améliorer la rigueur scientifique dans le domaine de l’IA. Les prochains mois seront cruciaux pour observer si les initiatives d’évaluateurs intégrés et les appels à la standardisation aboutiront à des pratiques plus transparentes et reproductibles.
Sources : Interview d’Irene Solaiman à TechCrunch Disrupt (2024) et déclarations publiques de Hugging Face sur le sujet du benchmarking.