Google DeepMind et la société Artificial Analysis viennent de publier le Multimodal Knowledge Agent (MKA), un ensemble de 200 tâches conçues pour mesurer la capacité réelle des agents d’Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. à manipuler des fichiers visuels variés. Contrairement aux benchmarks classiques, qui se contentent d’évaluer une réponse courte, le MKA exige la production d’un livrable exploitable : rapport, feuille de calcul, présentation ou document annoté.

Un test au‑delà des réponses simples

Les tâches couvrent dix secteurs professionnels – finance, santé, ingénierie, marketing, etc. – et mêlent documents texte, graphiques, tableaux, images, plans ou schémas. Chaque scénario a été élaboré avec des experts du domaine afin de définir clairement les entrées attendues et le résultat final souhaité. La notation repose sur une grille d’environ 70 critères binaires, dont 75 % du poids est attribué à l’exactitude factuelle et 25 % à la qualité visuelle du livrable.

Pour éviter que les jeux de données n’alimentent les modèles d’TrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances., Artificial Analysis exécute les 200 tâches en interne. Dix d’entre elles sont toutefois rendues publiques sur Hugging Face, ce qui permet aux développeurs de tester leurs propres agents et de vérifier le format des entrées et sorties.

Validation humaine et automatisée

Google indique que les résultats automatisés ont été comparés à des évaluations humaines. Selon leurs chiffres, des experts ont confirmé les scores générés par l’outil dans 96 % des cas. Cette concordance est importante, car la notation d’une présentation ou d’un schéma ne peut pas se limiter à la présence de mots‑clés.

Coût, efficacité et compromis

Le MKA ne mesure pas seulement la qualité du livrable. Il intègre également le coût d’exécution et le nombre d’étapes, d’outils ou de TokenUnité de contenu traitée par un modèle de langage, pouvant représenter un mot, une partie de mot ou un caractère. utilisés par chaque modèle. Ainsi, on peut comparer non seulement le résultat final mais aussi l’efficacité économique d’un agent.

Google met en avant son modèle Gemini 4 Carbon, qui se place deuxième en termes de qualité tout en affichant un coût moyen six fois inférieur au premier du classement. Cette donnée doit toutefois être prise avec précaution : Google participe à la fois à la création du benchmark et à la commercialisation du modèle.

Pourquoi ce benchmark change la donne

Les benchmarks traditionnels se concentrent sur des réponses courtes, faciles à comparer. Le MKA, en revanche, se rapproche des usages bureautiques que les entreprises souhaitent automatiser : synthèse de rapports, génération de présentations à partir de données hétérogènes, annotation d’images techniques, etc. En évaluant la capacité d’un agent à TransformerArchitecture de réseau neuronal reposant notamment sur des mécanismes d'attention pour traiter des séquences de données. plusieurs sources en un document structuré et lisible, le MKA offre un aperçu plus réaliste des performances attendues en situation de travail.

Le caractère privé du jeu complet limite la contamination des modèles, mais empêche également la reproduction exacte des scores. Les dix exemples publics et le rapport technique publié par Google et Artificial Analysis permettront toutefois de vérifier la pertinence des critères et la couverture des erreurs majeures.

Perspectives

Si le MKA réussit à devenir une référence, il pourrait inciter les fournisseurs d’IA à optimiser non seulement la précision de leurs modèles mais aussi leur coût d’exécution et leur capacité à produire des livrables visuellement cohérents. Pour les développeurs, disposer d’un jeu de test public, même partiel, représente une opportunité d’ajuster leurs agents avant de les déployer dans des environnements professionnels.

En somme, le Multimodal Knowledge Agent marque un pas vers des évaluations plus proches des besoins réels des entreprises, en mettant en lumière les compromis entre résultat, prix et efficacité.

Une lecture à partager ?
Partager
Partager cet article
WhatsApp ↗LinkedIn ↗Facebook ↗X ↗E-mail ↗

POUR CONTINUER

Garder le fil.

Toutes les actus ↗