Agile DelDeliberation : un cadre interactif pour classifier les images subjectives

Agile Deliberation : un cadre interactif pour classifier les images subjectives

Google Research a dévoilé le 4 novembre 2026 Agile Deliberation, un protocole d’élaboration d’un classifieur d’images dont les catégories reposent sur des jugements humains. Le projet s’appuie sur du code ouvert et un notebook d’exemple, et se veut surtout utile aux équipes de modération ou de curation qui doivent définir des notions telles que « aliments sains », « œuvres inspirantes » ou « clickbait » – des notions où les limites varient selon la culture ou la politique d’usage.

Deux étapes de la délibération conceptuelle

1. Scoping du concept – L’utilisateur décrit d’abord ce qu’il veut inclure (ex. salades, bols de céréales pour “aliments sains”) et ce qu’il veut exclure (plats transformés, ingrédients crus). Chaque sous‑concept s’accompagne d’images illustratives. Les sous‑concepts qui ne traduisent pas de motifs visuels clairs sont éliminés avant que le premier classifieur ne soit entraîné.

2. Itération du concept – Au lieu de rechercher uniquement les images où le modèle est incertain (confiance ≈ 0,5), le système explore les « borderline » : des images que les humains trouvent ambiguës même si le modèle se montre confiant. Un algorithme de bandit à bras multiples sélectionne les groupes d’images qui ont déjà corrigé des erreurs ou fourni des retours utiles. Chaque lot d’images est présenté avec une brève explication (ex. sauce crémeuse, teneur en sucre, taille de portion). L’utilisateur indique si l’image doit entrer ou sortir du périmètre, peut ajouter une justification en langage naturel, et le système génère alors de nouvelles définitions, teste chacune sur l’ensemble des labels déjà collectés et retient celle qui maximise le F1 %.

Le prototype utilise Gemini 2. 5 Pro pour la décomposition et Gemini 2. 5 Flash pour la classification, la génération de requêtes borderline et le “minage” d’ambiguïtés. Aucun entraînementTrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances. supplémentaire n’est requis ; tout se déroule via un notebook Google Colab.

Résultats de l’étude en conditions réelles

L’étude a impliqué neuf participants (sans expérience professionnelle de modération) qui ont réalisé deux sessions d’environ 90 minutes, l’une avec Agile Deliberation et l’autre avec une version manuelle. Les deux concepts testés étaient “aliments sains” et “clickbait pay‑to‑play”. Chaque session comportait :
- 45 minutes de travail de définition,
- annotation de 200 images test,
- un questionnaire et une interview de 15 minutes.

Les performances ont été évaluées avec le score F1 % (le jeu de donnéesDatasetEnsemble de données organisé pour entraîner, valider, tester ou évaluer un modèle d'intelligence artificielle. étant fortement déséquilibré). Les gains observés :
- Pour le clickbait, Agile Deliberation a amélioré le F1 de 11 % par rapport à la classification zéro‑shot, contre 8 % pour la méthode manuelle.
- Pour les aliments sains, le gain était de 10 % avec Agile Deliberation, tandis que la méthode manuelle a légèrement chuté de 3 %.

Les améliorations proviennent surtout d’une hausse de la précision, la recall restant stable ou légèrement réduite. Sur le plan humain, les participants ont noté :
- Un effort moyen de 3,11 vs 4,66 pour la méthode manuelle ;
- Des ressentis d’insécurité, de stress ou d’irritation plus faibles (1,67 vs 3,00).
Ces différences sont statistiquement significatives (p < 0,05).

Limites et disponibilité du code

L’étude reconnait plusieurs limites : le nombre de participants (neuf) restreint le pouvoir statistique, et chaque personne a travaillé sur deux concepts différents, ce qui empêche de comparer les performances du même individu entre les deux systèmes. Aucun test n’a non plus isolé les différents modules du pipeline ni évalué le procédé avec d’autres modèles génératifs.

Le dépôt open‑source propose le code, le jeu de données et le notebook Demo.ipyn : il crée un index de voisin le plus proche sur le jeu LAION‑400M. Le paramètre par défaut télécharge deux fragments (~260 Mo) tandis que le mode complet nécessite environ 13 Go. Les appels aux modèles, aux téléchargements d’images et aux récupérations peuvent prendre de quelques secondes à plusieurs minutes, et une clé d’API peut être soumise à limitation.

Pourquoi cela compte pour les équipes de modération

En rendant l’intention subjective explicite et modifiable, Agile Deliberation rend le processus de création d’un classifieur plus transparent. Les équipes peuvent visualiser les règles positives et négatives, identifier les cas limites qui révèlent des lacunes et fournir des justifications textuelles. Cela ouvre la porte à un audit plus fin des modèles lorsqu’ils sont déployés pour filtrer du contenu ou recommander des œuvres.

À terme, la méthodologie pourrait s’étendre à d’autres domaines où les frontières sont floues : modération de discours, recommandations de produits ou tri de documents juridiques. La prochaine étape consiste à valider le système auprès d’équipes professionnelles, à tester d’autres modèles de fond et à affiner les composantes de recherche d’exemples borderline.

En résumé, Agile Deliberation montre qu’une approche interactive, centrée sur les décisions humaines, peut réduire l’effort et améliorer la qualité des classifieurs d’images subjectives, tout en offrant une traçabilité appréciée par les modérateurs.