Le projet OpenMobile‑2, développé par des chercheurs de l'Université de Nankin, de SenseTime et d'autres institutions, propose deux agents Intelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. capables de piloter un smartphone comme le font les assistants propriétaires. Les modèles, basés respectivement sur Qwen‑3.5 (9 milliards de paramètres) et Qwen‑3.6 (27 milliards), sont livrés avec l’ensemble du DatasetEnsemble de données organisé pour entraîner, valider, tester ou évaluer un modèle d'intelligence artificielle., des scripts d’TrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances. et plus de cent applications simulées.

Une diversité d’applications au cœur de l’entraînement

Plutôt que d’alimenter les agents avec des millions d’interactions sur quelques applications populaires, les chercheurs ont reconstruit 35 applications majeures (Taobao, JD, DiDi, Meituan, Slack, Google Drive, etc.) et les ont combinées à d’autres simulations pour atteindre un total de plus de 110 applications. Chaque simulation se réinitialise automatiquement, tandis que l’agent ne voit que les captures d’écran, reproduisant ainsi l’expérience d’un utilisateur réel.

Les chiffres qui parlent

Sur le benchmark SPA‑Bench, réalisé directement sur des appareils Android, le modèle le plus grand obtient 59,6 points, le meilleur score parmi les modèles open‑source actuellement disponibles. Sur AndroidWorld, il passe de 67,1 à 79,9 points, et sur MobileWorld – qui teste des tâches longues impliquant plusieurs applications – il progresse de 35,9 à 50,4 points. Ces sauts de performance sont nettement supérieurs à ceux du prédécesseur OpenMobile‑1 (64,7 points sur AndroidWorld).

Diversité vs volume de données

Les auteurs ont maintenu constant le volume de données d’entraînement tout en augmentant le nombre d’applications. Cette variation a fait monter le taux de réussite sur des applications jamais vues de 60,7 % à 67,5 %. Le résultat indique que la variété des environnements d’apprentissage est plus déterminante que la simple quantité d’exemples provenant d’une poignée d’applications.

L’apprentissage par renforcement, un gain limité

Après le pré‑entraînement, les équipes ont appliqué une phase d’Reinforcement LearningMéthode d'apprentissage dans laquelle un agent améliore ses décisions en fonction des récompenses reçues lors de ses interactions. (RL). Sur AndroidWorld, le RL a légèrement diminué le score du grand modèle (de 80,8 à 79,9 points), tandis que les améliorations restent modestes dans les scénarios proches de l’environnement d’entraînement.

Des raccourcis via des commandes directes

Plus d’une cinquantaine d’applications simulées offrent des commandes explicites comme "add to cart". Sans formation ciblée, les agents les ignorent, mais une fois entraînés, ils utilisent ces raccourcis pour résoudre jusqu’à 10,3 points de pourcentage supplémentaires de tâches, tout en réduisant le nombre d’étapes d’environ cinq. Cette capacité se transmet même à des outils jamais rencontrés pendant l’entraînement.

Méthodologie de validation

Pour mesurer le succès, les chercheurs ont créé un benchmark maison de 215 tâches, dont près de la moitié traversent plusieurs applications. La réussite d’une tâche est évaluée par un programme comparant les données stockées avant et après l’exécution, plutôt que par un modèle de langage. Un contrôle a montré que le chevauchement entre les tâches d’entraînement et de test reste marginal.

Le contexte concurrentiel

Microsoft Research (2025) avait déjà classé les agents API comme plus fiables et les agents GUI comme plus flexibles. Oppo propose X‑OmniClaw, un agent ouvert qui utilise des deeplinks pour reproduire des chemins déjà montrés dans des applications comme Taobao. Du côté des modèles fermés, Google intègre le contrôle du smartphone directement dans Gemini 3.5 Flash.

Qu’est‑ce que cela signifie pour les utilisateurs ?

OpenMobile‑2 montre qu’une approche open‑source, reposant sur une large palette d’applications simulées, peut atteindre des performances comparables aux solutions propriétaires, tout en restant transparente et reproductible. Pour les développeurs, le code et les données disponibles ouvrent la porte à des améliorations communautaires, notamment l’ajout de nouvelles applications ou l’optimisation des stratégies de navigation.

Vers quelles évolutions ?

Les interfaces directes restent aujourd’hui limitées aux simulations ; leur déploiement sur des applications réelles nécessiterait des accords avec les éditeurs. De même, le passage du modèle de simulation à un usage quotidien sur un appareil réel soulève des questions de sécurité et de confidentialité, que les futures itérations devront aborder. En attendant, OpenMobile‑2 constitue une étape majeure pour démocratiser les agents mobiles intelligents.

En résumé, la clé du succès de ces agents réside moins dans la masse de données que dans la richesse et la variété des environnements d’entraînement, une leçon qui pourrait remodeler la recherche sur les assistants mobiles pour les années à venir.