Agents IA mobiles testés sur 65 tâches du monde réel
Nous avons passé 3 jours à évaluer quatre agents IA mobiles (DroidRun, Mobile-Agent, AutoDroid et AppAgent) sur 65 tâches du monde réel en utilisant un émulateur Android avec des applications telles que la gestion du calendrier, la création de contacts, la prise de photos, l'enregistrement audio et les opérations sur les fichiers.
Voyez les résultats de l'évaluation, y compris la comparaison des performances dans le monde réel, les coûts et les temps d'exécution :
Comparaison des performances des agents IA mobiles
DroidRun
Taux de réussite le plus élevé (43 %) avec un coût élevé par tâche réussie (0,075 $, ~3 225 tokens)
DroidRun a démontré les meilleures performances avec un taux de réussite de 43 % sur les 65 tâches. En examinant uniquement la tâche que tous les agents ont réussie, DroidRun a consommé en moyenne 3 225 tokens à un coût de 0,075 $ par tâche.
Ce consommation substantielle de ressources reflète l'architecture de raisonnement multi-étapes de DroidRun, où l'agent maintient un suivi détaillé de l'état, génère des plans d'action explicites et fournit des explications pour chaque décision. Bien que coûteuse, cette approche complète offre le taux de réussite le plus élevé dans l'évaluation.
Mobile-Agent
Performances solides (29 %) et rentabilité (0,025 $, ~1 130 tokens)
Mobile-Agent a obtenu le deuxième taux de réussite le plus élevé à 29 % tout en maintenant une rentabilité raisonnable. Sur les tâches couramment réussies par tous les agents, Mobile-Agent a moyenné 0,025 $ et 1 130 tokens par tâche.
Cela représente environ un tiers du coût par tâche de DroidRun tout en atteignant environ les deux tiers de son taux de réussite, ce qui fait de Mobile-Agent une option attrayante pour les déploiements où les contraintes budgétaires sont importantes.
Cependant, l'écart de 14 points de pourcentage dans le taux de réussite suggère que les capacités de raisonnement supplémentaires de DroidRun apportent une valeur significative pour les applications critiques.
AutoDroid
Meilleure rentabilité (14 % de réussite, 0,017 $, ~765 tokens) mais efficacité limitée
AutoDroid a démontré le coût le plus bas sur les tâches couramment réussies, à seulement 0,017 $ et 765 tokens par tâche, ce qui en fait l'option la plus économique dans l'évaluation.
Cependant, son taux de réussite de 14 %, moins de la moitié des performances de Mobile-Agent et environ un tiers de celui de DroidRun, indique que cet avantage de coût s'accompagne de compromis significatifs en matière de fiabilité.
Bien qu'il utilise une approche basée sur les actions similaire à celle de DroidRun, la surcharge de raisonnement minimale d'AutoDroid entraîne des économies de coûts substantielles mais une capacité de完成任务 limitée.
AppAgent
Performances les plus faibles (7 % de réussite) avec le coût le plus élevé (0,90 $, ~2 346 tokens)
AppAgent a enregistré à la fois le taux de réussite le plus bas à 7 % et le coût le plus élevé sur les tâches couramment réussies à 0,90 $ et 2 346 tokens par tâche. Douze fois plus cher que DroidRun et plus de cinquante fois plus coûteux qu'AutoDroid.
Ce mauvais rapport coût-performance découle de l'approche basée sur la vision d'AppAgent, qui traite des captures d'écran étiquetées via des LLM multimodaux pour chaque interaction. Chaque capture d'écran envoyée au LLM multimodal consomme des tokens d'entrée substantiels pour le traitement d'image, tandis que les réponses textuelles réelles (tokens de complétion) restent relativement modestes.
Cela crée une distribution de tokens fortement déséquilibrée où la surcharge de traitement visuel domine le coût sans améliorations correspondantes dans la réalisation des tâches, car l'agent lutte avec les calculs de coordonnées et l'identification des éléments d'interface utilisateur sur les interfaces mobiles.
Comparaison des temps d'exécution des agents IA mobiles
Sur la seule tâche que tous les agents ont réussie, AutoDroid a été le plus rapide en 57 secondes, suivi de près par Mobile-Agent en 66 secondes. DroidRun a terminé la tâche en 78 secondes, démontrant que son architecture de raisonnement multi-étapes permet toujours une exécution efficace malgré une consommation de tokens plus élevée.
AppAgent a présenté une latence significativement plus élevée à 180 secondes, en raison de son approche basée sur la vision nécessitant un traitement extensif des captures d'écran via des LLM multimodaux pour chaque interaction.
Vous pouvez voir notre méthodologie d'évaluation ici.
Aperçu des agents IA mobiles
Les comptes d'étoiles GitHub changent rapidement, et nous mettrons à jour le tableau en conséquence.
DroidRun
DroidRun est un framework open-source qui construit des agents IA natifs mobiles capables de contrôler autonomement les applications et les téléphones mobiles. C'est un framework fondamental qui convertit les interfaces utilisateur en données structurées avec lesquelles les grands modèles de langage peuvent interagir, permettant une automatisation complexe directement sur les appareils mobiles.
DroidRun a rapidement gagné en traction : plus de 900 développeurs se sont inscrits en 24 heures, et le projet a grimpé à 3,8 k étoiles sur GitHub, ce qui en fait l'un des frameworks à la croissance la plus rapide pour les agents IA mobiles.
Voyez-le en action :
AutoDroid
AutoDroid est un système d'automatisation des tâches mobiles conçu pour effectuer des tâches arbitraires dans n'importe quelle application Android sans configuration manuelle. Il exploite le raisonnement de bon sens des grands modèles de langage comme GPT‑4 et Vicuna, combiné à une analyse automatisée spécifique à l'application.
AutoDroid introduit une représentation d'interface utilisateur consciente de la fonctionnalité pour connecter les interfaces d'application aux LLM, utilise une injection de mémoire basée sur l'exploration pour enseigner au modèle les comportements spécifiques à l'application, et inclut une optimisation des requêtes pour réduire les coûts d'inférence. Évalué sur une évaluation de 158 tâches, il a atteint 90,9 % de précision d'action et 71,3 % de réussite des tâches, surpassant les bases uniquement GPT‑4.1
Mobile-Agent
Le dépôt GitHub X-PLUG/MobileAgent est l'implémentation officielle de Mobile-Agent, un framework d'agent IA conçu pour contrôler autonomement les applications mobiles en percevant et en raisonnant sur leurs représentations d'interface utilisateur visuelle.
Ce projet provient du groupe X-PLUG de l'Université Tsinghua et a été présenté à ICLR 2024, visant à repousser les limites des agents mobiles en utilisant l'apprentissage multimodal, en particulier la perception visuelle et le suivi des instructions. Regardez la vidéo pour le voir en action.
AppAgent
Le dépôt GitHub TencentQQGYLab/AppAgent est un projet de recherche open-source du Tencent QQG Y-Lab. Il présente AppAgent, un framework d'agent IA mobile conçu pour opérer et raisonner autonomement sur les applications Android sans code écrit par l'homme pour chaque application individuelle.
Source : AppAgent2
Fonctionnalités des agents IA mobiles
Traitement des commandes orientées vers l'objectif
L'agent détermine quelles applications ouvrir, quelles actions entreprendre et comment les séquencer. Par exemple, les utilisateurs spécifient ce qu'ils veulent faire (par exemple, « Réserver un trajet vers l'aéroport »), et non les étapes individuelles.
LLM-raisonnement soutenu
Pilotés par de grands modèles de langage (par exemple, GPT-4, Claude, Gemini), ces agents peuvent :
- Identifier l'intention de l'utilisateur et le contenu de l'écran
- Générer des plans d'action logiques et étape par étape
- S'adapter aux changements dynamiques de l'interface utilisateur à travers différents états d'application
Contrôle d'application natif structuré
Au lieu de compter sur le scraping d'écran :
- Les agents extraient des hiérarchies d'interface utilisateur structurées (par exemple, des arbres XML de boutons et de champs)
- Ils interagissent directement avec les éléments d'interface utilisateur, les traitant comme des API de première classe.
- Exemple : DroidRun utilise les API d'accessibilité Android pour lire et agir sur les vrais éléments d'interface utilisateur.
Exécution de flux de travail inter-applications
Les agents opèrent sur plusieurs applications et flux de travail multi-étapes. Ils peuvent replanifier si une étape intermédiaire échoue. Par exemple, « Télécharger un fichier depuis un e-mail → le télécharger sur Google Drive → envoyer une confirmation. »
Exécution dans le cloud et sur l'appareil pour les agents IA mobiles
Les agents IA mobiles peuvent s'exécuter dans le cloud, sur l'appareil, ou utiliser une approche hybride.
Les agents basés sur le cloud se connectent à des modèles comme GPT-4, Claude ou Gemini via des appels API. Cela permet un raisonnement sophistiqué et la réalisation de tâches multi-étapes. Cependant, cela nécessite la transmission de données d'écran et de contexte utilisateur à des serveurs externes, ce qui soulève des préoccupations en matière de confidentialité, en particulier pour les applications sensibles. Les performances dépendent également d'une connectivité réseau stable.
Les agents sur l'appareil exécutent des modèles directement sur le matériel mobile, gardant toutes les données locales. Cela élimine les risques de transmission et permet une fonctionnalité hors ligne. Le compromis est une capacité de modèle limitée : les NPU et GPU mobiles actuels limitent la taille du modèle, ce qui peut réduire la précision sur les tâches de raisonnement complexes.
Les architectures hybrides combinent les deux approches. Des modèles légers sur l'appareil gèrent les tâches de routine et la classification initiale de l'intention, tandis que les opérations complexes sont acheminées vers des LLM dans le cloud. Apple Intelligence et Gemini Nano suivent ce modèle, traitant les demandes simples localement et escaladant si nécessaire. L'équilibre optimal entre le traitement local et dans le cloud continue d'évoluer à mesure que le matériel d'IA de périphérie s'améliore.
Ajouter comme source préféréeRisques de sécurité et de confidentialité dans les agents IA mobiles
Les agents IA mobiles lisent le contenu de l'écran, naviguent dans les applications et exécutent des actions, obtenant un accès profond aux données utilisateur sensibles. Cela introduit plusieurs préoccupations :
- Exposition du contenu de l'écran : Les agents peuvent transmettre des mots de passe, des messages et des données financières à des LLM dans le cloud pour traitement
- Fuite d'identifiants : Les flux de connexion automatique peuvent involontairement exposer les mots de passe enregistrés et les jetons d'authentification
- Rétention de données floue : Il est souvent unclear comment les journaux d'agent et les captures d'écran capturés sont stockés ou partagés
- Risque d'injection de prompt : Le contenu malveillant de l'application pourrait manipuler le comportement de l'agent via du texte d'interface utilisateur conçu
Pour répondre à ces risques, une approche en couches est nécessaire :
- Traitement sur l'appareil : L'exécution de modèles localement réduit le besoin de transmettre des données sensibles à des serveurs externes
- Masquage des informations personnelles identifiables (PII) : La détection et le masquage automatiques des informations personnelles avant les appels API limitent l'exposition
- Limites de permission : La restriction de l'accès de l'agent aux catégories d'applications sensibles (banque, santé, messagerie) empêche l'accès non intentionnel aux données
- Politiques API transparentes : Le choix de fournisseurs avec des politiques claires de gestion et de rétention des données aide à assurer la conformité
Méthodologie d'évaluation
Nous avons mené une évaluation de référence pour évaluer les performances des agents IA mobiles opérant sur le système d'exploitation Android dans des tâches du monde réel. Nous avons utilisé le framework AndroidWorld et testé tous les agents sur les mêmes tâches standard.
Framework AndroidWorld
AndroidWorld est une plateforme de référence open-source spécifiquement développée par Google Research pour évaluer les agents mobiles. Cette plateforme vise à mesurer les performances des agents travaillant dans de vraies applications Android grâce à des tâches standardisées.
La caractéristique la plus importante d'AndroidWorld est qu'il utilise de vraies applications Android au lieu d'environnements de test artificiels et peut évaluer automatiquement les performances des agents. Nous avons utilisé 65 tâches dans cette étude. Ces tâches couvrent des scénarios d'utilisation quotidienne d'appareils mobiles tels que la gestion du calendrier, l'ajout de contacts, l'enregistrement vocal, la prise de photos et les opérations sur les fichiers.
Configuration de l'environnement
Configuration du système : Pour configurer l'environnement d'évaluation, nous avons d'abord installé Android Studio sur le système d'exploitation Windows 11 et configuré l'émulateur Android officiel de Google.
Configuration de l'appareil virtuel : Nous avons créé un appareil virtuel simulant un appareil Pixel 6. Les spécifications de cet appareil virtuel ont été définies comme le système d'exploitation Android 13 (API Level 33), une résolution de 1080×2400, 8 Go de RAM et 20 Go d'espace de stockage.
Configuration de l'émulateur : Pour intégrer l'émulateur avec AndroidWorld, nous avons configuré le port gRPC comme 8554 car AndroidWorld communique avec l'émulateur via ce port.
Configuration de l'environnement Python : Pour préparer l'environnement Python, nous avons créé un nouvel environnement conda avec Python 3.11 en utilisant Miniconda. Après avoir cloné le dépôt AndroidWorld depuis GitHub, nous avons installé toutes les dépendances en utilisant pip. L'une des étapes les plus critiques d'AndroidWorld est le processus de configuration de l'émulateur.
La commande de configuration a pris environ 45-60 minutes. Au cours de ce processus, AndroidWorld a automatiquement installé toutes les applications Android à tester sur l'émulateur.
Création de données d'état initial : Il a créé des données d'état initial pour chaque application, par exemple, ajouté des événements à l'application calendrier, ajouté des contacts à l'application contacts, et ajouté un podcast nommé « banana » à l'application podcast. Il a également enregistré des instantanés pour chaque tâche, afin que chaque tâche puisse démarrer à partir d'un état initial propre.
Intégrations des agents
AutoDroid
Intégration AutoDroid : Pour intégrer AutoDroid, nous avons d'abord cloné le dépôt depuis GitHub et installé les packages Python requis. La fonctionnalité principale d'AutoDroid est d'identifier les éléments d'interface utilisateur en analysant XML et de compléter les tâches avec une approche basée sur les actions.
L'agent attribue un numéro d'index à chaque élément cliquable ou focalisable sur l'écran et reçoit des commandes du LLM telles que « tap(5) » ou « text('hello') ».
Wrapper AutoDroid : Pour l'intégration avec AndroidWorld, nous avons créé une classe wrapper nommée autodroid_agent.py. Ce wrapper effectue les configurations nécessaires dans la méthode d'initialisation d'AutoDroid, convertit l'objectif de tâche venant d'AndroidWorld en un format de prompt que AutoDroid peut transformer les actions générées par AutoDroid en vraies commandes ADB en utilisant les fonctions execute_adb_call d'AndroidWorld.
Flux d'exécution : Dans la méthode step d'AutoDroid, l'agent prend d'abord une capture d'écran et un dump XML de l'écran, analyse les éléments d'interface utilisateur, envoie ces informations au LLM, et effectue des actions de tap, de glissement ou de saisie de texte selon la réponse reçue.
DroidRun
Intégration DroidRun : Nous avons suivi un processus d'intégration similaire pour DroidRun. Après avoir cloné le dépôt DroidRun depuis GitHub, nous avons installé les dépendances dans requirements.txt.
La structure architecturale de DroidRun est plus complexe car elle dispose d'un système de raisonnement multi-étapes et de suivi d'état. DroidRun peut expliquer non seulement ce qu'il fera à chaque étape, mais aussi pourquoi, et peut utiliser les résultats des étapes précédentes dans l'étape suivante.
Wrapper DroidRun : Nous avons créé le wrapper droidrun_agent.py pour l'intégration AndroidWorld. La partie la plus importante dans ce wrapper était de rendre la classe CodeActAgent propre à DroidRun compatible avec l'interface d'agent de base d'AndroidWorld.
Processus d'exécution : Lorsque nous avons appelé la méthode execute_task de DroidRun, l'agent passe par une phase de planification de tâche, puis exécute chaque étape et évalue les résultats. Nous avons adapté ce processus au modèle d'exécution étape par étape d'AndroidWorld. Nous avons également implémenté les outils utilisés par DroidRun (tap_by_index, start_app, list_packages, etc.) avec les commandes ADB d'AndroidWorld.
AppAgent
Intégration AppAgent : L'intégration d'AppAgent était différente des autres car elle utilise une approche basée sur la vision. Après avoir cloné le dépôt AppAgent, nous avons intégré les fichiers Python dans le dossier scripts à AndroidWorld.
Approche basée sur la vision : Le principe de fonctionnement d'AppAgent est le suivant : il prend d'abord une capture d'écran de l'écran, puis calcule les boîtes englobantes des éléments d'interface utilisateur, dessine ces boîtes sur la capture d'écran, attribue un numéro à chacune, et envoie cette capture d'écran étiquetée à un LLM multimodal. Le LLM détermine visuellement quel élément doit être cliqué.
Configuration du wrapper : La étape la plus importante dans l'intégration d'AppAgent était de rediriger la partie qui communique avec l'appareil Android en utilisant le module and_controller.py d'AppAgent vers l'émulateur d'AndroidWorld. Dans le wrapper appagent_agent.py, nous avons réimplémenté les méthodes get_screenshot et get_xml d'AppAgent pour fonctionner avec les API d'AndroidWorld. Nous avons également rendu le fichier model.py d'AppAgent, qui utilise le format OpenAI API, compatible avec l'OpenRouter API.
Mobile-Agent (M3A)
Intégration Mobile-Agent (M3A) : L'intégration de M3A a été le processus le plus complet car elle fonctionne complètement basée sur la vision et dispose d'un système d'analyse d'interface utilisateur très détaillé. Après avoir cloné le dépôt M3A, nous avons également installé le framework d'interaction Android Mobile-Env car M3A dépend de ce framework.
Analyse multi-étapes : Le principe de fonctionnement de M3A est basé sur la division de l'écran en grilles, l'analyse de chaque grille séparément et la planification multi-étapes. Lors de la création du wrapper m3a_agent.py, nous avons dû intégrer le système d'environnement propre à M3A avec l'environnement d'AndroidWorld. M3A utilise normalement son propre Mobile-Env, mais nous l'avons redirigé vers l'env d'AndroidWorld.
Appels multiples LLM : Nous avons observé que M3A effectue plusieurs appels LLM à chaque étape (comme la planification, la sélection d'action, la vérification) et les avons rendus compatibles avec les limites d'étapes d'AndroidWorld.
Procédure de test et collecte de données
Flux de test : La procédure de test pour chaque agent fonctionnait comme suit : D'abord, nous avons démarré l'émulateur avec un instantané propre. Après que l'émulateur ait été complètement ouvert, nous avons exécuté run.py d'AndroidWorld. Nous avons exécuté 65 tâches séquentiellement pour chaque agent et utilisé Claude 4.5 Sonnet pour tous les agents.
Exécution des tâches : AndroidWorld a automatiquement effectué les étapes suivantes pour chaque tâche : charger l'état initial de la tâche, démarrer l'agent, envoyer l'objectif de tâche à l'agent, suivre les étapes de l'agent, s'arrêter lorsque le nombre maximum d'étapes est atteint ou lorsque l'agent dit « tâche terminée », et vérifier si la tâche a été réussie.
Critères de réussite : Le système d'évaluation des tâches d'AndroidWorld inclut des critères de réussite prédéfinis. Par exemple, pour la tâche « Ajouter un contact nommé John Doe », AndroidWorld interroge la base de données des contacts pour confirmer que le contact a été ajouté.
Pour les tâches de calendrier, il vérifie dans la base de données si l'événement a été créé avec la bonne date, l'heure, le titre et la description. À la fin de chaque exécution de tâche, AndroidWorld nous a fourni le temps d'exécution et le statut de réussite (Vrai/Faux). Ces données ont été automatiquement enregistrées et utilisées pour l'analyse.
Collecte de données : Après avoir terminé l'ensemble de l'évaluation, nous avons identifié la tâche que tous les agents ont réussie. Chacune de ces tâches a ensuite été exécutée 10 fois par chaque agent, et le temps d'exécution moyen, le coût et la consommation de tokens ont été calculés pour des métriques de performance plus fiables.
Raisons potentielles derrière les différences de performance dans les agents IA mobiles
Les différences observées découlent principalement des choix architecturaux et des méthodes d'interaction.
DroidRun privilégie la fiabilité grâce au raisonnement multi-étapes, à la planification explicite et au suivi d'état. Cela améliore la réussite des tâches mais augmente l'utilisation de tokens et le coût.
Mobile-Agent équilibre performance et efficacité. Son raisonnement plus léger et sa compréhension visuelle réduisent le coût tout en maintenant des taux de réussite modérés, ce qui le convient pour des cas d'utilisation sensibles au budget.
AutoDroid se concentre sur l'exécution basée sur les actions avec une surcharge de raisonnement minimale. Cela entraîne le coût le plus bas et les temps d'exécution les plus rapides, mais limite également sa capacité à gérer des tâches complexes ou ambiguës.
AppAgent repose fortement sur l'interaction basée sur la vision en utilisant des LLM multimodaux. Le traitement fréquent des captures d'écran augmente la latence et le coût, tandis que les défis de coordonnées d'interface utilisateur réduisent la réussite des tâches.
FAQ
Les agents IA mobiles sont des systèmes logiciels qui interagissent de manière autonome avec les utilisateurs et les applications mobiles en utilisant des entrées en langage naturel et un raisonnement axé sur les objectifs pour accomplir des tâches pour le compte des utilisateurs. Contrairement aux outils d'automatisation traditionnels ou aux assistants personnels précoces, ces agents sont alimentés par l'IA. Certains de ses cas d'utilisation incluent :
Automatisation QA mobile sans scripts de test
Automatisation des flux de travail mobiles comme le téléchargement de documents d'identité ou la modification des paramètres de profil
Assistants IA qui opèrent des applications pour les malvoyants, les personnes âgées ou toute autre personne.
Tâches générales quotidiennes telles que la création d'événements sur le calendrier ou même la complétion de leçons Duolingo.
Citer cette recherche
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Agents IA mobiles testés sur 65 tâches du monde réel}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/mobile-ai-agent}},
note = {AIMultiple. Consulté le 9 Juin 2026}
}Liens de référence
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.