Agentes de IA Móvil Probados en 65 Tareas del Mundo Real
Pasamos 3 días evaluando cuatro agentes de IA móvil (DroidRun, Mobile-Agent, AutoDroid y AppAgent) en 65 tareas del mundo real utilizando un emulador de Android con aplicaciones como gestión de calendario, creación de contactos, captura de fotos, grabación de audio y operaciones con archivos.
Consulte los resultados de la evaluación, incluida la comparación de rendimiento en el mundo real, los costos y los tiempos de ejecución:
Comparación de rendimiento de los agentes de IA móvil
DroidRun
Tasa de éxito más alta (43%) con alto costo por tarea exitosa ($0.075, ~3,225 tokens)
DroidRun demostró el mejor rendimiento con una tasa de éxito del 43% en las 65 tareas. Al examinar solo la tarea que todos los agentes completaron con éxito, DroidRun consumió un promedio de 3,225 tokens a un costo de $0.075 por tarea.
Este consumo sustancial de recursos refleja la arquitectura de razonamiento de múltiples pasos de DroidRun, donde el agente mantiene un seguimiento detallado del estado, genera planes de acción explícitos y proporciona explicaciones para cada decisión. Aunque es costoso, este enfoque integral ofrece la tasa de éxito más alta en la evaluación.
Mobile-Agent
Rendimiento sólido (29%) y eficiente en costos ($0.025, ~1,130 tokens)
Mobile-Agent logró la segunda tasa de éxito más alta del 29% mientras mantenía una eficiencia de costos razonable. En tareas comúnmente exitosas para todos los agentes, Mobile-Agent promedió $0.025 y 1,130 tokens por tarea.
Esto representa aproximadamente un tercio del costo por tarea de DroidRun mientras logra aproximadamente dos tercios de su tasa de éxito, lo que convierte a Mobile-Agent en una opción atractiva para implementaciones donde las restricciones presupuestarias son importantes.
Sin embargo, la brecha de 14 puntos porcentuales en la tasa de éxito sugiere que las capacidades adicionales de razonamiento de DroidRun proporcionan un valor significativo para aplicaciones críticas.
AutoDroid
Mejor eficiencia de costos (14% de éxito, $0.017, ~765 tokens) pero efectividad limitada
AutoDroid demostró el costo más bajo en tareas comúnmente exitosas con solo $0.017 y 765 tokens por tarea, lo que lo convierte en la opción más económica en la evaluación.
Sin embargo, su tasa de éxito del 14%, menos de la mitad del rendimiento de Mobile-Agent y aproximadamente un tercio de DroidRun, indica que esta ventaja de costo conlleva compromisos significativos en la fiabilidad.
A pesar de utilizar un enfoque basado en acciones similar al de DroidRun, la sobrecarga mínima de razonamiento de AutoDroid resulta en ahorros sustanciales de costos pero una capacidad limitada de finalización de tareas.
AppAgent
Peor rendimiento (7% de éxito) con el costo más alto ($0.90, ~2,346 tokens)
AppAgent registró tanto la tasa de éxito más baja del 7% como el costo más alto en tareas comúnmente exitosas con $0.90 y 2,346 tokens por tarea. Doce veces más caro que DroidRun y más de cincuenta veces más costoso que AutoDroid.
Esta pobre relación costo-rendimiento se debe al enfoque basado en visión de AppAgent, que procesa capturas de pantalla etiquetadas a través de LLM multimodales para cada interacción. Cada captura de pantalla enviada al LLM multimodal consume tokens de entrada sustanciales para el procesamiento de imágenes, mientras que las respuestas de texto reales (tokens de finalización) se mantienen relativamente modestas.
Esto crea una distribución de tokens altamente desequilibrada donde la sobrecarga del procesamiento de visión domina el costo sin mejoras correspondientes en la finalización de tareas, ya que el agente lucha con los cálculos de coordenadas y la identificación de elementos de la interfaz de usuario en interfaces móviles.
Comparación de tiempos de ejecución de los agentes de IA móvil
En la única tarea que todos los agentes completaron con éxito, AutoDroid fue el más rápido en 57 segundos, seguido de cerca por Mobile-Agent en 66 segundos. DroidRun completó la tarea en 78 segundos, demostrando que su arquitectura de razonamiento de múltiples pasos aún permite una ejecución eficiente a pesar del mayor consumo de tokens.
AppAgent exhibió una latencia significativamente mayor de 180 segundos, debido a su enfoque basado en visión que requiere un procesamiento extenso de capturas de pantalla a través de LLM multimodales para cada interacción.
Puede ver nuestra metodología de evaluación desde aquí.
Resumen de los agentes de IA móvil
Las cantidades de estrellas de GitHub cambian rápidamente y actualizaremos la tabla en consecuencia.
DroidRun
DroidRun es un framework de código abierto que construye agentes de IA nativos para móviles que pueden controlar autónomamente aplicaciones y teléfonos móviles. Es un framework fundamental que convierte las interfaces de usuario en datos estructurados con los que los modelos de lenguaje grandes pueden interactuar, permitiendo la automatización compleja directamente en dispositivos móviles.
DroidRun ganó rápidamente tracción: más de 900 desarrolladores se inscribieron en 24 horas y el proyecto alcanzó 3.8 k estrellas en GitHub, convirtiéndolo en uno de los frameworks de más rápido crecimiento para agentes de IA móvil.
Véalo en acción:
AutoDroid
AutoDroid es un sistema de automatización de tareas móviles diseñado para realizar tareas arbitrarias en cualquier aplicación de Android sin configuración manual. Aprovecha el razonamiento de sentido común de los modelos de lenguaje grandes como GPT‑4 y Vicuna, combinado con un análisis automatizado específico de la aplicación.
AutoDroid introduce una representación de interfaz de usuario consciente de la funcionalidad para conectar las interfaces de las aplicaciones con LLM, utiliza inyección de memoria basada en exploración para enseñar al modelo comportamientos específicos de la aplicación e incluye optimización de consultas para reducir los costos de inferencia. Evaluado en una evaluación de 158 tareas, logró una precisión de acción del 90.9% y un éxito de tarea del 71.3%, superando las líneas base solo de GPT‑4.1
Mobile-Agent
El repositorio de GitHub X-PLUG/MobileAgent es la implementación oficial de Mobile-Agent, un framework de agente de IA diseñado para controlar autónomamente aplicaciones móviles percibiendo y razonando sobre sus representaciones visuales de la interfaz de usuario.
Este proyecto proviene del grupo X-PLUG de la Universidad de Tsinghua y se presentó en ICLR 2024, con el objetivo de impulsar los límites de los agentes móviles utilizando aprendizaje multimodal, particularmente percepción visual y seguimiento de instrucciones. Ve el video para verlo en acción.
AppAgent
El repositorio de GitHub TencentQQGYLab/AppAgent es un proyecto de investigación de código abierto del Tencent QQG Y-Lab. Presenta AppAgent, un framework de agente de IA móvil diseñado para operar autónomamente y razonar a través de aplicaciones de Android sin código escrito por humanos para cada aplicación individual.
Fuente: AppAgent2
Características de los agentes de IA móvil
Manejo de comandos orientado a objetivos
El agente determina qué aplicaciones abrir, qué acciones tomar y cómo secuenciarlas. Por ejemplo, los usuarios especifican lo que quieren que se haga (por ejemplo, "Reserva un viaje al aeropuerto"), no los pasos individuales.
LLM-respaldado por razonamiento
Impulsados por modelos de lenguaje grandes (por ejemplo, GPT-4, Claude, Gemini), estos agentes pueden:
- Identificar la intención del usuario y el contenido de la pantalla
- Generar planes de acción lógicos y paso a paso
- Adaptarse a cambios dinámicos en la interfaz de usuario en diferentes estados de la aplicación
Control estructurado y nativo de aplicaciones
En lugar de depender del raspado de pantalla:
- Los agentes extraen jerarquías de interfaz de usuario estructuradas (por ejemplo, árboles basados en XML de botones y campos)
- Interactúan directamente con los elementos de la interfaz de usuario, tratándolos como API de primera clase.
- Ejemplo: DroidRun utiliza las API de Accesibilidad de Android para leer y actuar sobre los elementos reales de la interfaz de usuario.
Ejecución de flujos de trabajo entre aplicaciones
Los agentes operan en múltiples aplicaciones y flujos de trabajo de múltiples pasos. Pueden replanificar si un paso intermedio falla. Por ejemplo, "Descargar un archivo del correo electrónico → subirlo a Google Drive → enviar una confirmación".
Ejecución en la nube y en el dispositivo para agentes de IA móvil
Los agentes de IA móvil pueden ejecutarse en la nube, en el dispositivo o utilizar un enfoque híbrido.
Agentes basados en la nube se conectan a modelos como GPT-4, Claude o Gemini a través de llamadas API. Esto permite un razonamiento sofisticado y la finalización de tareas de múltiples pasos. Sin embargo, requiere transmitir datos de pantalla y contexto de usuario a servidores externos, lo que plantea preocupaciones de privacidad, especialmente para aplicaciones sensibles. El rendimiento también depende de una conectividad de red estable.
Agentes en el dispositivo ejecutan modelos directamente en el hardware móvil, manteniendo todos los datos locales. Esto elimina los riesgos de transmisión y permite la funcionalidad sin conexión. La compensación es una capacidad de modelo limitada: las NPU y GPU móviles actuales limitan el tamaño del modelo, lo que puede reducir la precisión en tareas de razonamiento complejas.
Arquitecturas híbridas combinan ambos enfoques. Los modelos ligeros en el dispositivo manejan tareas rutinarias y clasificación inicial de intenciones, mientras que las operaciones complejas se enrutan a LLM en la nube. Apple Intelligence y Gemini Nano siguen este patrón, procesando solicitudes simples localmente y escalando cuando es necesario. El equilibrio óptimo entre el procesamiento local y en la nube continúa evolucionando a medida que mejora el hardware de IA de borde.
Añadir como fuente preferidaRiesgos de seguridad y privacidad en los agentes de IA móvil
Los agentes de IA móvil leen el contenido de la pantalla, navegan por las aplicaciones y ejecutan acciones, obteniendo un acceso profundo a datos de usuario sensibles. Esto introduce varias preocupaciones:
- Exposición del contenido de la pantalla: Los agentes pueden transmitir contraseñas, mensajes y datos financieros a LLM en la nube para su procesamiento
- Fuga de credenciales: Los flujos de trabajo de inicio de sesión automático pueden exponer inadvertidamente contraseñas guardadas y tokens de autenticación
- Retención de datos poco clara: A menudo no está claro cómo se almacenan o comparten los registros del agente y las capturas de pantalla capturadas
- Riesgo de inyección de prompt: El contenido malicioso de la aplicación podría manipular el comportamiento del agente a través de texto de interfaz de usuario diseñado
Abordar estos riesgos requiere un enfoque por capas:
- Procesamiento en el dispositivo: Ejecutar modelos localmente reduce la necesidad de transmitir datos sensibles a servidores externos
- Enmascaramiento de PII: Detectar y enmascarar automáticamente la información personal antes de las llamadas API limita la exposición
- Límites de permisos: Restringir el acceso del agente a categorías de aplicaciones sensibles (banca, salud, mensajería) previene el acceso no intencionado a datos
- Políticas API transparentes: Elegir proveedores con políticas claras de manejo y retención de datos ayuda a garantizar el cumplimiento
Metodología de evaluación
Realizamos una evaluación de referencia para evaluar el rendimiento de los agentes móviles de IA que operan en el sistema operativo Android en tareas del mundo real. Utilizamos el framework AndroidWorld y probamos todos los agentes en las mismas tareas estándar.
Framework AndroidWorld
AndroidWorld es una plataforma de evaluación de código abierto desarrollada específicamente por Google Research para evaluar agentes móviles. Esta plataforma tiene como objetivo medir el rendimiento de los agentes que trabajan en aplicaciones reales de Android a través de tareas estandarizadas.
La característica más importante de AndroidWorld es que utiliza aplicaciones reales de Android en lugar de entornos de prueba artificiales y puede evaluar automáticamente el rendimiento de los agentes. Utilizamos 65 tareas en este estudio. Estas tareas cubren escenarios de uso diario de dispositivos móviles como gestión de calendario, agregar contactos, grabación de voz, tomar fotos y operaciones con archivos.
Configuración del entorno
Configuración del sistema: Para configurar el entorno de evaluación, primero instalamos Android Studio en el sistema operativo Windows 11 y configuramos el Emulador oficial de Google.
Configuración del dispositivo virtual:
Configuración del emulador: Para integrar el emulador con AndroidWorld, configuramos el puerto gRPC como 8554 porque AndroidWorld se comunica con el emulador a través de este puerto.
Configuración del entorno Python: Para preparar el entorno de Python, creamos un nuevo entorno conda con Python 3.11 usando Miniconda. Después de clonar el repositorio de AndroidWorld desde GitHub, instalamos todas las dependencias usando pip. Uno de los pasos más críticos de AndroidWorld es el proceso de configuración del emulador.
El comando de configuración tomó aproximadamente 45-60 minutos. Durante este proceso, AndroidWorld instaló automáticamente todas las aplicaciones de Android que se probarían en el emulador.
Creación de datos de estado inicial: Creó datos de estado inicial para cada aplicación, por ejemplo, agregó algunos eventos a la aplicación de calendario, agregó contactos a la aplicación de contactos y agregó un podcast llamado "banana" a la aplicación de podcasts. También guardó instantáneas para cada tarea, por lo que cada tarea puede comenzar desde un estado inicial limpio.
Integraciones de agentes
AutoDroid
Integración de AutoDroid: Para integrar AutoDroid, primero clonamos el repositorio desde GitHub e instalamos los paquetes de Python requeridos. La característica principal de AutoDroid es identificar elementos de la interfaz de usuario analizando XML y completar tareas con un enfoque basado en acciones.
El agente asigna un número de índice a cada elemento clicable o enfocable en la pantalla y recibe comandos del LLM como "tap(5)" o "text('hello')".
Wrapper de AutoDroid: Para la integración con AndroidWorld, creamos una clase wrapper llamada autodroid_agent.py. Este wrapper realiza las configuraciones necesarias en el método de inicialización de AutoDroid, convierte el objetivo de la tarea que proviene de AndroidWorld en un formato de prompt que AutoDroid puede transformar las acciones generadas por AutoDroid en comandos ADB reales usando las funciones execute_adb_call de AndroidWorld.
Flujo de ejecución: En el método step de AutoDroid, el agente primero toma una captura de pantalla y un volcado XML de la pantalla, analiza los elementos de la interfaz de usuario, envía esta información al LLM y realiza acciones de toque, deslizamiento o entrada de texto según la respuesta recibida.
DroidRun
Integración de DroidRun: Seguimos un proceso de integración similar para DroidRun. Después de clonar el repositorio de DroidRun desde GitHub, instalamos las dependencias en requirements.txt.
La estructura arquitectónica de DroidRun es más compleja porque tiene un sistema de razonamiento de múltiples pasos y seguimiento de estado. DroidRun puede explicar no solo lo que hará en cada paso, sino también por qué, y puede usar los resultados de los pasos anteriores en el siguiente paso.
Wrapper de DroidRun: Creamos el wrapper droidrun_agent.py para la integración con AndroidWorld. La parte más importante en este wrapper fue hacer que la propia clase CodeActAgent de DroidRun fuera compatible con la interfaz de agente base de AndroidWorld.
Proceso de ejecución: Cuando llamamos al método execute_task de DroidRun, el agente pasa por una fase de planificación de tareas, luego ejecuta cada paso y evalúa los resultados. Adaptamos este proceso al modelo de ejecución paso a paso de AndroidWorld. También implementamos las herramientas utilizadas por DroidRun (tap_by_index, start_app, list_packages, etc.) con los comandos ADB de AndroidWorld.
AppAgent
Integración de AppAgent: La integración de AppAgent fue diferente a las demás porque utiliza un enfoque basado en visión. Después de clonar el repositorio de AppAgent, integramos los archivos Python en la carpeta scripts en AndroidWorld.
Enfoque basado en visión: El principio de funcionamiento de AppAgent es el siguiente: primero toma una captura de pantalla de la pantalla, luego calcula los cuadros delimitadores de los elementos de la interfaz de usuario, dibuja estos cuadros en la captura de pantalla, asigna un número a cada uno y envía esta captura de pantalla etiquetada a un LLM multimodal. El LLM determina visualmente qué elemento debe hacer clic.
Configuración del wrapper: El paso más importante en la integración de AppAgent fue redirigir la parte que se comunica con el dispositivo Android usando el módulo and_controller.py de AppAgent al emulador de AndroidWorld. En el wrapper appagent_agent.py, reimplementamos los métodos get_screenshot y get_xml de AppAgent para que funcionen con las API de AndroidWorld. También hicimos que el archivo model.py de AppAgent, que utiliza el formato de OpenAI API, fuera compatible con OpenRouter API.
Mobile-Agent (M3A)
Integración de Mobile-Agent (M3A): La integración de M3A fue el proceso más completo porque funciona completamente basado en visión y tiene un sistema de análisis de interfaz de usuario muy detallado. Después de clonar el repositorio de M3A, también instalamos el framework de interacción Android Mobile-Env porque M3A depende de este framework.
Análisis de múltiples pasos: El principio de funcionamiento de M3A se basa en dividir la pantalla en cuadrículas, analizar cada cuadrícula por separado y hacer planificación de múltiples pasos. Al crear el wrapper m3a_agent.py, necesitábamos integrar el propio sistema de entorno de M3A con el entorno de AndroidWorld. M3A normalmente usa su propio Mobile-Env, pero lo redirigimos al env de AndroidWorld.
Múltiples llamadas a LLM: Observamos que M3A realiza múltiples llamadas a LLM en cada paso (como planificación, selección de acciones, verificación) y las hicimos compatibles con los límites de pasos de AndroidWorld.
Procedimiento de prueba y recopilación de datos
Flujo de prueba: El procedimiento de prueba para cada agente funcionó de la siguiente manera: Primero, iniciamos el emulador con una instantánea limpia. Después de que el emulador se abrió completamente, ejecutamos run.py de AndroidWorld. Ejecutamos 65 tareas secuencialmente para cada agente y usamos Claude 4.5 Sonnet para todos los agentes.
Ejecución de tareas: AndroidWorld realizó automáticamente los siguientes pasos para cada tarea: cargar el estado inicial de la tarea, iniciar el agente, enviar el objetivo de la tarea al agente, rastrear los pasos del agente, detenerse cuando se alcanza el número máximo de pasos o cuando el agente dice "tarea completada", y verificar si la tarea fue exitosa.
Criterios de éxito: El sistema de evaluación de tareas de AndroidWorld incluye criterios de éxito predefinidos. Por ejemplo, para la tarea "Agregar contacto llamado John Doe", AndroidWorld consulta la base de datos de contactos para confirmar que se agregó el contacto.
Para las tareas de calendario, verifica en la base de datos si el evento se creó con la fecha, hora, título y descripción correctos. Al final de cada ejecución de tarea, AndroidWorld nos proporcionó el tiempo de ejecución y el estado de éxito (Verdadero/Falso). Estos datos se registraron automáticamente y se utilizaron para el análisis.
Recopilación de datos: Después de completar toda la evaluación, identificamos la tarea que todos los agentes completaron con éxito. Cada una de estas tareas fue luego ejecutada 10 veces por cada agente, y se calcularon el tiempo de ejecución promedio, el costo y el consumo de tokens para métricas de rendimiento más confiables.
Posibles razones detrás de las diferencias de rendimiento en los agentes de IA móvil
Las diferencias observadas se deben principalmente a las elecciones arquitectónicas y los métodos de interacción.
DroidRun prioriza la fiabilidad a través del razonamiento de múltiples pasos, la planificación explícita y el seguimiento de estado. Esto mejora el éxito de la tarea pero aumenta el uso de tokens y el costo.
Mobile-Agent equilibra el rendimiento y la eficiencia. Su razonamiento más ligero y la comprensión visual reducen el costo mientras mantienen tasas de éxito moderadas, lo que lo hace adecuado para casos de uso sensibles al presupuesto.
AutoDroid se centra en la ejecución basada en acciones con una sobrecarga mínima de razonamiento. Esto resulta en el costo más bajo y los tiempos de ejecución más rápidos, pero también limita su capacidad para manejar tareas complejas o ambiguas.
AppAgent depende en gran medida de la interacción basada en visión utilizando LLM multimodales. El procesamiento frecuente de capturas de pantalla aumenta la latencia y el costo, mientras que los desafíos de coordenadas de la interfaz de usuario reducen el éxito de la tarea.
Preguntas frecuentes
Los agentes de IA móvil son sistemas de software que interactúan autónomamente con usuarios y aplicaciones móviles utilizando entradas de lenguaje natural y razonamiento impulsado por objetivos para completar tareas en nombre de los usuarios. A diferencia de las herramientas de automatización tradicionales o los asistentes personales tempranos, estos agentes están impulsados por IA. Algunos de sus casos de uso incluyen:
Automatización de QA móvil sin scripts de prueba
Automatización de flujos de trabajo móviles como cargar documentos de identificación o cambiar la configuración del perfil
Asistentes de IA que operan aplicaciones para personas con discapacidad visual, ancianos o cualquier otra persona.
Tareas generales diarias como crear eventos en el calendario o incluso completar lecciones de Duolingo.
Cita esta investigación
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Agentes de IA Móvil Probados en 65 Tareas del Mundo Real}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/mobile-ai-agent}},
note = {AIMultiple. Recuperado el 9 de Junio de 2026}
}Enlaces de referencia
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.