Agentes de IA Móvel Testados em 65 Tarefas do Mundo Real

Passamos 3 dias fazendo benchmark de quatro agentes de IA móvel (DroidRun, Mobile-Agent, AutoDroid e AppAgent) em 65 tarefas do mundo real usando um emulador Android com aplicativos como gerenciamento de calendário, criação de contatos, captura de fotos, gravação de áudio e operações de arquivo.

Veja os resultados do benchmark, incluindo comparação de desempenho do mundo real, custos e tempos de execução:

Comparação de desempenho dos agentes de IA móvel

DroidRun

Maior taxa de sucesso (43%) com alto custo por tarefa bem-sucedida ($0.075, ~3.225 tokens)

O DroidRun demonstrou o melhor desempenho com uma taxa de sucesso de 43% nas 65 tarefas. Ao examinar apenas as tarefas que todos os agentes completaram com sucesso, o DroidRun consumiu uma média de 3.225 tokens a um custo de $0.075 por tarefa.

Esse consumo substancial de recursos reflete a arquitetura de raciocínio em várias etapas do DroidRun, onde o agente mantém rastreamento detalhado do estado, gera planos de ação explícitos e fornece explicações para cada decisão. Embora caro, essa abordagem abrangente oferece a maior taxa de sucesso no benchmark.

Mobile-Agent

Desempenho forte (29%) e custo-eficiente ($0.025, ~1.130 tokens)

O Mobile-Agent alcançou a segunda maior taxa de sucesso em 29%, mantendo uma eficiência de custo razoável. Em tarefas comumente bem-sucedidas entre todos os agentes, o Mobile-Agent teve uma média de $0.025 e 1.130 tokens por tarefa.

Isso representa aproximadamente um terço do custo por tarefa do DroidRun, enquanto alcança cerca de dois terços de sua taxa de sucesso, tornando o Mobile-Agent uma opção atraente para implantações onde as restrições orçamentárias são importantes.

No entanto, a lacuna de 14 pontos percentuais na taxa de sucesso sugere que as capacidades adicionais de raciocínio do DroidRun fornecem valor significativo para aplicações críticas.

AutoDroid

Melhor custo-eficiência (14% de sucesso, $0.017, ~765 tokens) mas eficácia limitada

O AutoDroid demonstrou o menor custo em tarefas comumente bem-sucedidas, com apenas $0.017 e 765 tokens por tarefa, tornando-o a opção mais econômica no benchmark.

No entanto, sua taxa de sucesso de 14%, menos da metade do desempenho do Mobile-Agent e cerca de um terço do DroidRun, indica que essa vantagem de custo vem com compromissos significativos em confiabilidade.

Apesar de usar uma abordagem baseada em ação semelhante ao DroidRun, a sobrecarga mínima de raciocínio do AutoDroid resulta em economias substanciais de custos, mas capacidade limitada de conclusão de tarefas.

AppAgent

Pior desempenho (7% de sucesso) com maior custo ($0.90, ~2.346 tokens)

O AppAgent registrou tanto a menor taxa de sucesso em 7% quanto o maior custo em tarefas comumente bem-sucedidas, com $0.90 e 2.346 tokens por tarefa. Doze vezes mais caro que o DroidRun e mais de cinquenta vezes mais custoso que o AutoDroid.

Esse pobre custo-benefício decorre da abordagem baseada em visão do AppAgent, que processa capturas de tela rotuladas por meio de LLMs multimodais para cada interação. Cada captura de tela enviada ao LLM multimodal consome tokens de entrada substanciais para processamento de imagem, enquanto as respostas de texto reais (tokens de conclusão) permanecem relativamente modestas.

Isso cria uma distribuição de tokens altamente desequilibrada, onde a sobrecarga de processamento de visão domina o custo sem melhorias correspondentes na conclusão de tarefas, já que o agente luta com cálculos de coordenadas e identificação de elementos de UI em interfaces móveis.

Comparação de tempo de execução dos agentes de IA móvel

Na única tarefa que todos os agentes completaram com sucesso, o AutoDroid foi o mais rápido em 57 segundos, seguido de perto pelo Mobile-Agent em 66 segundos. O DroidRun completou a tarefa em 78 segundos, demonstrando que sua arquitetura de raciocínio em várias etapas ainda permite execução eficiente, apesar do maior consumo de tokens.

O AppAgent exibiu latência significativamente maior em 180 segundos, devido à sua abordagem baseada em visão que requer extenso processamento de capturas de tela por meio de LLMs multimodais para cada interação.

Você pode ver nossa metodologia de benchmark daqui.

Visão geral dos agentes de IA móvel

As contagens de estrelas no GitHub mudam rapidamente e atualizaremos a tabela de acordo.

DroidRun

O DroidRun é um framework de código aberto que constrói agentes de IA nativos para dispositivos móveis que podem controlar autonomamente aplicativos e telefones móveis. É um framework fundamental que converte interfaces de usuário em dados estruturados com os quais modelos de linguagem grandes podem interagir, permitindo automação complexa diretamente em dispositivos móveis.

O DroidRun ganhou rapidamente tração: mais de 900 desenvolvedores se inscreveram em 24 horas, e o projeto subiu para 3,8 mil estrelas no GitHub, tornando-se um dos frameworks de crescimento mais rápido para agentes de IA móvel.

Veja em ação:

AutoDroid

O AutoDroid é um sistema de automação de tarefas móveis projetado para realizar tarefas arbitrárias em qualquer aplicativo Android sem configuração manual. Ele aproveita o raciocínio de senso comum de modelos de linguagem grandes como GPT‑4 e Vicuna, combinado com análise automatizada específica do aplicativo.

O AutoDroid introduz uma representação de UI consciente de funcionalidade para conectar interfaces de aplicativos a LLMs, usa injeção de memória baseada em exploração para ensinar comportamentos específicos do aplicativo ao modelo e inclui otimização de consulta para reduzir custos de inferência. Avaliado em um benchmark de 158 tarefas, alcançou 90,9% de precisão de ação e 71,3% de sucesso na tarefa, superando as linhas de base apenas do GPT‑4.¹

Mobile-Agent

O repositório GitHub X-PLUG/MobileAgent é a implementação oficial do Mobile-Agent, um framework de agente de IA projetado para controlar autonomamente aplicativos móveis percebendo e raciocinando sobre suas representações visuais de UI.

Este projeto vem do grupo X-PLUG da Universidade Tsinghua e foi apresentado na ICLR 2024, visando expandir os limites dos agentes móveis usando aprendizado multimodal, particularmente percepção visual e seguimento de instruções. Veja o vídeo para vê-lo em ação.

AppAgent

O repositório GitHub TencentQQGYLab/AppAgent é um projeto de pesquisa de código aberto do Tencent’s QQG Y-Lab. Ele introduz o AppAgent, um framework de agente de IA móvel projetado para operar autonomamente e raciocinar através de aplicativos Android sem código escrito por humanos para cada aplicativo individual.

Fonte: AppAgent²

Recursos de agentes de IA móvel

Manipulação de comandos orientada a objetivos

O agente determina quais aplicativos abrir, quais ações tomar e como sequenciá-las. Por exemplo, os usuários especificam o que querem feito (por exemplo, "Reserve uma viagem para o aeroporto"), não as etapas individuais.

LLM-backed raciocínio

Alimentados por modelos de linguagem grandes (por exemplo, GPT-4, Claude, Gemini), esses agentes podem:

• Identificar a intenção do usuário e o conteúdo da tela
• Gerar planos de ação lógicos, passo a passo
• Adaptar-se a alterações dinâmicas de UI em diferentes estados do aplicativo

Controle estruturado e nativo de aplicativos

Em vez de depender de raspagem de tela:

• Agentes extraem hierarquias de UI estruturadas (por exemplo, árvores baseadas em XML de botões e campos)
• Eles interagem diretamente com elementos de UI, tratando-os como APIs de primeira classe.
  • Exemplo: O DroidRun usa APIs de Acessibilidade do Android para ler e agir em elementos de UI reais.

Execução de fluxo de trabalho entre aplicativos

Agentes operam em vários aplicativos e fluxos de trabalho de várias etapas. Eles podem replanejar se uma etapa intermediária falhar. Por exemplo, "Baixe um arquivo do e-mail → faça upload para o Google Drive → envie uma confirmação."

Execução em nuvem e no dispositivo para agentes de IA móvel

Agentes de IA móvel podem ser executados na nuvem, no dispositivo ou usar uma abordagem híbrida.

Agentes baseados em nuvem se conectam a modelos como GPT-4, Claude ou Gemini por meio de chamadas de API. Isso permite raciocínio sofisticado e conclusão de tarefas em várias etapas. No entanto, requer a transmissão de dados de tela e contexto do usuário para servidores externos, o que levanta preocupações de privacidade, particularmente para aplicativos sensíveis. O desempenho também depende de conectividade de rede estável.

Agentes no dispositivo executam modelos diretamente no hardware móvel, mantendo todos os dados locais. Isso elimina riscos de transmissão e permite funcionalidade offline. A compensação é capacidade de modelo limitada: NPUs móveis atuais e GPUs limitam o tamanho do modelo, o que pode reduzir a precisão em tarefas de raciocínio complexo.

Arquiteturas híbridas combinam ambas as abordagens. Modelos leves no dispositivo lidam com tarefas rotineiras e classificação inicial de intenção, enquanto operações complexas são roteadas para LLMs em nuvem. Apple Intelligence e Gemini Nano seguem esse padrão, processando solicitações simples localmente e escalando quando necessário. O equilíbrio ideal entre processamento local e em nuvem continua a evoluir à medida que o hardware de IA de borda melhora.

Veja mais dos nossos benchmarks e insights baseados em dados na Pesquisa Google.

Adicionar como fonte preferencial

Riscos de segurança e privacidade em agentes de IA móvel

Agentes de IA móvel leem o conteúdo da tela, navegam em aplicativos e executam ações, ganhando acesso profundo a dados sensíveis do usuário. Isso introduz várias preocupações:

• Exposição de conteúdo da tela: Agentes podem transmitir senhas, mensagens e dados financeiros para LLMs em nuvem para processamento
• Vazamento de credenciais: Fluxos de login automático podem expor inadvertidamente senhas salvas e tokens de autenticação
• Retenção de dados pouco clara: Muitas vezes não está claro como os logs do agente e as capturas de tela capturadas são armazenados ou compartilhados
• Risco de injeção de prompt: Conteúdo de aplicativo malicioso pode manipular o comportamento do agente por meio de texto de UI elaborado

Abordar esses riscos requer uma abordagem em camadas:

• Processamento no dispositivo: Executar modelos localmente reduz a necessidade de transmitir dados sensíveis para servidores externos
• Mascaramento de PII: Detectar e redigir automaticamente informações pessoais antes de chamadas de API limita a exposição
• Limites de permissão: Restringir o acesso do agente a categorias de aplicativos sensíveis (banco, saúde, mensagens) impede o acesso não intencional a dados
• Políticas de API transparentes: Escolher provedores com políticas claras de manipulação e retenção de dados ajuda a garantir conformidade

Metodologia de benchmark

Conduzimos uma avaliação de benchmark para avaliar o desempenho de agentes móveis de IA operando no sistema operacional Android em tarefas do mundo real. Usamos o framework AndroidWorld e testamos todos os agentes nas mesmas tarefas padrão.

Framework AndroidWorld

O AndroidWorld é uma plataforma de benchmark de código aberto desenvolvida especificamente pelo Google Research para avaliar agentes móveis. Esta plataforma visa medir o desempenho de agentes trabalhando em aplicativos Android reais por meio de tarefas padronizadas.

A característica mais importante do AndroidWorld é que ele usa aplicativos Android reais em vez de ambientes de teste artificiais e pode avaliar automaticamente o desempenho dos agentes. Usamos 65 tarefas neste estudo. Essas tarefas cobrem cenários de uso diário de dispositivos móveis, como gerenciamento de calendário, adição de contatos, gravação de voz, tirando fotos e operações de arquivo.

Configuração do ambiente

Configuração do sistema: Para configurar o ambiente de benchmark, primeiro instalamos o Android Studio no sistema operacional Windows 11 e configuramos o Emulador Android oficial do Google.

Configuração do dispositivo virtual: Criamos um dispositivo virtual simulando um dispositivo Pixel 6. As especificações deste dispositivo virtual foram definidas como sistema operacional Android 13 (API Level 33), resolução 1080×2400, 8GB RAM e 20GB de espaço de armazenamento.

Configuração do emulador: Para integrar o emulador ao AndroidWorld, configuramos a porta gRPC como 8554 porque o AndroidWorld se comunica com o emulador por meio desta porta.

Configuração do ambiente Python: Para preparar o ambiente Python, criamos um novo ambiente conda com Python 3.11 usando Miniconda. Após clonar o repositório AndroidWorld do GitHub, instalamos todas as dependências usando pip. Uma das etapas mais críticas do AndroidWorld é o processo de configuração do emulador.

O comando de configuração levou aproximadamente 45-60 minutos. Durante esse processo, o AndroidWorld instalou automaticamente todos os aplicativos Android a serem testados no emulador.

Criação de dados de estado inicial: Criou dados de estado inicial para cada aplicativo, por exemplo, adicionou alguns eventos ao aplicativo de calendário, adicionou contatos ao aplicativo de contatos e adicionou um podcast chamado "banana" ao aplicativo de podcast. Também salvou instantâneos para cada tarefa, para que cada tarefa possa começar de um estado inicial limpo.

Integrações de agentes

AutoDroid

Integração do AutoDroid: Para integrar o AutoDroid, primeiro clonamos o repositório do GitHub e instalamos os pacotes Python necessários. A principal característica do AutoDroid é identificar elementos de UI analisando XML e completar tarefas com uma abordagem baseada em ação.

O agente atribui um número de índice a cada elemento clicável ou focável na tela e recebe comandos do LLM como "tap(5)" ou "text('hello')".

Wrapper do AutoDroid: Para integração com o AndroidWorld, criamos uma classe wrapper chamada autodroid_agent.py. Este wrapper realiza as configurações necessárias no método de inicialização do AutoDroid, converte o objetivo da tarefa vindo do AndroidWorld em um formato de prompt que o AutoDroid pode transformar as ações geradas pelo AutoDroid em comandos ADB reais usando as funções execute_adb_call do AndroidWorld.

Fluxo de execução: No método step do AutoDroid, o agente primeiro tira uma captura de tela e um dump XML da tela, analisa elementos de UI, envia essas informações para o LLM e realiza ações de toque, deslize ou entrada de texto de acordo com a resposta recebida.

DroidRun

Integração do DroidRun: Seguimos um processo de integração semelhante para o DroidRun. Após clonar o repositório DroidRun do GitHub, instalamos as dependências em requirements.txt.

A estrutura arquitetônica do DroidRun é mais complexa porque possui um sistema de raciocínio em várias etapas e rastreamento de estado. O DroidRun pode explicar não apenas o que fará em cada etapa, mas também por que, e pode usar os resultados das etapas anteriores na próxima etapa.

Wrapper do DroidRun: Criamos o wrapper droidrun_agent.py para integração com o AndroidWorld. A parte mais importante neste wrapper foi tornar a classe CodeActAgent própria do DroidRun compatível com a interface do agente base do AndroidWorld.

Processo de execução: Quando chamamos o método execute_task do DroidRun, o agente passa por uma fase de planejamento de tarefas, depois executa cada etapa e avalia os resultados. Adaptamos esse processo ao modelo de execução passo a passo do AndroidWorld. Também implementamos as ferramentas usadas pelo DroidRun (tap_by_index, start_app, list_packages, etc.) com comandos ADB do AndroidWorld.

AppAgent

Integração do AppAgent: A integração do AppAgent foi diferente das outras porque usa uma abordagem baseada em visão. Após clonar o repositório AppAgent, integramos os arquivos Python na pasta scripts ao AndroidWorld.

Abordagem baseada em visão: O princípio de funcionamento do AppAgent é o seguinte: primeiro tira uma captura de tela da tela, depois calcula as caixas delimitadoras dos elementos de UI, desenha essas caixas na captura de tela, atribui um número a cada uma e envia essa captura de tela rotulada para um LLM multimodal. O LLM determina visualmente qual elemento deve ser clicado.

Configuração do wrapper: A etapa mais importante na integração do AppAgent foi redirecionar a parte que se comunica com o dispositivo Android usando o módulo and_controller.py do AppAgent para o emulador do AndroidWorld. No wrapper appagent_agent.py, reimplementamos os métodos get_screenshot e get_xml do AppAgent para trabalhar com APIs do AndroidWorld. Também tornamos o arquivo model.py do AppAgent, que usa o formato de OpenAI API, compatível com OpenRouter API.

Mobile-Agent (M3A)

Integração do Mobile-Agent (M3A): A integração do M3A foi o processo mais abrangente porque funciona completamente baseado em visão e possui um sistema de análise de UI muito detalhado. Após clonar o repositório M3A, também instalamos o framework de interação Android Mobile-Env porque o M3A depende deste framework.

Análise em várias etapas: O princípio de funcionamento do M3A baseia-se em dividir a tela em grades, analisar cada grade separadamente e fazer planejamento em várias etapas. Ao criar o wrapper m3a_agent.py, precisávamos integrar o sistema de ambiente próprio do M3A com o ambiente do AndroidWorld. O M3A normalmente usa seu próprio Mobile-Env, mas o redirecionamos para o env do AndroidWorld.

Múltiplas chamadas de LLM: Observamos que o M3A faz múltiplas chamadas de LLM em cada etapa (como planejamento, seleção de ação, verificação) e as tornamos compatíveis com os limites de etapas do AndroidWorld.

Procedimento de teste e coleta de dados

Fluxo de teste: O procedimento de teste para cada agente funcionou da seguinte maneira: Primeiro, iniciamos o emulador com um instantâneo limpo. Após o emulador ser totalmente aberto, executamos o run.py do AndroidWorld. Executamos 65 tarefas sequencialmente para cada agente e usamos Claude 4.5 Sonnet para todos os agentes.

Execução da tarefa: O AndroidWorld executou automaticamente as seguintes etapas para cada tarefa: carregar o estado inicial da tarefa, iniciar o agente, enviar o objetivo da tarefa ao agente, rastrear as etapas do agente, parar quando o número máximo de etapas for atingido ou quando o agente disser "tarefa concluída" e verificar se a tarefa foi bem-sucedida.

Critérios de sucesso: O sistema de avaliação de tarefas do AndroidWorld inclui critérios de sucesso predefinidos. Por exemplo, para a tarefa "Adicionar contato chamado John Doe", o AndroidWorld consulta o banco de dados de contatos para confirmar que o contato foi adicionado.

Para tarefas de calendário, verifica no banco de dados se o evento foi criado com a data, hora, título e descrição corretos. No final de cada execução de tarefa, o AndroidWorld nos forneceu tempo de execução e status de sucesso (Verdadeiro/Falso). Esses dados foram registrados automaticamente e usados para análise.

Coleta de dados: Após concluir todo o benchmark, identificamos a tarefa que todos os agentes completaram com sucesso. Cada uma dessas tarefas foi então executada 10 vezes por cada agente, e o tempo médio de execução, custo e consumo de tokens foram calculados para métricas de desempenho mais confiáveis.

Possíveis razões por trás das diferenças de desempenho em agentes de IA móvel

As diferenças observadas decorrem principalmente de escolhas arquitetônicas e métodos de interação.

DroidRun prioriza a confiabilidade por meio de raciocínio em várias etapas, planejamento explícito e rastreamento de estado. Isso melhora o sucesso da tarefa, mas aumenta o uso de tokens e o custo.

Mobile-Agent equilibra desempenho e eficiência. Seu raciocínio mais leve e compreensão visual reduzem o custo, mantendo taxas de sucesso moderadas, tornando-o adequado para casos de uso sensíveis ao orçamento.

AutoDroid foca na execução baseada em ação com sobrecarga mínima de raciocínio. Isso resulta no menor custo e nos tempos de execução mais rápidos, mas também limita sua capacidade de lidar com tarefas complexas ou ambíguas.

AppAgent depende fortemente de interação baseada em visão usando LLMs multimodais. O processamento frequente de capturas de tela aumenta a latência e o custo, enquanto os desafios de coordenadas de UI reduzem o sucesso da tarefa.

Perguntas frequentes

Cite esta pesquisa

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Agentes de IA Móvel Testados em 65 Tarefas do Mundo Real}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/mobile-ai-agent}},
  note   = {AIMultiple. Acessado em 9 Junho 2026}
}

Links de referência

1.

https://arxiv.org/pdf/2308.15272

2.

GitHub - TencentQQGYLab/AppAgent: AppAgent: Multimodal Agents as Smartphone Users, an LLM-based multimodal agent framework designed to operate smartphone apps. · GitHub

Cem Dilmegani

Analista Principal

Siga-nos

Cem é o analista principal da AIMultiple desde 2017. A AIMultiple fornece informações para centenas de milhares de empresas (segundo o SimilarWeb), incluindo 55% das empresas da Fortune 500, todos os meses. O trabalho de Cem foi citado por importantes publicações globais, como Business Insider, Forbes e Washington Post, além de empresas globais como Deloitte e HPE, ONGs como o Fórum Econômico Mundial e organizações supranacionais como a Comissão Europeia. Você pode ver mais empresas e recursos renomados que mencionaram a AIMultiple. Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor na área. Ele assessorou empresas em suas decisões tecnológicas na McKinsey & Company e na Altman Solon por mais de uma década. Também publicou um relatório da McKinsey sobre digitalização. Liderou a estratégia de tecnologia e a área de compras de uma empresa de telecomunicações, reportando-se diretamente ao CEO. Além disso, liderou o crescimento comercial da empresa de tecnologia avançada Hypatos, que atingiu uma receita recorrente anual de sete dígitos e uma avaliação de nove dígitos, partindo de zero, em apenas dois anos. O trabalho de Cem no Hypatos foi noticiado por importantes publicações de tecnologia, como TechCrunch e Business Insider. Cem participa regularmente como palestrante em conferências internacionais de tecnologia. Ele se formou em engenharia da computação pela Universidade Bogazici e possui um MBA pela Columbia Business School.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário