Agentes de Uso de Computador: Benchmark & Arquitetura
Agentes de uso de computador prometem operar desktops reais e aplicativos web, mas seus designs, limitações e compensações muitas vezes não são claros. Examinamos sistemas líderes decompondo como funcionam, como aprendem e como suas arquiteturas diferem. Também referenciamos um benchmark focado de ancoragem de UI em 100 capturas de tela de desktop, abrangendo 4 tipos de tarefas e 5 execuções por amostra, que isola a qualidade da percepção visual e destaca por que modelos de visão e linguagem fortes importam mesmo para agentes de uso de computador compostos.
Veja uma tabela de recursos, notas de arquitetura, conclusões práticas e resultados de benchmark para ajudar os usuários a escolher ou construir o agente de uso de computador adequado:
Resultados do benchmark de ancoragem de UI
Para detalhes da metodologia do benchmark, leia os detalhes do benchmark.
- Modelos Qwen3-VL atingem ~90% de precisão, com baixo erro (≈7–9 px).
- Modelos especializados em UI como UI-TARS performam muito pior (~38% de precisão) e mostram alta variância e grandes erros, especialmente em interfaces dependentes de estado e densas.
- UIs dependentes de estado e densas são os casos mais difíceis para a maioria dos modelos.
Principais agentes de uso de computador
Veja a seção de recursos para os recursos na tabela, e examine a seção de abordagens arquitetônicas para os detalhes da arquitetura dos agentes de uso de computador.
OpenAI Computer Use Preview
O computer use-preview da OpenAI é um modelo especializado construído para entender e executar tarefas de computador via Responses API. Foca em entrada e saída de texto, com entrada de imagem opcional, mas não suporta áudio ou vídeo.
Anthropic Claude Computer Use
O Claude Computer Use é um recurso beta que permite ao Claude interagir com um ambiente de desktop ou computador em janela, assim como uma pessoa faria. Funciona vendo a tela, movendo o mouse e digitando no teclado.
O Claude não pode agir sozinho sem a configuração de um desenvolvedor. Ele não acessa automaticamente seu computador real; ele interage com a sandbox que você fornece.
Open Interpreter (OS Mode)
O Open Interpreter é um agente de terminal open-source capaz de executar código e interagir com seu sistema.
Ele roda no seu próprio computador, então pode usar seus arquivos, programas e navegador diretamente. Os usuários se comunicam com ele em inglês simples, e ele traduz suas instruções em ações gerando e executando código. Antes de qualquer código rodar, o Open Interpreter exibe o que planeja executar e solicita sua aprovação.
Simular Agent S/S3
O Simular Agent S3 é um agente de uso de computador que funciona observando telas, planejando ações e controlando o mouse e o teclado para completar tarefas complexas. É parte do framework open Agent S para interação autônoma de GUI.
O comportamento Best-of-N (bBoN) é um método central que permite ao Agent S3 gerar múltiplas sequências de ações possíveis ("rollouts"), em vez de uma única execução. Ele transforma cada rollout em uma narrativa de comportamento, que é um resumo simples do que aconteceu. Uma etapa de julgamento separada então escolhe a melhor execução.
Cua AI
O Cua AI é um framework open-source que permite construir, executar e testar agentes de IA de uso de computador em ambientes de desktop, conectando modelos de visão, modelos de raciocínio e ambientes de SO sandboxizados em um único sistema. O Cua pode executar agentes na nuvem usando sandboxes remotas. Também permite executá-los localmente se quiser mais controle ou privacidade.
O Cua também ajuda a gerar capturas de tela de UI e logs de ação de agente. Você pode gravar interações de várias etapas, criar dados de treinamento e executar benchmarks para ver o desempenho dos agentes.
Claude Cowork
O Claude Cowork é uma maneira de ter o Claude fazer trabalho complexo diretamente no seu computador. Utiliza o mesmo design de agente que o Claude Code, mas com foco em tarefas que envolvem seus arquivos e programas locais, em vez de apenas fornecer respostas curtas de chat. Este recurso está em prévia de pesquisa e roda dentro do aplicativo Claude Desktop para macOS.
Limitações Atuais:
- Disponível apenas no macOS Desktop.
- O Claude não mantém memória entre sessões.
- O Cowork ainda não pode compartilhar seu trabalho com outros.
Benchmark OSWorld
Resultados para IA agênica de uso de computador
Isenção de responsabilidade: O mesmo modelo pode aparecer em diferentes ranks porque o OSWorld lista resultados por configuração completa de avaliação (framework de agente, modelo de ancoragem ou planejamento, configuração Best-of-N, contagem de execuções e limite de passos), e até pequenas mudanças nessas configurações são tratadas como entradas separadas com resultados de desempenho diferentes.
Metodologia
O benchmark inclui 369 tarefas do mundo real (ou 361 excluindo tarefas do Google Drive que exigem configuração manual). As tarefas abrangem aplicativos web e desktop, operações de arquivo do SO e fluxos de trabalho de vários aplicativos. Cada tarefa começa a partir de um estado inicial reproduzível e é pareada com um script de avaliação baseado em execução personalizado, garantindo pontuação confiável.
Processo de avaliação
Agentes interagem com um ambiente de SO ao vivo. O sucesso é medido pelo que o agente realmente faz, não por saídas de texto. Os ambientes suportam execução paralela e sem cabeça, permitindo testes escaláveis.
Escopo do benchmark
O OSWorld suporta tarefas abertas em aplicativos arbitrários, entradas multimodais, fluxos de trabalho entre aplicativos e estados iniciais intermediários. Comparado a benchmarks anteriores, oferece cobertura mais ampla e condições mais realistas.
Baselines e análise
O benchmark avalia modelos gerais, modelos especializados e frameworks agênicos através de famílias LLM e VLM. Os resultados mostram uma grande lacuna entre o desempenho humano (~72%) e os agentes atuais, destacando desafios na ancoragem de GUI e conhecimento operacional. O OSWorld também permite análise detalhada entre tipos de tarefas, complexidade de UI, entradas e sistemas operacionais.
Duas abordagens arquitetônicas para modelos de uso de computador
Hoje, a maioria dos agentes de uso de computador se enquadra em um de dois padrões de design:
- Agentes End-to-End (E2E)
- Agentes Compostos
Ambos visam completar tarefas em um computador. Eles diferem em como dividem percepção, raciocínio e ação.
Agentes End-to-End (E2E)
Agentes end-to-end usam um único modelo de visão e linguagem para lidar com todo o loop. O modelo recebe uma captura de tela e uma descrição da tarefa. Em seguida, ele gera a próxima ação diretamente.
Não há uma fronteira clara entre ver, raciocinar e agir. Esses processos são aprendidos juntos dentro do mesmo modelo.
Como os agentes E2E funcionam
Captura de tela + Tarefa → Representação Unificada → Ação
O modelo raciocina diretamente sobre pixels e texto. Ele não constrói uma lista explícita de botões ou campos. Em vez disso, ele aprende associações entre padrões visuais e ações durante o treinamento.
Pontos fortes
- Design de sistema mais simples
- Menos pontos de integração onde erros podem ocorrer
- Muitas vezes mais estável em tarefas longas
Limitações
- Visibilidade limitada sobre por que uma ação foi escolhida
- Mais difícil de depurar quando algo dá errado
- Menos controle sobre etapas intermediárias de raciocínio
Implicações práticas
Como percepção e planejamento estão fortemente ligados, pequenos erros visuais são menos propensos a se transformar em falhas totais. Quando uma ação não funciona, o agente pode reavaliar a tela atualizada e se adaptar.
Compensação: É difícil inspecionar decisões intermediárias ou isolar a fonte de falhas.
Agentes compostos
Agentes compostos dividem o loop de interação em etapas separadas. Cada etapa é tratada por um modelo ou subsistema diferente.
Como os agentes de IA compostos funcionam
Um pipeline típico se parece com isto:
- Ancoragem: Detectar elementos de interface gráfica do usuário a partir da captura de tela
- Planejamento: Decidir o que fazer a seguir
- Execução: Realizar tarefas no sistema
Este design torna cada etapa explícita.
Pontos fortes
- Clara separação de responsabilidades
- Mais fácil inspecionar saídas intermediárias
- Mais adequado para pesquisa e experimentos controlados
Limitações
- Maior complexidade do sistema
- Erros podem se propagar entre componentes
- Muitas vezes menos confiável em ambientes de desktop reais
Implicações práticas
Agentes compostos dependem de representações estruturadas da tela, como botões ou campos de texto detectados. Isso melhora a transparência, mas adiciona fragilidade. Se a ancoragem for imprecisa, as decisões de planejamento provavelmente falharão.
Compensação: Tarefas longas são especialmente desafiadoras. Pequenas discrepâncias entre o estado percebido e o real da tela podem se acumular ao longo do tempo.
Adicionar como fonte preferencialBlocos de construção principais de agentes de uso de computador (CUAs)
Agentes modernos de uso de computador são construídos usando três componentes principais:
1. Modelos de visão e linguagem (VLMs)
VLMs únicos formam o núcleo da maioria dos agentes end-to-end. Eles processam capturas de tela e instruções juntos e geram ações diretamente.
Captura de tela + Tarefa → Espaço de Visão e Linguagem Conjunta → Ação
O modelo codifica entradas visuais e textuais em um espaço interno compartilhado. Neste espaço, ele aprende como padrões visuais se relacionam com ações sem rótulos explícitos.
Não há uma etapa de ancoragem separada. A compreensão de UI e o planejamento de tarefas ocorrem implicitamente e simultaneamente.
Implicações práticas: VLMs únicos reduzem a complexidade arquitetônica e limitam a propagação de erros. Eles favorecem robustez e simplicidade em vez de transparência e controle granular.
2. Modelos de ancoragem
Modelos de ancoragem focam exclusivamente na percepção e desempenham um papel crucial nos agentes compostos. Sua função é traduzir capturas de tela brutas em descrições estruturadas da interface do computador. Eles não raciocinam sobre objetivos ou selecionam ações.
Captura de tela → Modelo de Ancoragem → Representação Estruturada de UI
As saídas frequentemente incluem:
- Elementos de UI detectados
- Localizações espaciais (caixas delimitadoras)
- Rótulos semânticos (botão, campo de entrada, texto)
- Texto extraído
Esta representação é passada para um modelo de planejamento.
Pontos fortes
- Percepção clara e inspecionável
- Mais fácil registrar e analisar falhas
- Transparência aprimorada
Limitações
- Erros se propagam a jusante
- Sensível a mudanças visuais e layouts dinâmicos
- Difícil manter consistência ao longo de muitas etapas
Implicações práticas: A ancoragem é frequentemente o elo mais fraco em sistemas compostos. Elementos ausentes ou desatualizados podem enganar modelos de planejamento e causar falhas repetidas.
Benchmark de Ancoragem de UI: Por que a qualidade da visão importa
Para isolar o papel da percepção visual, referenciamos um benchmark de ancoragem de UI focado que avalia o quão bem os modelos identificam a localização exata em pixels de um elemento de UI a partir de uma instrução em linguagem natural.
Configuração do benchmark
- 100 capturas de tela de desktop
- 4 tipos de tarefas: simples, relacional, dependente de estado, UI densa
- 5 execuções por amostra para medir consistência
- Resolução fixa: 2560×1440
Para um conjunto de dados e metodologia mais detalhados, visite AIMultiple UI Grounding no HuggingFace.
Conclusão
A ancoragem precisa de UI permanece um grande gargalo. Evidências atuais mostram que percepção visual robusta e compreensão implícita de UI importam mais do que especialização estreita de UI, especialmente para agentes de uso de computador confiáveis operando em desktops reais.
Modelos de planejamento
Modelos de planejamento determinam os próximos passos. Eles trabalham com dados de UI estruturados, objetivos de tarefa e histórico de interação. Eles não processam imagens brutas. Esses modelos desempenham um papel crucial na arquitetura de agente composto.
UI Estruturada + Objetivo da Tarefa → Modelo de Planejamento → Próxima Ação
Modelos de planejamento podem:
- Dividir tarefas em etapas
- Rastrear progresso
- Aplicar regras ou heurísticas
- Registrar raciocínio explicitamente
Desafios na prática
- Alta sensibilidade a erros de entrada
Ancoragem incorreta leva a planos defeituosos. - Deriva de estado ao longo do tempo
Mudanças de UI podem invalidar suposições anteriores. - Recuperação de falha limitada
Sem feedback forte, planejadores podem entrar em loop ou travar. - Discrepâncias de execução
Tempo, foco ou erros de coordenação podem quebrar planos.
Implicações práticas: Modelos de planejamento adicionam estrutura e transparência, mas sua eficácia depende fortemente de percepção precisa e execução confiável.
Explicação dos principais recursos de agentes de uso de computador
Ambiente de execução
Define onde o agente de uso de computador roda e como ele controla o sistema operacional (VM na nuvem, máquina local ou runtime baseado em contêiner).
Acesso ao sistema local
Isso mostra se o agente pode ler ou escrever arquivos na máquina real do usuário, não apenas em uma sandbox remota. O acesso local é útil para fluxos de trabalho pessoais, mas levanta preocupações de segurança mais altas.
Qual é a compensação geral entre agentes E2E e compostos?
Agentes end-to-end são atualmente mais confiáveis para uso direto em computadores pessoais. Seu design unificado reduz problemas de coordenação e pontos de falha.
Agentes compostos não são inerentemente mais fracos. Eles oferecem maior flexibilidade, personalização e interpretabilidade. No entanto, exigem ancoragem mais forte, gerenciamento de estado mais rigoroso e integração cuidadosa para performar bem em ambientes reais.
A compensação central não é capacidade, mas robustez versus controle.
O que são agentes de uso de computador?
Agentes de uso de computador são sistemas projetados para operar um computador de maneira semelhante a um humano. Eles olham para a tela, decidem o que fazer e interagem através de ações como clicar, digitar e rolar.
À primeira vista, isso parece simples. Na prática, é difícil. Ambientes de desktop são dinâmicos. Interfaces mudam frequentemente. Não há APIs fixas ou estruturas estáveis para confiar. Esses agentes devem trabalhar com o que veem na tela e raciocinar sobre isso em tempo real.
Apesar de implementações diferentes, a maioria dos agentes de uso de computador segue o mesmo loop básico:
Observar → Interpretar → Decidir → Executar
Como este loop é implementado determina quão estável, flexível e confiável um agente é no uso real.
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Agentes de Uso de Computador: Benchmark & Arquitetura}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/computer-use-agents}},
note = {AIMultiple. Acessado em 22 Junho 2026}
}
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.