Agentes de Uso de Computador: Benchmark & Arquitetura
Os agentes de uso de computador operam desktops e aplicativos web reais. Seus designs, limites e compensações muitas vezes não são claros. Nós detalhamos como os sistemas líderes funcionam, como aprendem e como suas arquiteturas diferem. Também referenciamos um benchmark focado de ancoragem de IU em 100 capturas de tela de desktop, em 4 tipos de tarefa e 5 execuções por amostra. Ele isola a qualidade da percepção visual e mostra por que modelos de visão-linguagem fortes são importantes mesmo para agentes compostos.
Resultados do benchmark de ancoragem de IU
Para detalhes da metodologia do benchmark, leia os detalhes do benchmark.
- Modelos Qwen3-VL atingem ~90% de precisão, com baixo erro (≈7–9 px).
- Modelos especializados em IU como o UI-TARS têm desempenho pior (~38% de precisão) e mostram alta variância e grandes erros, especialmente em interfaces dependentes de estado e densas.
- IUs dependentes de estado e densas são os casos mais difíceis para a maioria dos modelos.
Principais agentes de uso de computador
Veja a seção de recursos para as funcionalidades na tabela e examine a seção de abordagens arquiteturais para os detalhes da arquitetura dos agentes de uso de computador.
Prévia de Uso de Computador do OpenAI
A prévia de uso de computador do OpenAI é um modelo especializado construído para entender e executar tarefas de computador através da API Responses. Ele foca em entrada e saída de texto, com entrada opcional de imagem, mas não suporta áudio ou vídeo.
Anthropic Claude Computer Use
O Claude Computer Use é um recurso beta que permite ao Claude interagir com um ambiente de computador desktop ou em janela, como uma pessoa faria. Funciona vendo a tela, movendo o mouse e digitando no teclado.
O Claude não pode agir sozinho sem a configuração de um desenvolvedor. Ele não acessa automaticamente o seu computador real; ele interage com o sandbox que você fornece.
Open Interpreter (Modo OS)
O Open Interpreter é um agente de terminal de código aberto. Ele executa código e interage com o sistema operacional. O Open Interpreter roda na máquina local, então alcança arquivos locais, programas e o navegador diretamente. Um usuário dá instruções em linguagem natural, e o agente as transforma em código. Antes que qualquer código seja executado, o Open Interpreter mostra o comando planejado e aguarda aprovação.
Simular Agent S/S3
O Simular Agent S3 é um agente de uso de computador que funciona observando telas, planejando ações e controlando o mouse e o teclado para completar tarefas complexas. Faz parte do framework aberto Agent S para interação autônoma com GUI.
Behavior Best-of-N (bBoN) é um método central que permite ao Agent S3 gerar múltiplas sequências de ações possíveis (“rollouts”), em vez de uma única execução. Ele transforma cada rollout em uma narrativa de comportamento, que é um resumo simples do que aconteceu. Uma etapa de julgamento separada então escolhe a melhor execução.
Cua IA
O Cua IA é um framework de código aberto que permite construir, executar e testar agentes de IA de uso de computador em ambientes de desktop, integrando modelos de visão, modelos de raciocínio e ambientes de SO em sandbox em um único sistema. O Cua pode executar agentes na nuvem usando sandboxes remotos. Ele também permite executá-los localmente se você quiser mais controle ou privacidade.
O Cua também ajuda você a gerar capturas de tela da IU e logs de ação do agente. Você pode gravar interações em várias etapas, criar dados de treinamento e executar benchmarks para ver o desempenho dos agentes.
Claude Cowork
O Claude Cowork traz o design agentivo do Claude Code para pessoas que não escrevem código. Ele roda no aplicativo de desktop do Claude, em uma aba ao lado de Chat e Code. O usuário o aponta para uma pasta, e o Claude lê, edita e cria arquivos lá para concluir uma tarefa.
O Cowork segue uma ordem clara: conector primeiro, navegador em segundo, tela por último. Ele busca um conector MCP como Slack ou Google Drive quando existe. Recorre ao Claude no Chrome para páginas da web sem API. Controla a tela diretamente quando nenhum outro caminho funciona. O controle de tela é uma prévia de pesquisa e pede permissão antes de cada aplicativo.
O Cowork pode dividir uma tarefa entre subagentes que rodam em paralelo e depois mesclar os resultados. Também pode executar tarefas agendadas em uma cadência definida, como um rascunho de status semanal salvo em uma pasta.
Alcance e limites:
- Disponível no macOS e Windows nos planos pagos, após uma prévia de pesquisa em janeiro de 2026.
- Sonnet 4.6 é o modelo padrão. O Opus permanece selecionável para tarefas mais difíceis.
- As sessões permanecem na máquina local. Compartilhamento de chat, compartilhamento de artefatos e Memória não funcionam no Cowork.
- Uma única thread persistente no iOS e Android pode atribuir trabalho ao desktop, que deve permanecer ativo.
Benchmark OSWorld
Resultados para IA agentiva de uso de computador
Aviso Legal: O mesmo modelo pode aparecer em classificações diferentes porque o OSWorld lista os resultados por configuração completa de avaliação (framework agente, modelo de ancoragem ou planejamento, configuração Best-of-N, contagem de execuções e limite de passos), e mesmo pequenas mudanças nessas configurações são tratadas como entradas separadas com resultados de desempenho diferentes.
Metodologia
O benchmark inclui 369 tarefas do mundo real (ou 361 excluindo tarefas do Google Drive que exigem configuração manual). As tarefas abrangem aplicativos web e desktop, operações de arquivos do SO e fluxos de trabalho multi-aplicativos. Cada tarefa começa a partir de um estado inicial reproduzível e é emparelhada com um script de avaliação personalizado baseado em execução, garantindo pontuação confiável.
Processo de avaliação
Os agentes interagem com um ambiente de SO ativo. O sucesso é medido pelo que o agente realmente faz, não por saídas de texto. Os ambientes suportam execução paralela e headless, permitindo testes escaláveis.
Escopo do benchmark
O OSWorld suporta tarefas abertas em aplicativos arbitrários, entradas multimodais, fluxos de trabalho entre aplicativos e estados iniciais intermediários. Comparado aos benchmarks anteriores, oferece cobertura mais ampla e condições mais realistas.
Linhas de base e análise
O benchmark avalia modelos gerais, modelos especializados e frameworks agentivos em famílias de LLM e VLM. Os resultados mostram uma grande lacuna entre o desempenho humano (~72%) e os agentes atuais, destacando desafios na ancoragem de GUI e conhecimento operacional. O OSWorld também permite análises detalhadas por tipos de tarefa, complexidade da IU, entradas e sistemas operacionais.
Duas abordagens arquiteturais para modelos de uso de computador
Atualmente, a maioria dos agentes de uso de computador se enquadra em um destes dois padrões de design:
- Agentes Ponta a Ponta (E2E)
- Agentes Compostos
Ambos visam completar tarefas em um computador. Eles diferem em como dividem percepção, raciocínio e ação.
Agentes Ponta a Ponta (E2E)
Agentes ponta a ponta usam um único modelo de visão-linguagem para lidar com todo o loop. O modelo recebe uma captura de tela e uma descrição da tarefa. Ele então gera a próxima ação diretamente.
Não há uma fronteira clara entre ver, raciocinar e agir. Esses processos são aprendidos juntos dentro do mesmo modelo.
Como os agentes E2E funcionam
Captura de Tela + Tarefa → Representação Unificada → Ação
O modelo raciocina diretamente sobre pixels e texto. Ele não constrói uma lista explícita de botões ou campos. Em vez disso, aprende associações entre padrões visuais e ações durante o treinamento.
Forças
- Design de sistema mais simples
- Menos pontos de integração onde erros podem ocorrer
- Frequentemente mais estável em tarefas longas
Limitações
- Visibilidade limitada sobre por que uma ação foi escolhida
- Mais difícil de depurar quando algo dá errado
- Menos controle sobre as etapas intermediárias de raciocínio
Implicações práticas
Como a percepção e o planejamento estão fortemente ligados, pequenos erros visuais têm menos probabilidade de se transformar em falhas totais. Quando uma ação não funciona, o agente pode reavaliar a tela atualizada e se adaptar.
Compensação: É difícil inspecionar decisões intermediárias ou isolar a fonte das falhas.
Agentes compostos
Agentes compostos dividem o loop de interação em estágios separados. Cada estágio é tratado por um modelo ou subsistema diferente.
Como os agentes de IA compostos funcionam
Uma pipeline típica se parece com isto:
- Ancoragem: Detectar elementos da interface gráfica do usuário a partir da captura de tela
- Planejamento: Decidir o que fazer em seguida
- Execução: Realizar tarefas no sistema
Este design torna cada etapa explícita.
Forças
- Separação clara de responsabilidades
- Mais fácil inspecionar saídas intermediárias
- Mais adequado para pesquisa e experimentos controlados
Limitações
- Maior complexidade do sistema
- Erros podem se propagar entre componentes
- Frequentemente menos confiável em ambientes de desktop reais
Implicações práticas
Agentes compostos dependem de representações estruturadas da tela, como botões ou campos de texto detectados. Isso melhora a transparência, mas adiciona fragilidade. Se a ancoragem for imprecisa, as decisões de planejamento provavelmente falharão.
Compensação: Tarefas longas são especialmente desafiadoras. Pequenas incompatibilidades entre o estado percebido e o real da tela podem se acumular.
Blocos de construção centrais de agentes de uso de computador (CUAs)
Agentes de uso de computador modernos são construídos usando três componentes principais:
1. Modelos de visão-linguagem (VLMs)
VLMs únicos formam o núcleo da maioria dos agentes ponta a ponta. Eles processam capturas de tela e instruções juntos e geram ações diretamente.
Captura de Tela + Tarefa → Espaço Conjunto Visão-Linguagem → Ação
O modelo codifica entradas visuais e textuais em um espaço interno compartilhado. Nesse espaço, ele aprende como os padrões visuais se relacionam com as ações sem rótulos explícitos.
Não há uma etapa de ancoragem separada. A compreensão da IU e o planejamento da tarefa ocorrem implícita e simultaneamente.
Implicações práticas: VLMs únicos reduzem a complexidade arquitetural e limitam a propagação de erros. Eles favorecem robustez e simplicidade em detrimento de transparência e controle refinado.
2. Modelos de ancoragem
Modelos de ancoragem focam exclusivamente na percepção e desempenham um papel crucial nos agentes compostos. Sua função é traduzir capturas de tela brutas em descrições estruturadas da interface do computador. Eles não raciocinam sobre objetivos ou selecionam ações.
Captura de Tela → Modelo de Ancoragem → Representação Estruturada da IU
As saídas frequentemente incluem:
- Elementos de IU detectados
- Localizações espaciais (caixas delimitadoras)
- Rótulos semânticos (botão, campo de entrada, texto)
- Texto extraído
Esta representação é passada para um modelo de planejamento.
Forças
- Percepção clara e inspecionável
- Mais fácil de registrar e analisar falhas
- Transparência melhorada
Limitações
- Erros se propagam para as etapas seguintes
- Sensível a mudanças visuais e layouts dinâmicos
- Difícil manter a consistência ao longo de muitos passos
Implicações práticas: A ancoragem é frequentemente o elo mais fraco em sistemas compostos. Elementos ausentes ou desatualizados podem enganar os modelos de planejamento e causar falhas repetidas.
Benchmark de Ancoragem de IU: Por que a qualidade da visão importa
Para isolar o papel da percepção visual, referenciamos um benchmark focado de ancoragem de IU que avalia quão bem os modelos identificam a localização exata em pixels de um elemento de IU a partir de uma instrução em linguagem natural.
Configuração do benchmark
- 100 capturas de tela de desktop
- 4 tipos de tarefa: simples, relacional, dependente de estado, IU densa
- 5 execuções por amostra para medir a consistência
- Resolução fixa: 2560×1440
Para um conjunto de dados e metodologia mais detalhados, visite AIMultiple UI Grounding no HuggingFace.
Conclusão
A ancoragem precisa de IU continua sendo um grande gargalo. Evidências atuais mostram que a percepção visual robusta e a compreensão implícita da IU importam mais do que a especialização estreita em IU, especialmente para agentes de uso de computador confiáveis operando desktops reais.
Modelos de planejamento
Modelos de planejamento determinam os próximos passos. Eles trabalham com dados estruturados da IU, objetivos da tarefa e histórico de interação. Não processam imagens brutas. Esses modelos desempenham um papel crucial na arquitetura de agente composto.
IU Estruturada + Objetivo da Tarefa → Modelo de Planejamento → Próxima Ação
Modelos de planejamento podem:
- Dividir tarefas em etapas
- Acompanhar o progresso
- Aplicar regras ou heurísticas
- Registrar o raciocínio explicitamente
Desafios na prática
- Alta sensibilidade a erros de entrada
Ancoragem incorreta leva a planos falhos. - Desvio de estado ao longo do tempo
Mudanças na IU podem invalidar suposições anteriores. - Recuperação de falha limitada
Sem feedback forte, os planejadores podem entrar em loop ou parar. - Incompatibilidades de execução
Erros de temporização, foco ou coordenação podem quebrar planos.
Implicações práticas: Modelos de planejamento adicionam estrutura e transparência, mas sua eficácia depende fortemente de percepção precisa e execução confiável.
Adicionar como fonte preferencialExplicação das principais características dos agentes de uso de computador
Ambiente de execução
Define onde o agente de uso de computador roda e como ele controla o sistema operacional (VM na nuvem, máquina local ou runtime baseado em contêiner).
Acesso ao sistema local
Isso mostra se o agente pode ler ou escrever arquivos na máquina real do usuário, não em um sandbox remoto. O acesso local é útil para fluxos de trabalho pessoais, mas levanta preocupações de segurança mais altas.
Como os agentes alcançam o computador: tela vs terminal
O uso de computador agora se divide ao longo de uma segunda linha: como o agente alcança o sistema.
Agentes de ancoragem de tela leem a tela como uma imagem. Eles localizam botões e campos e, em seguida, clicam e digitam em coordenadas específicas. O Uso de Computador do OpenAI, Claude Computer Use, Simular Agent S3 e UI-TARS funcionam dessa forma. A força é um amplo alcance, já que o agente pode conduzir qualquer aplicativo que uma pessoa possa ver. A fraqueza é a ancoragem. Um elemento mal interpretado quebra a etapa, e tarefas longas se desviam conforme a tela muda.
Agentes de terminal e conector pulam a tela quando existe um caminho mais limpo. Eles executam comandos shell, chamam APIs através de conectores e editam arquivos diretamente. OpenClaw, Open Interpreter e Claude Cowork se encaixam aqui. O Cowork declara a ordem claramente: conector primeiro, navegador em segundo, tela por último. A força é a confiabilidade, porque um comando ou uma chamada de API não depende de detecção de pixels. A fraqueza é a cobertura, já que um aplicativo sem API ou linha de comando ainda precisa de controle de tela.
Muitos sistemas agora misturam ambos. Eles preferem conectores e comandos para velocidade e precisão e, em seguida, recorrem à ancoragem de tela para aplicativos que não expõem outra interface.
Qual é a compensação geral entre agentes E2E e compostos?
Agentes ponta a ponta são atualmente mais confiáveis para uso direto em computadores pessoais. Seu design unificado reduz problemas de coordenação e pontos de falha.
Agentes compostos não são inerentemente mais fracos. Eles oferecem maior flexibilidade, personalização e interpretabilidade. No entanto, exigem ancoragem mais forte, gestão de estado mais rigorosa e integração cuidadosa para ter bom desempenho em ambientes reais.
A compensação central não é capacidade, mas robustez versus controle.
O que são agentes de uso de computador?
Agentes de uso de computador são sistemas projetados para operar um computador de maneira semelhante a um humano. Eles olham para a tela, decidem o que fazer e interagem por meio de ações como clicar, digitar e rolar.
À primeira vista, isso parece simples. Na prática, é difícil. Ambientes de desktop são dinâmicos. As interfaces mudam com frequência. Não há APIs fixas ou estruturas estáveis nas quais confiar. Esses agentes devem trabalhar a partir do que veem na tela e raciocinar sobre isso em tempo real.
Apesar das diferentes implementações, a maioria dos agentes de uso de computador segue o mesmo loop básico:
Observar → Interpretar → Decidir → Executar
A forma como esse loop é implementado determina quão estável, flexível e confiável um agente é em uso real.
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{phd2026,
author = {PhD., Ezgi Arslan, and Kalelioğlu, Berk},
title = {{Agentes de Uso de Computador: Benchmark & Arquitetura}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/computer-use-agents}},
note = {AIMultiple. Acessado em 22 Junho 2026}
}
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.