Agentes dependem de interfaces web para concluir tarefas web. Para comparar a conclusão de tarefas entre interfaces web, criamos o AIM Benchmark Web Agêntico e executamos 100 tarefas em 8 interfaces, 5 vezes cada, totalizando 4.000 resultados pontuados.
Taxas de sucesso
Bright Data CLI e Bright Data MCP concluíram 3.6 e 3.8 tarefas a mais por 100 do que a CLI do Zenrows, o melhor das outras seis.
Dez tarefas de exemplo estão no GitHub, e a metodologia explica como executamos o benchmark.
Consistência entre execuções
O Bright Data MCP tem a melhor execução com 52%. A diferença entre a melhor e a pior execução no Oxylabs MCP é de apenas 5 tarefas em 5 execuções. É a interface mais consistente do painel, seguida por:
- Bright Data CLI: 7
- Nimble MCP: 7
- Zenrows CLI: 8
- Nimble CLI: 9
- Firecrawl MCP: 10
- Zenrows MCP: 11
- Bright Data MCP: 15
Custo e velocidade
O Bright Data MCP é a interface mais rápida, com uma mediana de 186 segundos por tarefa, e todas as cinco ferramentas MCP tiveram medianas menores do que as três ferramentas CLI. No mesmo provedor, a CLI levou 1.5 vezes mais tempo do que o servidor MCP para Zenrows, 1.9 vezes para Bright Data e 3.3 vezes para Nimble. A CLI do Nimble é a mais lenta, com 830 segundos, e repetiu 144 de suas 500 tarefas após tempos esgotados, mais do que qualquer outra interface.
O custo total é o gasto de tokens do agente mais a taxa do provedor. Nimble MCP tem o menor total, a $0,072 por tarefa. Para as duas interfaces Bright Data e o Zenrows MCP, que usam um navegador remoto cobrado por largura de banda, as taxas do provedor representam de 40 a 51 por cento do total. O valor do Firecrawl exclui sessões de navegador por minuto, portanto é um limite inferior.
Motivos de falha
A CLI do Bright Data foi bloqueada em média 17.6 vezes por 100 tarefas, o menor índice do painel, enquanto Firecrawl MCP, Nimble MCP e Oxylabs MCP foram bloqueados 1.7 a 2 vezes mais frequentemente.
A CLI do Nimble foi a menos bloqueada entre as seis interfaces não-Bright Data, com 18.2, mas não retornou nada em 28.4 tarefas por 100, a maior falta de entrega do painel, o que reflete o limite de 30 minutos atingido em 36.3 por cento de suas tentativas (as tentativas excedem as tarefas porque tarefas com tempo esgotado foram repetidas uma vez).
A CLI do Zenrows e o Zenrows MCP foram bloqueados aproximadamente na mesma taxa, mas a CLI concluiu mais tarefas com sucesso.
Adicionar como fonte preferencialMetodologia
Cada interface rodou em seu próprio VPS. O agente foi o OpenClaw executando MiniMax M3 por meio do OpenRouter, sem execuções paralelas de tarefas. Cada servidor tinha 2 vCPUs e 2GB de RAM.
O conjunto de tarefas usado foi idêntico para todas as oito interfaces em todas as 5 execuções.
Antes de cada execução, uma sonda buscou uma página de baixo custo por meio da conta do provedor, e a execução se recusava a iniciar se essa busca falhasse. Cada tentativa tinha 30 minutos.
Uma tarefa que esgotou o tempo ou retornou menos de 500 bytes de saída recebeu uma nova tentativa, exceto as quatro tarefas que alteram estado, que nunca foram repetidas porque uma primeira tentativa já poderia ter modificado um carrinho. A nova tentativa é a tentativa que recebe pontuação, e o custo e o tempo do model vêm dela, mesmo quando ela também atingiu o limite.
Todos os clientes instalados, exceto o Zenrows CLI, estavam na versão mais recente em 27 de julho de 2026. O Zenrows CLI foi publicado pela primeira vez em 31 de julho de 2026. Versões usadas neste benchmark:
Tarefas de Exemplo
Dez das 100 tarefas estão publicadas na íntegra no GitHub, com a instrução dada ao agente, o formato de saída, as regras de aprovação e como cada interface pontuou.
Dataset
As 100 tarefas abrangem 29 sites em seis categorias. Selecionamos sites entre os 20 principais sites da SimilarWeb por tráfego em cada categoria em 15 de maio de 2026, começando pelo topo de cada lista.
Pulamos sites que atendem a um único mercado fora dos EUA, cópias regionais de um site escolhido, aplicativos de mensagens, sites que exigem login e sites sem listagens públicas para pesquisar.
Preparamos de 2 a 5 tarefas por site, dependendo de quantas ações o site suporta. Noventa e seis tarefas recuperam informações e quatro alteram estado no site remoto.
Avaliação
Cada tarefa e suas condições de aprovação foram escritas em inglês. O avaliador lê o arquivo de regras e pontua apenas quando todas as regras aplicáveis a ela são cumpridas.
Bloqueado significa que o agente retornou uma mensagem de erro em vez de dados, por exemplo, que o provedor não conseguiu acessar o site ou que uma discriminação de taxas não foi exibida na página.
Alguns provedores rejeitaram solicitações para determinados sites. Essas tarefas permanecem no total de 100 tarefas de todas as interfaces.
- Zenrows: Ticketmaster e Instagram (7 tarefas), foram recusados sob sua política de uso, independentemente das configurações.1
- Oxylabs: Ticketmaster, AXS e SeatGeek, e StubHub em uma execução, rejeitados como “não suportados”. O Oxylabs lista ingressos entre os alvos que restringe, a menos que a conta passe por uma verificação.2
- Firecrawl: LinkedIn, Reddit, TikTok, X e Instagram, respondeu com “nós não suportamos este site”.
Contornado significa que o agente buscou a página diretamente em vez de usar a interface do provedor, normalmente por meio de uma solicitação direta do shell. Encontramos esses casos nos logs de sessão. Uma tarefa contornada não ganha nada e permanece no total de 100 tarefas.
As células “Não Determinado” são aquelas em que o avaliador não pôde decidir se a resposta estava correta. Elas não foram contadas nem como corretas nem como bloqueadas. Isso abrange de 8 a 18 tarefas por interface por execução, todas das mesmas 28 tarefas.
Usamos as mesmas tarefas, instruções e o mesmo model em todas as oito interfaces e bloqueamos as regras antes da primeira execução.
Custo
O gráfico soma dois números. O custo do model é o que o agente gastou em tokens, MiniMax M3 por meio do OpenRouter a $0,30 por milhão de tokens de entrada, $1,20 por milhão de saída e $0,06 por milhão de leituras de cache, contados a partir da tentativa pontuada de cada tarefa.
O custo de interface é o que o provedor cobrou pelo mesmo trabalho, calculado pela média de cinco execuções:
- Bright Data: uso lido a partir do faturamento da conta por zona por dia, ao preço de $8 por GB mais $0,10 por hora para o Scraping Browser, $1,50 por 1K solicitações para o Web Unlocker e $1,50 por 1K para o SERP.
- Zenrows: a partir do painel deles, largura de banda da sessão do navegador mais créditos de fetch conforme registrado. O plano é EUR 129.99 por 1M de créditos; o navegador resulta em cerca de 40.500 créditos por GB, e o fetch tem média de 14 créditos por solicitação após a renderização JS e os multiplicadores premium de proxy.
- Oxylabs: contagens de solicitações das transcrições do agente a $1,15 por 1K resultados.
- Firecrawl: créditos contados a partir das transcrições a $83 por 100K créditos, 1 crédito por raspagem.
- Nimble: solicitações contadas a partir das transcrições a $1,00 por 1K para extract e $1,10 por 1K para busca.
Limitações
A CLI do Nimble esgotou o tempo em 36.3 por cento de suas tentativas.
Todas as interfaces têm velocidades diferentes, nem todas as tarefas começam ou terminam ao mesmo tempo. Algumas tarefas dependem da data ou do que está listado no momento, então alguns provedores não viram a mesma página. As regras de aprovação foram escritas para testar o formato e a recuperação, não uma listagem específica, portanto uma página alterada não altera a pontuação.
Cite esta pesquisa
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Kalelioğlu, Berk},
title = {{AIM Benchmark Web Agêntico}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/agentic-web}},
note = {AIMultiple. Acessado em 15 outubro 2026}
}Resultados e carimbos de data/hora de 64 pontos de dados. Baixe os dados resumidos exibidos nos gráficos e tabelas deste artigo como um arquivo ZIP contendo 7 arquivos CSV e um README.
Quer os dados granulares por trás disso? Assine o Premium
Links de referência
O trabalho de Cem na AIMultiple foi citado por publicações globais líderes, incluindo Business Insider, Forbes, Morning Brew e Washington Post, por empresas globais como Deloitte e HPE, ONGs como o World Economic Forum e organizações supranacionais como a European Commission. [1], [2], [3], [4], [5]
Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas sobre suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização.
Ele liderou a estratégia de tecnologia e as compras de uma operadora de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de deep tech Hypatos, que atingiu uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia líderes como TechCrunch e Business Insider.
Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou como engenheiro da computação pela Bogazici University e possui um MBA pela Columbia Business School.
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.