Os agentes dependem de interfaces web para concluir tarefas na web. Para comparar a conclusão de tarefas entre interfaces web, criamos o AIM Agentic Web Benchmark e executamos 100 tarefas em 7 interfaces, 5 vezes cada, totalizando 3.500 resultados pontuados.
Taxas de sucesso
Bright Data CLI e Bright Data MCP concluíram 8.2 e 8.4 mais tarefas por 100 do que o Firecrawl MCP, o melhor entre os outros cinco.
Dez tarefas de exemplo estão no GitHub, e a metodologia explica como executamos o benchmark.
Consistência entre execuções
O Bright Data MCP teve a melhor execução com 52%. A diferença entre a melhor e a pior execução no Oxylabs MCP é de apenas 5 tarefas em 5 execuções. É a interface mais consistente do painel, seguida por:
- Bright Data CLI: 7
- Nimble MCP: 7
- Nimble CLI: 9
- Firecrawl MCP: 10
- ZenRows MCP: 11
- Bright Data MCP: 15
Custo e velocidade
O Bright Data MCP é a interface mais rápida, com mediana de 186 segundos por tarefa, e todas as cinco ferramentas MCP tiveram medianas menores do que as duas ferramentas de CLI. No mesmo provedor, a CLI levou 1.9 vezes mais tempo do que o servidor MCP para a Bright Data e 3.3 vezes mais tempo para a Nimble. A CLI da Nimble é a mais lenta, com 830 segundos, e repetiu 144 de suas 500 tarefas após tempos limite, mais do que qualquer outra interface.
O custo total é o gasto com tokens do agente mais a taxa do provedor. O Nimble MCP tem o menor total, de $0,072 por tarefa. Para as duas interfaces Bright Data e o ZenRows MCP, que usam um navegador remoto cobrado por largura de banda, as taxas do provedor representam de 40 a 51 por cento do total. O valor do Firecrawl exclui sessões de navegador por minuto, portanto é um limite inferior.
Motivos de falha
A CLI da Bright Data foi bloqueada em média 17.6 vezes por 100 tarefas, o menor número do painel, enquanto o Firecrawl MCP, o Nimble MCP e o Oxylabs MCP foram bloqueados com frequência de 1.7 a 2 vezes maior.
A CLI da Nimble foi a menos bloqueada entre as cinco interfaces que não são da Bright Data, com 18.2, mas não retornou nada em 28.4 tarefas por 100, a maior taxa de não entrega do painel, o que reflete o alcance do limite de 30 minutos em 36.3 por cento de suas tentativas (as tentativas excedem as tarefas porque as tarefas que atingiram o tempo limite foram repetidas uma vez).
Adicionar como fonte preferencialMetodologia
Cada interface foi executada em seu próprio VPS. O agente foi o OpenClaw executando o MiniMax M3 por meio do OpenRouter, sem execuções paralelas de tarefas. Cada servidor tinha 2 vCPUs e 2GB de RAM.
O conjunto de tarefas usado foi idêntico em todas as sete interfaces em todas as 5 execuções.
Antes de cada execução, uma sonda buscava uma página de baixo custo por meio da conta do provedor, e a execução se recusava a iniciar se essa busca falhasse. Cada tentativa tinha 30 minutos.
Uma tarefa que estourou o tempo ou retornou menos de 500 bytes de saída teve uma nova tentativa, exceto as quatro tarefas que mudam estado, que nunca foram repetidas porque uma primeira tentativa já pode ter modificado um carrinho. A nova tentativa é a tentativa que recebe pontuação, e o custo e o tempo do model vêm dela, mesmo quando ela também atinge o limite.
Versões usadas neste benchmark:
Tarefas de Exemplo
Dez das 100 tarefas estão publicadas na íntegra no GitHub, com a instrução dada ao agente, o formato de saída, as regras de aprovação e como cada interface pontuou.
Dataset
As 100 tarefas abrangem 29 sites em seis categorias. Selecionamos sites entre os 20 principais sites do SimilarWeb por tráfego em cada categoria em 15 de maio de 2026, começando pelo topo de cada lista.
Ignoramos sites que atendem a um único mercado fora dos EUA, cópias regionais de um site escolhido, aplicativos de mensagens, sites que exigem login e sites sem listagens públicas para pesquisar.
Preparamos de 2 a 5 tarefas por site, dependendo de quantas ações o site suporta. Noventa e seis tarefas recuperam informações, e quatro mudam o estado no site remoto.
Avaliação
Cada tarefa e suas condições de aprovação foram escritas em inglês. O avaliador lê o arquivo de regras e pontua apenas quando todas as regras que se aplicam a ela são cumpridas.
Bloqueado significa que o agente retornou uma mensagem de erro em vez de dados, por exemplo, que o provedor não conseguiu acessar o site ou que um detalhamento de taxas não foi exibido na página.
Contornado significa que o agente buscou a página diretamente em vez de usar a interface do provedor, normalmente por meio de uma solicitação direta do shell. Encontramos esses casos nos logs de sessão. Uma tarefa contornada não ganha nada e permanece no total de 100 tarefas.
As células “Não determinado” são aquelas em que o avaliador não pôde decidir se a resposta estava correta. Elas não foram contadas nem como corretas nem como bloqueadas. Isso cobre de 8 a 18 tarefas por interface por execução, todas provenientes das mesmas 28 tarefas.
As mesmas tarefas, instruções e o mesmo model foram usados em todas as sete interfaces, e as regras foram bloqueadas antes da primeira execução.
Custo
O gráfico soma dois números. O custo de model é o que o agente gastou em tokens, MiniMax M3 por meio do OpenRouter a $0,30 por milhão de tokens de entrada, $1,20 por milhão de saída e $0,06 por milhão de leituras de cache, contados a partir da tentativa pontuada de cada tarefa.
O custo de interface é o que o provedor cobrou pelo mesmo trabalho, em média ao longo de cinco execuções:
- Bright Data: leitura da cobrança da conta por zona por dia. O Scraping Browser custa $8 por GB mais $0,10 por hora, o Web Unlocker $1,50 por 1K solicitações, SERP $1,50 por 1K.
- ZenRows: a partir do painel deles, largura de banda de sessão do navegador mais créditos de fetch conforme registrado. O plano custa EUR 129.99 por 1M créditos; o navegador equivale a cerca de 40.500 créditos por GB, e o fetch teve média de 14 créditos por solicitação após os multiplicadores de renderização JS e de proxy premium.
- Oxylabs: contagens de solicitações a partir das transcrições do agente a $1,15 por 1K resultados.
- Firecrawl: créditos contados a partir das transcrições a $83 por 100K créditos, 1 crédito por scrape.
- Nimble: solicitações contadas a partir das transcrições a $1,00 por 1K para extração e $1,10 por 1K para pesquisa.
Limitações
A CLI da Nimble estourou o tempo em 36.5 por cento de suas tentativas.
Cada interface tem velocidades diferentes; nem todas as tarefas começam ou terminam ao mesmo tempo. Algumas tarefas dependem da data ou do que está listado no momento, portanto, nessas tarefas, alguns provedores não viram a mesma página. As regras de aprovação foram escritas para testar o formato e a recuperação, não uma listagem específica, portanto uma página alterada não muda a pontuação.
Cite esta pesquisa
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Kalelioğlu, Berk},
title = {{Benchmark Web Agêntico AIM}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/agentic-web}},
note = {AIMultiple. Acessado em 29 setembro 2026}
}Resultados e carimbos de data/hora de 16 pontos de dados. Baixe os dados resumidos exibidos nos gráficos e tabelas deste artigo como um arquivo ZIP contendo 2 arquivos CSV.
Quer os dados granulares por trás disso? Assine o Premium
O trabalho de Cem na AIMultiple foi citado por publicações globais líderes, incluindo Business Insider, Forbes, Morning Brew e Washington Post, por empresas globais como Deloitte e HPE, ONGs como o World Economic Forum e organizações supranacionais como a European Commission. [1], [2], [3], [4], [5]
Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas sobre suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização.
Ele liderou a estratégia de tecnologia e as compras de uma operadora de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de deep tech Hypatos, que atingiu uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia líderes como TechCrunch e Business Insider.
Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou como engenheiro da computação pela Bogazici University e possui um MBA pela Columbia Business School.
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.