Agentes dependem de interfaces web para concluir tarefas na web. Para medir como a escolha da interface afeta a conclusão de tarefas, construímos o AIM Benchmark Web Agêntico e tentamos 3.500 tarefas (100 tarefas concluídas por meio de 7 interfaces web em 5 execuções).
Taxas de sucesso
Uma interface Bright Data liderou todas as execuções. A CLI Bright Data recuperou 8 tarefas a mais do que a melhor interface não-Bright Data, que é a Firecrawl MCP.
Investigue 10 tarefas de exemplo no GitHub e veja como executamos este benchmark na metodologia
Consistência entre execuções
O Bright Data MCP teve a melhor execução com 52%. A diferença entre a melhor e a pior execução no Oxylabs MCP é de apenas 5 tarefas em 5 execuções. É a interface mais consistente do painel, seguida por:
- Bright Data CLI: 7
- Nimble MCP: 7
- Nimble CLI: 9
- Firecrawl MCP: 10
- ZenRows MCP: 11
- Bright Data MCP: 15
Custo e velocidade
O eixo de custo soma o gasto de tokens do agente ao valor cobrado pelo provedor pela mesma tarefa. No tempo, as ferramentas MCP superam ambas as ferramentas de CLI sem sobreposição. Trabalhar com a CLI significa que o agente executa comandos, lê o texto de volta e geralmente tenta novamente a sintaxe, e cada rodada extra carrega toda a conversa novamente. As leituras de cache dominam o custo, então o gráfico basicamente conta quantas rodadas uma interface precisa antes que o agente possa responder.
O Nimble MCP é o de menor custo e a interface mais rápida no benchmark a $0,065 por tarefa, com o Firecrawl MCP em seguida a $0.08. O Bright Data MCP é o mais rápido, com uma mediana de 186 segundos por tarefa. O CLI do Nimble teve mais tentativas do que outras ferramentas devido a tempos limite. Uma tarefa que excede o tempo ganha uma segunda tentativa, e somente essa segunda tentativa é pontuada. O custo e a latência vêm dessa mesma tentativa pontuada, que pode, ela mesma, ter atingido o limite.
Motivos de falha
A CLI do Bright Data foi bloqueada em média 17.6 vezes por 100 tarefas, o menor número do painel, enquanto Firecrawl MCP, Nimble MCP e Oxylabs MCP foram bloqueados quase duas vezes mais.
A CLI do Nimble foi a menos bloqueada entre as quatro interfaces não-Bright-Data com 18.2, mas não retornou nada em 28.4 tarefas por 100, a maior taxa de não entrega do painel, o que reflete ter atingido o limite de 30 minutos em 36.5 por cento de suas tentativas (as tentativas excedem as tarefas porque as tarefas esgotadas foram repetidas uma vez).
Adicionar como fonte preferencialMetodologia
Cada interface rodou em seu próprio VPS. O agente foi o OpenClaw executando o MiniMax M3 por meio do OpenRouter, sem execuções paralelas de tarefas. Cada servidor tinha 2 vCPUs e 2GB de RAM.
O conjunto de tarefas usado foi idêntico para todas as sete interfaces em todas as 5 execuções.
Cada tentativa teve 30 minutos. Uma tarefa que excedeu o tempo ganhou uma nova tentativa, exceto as quatro tarefas que alteram estado, que nunca foram repetidas. Antes de cada execução, uma sonda buscou uma página de baixo custo por meio da conta do provedor, e a execução se recusou a iniciar se essa busca falhasse.
Versões usadas neste benchmark;
Tarefas de Exemplo
Dez das 100 tarefas estão publicadas na íntegra no GitHub, com a instrução dada ao agente, o formato de saída, as regras de aprovação e como cada interface foi pontuada.
Conjunto de dados
As 100 tarefas abrangem 29 sites nas seguintes categorias: comércio eletrônico (24 tarefas), viagens (21), imóveis (17), ingressos (15), redes sociais (15) e empregos (8). Preparamos de 2 a 5 tarefas por site, dependendo de quantas ações o site suporta. Noventa e seis tarefas recuperam informações, e quatro alteram estado no site remoto e nunca são repetidas porque uma primeira tentativa já pode ter modificado um carrinho.
Avaliação
Cada tarefa e suas condições de aprovação foram escritas em inglês. O avaliador lê o arquivo de regras e pontua somente quando todas as regras que se aplicam a ela são atendidas.
Bloqueado significa que o provedor não conseguiu acessar o site e informou isso. A resposta veio como uma mensagem de erro em vez de dados.
Contornado significa que o agente buscou a página diretamente, em vez de usar a interface do provedor, normalmente por meio de uma solicitação direta do shell. Encontramos esses casos nos logs de sessão. Uma tarefa contornada não ganha nada e permanece no total de 100 tarefas.
As células “Não determinado” são aquelas em que o avaliador não pôde decidir se a resposta estava correta. Elas não foram contadas como corretas nem como bloqueadas. Isso abrange de 8 a 18 tarefas por interface por execução, todas das mesmas 27 tarefas.
As mesmas tarefas, instruções e modelo foram usados em todas as sete interfaces, e as regras foram bloqueadas antes da primeira execução.
Custo
O gráfico soma dois números. O custo do modelo é o que o agente gastou em tokens, MiniMax M3 por meio do OpenRouter a $0,30 por milhão de tokens de entrada, $1,20 por milhão de saída e $0,06 por milhão de leituras de cache, contados a partir da tentativa pontuada de cada tarefa.
O custo da interface é o que o provedor cobrou pelo mesmo trabalho, em média ao longo de cinco execuções:
- Bright Data: lido a partir da cobrança da conta por zona por dia. Scraping Browser custa $8 por GB mais $0,10 por hora, Web Unlocker $1,50 por 1K solicitações, SERP $1,50 por 1K.
- ZenRows: a partir do painel deles, largura de banda da sessão do navegador mais créditos de fetch conforme registrados. O plano é EUR 129.99 por 1M de créditos; o navegador resulta em cerca de 40.500 créditos por GB, e o fetch teve média de 14 créditos por solicitação após o render JS e os multiplicadores de proxy premium.
- Oxylabs: contagens de solicitações das transcrições do agente a $1,15 por 1K resultados.
- Firecrawl: créditos contados das transcrições a $83 por 100K créditos, 1 crédito por raspagem.
- Nimble: solicitações contadas das transcrições a $1,00 por 1K para extração e $1,10 por 1K para pesquisa.
Limitações
A CLI do Nimble excedeu o tempo em 36.5 por cento de suas tentativas.
Todas as interfaces têm velocidades diferentes; nem todas as tarefas começaram ou terminaram ao mesmo tempo. Algumas tarefas dependem da data ou do que está listado no momento, então, nessas, alguns provedores não viram a mesma página. As regras de aprovação foram escritas para testar o formato e a recuperação, não uma listagem específica, de modo que uma página alterada não altera a pontuação.
Cite esta pesquisa
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Kalelioğlu, Berk},
title = {{AIM Benchmark Web Agêntico}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/agentic-web}},
note = {AIMultiple. Acessado em 29 setembro 2026}
}Resultados e carimbos de data/hora de 0 pontos de dados. Baixe os dados resumidos exibidos nos gráficos e tabelas deste artigo como um arquivo ZIP contendo 0 arquivos CSV.
Quer os dados granulares por trás disso? Assine o Premium
O trabalho de Cem na AIMultiple foi citado por publicações globais líderes, incluindo Business Insider, Forbes, Morning Brew e Washington Post, por empresas globais como Deloitte e HPE, ONGs como o World Economic Forum e organizações supranacionais como a European Commission. [1], [2], [3], [4], [5]
Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas sobre suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização.
Ele liderou a estratégia de tecnologia e as compras de uma operadora de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de deep tech Hypatos, que atingiu uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia líderes como TechCrunch e Business Insider.
Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou como engenheiro da computação pela Bogazici University e possui um MBA pela Columbia Business School.
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.