Los agentes dependen de interfaces web para completar tareas en la web. Para medir cómo la elección de la interfaz afecta la finalización de las tareas, creamos el AIM Benchmark Web Agéntico e intentamos 3.500 tareas (100 tareas completadas mediante 7 interfaces web en 5 ejecuciones).
Tasas de éxito
Una interfaz de Bright Data lideró todas las ejecuciones. La CLI de Bright Data recuperó 8 tareas más que la mejor interfaz no de Bright Data, que es Firecrawl MCP.
Investiga 10 tareas de ejemplo en GitHub y consulta cómo ejecutamos este benchmark en metodología
Consistencia entre ejecuciones
Bright Data MCP tiene la mejor ejecución con un 52 %. La diferencia entre la mejor y la peor ejecución en Oxylabs MCP es de solo 5 tareas en 5 ejecuciones. Es la interfaz más consistente del panel, seguida de:
- Bright Data CLI: 7
- Nimble MCP: 7
- Nimble CLI: 9
- Firecrawl MCP: 10
- ZenRows MCP: 11
- Bright Data MCP: 15
Costo y velocidad
El eje de costo suma el gasto en tokens del agente a lo que el proveedor cobró por la misma tarea. En tiempo, las herramientas MCP superan a ambas herramientas CLI sin superposición. Trabajar con CLI significa que el agente ejecuta comandos en la shell, lee el texto de vuelta y a menudo reintenta la sintaxis, y cada turno adicional vuelve a arrastrar toda la conversación. Las lecturas de caché dominan el costo, por lo que la cifra cuenta principalmente cuántos turnos necesita una interfaz antes de que el agente pueda responder.
Nimble MCP es la interfaz de menor costo y la más rápida del benchmark, con $0,065 por tarea, seguida de Firecrawl MCP con $0.08. Bright Data MCP es la más rápida, con una mediana de 186 segundos por tarea. La CLI de Nimble tuvo más reintentos que otras herramientas debido a los tiempos de espera. Una tarea que agota el tiempo recibe un segundo intento, y solo se puntúa ese segundo intento. El costo y la latencia provienen de ese mismo intento puntuado, que a su vez puede haber alcanzado el límite.
Motivos de fallo
La CLI de Bright Data fue bloqueada en promedio 17.6 veces por cada 100 tareas, la menor cantidad del panel, mientras que Firecrawl MCP, Nimble MCP y Oxylabs MCP fueron bloqueadas casi el doble de veces.
La CLI de Nimble fue la menos bloqueada entre las cuatro interfaces no de Bright Data, con 18.2, pero no devolvió nada en 28.4 tareas por cada 100, la mayor falta de entrega del panel, lo que refleja que alcanzó el límite de 30 minutos en el 36.5 por ciento de sus intentos (los intentos superan a las tareas porque las tareas que agotaron el tiempo se reintentaron una vez).
Añadir como fuente preferidaMetodología
Cada interfaz se ejecutó en su propio VPS. El agente fue OpenClaw ejecutando MiniMax M3 a través de OpenRouter, sin ejecuciones de tareas en paralelo. Cada servidor tenía 2 vCPUs y 2GB de RAM.
El conjunto de tareas utilizado fue idéntico para las siete interfaces en las 5 ejecuciones.
Cada intento tenía 30 minutos. Una tarea que agotaba el tiempo recibía un reintento, excepto las cuatro tareas que cambiaban estado, que nunca se reintentaban. Antes de cada ejecución, una sonda recuperaba una página de bajo costo a través de la cuenta del proveedor, y la ejecución se negaba a comenzar si esa recuperación fallaba.
Versiones utilizadas en este benchmark;
Tareas de ejemplo
Diez de las 100 tareas están publicadas íntegramente en GitHub, con la instrucción que se le dio al agente, el formato de salida, las reglas de aprobación y cómo puntuó cada interfaz.
Dataset
Las 100 tareas abarcan 29 sitios web en estas categorías: comercio electrónico (24 tareas), viajes (21), bienes raíces (17), entradas (15), redes sociales (15) y empleos (8). Preparamos de 2 a 5 tareas por sitio web según cuántas acciones admita el sitio. Noventa y seis tareas recuperan información, y cuatro cambian el estado en el sitio remoto y nunca se reintentan porque un primer intento puede haber modificado ya un carrito.
Evaluación
Cada tarea y sus condiciones de aprobación se escribieron en inglés. El evaluador lee el archivo de reglas y solo puntúa cuando se cumple cada regla que le aplica.
Bloqueado significa que el proveedor no pudo acceder al sitio y así lo indicó. La respuesta volvió como un mensaje de error en lugar de datos.
Eludido significa que el agente obtuvo la página directamente en lugar de usar la interfaz del proveedor, normalmente mediante una solicitud directa desde la shell. Encontramos estos casos en los registros de sesión. Una tarea eludida no obtiene nada y permanece en el total de 100 tareas.
Las celdas “No determinado” son aquellas en las que el evaluador no pudo decidir si la respuesta era correcta. No se contaron ni como correctas ni como bloqueadas. Esto abarca de 8 a 18 tareas por interfaz y por ejecución, todas de las mismas 27 tareas.
Se utilizaron las mismas tareas, instrucciones y model en las siete interfaces, y las reglas se bloquearon antes de la primera ejecución.
Costo
El gráfico suma dos cifras. El costo del model es lo que el agente gastó en tokens, MiniMax M3 a través de OpenRouter a $0,30 por millón de tokens de entrada, $1,20 por millón de tokens de salida y $0,06 por millón de lecturas de caché, contado a partir del intento puntuado de cada tarea.
El costo de la interfaz es lo que el proveedor cobró por el mismo trabajo, promediado en cinco ejecuciones:
- Bright Data: se lee de la facturación de la cuenta por zona y por día. Scraping Browser cuesta $8 por GB más $0,10 por hora, Web Unlocker $1,50 por cada 1K solicitudes, SERP $1,50 por cada 1K.
- ZenRows: desde su panel, ancho de banda de sesión del navegador más créditos de fetch según lo registrado. El plan es de EUR 129.99 por 1M créditos; el navegador sale a aproximadamente 40.500 créditos por GB, y el fetch promedió 14 créditos por solicitud después de los multiplicadores de renderizado de JS y proxy premium.
- Oxylabs: recuentos de solicitudes de las transcripciones del agente a $1,15 por cada 1K resultados.
- Firecrawl: créditos contados de las transcripciones a $83 por cada 100K créditos, 1 crédito por scrape.
- Nimble: solicitudes contadas de las transcripciones a $1,00 por cada 1K para extracción y $1,10 por cada 1K para búsqueda.
Limitaciones
La CLI de Nimble agotó el tiempo en el 36.5 por ciento de sus intentos.
Todas las interfaces tienen velocidades diferentes, no todas las tareas comienzan o terminan al mismo tiempo. Algunas tareas dependen de la fecha o de lo que aparece en ese momento, por lo que, en esas, algunos proveedores no vieron la misma página. Las reglas de aprobación se escribieron para evaluar el formato y la recuperación, no una lista concreta, por lo que una página cambiada no modifica la puntuación.
Cita esta investigación
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Kalelioğlu, Berk},
title = {{AIM Benchmark Web Agéntico}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/agentic-web}},
note = {AIMultiple. Recuperado el 29 de septiembre de 2026}
}Resultados y marcas de tiempo de 0 puntos de datos. Descargue los datos resumidos que se muestran en los gráficos y las tablas de este artículo como un archivo ZIP que contiene 0 archivos CSV.
¿Quieres los datos granulares que hay detrás? Únete a Premium
El trabajo de Cem en AIMultiple ha sido citado por publicaciones líderes mundiales como Business Insider, Forbes, Morning Brew y Washington Post, empresas globales como Deloitte y HPE, ONG como World Economic Forum y organizaciones supranacionales como European Commission. [1], [2], [3], [4], [5]
A lo largo de su carrera, Cem trabajó como consultor tecnológico, comprador de tecnología y emprendedor tecnológico. Asesoró a empresas en sus decisiones tecnológicas en McKinsey & Company y Altman Solon durante más de una década. También publicó un informe de McKinsey sobre digitalización.
Dirigió la estrategia tecnológica y las adquisiciones de una empresa de telecomunicaciones reportando al CEO. También lideró el crecimiento comercial de la empresa de deep tech Hypatos, que alcanzó unos ingresos recurrentes anuales de 7 dígitos y una valoración de 9 dígitos desde 0 en 2 años. El trabajo de Cem en Hypatos fue cubierto por publicaciones tecnológicas líderes como TechCrunch y Business Insider.
Cem participa habitualmente en conferencias internacionales de tecnología. Se graduó en Bogazici University como ingeniero informático y tiene un MBA de Columbia Business School.
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.