Gli agenti si affidano alle interfacce web per completare le attività sul web. Per misurare come la scelta dell'interfaccia influisca sul completamento delle attività, abbiamo creato l'AIM Benchmark Web Agentico e abbiamo tentato 3.500 attività (100 attività completate tramite 7 interfacce web in 5 esecuzioni).
Tassi di successo
Un'Bright Data interfaccia ha guidato ogni esecuzione. La CLI di Bright Data ha recuperato 8 attività in più rispetto alla migliore interfaccia non-Bright Data, ovvero Firecrawl MCP.
Esamina 10 attività di esempio su GitHub e scopri come eseguiamo questo benchmark nella metodologia
Coerenza tra le esecuzioni
Bright Data MCP ha la migliore esecuzione con il 52%. Il divario tra la migliore e la peggiore esecuzione su Oxylabs MCP è di sole 5 attività su 5 esecuzioni. È l'interfaccia più coerente del panel, seguita da:
- Bright Data CLI: 7
- Nimble MCP: 7
- Nimble CLI: 9
- Firecrawl MCP: 10
- ZenRows MCP: 11
- Bright Data MCP: 15
Costo e velocità
L'asse dei costi somma la spesa in token dell'agente a quanto il provider ha addebitato per la stessa attività. Sul tempo gli strumenti MCP battono entrambi gli strumenti CLI senza sovrapposizioni. Lavorare con la CLI significa che l'agente esegue comandi shell, rilegge il testo e spesso ritenta la sintassi, e ogni turno aggiuntivo riporta avanti l'intera conversazione. Le letture della cache dominano il costo, quindi il grafico conta principalmente quanti turni servono a un'interfaccia prima che l'agente possa rispondere.
Nimble MCP è l'interfaccia con il costo più basso e la più veloce nel benchmark a $0,065 per attività, con Firecrawl MCP subito dopo a $0.08. Bright Data MCP è la più veloce, con una mediana di 186 secondi per attività. Nimble CLI ha avuto più tentativi di altri strumenti a causa dei timeout. Un'attività che esaurisce il tempo riceve un secondo tentativo e viene valutato solo quel secondo tentativo. Costi e latenza derivano da quello stesso tentativo valutato, che può a sua volta aver raggiunto il limite.
Cause di fallimento
Bright Data CLI è stato bloccato in media 17.6 volte ogni 100 attività, il numero più basso del panel, mentre Firecrawl MCP, Nimble MCP e Oxylabs MCP sono stati bloccati quasi il doppio delle volte.
Nimble CLI è stato bloccato meno tra le quattro interfacce non-Bright-Data con 18.2, ma non ha restituito nulla su 28.4 attività ogni 100, il più alto tasso di mancata consegna del panel, il che riflette il raggiungimento del limite di 30 minuti nel 36.5 percento dei suoi tentativi (i tentativi superano le attività perché le attività scadute sono state ritentate una volta).
Aggiungi come fonte preferitaMetodologia
Ogni interfaccia è stata eseguita sul proprio VPS. L'agente era OpenClaw con MiniMax M3 tramite OpenRouter, senza esecuzioni parallele delle attività. Ogni server disponeva di 2 vCPU e 2GB di RAM.
Il set di attività utilizzato era identico per tutte e sette le interfacce in tutte e 5 le esecuzioni.
Ogni tentativo aveva a disposizione 30 minuti. Un'attività che esauriva il tempo riceveva un nuovo tentativo, tranne le quattro attività che modificano lo stato, che non venivano mai ritentate. Prima di ogni esecuzione una sonda recuperava una pagina a basso costo tramite l'account del provider e l'esecuzione si rifiutava di partire se quel recupero falliva.
Versioni utilizzate in questo benchmark;
Attività di esempio
Dieci delle 100 attività sono pubblicate integralmente su GitHub, con le istruzioni fornite all'agente, il formato di output, le regole di superamento e il punteggio ottenuto da ciascuna interfaccia.
Dataset
Le 100 attività coprono 29 siti web in queste categorie: e-commerce (24 attività), viaggi (21), immobiliare (17), biglietti (15), social (15) e lavoro (8). Abbiamo preparato da 2 a 5 attività per sito web a seconda di quante azioni supporta il sito. Novantasei attività recuperano informazioni e quattro modificano lo stato sul sito remoto e non vengono mai ritentate perché un primo tentativo potrebbe aver già modificato un carrello.
Valutazione
Ogni attività e le relative condizioni di superamento sono state scritte in inglese. Il valutatore legge il file delle regole e assegna il punteggio solo quando ogni regola applicabile risulta soddisfatta.
Bloccato significa che il provider non è riuscito a raggiungere il sito e lo ha dichiarato. La risposta è arrivata come messaggio di errore invece dei dati.
Bypassato significa che l'agente ha recuperato la pagina direttamente invece di usare l'interfaccia del provider, in genere tramite una richiesta diretta dalla shell. Li troviamo nei log di sessione. Un'attività bypassata non guadagna nulla e rimane nel totale delle 100 attività.
Le celle “Non determinato” sono quelle in cui il valutatore non è riuscito a decidere se la risposta fosse corretta. Queste non sono state conteggiate né come corrette né come bloccate. Ciò riguarda da 8 a 18 attività per interfaccia per esecuzione, tutte dalle stesse 27 attività.
Le stesse attività, istruzioni e il model sono stati utilizzati in tutte e sette le interfacce, e le regole sono state bloccate prima della prima esecuzione.
Costo
Il grafico somma due numeri. Il costo del model è quanto l'agente ha speso in token, MiniMax M3 tramite OpenRouter a $0,30 per milione di token in input, $1,20 per milione in output e $0,06 per milione di letture della cache, conteggiati dal tentativo valutato di ogni attività.
Il costo dell'interfaccia è quanto il provider ha addebitato per lo stesso lavoro, in media su cinque esecuzioni:
- Bright Data: letto dalla fatturazione dell’account per zona al giorno. Scraping Browser costa $8 per GB più $0,10 all’ora, Web Unlocker $1,50 per 1K richieste, SERP $1,50 per 1K.
- ZenRows: dal loro panel, la larghezza di banda della sessione browser più i crediti fetch come registrati. Il piano è EUR 129.99 per 1M crediti; il browser corrisponde a circa 40.500 crediti per GB, e il fetch è stato in media di 14 crediti per richiesta dopo il rendering JS e i moltiplicatori per proxy premium.
- Oxylabs: conteggi delle richieste dai trascritti dell’agente a $1,15 per 1K risultati.
- Firecrawl: crediti conteggiati dai trascritti a $83 per 100K crediti, 1 credito per scrape.
- Nimble: richieste conteggiate dai trascritti a $1,00 per 1K per l’estrazione e $1,10 per 1K per la ricerca.
Limitazioni
Nimble CLI ha esaurito il tempo nel 36.5 percento dei suoi tentativi.
Tutte le interfacce hanno velocità diverse, non tutte le attività iniziano o finiscono allo stesso tempo. Alcune attività dipendono dalla data o da ciò che è elencato in quel momento, quindi su quelle alcuni provider non hanno visto la stessa pagina. Le regole di superamento sono state scritte per testare il formato e il recupero, non una specifica inserzione, quindi una pagina modificata non cambia il punteggio.
Cita questa ricerca
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Kalelioğlu, Berk},
title = {{AIM Benchmark Web Agentico}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/agentic-web}},
note = {AIMultiple. Consultato il 29 settembre 2026}
}Risultati e timestamp di 0 punti dati. Scarica i dati di sintesi mostrati nei grafici e nelle tabelle di questo articolo come file ZIP contenente 0 file CSV.
Vuoi i dati granulari che ci stanno dietro? Passa a Premium
Il lavoro di Cem presso AIMultiple è stato citato da importanti testate internazionali tra cui Business Insider, Forbes, Morning Brew e Washington Post, da aziende globali come Deloitte e HPE, da ONG come il World Economic Forum e da organizzazioni sovranazionali come la Commissione europea. [1], [2], [3], [4], [5]
Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, acquirente tecnologico e imprenditore tecnologico. Ha consigliato le aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per più di un decennio. Ha inoltre pubblicato un report McKinsey sulla digitalizzazione.
Ha guidato la strategia tecnologica e gli approvvigionamenti di una società di telecomunicazioni rispondendo direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto ricavi ricorrenti annuali a 7 cifre e una valutazione a 9 cifre partendo da zero in 2 anni. Il lavoro di Cem in Hypatos è stato ripreso da importanti testate tecnologiche come TechCrunch e Business Insider.
Cem interviene regolarmente a conferenze tecnologiche internazionali. Si è laureato come ingegnere informatico presso l'Università di Bogazici e possiede un MBA della Columbia Business School.
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.