Benchmark AIM per il Web agentico
Gli agenti si affidano alle interfacce web per completare le attività sul web. Per confrontare il completamento delle attività tra le interfacce web, abbiamo creato il benchmark AIM per il Web agentico e abbiamo eseguito 100 attività attraverso 7 interfacce, 5 volte ciascuna, per 3.500 risultati valutati.
Tassi di successo
Bright Data CLI e Bright Data MCP hanno completato 8.2 e 8.4 attività in più ogni 100 rispetto a Firecrawl MCP, il migliore degli altri cinque.
Dieci attività di esempio sono su GitHub e la metodologia spiega come abbiamo eseguito il benchmark.
Coerenza tra le esecuzioni
Bright Data MCP ha la migliore esecuzione con 52%. Il divario tra la migliore e la peggiore esecuzione su Oxylabs MCP è di sole 5 attività nell’arco di 5 esecuzioni. È l’interfaccia più coerente del panel, seguita da:
- Bright Data CLI: 7
- Nimble MCP: 7
- Nimble CLI: 9
- Firecrawl MCP: 10
- ZenRows MCP: 11
- Bright Data MCP: 15
Costi e velocità
Bright Data MCP è l’interfaccia più veloce con una mediana di 186 secondi per attività e tutti e cinque gli strumenti MCP hanno registrato mediane inferiori rispetto a entrambi gli strumenti CLI. Sullo stesso provider, la CLI ha impiegato 1.9 volte il tempo del server MCP per Bright Data e 3.3 volte tanto per Nimble. Nimble CLI è la più lenta con 830 secondi e ha riprovato 144 delle sue 500 attività dopo i timeout, più di qualsiasi altra interfaccia.
Il costo totale è dato dalla spesa in token dell’agente più la tariffa del provider. Nimble MCP ha il totale più basso con $0,072 per attività. Per le due interfacce Bright Data e ZenRows MCP, che utilizzano un browser remoto fatturato in base alla larghezza di banda, le tariffe del provider rappresentano dal 40 al 51 percento del totale. Il dato di Firecrawl esclude le sessioni browser al minuto, quindi è un limite inferiore.
Motivi dei fallimenti
Bright Data CLI è stata bloccata in media 17.6 volte ogni 100 attività, il valore più basso del panel, mentre Firecrawl MCP, Nimble MCP e Oxylabs MCP sono stati bloccati da 1.7 a 2 volte più spesso.
Nimble CLI è stata bloccata meno tra le cinque interfacce non Bright Data con 18.2, ma non ha restituito nulla in 28.4 attività ogni 100, la mancata consegna più alta del panel, il che riflette il raggiungimento del limite di 30 minuti nel 36.3 percento dei suoi tentativi (i tentativi superano le attività perché le attività scadute sono state riprovate una volta).
Aggiungi come fonte preferitaMetodologia
Ogni interfaccia è stata eseguita su un proprio VPS. L’agente era OpenClaw con MiniMax M3 tramite OpenRouter, senza esecuzioni parallele di attività. Ogni server disponeva di 2 vCPU e 2GB di RAM.
Il set di attività utilizzato era identico per tutte e sette le interfacce in tutte le 5 esecuzioni.
Prima di ogni esecuzione, una sonda ha recuperato una pagina a basso costo tramite l’account del provider e l’esecuzione si rifiutava di partire se quel recupero non riusciva. Ogni tentativo aveva a disposizione 30 minuti.
Un’attività che ha esaurito il tempo o ha restituito meno di 500 byte di output ha ricevuto un nuovo tentativo, tranne le quattro attività che modificano lo stato, che non sono mai state riprovate perché un primo tentativo potrebbe aver già modificato un carrello. Il nuovo tentativo è quello che viene valutato, e il costo del modello e il tempo provengono da esso, anche quando ha anch’esso raggiunto il limite.
Versioni utilizzate in questo benchmark:
Attività di esempio
Dieci delle 100 attività sono pubblicate integralmente su GitHub, con l’istruzione fornita all’agente, il formato di output, le regole di superamento e il punteggio ottenuto da ciascuna interfaccia.
Dataset
Le 100 attività coprono 29 siti web in sei categorie. Abbiamo selezionato i siti web dai primi 20 siti per traffico di SimilarWeb in ciascuna categoria il 15 maggio 2026, partendo dall’inizio di ogni elenco.
Abbiamo escluso i siti che servono un singolo mercato non statunitense, le copie regionali di un sito scelto, le app di messaggistica, i siti che richiedono un accesso e i siti senza elenchi pubblici da cercare.
Abbiamo preparato da 2 a 5 attività per sito web a seconda di quante azioni supporta il sito. Novantasei attività recuperano informazioni e quattro modificano lo stato sul sito remoto.
Valutazione
Ogni attività e le relative condizioni di superamento sono state scritte in inglese. Il valutatore legge il file delle regole e assegna il punteggio solo quando ogni regola applicabile è soddisfatta.
Bloccato significa che l’agente ha restituito un messaggio di errore invece dei dati, per esempio che il provider non è riuscito a raggiungere il sito o che una suddivisione delle tariffe non era mostrata sulla pagina.
Bypassato significa che l’agente ha recuperato la pagina direttamente invece di usare l’interfaccia del provider, tipicamente tramite una richiesta diretta dalla shell. Li individuiamo nei log di sessione. Un’attività bypassata non guadagna nulla e rimane nel totale delle 100 attività.
Le celle “Non determinato” sono quelle in cui il valutatore non è riuscito a decidere se la risposta fosse corretta. Non sono state contate né come corrette né come bloccate. Questo riguarda da 8 a 18 attività per interfaccia per esecuzione, tutte provenienti dalle stesse 28 attività.
Le stesse attività, istruzioni e modello sono stati utilizzati in tutte e sette le interfacce e le regole sono state bloccate prima della prima esecuzione.
Costo
Il grafico somma due valori. Il costo del modello è quanto l’agente ha speso in token, MiniMax M3 tramite OpenRouter a $0,30 per milione di token in input, $1,20 per milione di token in output e $0,06 per milione di letture dalla cache, calcolati dal tentativo valutato di ogni attività.
Il costo dell’interfaccia è quanto il provider ha addebitato per lo stesso lavoro, calcolato in media su cinque esecuzioni:
- Bright Data: letto dalla fatturazione dell’account per zona al giorno. Scraping Browser costa $8 per GB più $0,10 all’ora, Web Unlocker $1,50 per 1K richieste, SERP $1,50 per 1K.
- ZenRows: dal loro pannello, larghezza di banda delle sessioni browser più crediti di fetch come registrati. Il piano è di EUR 129.99 per 1M crediti; il browser equivale a circa 40.500 crediti per GB e il fetch è costato in media 14 crediti per richiesta dopo i moltiplicatori di rendering JS e proxy premium.
- Oxylabs: conteggi delle richieste dai trascritti dell’agente a $1,15 per 1K risultati.
- Firecrawl: crediti contati dai trascritti a $83 per 100K crediti, 1 credito per scrape.
- Nimble: richieste contate dai trascritti a $1,00 per 1K per l’estrazione e $1,10 per 1K per la ricerca.
Limitazioni
Nimble CLI ha esaurito il tempo nel 36.5 percento dei suoi tentativi.
Tutte le interfacce hanno velocità diverse, non tutte le attività iniziano o finiscono nello stesso momento. Alcune attività dipendono dalla data o da ciò che è elencato in quel momento, quindi per queste alcuni provider non hanno visto la stessa pagina. Le regole di superamento sono state scritte per verificare il formato e il recupero, non una specifica inserzione, quindi una pagina cambiata non modifica il punteggio.
Cita questa ricerca
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Kalelioğlu, Berk},
title = {{Benchmark AIM per il Web agentico}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/agentic-web}},
note = {AIMultiple. Consultato il 29 settembre 2026}
}Risultati e timestamp di 16 punti dati. Scarica i dati di sintesi mostrati nei grafici e nelle tabelle di questo articolo come file ZIP contenente 2 file CSV.
Vuoi i dati granulari che ci stanno dietro? Passa a Premium
Il lavoro di Cem presso AIMultiple è stato citato da importanti testate internazionali tra cui Business Insider, Forbes, Morning Brew e Washington Post, da aziende globali come Deloitte e HPE, da ONG come il World Economic Forum e da organizzazioni sovranazionali come la Commissione europea. [1], [2], [3], [4], [5]
Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, acquirente tecnologico e imprenditore tecnologico. Ha consigliato le aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per più di un decennio. Ha inoltre pubblicato un report McKinsey sulla digitalizzazione.
Ha guidato la strategia tecnologica e gli approvvigionamenti di una società di telecomunicazioni rispondendo direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto ricavi ricorrenti annuali a 7 cifre e una valutazione a 9 cifre partendo da zero in 2 anni. Il lavoro di Cem in Hypatos è stato ripreso da importanti testate tecnologiche come TechCrunch e Business Insider.
Cem interviene regolarmente a conferenze tecnologiche internazionali. Si è laureato come ingegnere informatico presso l'Università di Bogazici e possiede un MBA della Columbia Business School.
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.