Benchmark di web scraping

AIM Web Data Scraping Index Methodology

L'indice riutilizza i risultati grezzi di ogni benchmark sui dati web che abbiamo pubblicato. Un benchmark viene conteggiato se testa fornitori di dati web e registra l'esito di ogni richiesta. Il punteggio di un fornitore nell'indice è la media dei suoi tassi di successo nei benchmark a cui ha partecipato. Un fornitore entra in classifica solo se è stato testato in almeno l'80% dei benchmark, la stessa regola usata dal SDG Index. I fornitori sotto questa soglia restano nei grafici, ma senza posizione. Ogni benchmark ha lo stesso peso, quindi uno studio da 1.400 richieste conta quanto uno da 260.000. Successo significa che la risposta ha restituito la pagina di destinazione con il contenuto richiesto. Lo verifichiamo rispetto a pagine di bot e pagine vuote, quindi una risposta 200 con una pagina di challenge conta come fallimento. Se un fornitore non è mai stato testato in un benchmark, mostriamo un trattino invece di uno zero.

I target provengono dalla lista Tranco, che classifica i domini facendo la media di diverse classifiche di traffico. Prima dei test rimuoviamo gli host inattivi, per adulti, di gioco d'azzardo e malevoli. I domini sono raggruppati in categorie: e-commerce, social media, motori di ricerca, video e streaming, viaggi, recensioni, consegna di cibo, app store, immobiliare, offerte di lavoro, notizie ed editoria, sviluppatori e SaaS, finanza, pubblica amministrazione e istruzione. La copertura dei domini e il supporto al JSON strutturato vengono verificati sulla top 100. Il costo è calcolato ogni 1.000 pagine riuscite, non ogni 1.000 richieste inviate. Prendiamo il piano più economico che un fornitore offre per quel volume e lo dividiamo per il tasso di successo misurato. Il tempo di completamento è la durata di una richiesta dall'inizio alla fine. I campi di metadati sono i campi analizzati che un fornitore restituisce quando risponde in JSON. Pronto per l'IA è la quota di risposte restituite come markdown pulito. I risultati anti-bot provengono da due delle nostre esecuzioni, il benchmark sugli unblocker su 10.000 domini e il benchmark e-commerce sui primi 100 domini, con ogni dominio etichettato in base al fornitore che lo protegge. Le barre di errore sono intervalli di confidenza al 95%.