Benchmark di web scraping: La media dei campi di metadati conta ora solo le risposte che hanno restituito JSON analizzato; le risposte in HTML grezzo non contano più come zero campi. Versione aggiornata a v1.4.
Benchmark di web scraping
v1.4400.000+ richieste su 10.000+ dei domini più popolari per misurare tassi di successo, tempi di risposta e copertura dei metadati di 6 fornitori. Consulta AIM Web Data Scraping Index Methodology per ulteriori dettagli.
Classifica
Filtra per tipo di strumento e requisiti indispensabili. Ordina qualsiasi colonna.
# | Modello | Indice | Social media | Motori di ricerca | Video e streaming | Recensioni | Consegna di cibo | App store | Immobiliare | Offerte di lavoro | Google Maps | Web unblocker |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Bright Data | 91.7 | 86.8 | - | 98.9 | 78.0 | 94.3 | 99.8 | 88.5 | 92.1 | - | 94.8 |
| 2 | Apify | 91.3 | 99.9 | - | 99.6 | 98.6 | 55.7 | - | 94.0 | - | 100.0 | - |
| 3 | Zyte | 88.2 | 99.3 | 72.1 | 99.6 | 65.0 | 82.2 | 99.5 | 65.6 | 64.8 | 99.9 | 95.4 |
| 4 | Nimble | 82.8 | 82.0 | 50.7 | 97.7 | 52.4 | 84.9 | 99.7 | 86.0 | 71.1 | 98.9 | 95.6 |
| 5 | Oxylabs | 81.0 | 91.6 | 97.4 | 99.7 | 56.2 | 90.8 | 99.6 | 71.1 | 64.6 | 94.4 | - |
| 6 | Decodo | 74.1 | 81.9 | 84.7 | 99.5 | 35.9 | 90.0 | 99.7 | 74.8 | 64.5 | - | - |
Costo vs prestazioni
Costo del web scraper nel nostro benchmark su 100 domini e-commerce, e costo del web unblocker su 10.000 domini. Rapportato al volume per richiesta riuscita.
Media è la tariffa effettiva ogni 1.000 richieste pagata nel nostro benchmark, rapportata al volume con il piano più economico disponibile di ogni provider. Min è il livello più economico offerto da ciascun provider. Max è il livello più costoso.
Web unblocker
Web scraper
Profilo del provider
Prezzo per pagina riuscita, tempo di completamento, profondità dei metadati, domini che restituiscono JSON strutturato e prontezza per l'IA di ciascun provider.
# | Modello | Domini con JSON | Campi di metadati (media) | $ ogni 1.000 | Tempo di completamento (s) | Pronto per l'IA |
|---|---|---|---|---|---|---|
| 1 | Bright Data | 24 | 33 | 1.5 | 22.8 | 79 |
| 2 | Apify | 10 | 38 | 13.7 | 19.9 | 55 |
| 3 | Zyte | 0 | 5 | 3.0 | 13.0 | 60 |
| 4 | Nimble | 6 | 5 | 1.0 | 14.6 | 70 |
| 5 | Oxylabs | 12 | 6 | 2.0 | 18.0 | 71 |
| 6 | Decodo | 6 | 9 | 2.4 | 20.1 | 64 |
Comportamento sotto carico
Tasso di successo rilevato a 1, 100, 500 e 5.000 richieste parallele.
Panorama anti-bot
Il provider che protegge i tuoi target predice il tuo tasso di successo.
Sblocco web sui primi 10.000 domini
API di scraping sui primi 10.000 domini
Copertura dei domini per fornitore
Quali domini della top 100 di Tranco ogni fornitore riesce a estrarre e per quali restituisce anche JSON strutturato. Il supporto allo scraping deriva dal nostro benchmark sui web unblocker; il supporto JSON deriva da un test separato dell'output analizzato sugli stessi domini. I domini sono ordinati per copertura, quindi quelli supportati dal maggior numero di fornitori compaiono in alto.
| Dominio | |||||||
|---|---|---|---|---|---|---|---|
| google.com | |||||||
| chatgpt.com | |||||||
| bing.com | |||||||
| amazon.com | |||||||
| facebook.com | |||||||
| tiktok.com | |||||||
| youtube.com | |||||||
| baidu.com | |||||||
| googlevideo.com | |||||||
| yandex.ru | |||||||
| apple.com | |||||||
| github.com | |||||||
| instagram.com | |||||||
| microsoft.com | |||||||
| office.com | |||||||
| twitter.com | |||||||
| wikipedia.org | |||||||
| yahoo.com | |||||||
| youtu.be | |||||||
| zoom.us | |||||||
| Domini estratti | 68 | 12 | 6 | 73 | 67 | 10 | 13 |
✓ Il fornitore estrae il dominio. ✅ Il fornitore estrae il dominio e restituisce JSON strutturato. ✕ Il fornitore non estrae il dominio. Tra i fornitori di questa tabella, solo Bright Data, Nimble e Zyte hanno partecipato al benchmark sui web unblocker; per gli altri fornitori la tabella mostra solo il supporto JSON.
Prestazioni di output markdown dei fornitori di dati web
Tasso di successo e tempo di completamento dell'estrazione in markdown dal nostro benchmark sui web unblocker, e i formati di output restituiti da ogni fornitore.
| Fornitore | Markdown | HTML |
|---|---|---|
Tasso di successo per tipo di pagina e concorrenza
Le pagine prodotto e le pagine di ricerca si comportano in modo diverso sullo stesso dominio.
Domande frequenti
AIM Web Data Scraping Index Methodology
L'indice riutilizza i risultati grezzi di ogni benchmark sui dati web che abbiamo pubblicato. Un benchmark viene conteggiato se testa fornitori di dati web e registra l'esito di ogni richiesta. Il punteggio di un fornitore nell'indice è la media dei suoi tassi di successo nei benchmark a cui ha partecipato. Ogni benchmark ha lo stesso peso, quindi uno studio da 1.400 richieste conta quanto uno da 260.000. Successo significa che la risposta ha restituito la pagina di destinazione con il contenuto richiesto. Lo verifichiamo rispetto a pagine di bot e pagine vuote, quindi una risposta 200 con una pagina di challenge conta come fallimento. Se un fornitore non è mai stato testato in un benchmark, mostriamo un trattino invece di uno zero.
I target provengono dalla lista Tranco, che classifica i domini facendo la media di diverse classifiche di traffico. Prima dei test rimuoviamo gli host inattivi, per adulti, di gioco d'azzardo e malevoli. I domini sono raggruppati in categorie: e-commerce, social media, motori di ricerca, video e streaming, viaggi, recensioni, consegna di cibo, app store, immobiliare, offerte di lavoro, notizie ed editoria, sviluppatori e SaaS, finanza, pubblica amministrazione e istruzione. La copertura dei domini e il supporto al JSON strutturato vengono verificati sulla top 100. Il costo è calcolato ogni 1.000 pagine riuscite, non ogni 1.000 richieste inviate. Prendiamo il piano più economico che un fornitore offre per quel volume e lo dividiamo per il tasso di successo misurato. Il tempo di completamento è la durata di una richiesta dall'inizio alla fine. I campi di metadati sono i campi analizzati che un fornitore restituisce quando risponde in JSON. Pronto per l'IA è la quota di risposte restituite come markdown pulito. I risultati anti-bot provengono da due delle nostre esecuzioni, il benchmark sugli unblocker su 10.000 domini e il benchmark e-commerce sui primi 100 domini, con ogni dominio etichettato in base al fornitore che lo protegge. Le barre di errore sono intervalli di confidenza al 95%.
Risultati grezzi di 330.8 mila punti dati dai benchmark AIMultiple su cui si basa questo indice. Scaricali come file ZIP contenente 12 file CSV e un README.
Vuoi i dati granulari che ci stanno dietro? Passa a Premium
Registro delle modifiche
16 aggiornamenti- v1.4
Benchmark di web scraping: La media dei campi di metadati conta ora solo le risposte che hanno restituito JSON analizzato; le risposte in HTML grezzo non contano più come zero campi. Versione aggiornata a v1.4.
- v1.3
Apify è entrato nell'indice.
- v1.3
Benchmark di web scraping: L'indice è ora calcolato sui risultati grezzi di tutti i benchmark di dati web pubblicati, ciascuno con lo stesso peso. Versione aggiornata a v1.3.
- v1.2
Benchmark di web scraping: Ogni benchmark è ora valutato separatamente e i fornitori con troppi pochi campioni sono esclusi. Versione aggiornata a v1.2.
- v1.1
5 fornitori sono entrati nell'indice: Bright Data, Decodo, Nimble, Oxylabs, Zyte.
- v1.1
Benchmark di web scraping: I fornitori sono ora valutati per categoria di benchmark e per tipo di strumento (API di scraping o web unblocker). Versione aggiornata a v1.1.
- v1.0
Benchmark sui dati web etici: Aggiunta una sezione sui limiti metodologici alla fine del benchmark.
Esplora Benchmark di web scraping
- Strumenti di ScrapingBenchmark2 nov
Abbiamo testato le migliori SERP scraper API
Abbiamo confrontato 5 provider SERP usando 7.000 richieste live su Google, Bing e Yandex. Scopri quali provider hanno ottenuto i migliori risultati per tasso di successo e velocità: Leggi la metodologia completa. Eseguiamo anche richieste live ogni 15 min, con cache disabilitata, un timeout di 60s e 250+ query su Google, Bing e Yandex negli…
- AntibloccanteBenchmark27 ott
Migliori servizi di risoluzione CAPTCHA
Abbiamo confrontato 10 servizi di risoluzione CAPTCHA in base ai tipi di CAPTCHA supportati da ciascuno, se risolve i CAPTCHA tramite IA o lavoratori umani, e al modello di prezzi. Abbiamo inoltre stress-testato i quattro unblocker integrati (Bright Data, Decodo, Oxylabs, Zyte) contro il target reale, Cloudflare in modalità Under Attack. Per verificare come gli…
- AntibloccanteBenchmark27 ott
I 5 migliori web unblocker testati e confrontati
Abbiamo testato 4 importanti fornitori di dati web sui primi 10.000 domini, eseguendo un totale di 260.000 richieste. Ogni fornitore è stato testato a più livelli di concorrenza per misurare come si comporta sotto carico crescente. Abbiamo inoltre eseguito un test separato di estrazione markdown su 10.000 URL, aggiungendo Exa, per misurare con quale frequenza…
- Estrazione di dati dal webApprofondimento26 ott
Il web scraping è legale? Leggi e buone pratiche
Le normative legali sono cambiate nel mercato del web scraping. Mentre un tempo il contenzioso si concentrava sull'accesso non autorizzato, nuove cause legate all'addestramento dell'IA e a soluzioni tecniche alternative stanno delineando pratiche accettabili. Disclaimer: Il nostro lavoro ha scopo informativo e non costituisce consulenza legale; si prega di richiedere una consulenza legale professionale per…
- Strumenti di ScrapingBenchmark23 ott
5 migliori browser di scraping
I browser di scraping si presentano in due forme: browser remoti che si integrano con script Playwright, Puppeteer o Selenium esistenti e soluzioni basate su API in cui si definiscono le azioni del browser nella richiesta. Abbiamo confrontato i migliori browser di scraping su siti con login wall, scroll infinito e rigide regole anti-bot. Ideale…
- Estrazione di dati dal webBenchmark22 ott
Le 5 migliori API per lo scraping di annunci di lavoro a confronto
Abbiamo confrontato 5 importanti fornitori di web scraping su 5 principali piattaforme di lavoro eseguendo 12.500 richieste in totale, quindi abbiamo misurato il tasso di successo, il tempo di completamento e l'output dei metadati di ciascun fornitore. Puoi leggere la sezione metodologia del benchmark per maggiori dettagli sul processo di test. = supportato, restituisce HTML…
- Estrazione di dati dal webBenchmark22 ott
Le 4 migliori provider di scraping di Google Play a confronto
Abbiamo confrontato quattro provider di web scraping su URL delle pagine prodotto di Google Play, inviando 4.000 richieste in totale. Per ogni richiesta, abbiamo misurato quanto affidabilmente il provider ha restituito i dati, quanto tempo è trascorso dall'invio alla risposta finale e quanti campi di metadati conteneva la risposta. I fornitori sono classificati in base…
- Estrazione dati dai social mediaBenchmark22 ott
I 7 migliori Video Scraper: Testati e Valutati
Abbiamo testato i 7 principali provider di video scraping per vedere come gestiscono i metadati video sulla principale piattaforma video, per un totale di 6.000 richieste, misurandone il tasso di successo, il tempo di risposta e i campi dei metadati. Per vedere come abbiamo calcolato queste metriche, leggi la metodologia del benchmark di video scraping.…