Großangelegtes Web Scraping: 7 Anbieter im Benchmark
Wir führten zwei Benchmarks gegen Live-Websites durch, von 5 bis 5.000 gleichzeitigen Anfragen. Der erste schickte 260.000 Anfragen durch vier Web Unblocker über die Tranco-Top-10.000-Domains sowie einen Markdown-Extraktionstest auf 10.000 URLs. Der zweite holte 65.000 Produkt- und Suchseiten von jedem der fünf Scraping-Anbieter über 100 E-Commerce-Domains.
E-Commerce-Scraper-Benchmark
Erklärung der Metriken
Inhaltlich verifizierte Erfolgsquote: der Anteil der Anfragen, die den erwarteten Inhalt zurückgaben, bestätigt anhand eines CSS-Selektors oder eines strukturierten JSON-Feldes, das die Zieldaten enthielt. Eine Blockseite, ein Captcha oder eine leere Hülle zählten selbst mit einem HTTP-200-Status null Punkte.
Medianantwortzeit (P50): die typische Anfrage in Sekunden, auf der horizontalen Achse. Der Tooltip zeigt auch P90 an, die langsamsten 10 % der Anfragen.
Gleichzeitigkeit: die Anzahl gleichzeitig laufender Anfragen, auswählbar über die Filter-Buttons. Das Niveau von 5.000 belastet die Ratenlimits und Account-basierten Obergrenzen eines Anbieters, nicht unbedingt seine Extraktionsqualität.
Durchschnitt: Im gesamten Artikel ist der E-Commerce-Durchschnitt der Mittelwert aus den Gleichzeitigkeitsstufen 5 und 100. Die Stufe 5.000 wird ausgeschlossen, weil zwei der fünf Anbieter dort liefen.
Preisdetails und Erfolgsquoten für Produkt- und Suchseiten finden Sie im E-Commerce-Scraper-Benchmark.
Web-Unblocker-Benchmark
Erklärung der Metriken
Mittlere Fertigstellungszeit: das arithmetische Mittel der Ende-zu-Ende-Zeit für erfolgreiche Anfragen in Sekunden, auf der horizontalen Achse. Die E-Commerce-Grafik trägt einen Median auf ihrer horizontalen Achse ab, diese einen Mittelwert, daher zeigen die beiden Achsen unterschiedliche Statistiken.
Die Markdown-Extraktionsergebnisse, die Preistabelle und die Bewertungen pro Anbieter finden Sie im Web-Unblocker-Benchmark.
Ergebnisse des großangelegten Scraping-Benchmarks
Über 100 E-Commerce-Domains betrug die höchste inhaltlich verifizierte Erfolgsquote 76.0 % und die niedrigste 59.4 %, beides gemittelt über die Gleichzeitigkeitsstufen 5 und 100. Über die Tranco-Top-10.000-Domains rangierten die vier Unblocker von 88 % bis 94 %. Dies sind separate Tests mit verschiedenen Zielsets, unterschiedlichen Seitentypen und verschiedenen Anbietersets, sodass die beiden Bereiche nicht zu einem einzigen Wert zusammengefasst werden können.
Erfolgshöhepunkt bei 100 gleichzeitigen Anfragen
Jeder Anbieter im E-Commerce-Benchmark erzielte bei 100 gleichzeitigen Anfragen höhere Werte als bei 5: Bright Data von 73.7 % auf 78.3 %, Zyte von 71.1 % auf 73.0 %, Apify von 67.7 % auf 72.5 %, Nimble von 56.6 % auf 67.3 %, Decodo von 55.6 % auf 63.1 %. Im Unblocker-Benchmark erreichte Bright Data den Höchstwert bei 500 gleichzeitigen Anfragen mit 95 % und Zyte bei 500 mit 93 %.
Der Rückgang reicht bis 5.000, wo Bright Data auf 71.0 % fällt und Nimble auf 56.0 %. Die Kurve hat also eher ein mittleres Band als einen monotonen Verlauf, und ein Scraper, der auf eine niedrige Gleichzeitigkeit abgestimmt ist, liefert eine messbare Erfolgsquote. Der Mechanismus wird von diesen Benchmarks nicht isoliert. Sowohl die Läufe mit 5 als auch mit 5.000 Anfragen verwendeten die gleichen URLs und die gleiche Validierung, daher liegt der Unterschied im anbieterseitigen Verhalten, das die Tests beobachteten, nicht in Erklärungen.
Listing-Seiten scheitern häufiger als Produktseiten
Alle fünf E-Commerce-Anbieter lieferten auf Such- und Listing-Seiten seltener den erwarteten Inhalt zurück als auf Produktseiten. Der Abstand reicht von 4.6 Punkten bei Zyte bis zu 14.9 Punkten bei Decodo.
Produktseiten enthalten einen einzelnen Artikel mit strukturierten Feldern wie Titel, Preis, SKU und Bildern. Such- und Listing-Seiten geben viele Artikel aus einer Suchanfrage oder Kategorie zurück, oft paginiert und nach dem initialen HTML gerendert. Für einen Crawl-Plan liefert die Auswahl von einer Produkt-Sitemap oder einer Menge von Produkt-IDs eine Quote, die näher an der von Produktseiten liegt, als das Paginieren durch Suchergebnisse.
Die mediane Antwortzeit sagt nicht das Ende der Verteilung voraus
Zyte wies einen längeren Median auf als Bright Data, 20.9s gegenüber 16.2s, und ein kürzeres Ende der Verteilung, 52s gegenüber 62s. Das Ende von Apify erreichte 116s bei einem Median von 45.7s, und Decodos Ende lag bei 23s gegenüber einem Median von 7.0s.
Ein aus dem Median abgeleitetes Timeout pro Anfrage schneidet daher bei jedem Anbieter einen anderen Anteil des Traffics ab als eines, das aus P90 hergeleitet wird. Eine abgelaufene Seite verursacht zudem Kosten, da fehlgeschlagene Anfragen die Ausgaben belasten, aber nicht zur Seitenanzahl beitragen.
Zwei Anbieter absolvierten einen Lauf mit 5.000 gleichzeitigen Anfragen
Im E-Commerce-Benchmark hielt Bright Data 71 % und Nimble 56 % bei 5.000 parallelen Anfragen. Die anderen Anbieter wurden bei dieser Last durch Account-basierte Gleichzeitigkeits- oder Guthabenlimits begrenzt, nicht durch die Scraping-Fähigkeit, daher wird für sie auf dieser Stufe kein Ergebnis veröffentlicht. Im Unblocker-Benchmark weist Bright Data ein Ergebnis bei 5.000 gleichzeitig mit 92 % und Nimble bei 88 % auf. Für Zyte oder Firecrawl wird keine 5.000-Gleichzeitigkeitszahl veröffentlicht.
Spezialisierte Scraper decken maximal 59 von 100 Domains ab
Anbieter unterscheiden sich darin, wie sie Daten extrahieren. Einige liefern einen vorgefertigten Scraper pro Marktplatz, der die strukturierten Felder der Seite zurückgibt, andere wenden eine Engine auf beliebige Seiten an.
Beim umfangreichsten Katalog im Set fallen immer noch 41 der 100 Domains auf eine universelle Engine. Eine feste Zielliste bedeutet daher bei jedem getesteten Anbieter Langstreckenarbeit, was dafür spricht, vor dem Abschluss eine spezifische Domainliste gegen den Scraper-Katalog des Anbieters zu prüfen. Die Anzahl der Metadatenfelder stammt von zwei Anbietern und beschreibt diese beiden Produkte, nicht die beiden Extraktionsmodi im Allgemeinen.
Welche Schicht passt zur Zielliste
Drei Schichten liegen zwischen einem Scraper und einer Zielseite, und die Zielliste entscheidet, welche die Arbeit übernimmt.
Eine Scraper-API gibt geparste Felder für eine bereits unterstützte Seite zurück. Ein Web Unblocker gibt die Seite zurück und überlässt das Parsen dem Aufrufer. Residential Proxies geben eine Verbindung zurück und überlassen sowohl die Anti-Bot-Behandlung als auch das Parsen dem Aufrufer. Scraping Browser sitzen neben der Unblocker-Schicht und bieten programmierbare Browser-Steuerung für Seiten, die Interaktion benötigen.
Eine bekannte, feste Zielliste ist der Fall, den der E-Commerce-Benchmark misst. Eine solche Liste enthält Domains, die sich selten ändern, Seitentypen, die es wert sind, pro Seite gelernt zu werden, und eine wiederkehrende Aktualisierung. Spezialisierte Scraper zahlen sich hier aus, soweit der Katalog die Liste abdeckt, was die obige Abdeckungstabelle auf 59 von 100 Domains begrenzt. Der Rest benötigt einen von Anfang an geplanten universellen Engine-Pfad.
Eine offene, breit gestreute Zielliste ist der Fall, den der Unblocker-Benchmark misst. Eine solche Liste enthält Domains, die nicht im Voraus bekannt sind, für die sich kein seiten-spezifischer Parser lohnt, und eine generische Engine gepaart mit generischer Extraktion. Die Tranco-Top-10.000 ist eine Liste allgemeiner Beliebtheit und nicht eine Liste obskurer Seiten, steht also für die Heterogenität der Zielliste und nicht für deren Obskurität.
Das Ausgabeformat betrifft beide Fälle. Im Markdown-Extraktionstest gaben die Anbieter sauberen Text statt rohem HTML zurück.
Markdown-Extraktionstest, 10.000 URLs. Jeder Anbieter, der in beiden Tests vertreten war, erzielte hier eine niedrigere Quote als im HTML-Test, der mit 260.000 Anfragen über ein anderes URL-Set lief. Exa erscheint nur in diesem Test, weil es keine rohen HTML-Dokumente zurückgibt.
Large Language Models übernehmen nun das Parsen, das früher handgeschriebene Mustererkennung benötigte, und Anbieter bündeln diesen Schritt in ihr Angebot ein. LLM-Parsing führt einen eigenen Fehlermodus ein. Automatisch geparste Felder müssen gegen bekannte Werte getestet werden, denn ein halluzinierter Preis liest sich wie gültige Daten. KI-Web-Scraping-Tools behandeln diese Kategorie.
Fehlermodi im großen Maßstab
Anti-Bot-Abwehr und dynamische Seiten
Anti-Bot-Systeme stapeln IP-Reputation, Prüfung von Anfrage-Headern, JavaScript-Herausforderungen und Captcha-Gates, und eine Seite, die ihren Inhalt erst nach Skriptausführung zusammensetzt, fügt eine zweite Hürde hinzu, die vor jeder Extraktion genommen werden muss.
Eine JavaScript-Herausforderung zu bewältigen bedeutet, eine Browser-Sitzung statt einer einfachen HTTP-Anfrage laufen zu lassen, und das kostet den Anbieter etwa 5- bis 10-mal mehr Rechenleistung. Anbieter bepreisen und takten gerenderte Anfragen daher unterschiedlich.
Account-basierte Gleichzeitigkeits- und Guthabenlimits
Bei 5.000 parallelen Anfragen im E-Commerce-Benchmark lieferten drei der fünf Anbieter keinen vollständigen Lauf. Die dort gemeldete Grenze waren Account-basierte Gleichzeitigkeits- oder Guthabenlimits bei dieser Last, nicht die Scraping-Fähigkeit.
Stille Fehler und Datengenauigkeit
Erfolg wurde in beiden Benchmarks nur dann gezählt, wenn der erwartete Inhalt in der Antwort vorhanden war, geprüft gegen eine vor dem Lauf definierte Ground Truth. Ein HTTP-200, der eine Blockseite, ein Captcha oder eine leere Hülle lieferte, zählte null Punkte, sodass diese Zahlen unter dem liegen, was eine Status-Code-Zählung auf demselben Traffic ergeben würde. Eine Pipeline, die nur Status-Codes prüft, meldet Erfolg, während sie Blockseiten sammelt.
Rechtliches Risiko
Großangelegtes Sammeln zieht die Aufmerksamkeit von Sicherheitsteams auf sich, und Rechtsstreitigkeiten folgen, wenn ein Teil davon Daten hinter einem Login oder personenbezogene Daten berührt. Google verklagte SerpApi wegen des Scrapings urheberrechtlich geschützter Inhalte, die in seinen öffentlichen Suchergebnissen erschienen.1 Web Scraping Legalität behandelt die Grenzen detaillierter.
Methodik des großangelegten Scraping-Benchmarks
Methodik Web Unblocker
Vier Anbieter, die Tranco-Top-10.000-Domains, 260.000 Anfragen, Gleichzeitigkeit 5, 100, 500 und 5.000. Domains wurden nach toten Servern, reinen Infrastruktur-Endpunkten und Seiten ohne crawl-fähigen Inhalt gefiltert, dann gegen öffentliche Blocklisten, einen Domain-Authority-Schwellenwert und eine Keyword-Liste geprüft. Domains, die mindestens drei crawl-fähige URLs behielten, kamen weiter. Test-Splits verwendeten disjunkte URL-Sets.
Der Erfolg durchlief eine gestaffelte Validierung, beginnend mit einem Bot-Seiten-Signatur-Vorfilter, dann einem Ground-Truth-CSS-Selektor-Abgleich, dann Textabgleich auf dem rohen und Tag-bereinigten Body, mit Fallbacks für gehashte Klassennamen, Utility-CSS-Escaping und Zeichenkodierungskorruption. Ein separater Markdown-Extraktionstest umfasste 10.000 URLs. Eine Einschränkung gilt: Für Zyte oder Firecrawl wird keine 5.000-Gleichzeitigkeitszahl veröffentlicht.
Methodik E-Commerce Scraper
Fünf Anbieter, 100 E-Commerce-Domains, jeweils 65.000 Produkt- und Suchseiten, Gleichzeitigkeit 5, 100 und 5.000. Der berichtete Durchschnitt ist der Mittelwert der Gleichzeitigkeitsstufen 5 und 100, weil Bright Data und Nimble die beiden Anbieter waren, die einen vollständigen Lauf mit 5.000 absolvierten.
Die Domains wurden aus den Top-15-Ländern nach BIP ausgewählt, ohne Russland und China, zuzüglich Kategorieführern aus SimilarWeb- und Semrush-Kategorielisten. Produkt-URLs stammten von Sitemaps der Seiten, Kategorie-Crawls und site-beschränkter Suche, Such-URLs aus Anfragen, die aus den eigenen Kategorienamen und Produkt-Slugs jeder Domain in der Sprache der Seite generiert wurden. Jede URL wurde entdeckt, ohne die Zielseite über einen benchmarkten Anbieter abzurufen. Wo ein Anbieter einen dedizierten E-Commerce-Scraper für eine Domain anbot, lief dieser. Andernfalls lief der allgemeine Unblocker des Anbieters. Alle Anbieter liefen vom gleichen Serverstandort aus. Kosten wurden als Ausgaben pro 1.000 erfolgreiche Produktseiten erfasst, wobei fehlgeschlagene Anfragen die Ausgaben erhöhen.
Als bevorzugte Quelle hinzufügenGetestete Anbieter
Was ist großangelegtes Web Scraping?
Großangelegtes Web Scraping ist die automatisierte Sammlung von Webdaten in einem Volumen, bei dem die Wahl der Infrastruktur die Architektur zu bestimmen beginnt, anstatt ihr zu folgen.
Die beobachtbaren Übergänge markieren die Spanne. Bei 10.000 Anfragen pro Monat reichen die Unblocker-Preise von $0 bei Exa und $7.50 bei Bright Data bis zu $99 bei Firecrawl. Bei einer Million pro Monat liegen dieselben Anbieter zwischen $749 und $4.080. Bei 5.000 gleichzeitigen Anfragen lieferten drei der fünf E-Commerce-Anbieter keinen vollständigen Lauf. Volumen und Gleichzeitigkeit – nicht die Scraping-Technik – sind das, was sich in dieser Größenordnung ändert.
Fazit
Die höchste inhaltlich verifizierte Erfolgsquote, gemessen über 100 E-Commerce-Domains, betrug 76.0 %, gemittelt über die Gleichzeitigkeitsstufen 5 und 100, und die niedrigste 59.4 %. Auf den Tranco-Top-10.000 lagen die vier Unblocker zwischen 88 % und 94 %. Beide Zahlen sind inhaltlich verifizierte Zählungen, die eine mit einem HTTP-200 gelieferte Blockseite als Fehler werten, liegen also unter dem, was eine reine Status-Code-Zählung auf demselben Traffic meldet.
Für eine bekannte, feste Zielliste verzeichnete Bright Data einen durchschnittlichen Erfolg von 76.0 % zu $1.52 pro 1.000 erfolgreiche Produktseiten und dedizierte Scraper für 59 von 100 Domains. Bezüglich der Antwortzeit auf derselben Liste verzeichnete Decodo einen Median von 7.0s und Nimble 8.9s, bei 59.4 % und 62.0 %. Für eine offene, breit gestreute Liste verzeichnete Bright Data 94 % bei einem Mittelwert von 5s, und Firecrawl 88 % bei 4s. Für Dauerlast bei 5.000 gleichzeitigen Anfragen führen Bright Data und Nimble veröffentlichte Ergebnisse in beiden Benchmarks.
Weiterführende Literatur
- Web Scraping Roadmap: Erkenntnisse aus 30M Anfragen
- E-Commerce Scraper Benchmark
- Website Unblocker getestet & verglichen
- Die besten Web Scraping APIs im Benchmark
- Beste & günstigste Residential Proxies
- Beste KI-Web-Scraping-Tools
- Häufigste Herausforderungen beim Web Scraping
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dogan2026,
author = {Dogan, Sedat and Sarı, Ekrem},
title = {{Großangelegtes Web Scraping: 7 Anbieter im Benchmark}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/large-scale-web-scraping}},
note = {AIMultiple. Abgerufen am 30. Juli 2026}
}
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.