E-Commerce-Scraper: 4 Anbieter im Benchmark

Wir haben vier Webdaten-Anbieter über 100 E-Commerce-Domains hinweg einem Benchmark unterzogen und dabei jeweils 65.000 Produkt- und Suchseiten mit 5 bis 5.000 gleichzeitigen Anfragen abgerufen.

Antwortzeit und Erfolgsrate

Über die Parallelitätsstufen gemittelt erreichte Bright Data die höchste Erfolgsrate (76 %) bei einem Median von 16 Sekunden. Apify verzeichnete die höchste mediane Antwortzeit mit 46 Sekunden.

Die Antwortzeit wird als Median (P50), die typische Anfrage, und als Tail (P90), die langsamsten 10 % der Anfragen, angegeben.

Die Erfolgsraten werden über die Parallelitätsstufen 5 und 100 gemittelt, da nur Bright Data und Nimble einen vollständigen Lauf bei 5.000 abschlossen.

Siehe unsere E-Commerce-Benchmark-Methodik für Details zu unserem Testvorgehen.

E-Commerce-Scraper-Erfolgsrate nach Parallelität

Bright Data erzielte die höchste Gesamterfolgsrate. Bei 5.000 parallelen Anfragen hielt Bright Data 71 % und Nimble 56 %.

Parallelität ist die Anzahl der gleichzeitig gesendeten Anfragen. Das Niveau von 5.000 Anfragen belastet die Ratenlimits und die Infrastruktur eines Anbieters.

Erfolgsrate auf Produkt- und Suchseiten

Jeder Anbieter erzielte auf Produktseiten (Detailseiten) höhere Werte als auf Suchseiten (Listingseiten).

• Suchseiten (Listingseiten) liefern viele Artikel aus einer Suchanfrage oder Kategorie, sind oft paginiert und dynamisch gerendert, was eine konsistente Extraktion erschwert.
• Produktseiten (Detailseiten) zeigen einen einzelnen Artikel mit strukturierten Feldern wie Titel, Preis, SKU und Bildern.

Erfolgsrate nach Anti-Bot-Anbieter

Wir identifizierten den Anti-Bot-Anbieter für jede der 100 Domains und gruppierten dann dieselbe inhaltsverifizierte Erfolgsmessung nach Anbieter. Akamai deckt 42 ab, Cloudflare 16, AWS WAF 10, HUMAN 8 und DataDome 6 ab, und 18 Domains nutzen Anbieter, die für eine Darstellung zu klein sind.

Die größte Spreizung besteht bei DataDome, das 6 der Domains schützt. Bright Data erreichte dort 92.5 %, gegenüber 46.0 % bis 75.3 % bei den anderen drei Anbietern.

Bei Akamai, der größten Gruppe mit 42 Domains, reichen die vier Anbieter von 65.7 % bis 70.4 %, mit überlappenden Intervallen.

E-Commerce-Scraper-Preise

*Die Preisgestaltung von Bright Data erfolgt pro Datensatz (ein extrahierter Artikel, z. B. ein Produkt oder eine Bewertung), nicht pro Anfrage. Auf Suchseiten kann eine einzelne Anfrage mehrere Datensätze zurückgeben.

Die effektiven Kosten für 1.000 erfolgreiche Produktseiten hängen vom monatlichen Volumen ab: Nimble ist pauschal $1, Bright Data $1,30–$1,50, Zyte $4,08–$8,55 und Apify $3,29–$13,70 (bereinigt um seine Erfolgsrate von 70.1 %, da jeder Versuch abgerechnet wird).

Bright Data, Nimble und Zyte rechnen nur erfolgreiche Lieferungen ab.

Überblick über die E-Commerce-Scraper

Bright Data bietet eine Web-Scraper-API in Kombination mit einer No-Code-Oberfläche sowie einen dedizierten E-Commerce-Scraper und über 1.000 fertige Scraper für Marktplätze wie Amazon, eBay, AliExpress, Walmart und Target. Die Kombination aus API-Zugang und No-Code-Dashboard macht es sowohl für Entwicklungs- als auch für nicht-technische Teams nutzbar. In unserem Benchmark erzielte Bright Data die höchste Gesamterfolgsrate und war einer der wenigen Anbieter, der seine Rate unter hoher gleichzeitiger Last halten konnte.

Leistung:

• Höchste Gesamterfolgsrate: 76 % über 100 Domains.
• Hielt seine Rate unter Last: einer von zwei Anbietern, der bei 5.000 gleichzeitigen Anfragen erfolgreich blieb (71 %).

Zyte API ist eine Web-Scraping-API, die Bann-Handling, Headless-Rendering und KI-Extraktionsfunktionen kombiniert, um rohes HTML in typisierte Daten wie Produktnamen, Preise und Bewertungen von Einzelhandels-Produktseiten zu strukturieren. Sie ist über REST zugänglich und integriert sich in das Open-Source-Framework Scrapy, das Zyte zusammen mit dem Scrapy-Cloud-Hosting pflegt. In unserem Benchmark erzielte sie die zweithöchste Gesamterfolgsrate und blieb auf großen Marktplätzen und bei erhöhter Parallelität konsistent.

Leistung:

• Zweithöchste Gesamterfolgsrate: 72 % über 100 Domains.
• Konsistent auf großen Marktplätzen: Amazon 95 %, Walmart 97 %, Target 96 %, eBay 98 %.
• Geringste Produkt-Such-Lücke: 74 % auf Produktseiten und 70 % auf Suchseiten – die schmalste Lücke zwischen beiden bei allen Anbietern.

Apifys Marktplatz hostet Tausende von Actors, die von Apify und seiner Community erstellt wurden und sowohl Entwickler als auch Agenten bedienen.

Für unseren Benchmark verwendeten wir das E-Commerce-Scraping-Tool, einen einzelnen universellen Actor, der Produkt- und Preisdaten, Kategoriedetails, Bewertungen und Verkäuferinformationen von Einzelhandelsplattformen und Marktplätzen wie Amazon, Walmart und eBay aus einer Produkt-URL, einer Kategorie-URL oder einer Stichwortsuche extrahiert.

Leistung:

• Erfolg bei Standardlast: 70 % insgesamt, 96 % bei Amazon und 92 % bei Best Buy.
• Flexibilität: akzeptiert eine Produkt-URL, eine Kategorie-URL oder eine Stichwortsuche und exportiert JSON, CSV, Excel, XML oder HTML.
• Antwortzeit und Last: 46 Sekunden mediane Antwortzeit.

Nimble bietet eine universelle Web-Scraping-API sowie eine dedizierte E-Commerce-API, die KI- und NLP-strukturiertes JSON zurückgibt und große Marktplätze unterstützt, darunter Amazon, Walmart und Google Shopping. Die API umfasst integrierte Residential-Proxys und Geo-Targeting bis hinunter auf Länder-, Bundesstaats-, Stadt- und Postleitzahlebene. In unserem Benchmark hielt Nimble seine Erfolgsrate unter hoher gleichzeitiger Last besser als jeder Anbieter außer Bright Data.

Leistung:

• Zweitbeste Widerstandsfähigkeit unter Last: hielt 56 % Erfolg bei 5.000 gleichzeitigen Anfragen, hinter Bright Data.
• Schnell: etwa 9 Sekunden mediane Antwortzeit.
• Domänenspezifische Stärke: 100 % bei AliExpress, 90 % bei Best Buy und 25 % bei Amazon.

Dedizierte Scraper-Abdeckung nach Anbieter

Anbieter unterscheiden sich darin, wie sie Daten extrahieren. Einige liefern einen dedizierten, vorgefertigten Scraper für jeden Marktplatz, der die strukturierten Felder der Website zurückgibt; andere wenden eine universelle Engine auf jede Website an. Bright Data bot die breiteste dedizierte Abdeckung über die 100 Domains. Zyte und Apify verwenden eine einzige universelle Extraktions-Engine statt einer marktplatzspezifischen Bibliothek.

Für jeden Anbieter zählt die Spalte Metadatenfelder die unterschiedlichen Datenattribute in einem geparsten JSON-Produktdatensatz, wie Preis, Marke, Bewertung, SKU oder Bild. Der Wert ist der Durchschnitt über die Produktseiten, die einen geparsten Produktdatensatz zurückgaben, und schließt HTTP-Header, Anforderungsmetadaten und jedes Feld aus, das rohe HTML der Seite enthält.

Die dedizierten Scraper von Bright Data liefern Daten von Produktseiten. Die Abdeckung spiegelt den Katalog jedes Anbieters zum Zeitpunkt des Benchmarks wider.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

E-Commerce-Benchmark-Methodik

Domain-Auswahl

Wir wählten die Top-15-Länder nach BIP aus und schlossen Russland und China aus. Für jedes Land übernahmen wir die Top-5-Domains der letzten drei Monate aus der E-Commerce-Kategorie von SimilarWeb. Wir ergänzten die Top-5-Websites weltweit in den Bereichen Unterhaltungselektronik und Lebensmittel. Für die Vereinigten Staaten, die den ersten Platz belegten, übernahmen wir außerdem die Top-20-Einzelhandels-Domains von Semrush, da die öffentlichen Semrush-Listen 20 Websites zeigen, während SimilarWeb nur 5 zeigt.

Anschließend nahmen wir die weltweiten Top-20-Domains der Einzelhandelskategorie und die Top-20-Domains der Kategorie Bekleidung/Mode für Januar 2026 auf. Wir schlossen Domains aus, die Länder außerhalb der ausgewählten Gruppe bedienen, Websites, die zum Durchsuchen eine Authentifizierung erfordern, und Websites, die vor dem Durchsuchen eine Länderauswahl auf der Landingpage verlangen. Wir schlossen regionale Pfade globaler Domains aus (z. B. etsy.com/fr), behielten aber regionale Websites mit eigener Domain bei. Wenn eine Ausgrenzung eine Lücke in den Top 5 eines Landes hinterließ, füllten wir sie aus der Top-20-E-Commerce-Liste von Semrush für dieses Land. Um 100 Domains zu erreichen, fügten wir 10 Auswahlen aus Top-E-Commerce-Marktplätzen hinzu.

Zwei Einzelmarken-Domains, apple.com und consumer.huawei.com, lieferten selbst nach dem Crawlen aller Kategorien nur wenige hundert unterschiedliche Produkte und lagen damit unter dem Ziel pro Domain. Wir ersetzten sie durch zwei Domains mit hohem Traffic laut SimilarWeb: bol.com und argos.co.uk.

URL-Erfassung

Für jede Domain sammelten wir sowohl Produkt- als auch Listing-URLs und behielten genügend Ersatz-URLs, damit jeder Lauf und Lasttest aus einem frischen Satz schöpft. Wir ermittelten jede URL, ohne die Zielseite über einen der benchmarkten Anbieter abzurufen, sodass diese Seiten vor dem eigentlichen Benchmark ungenutzt bleiben.

Für Produkt-URLs verwendeten wir nacheinander drei Quellen und hörten auf, sobald eine Domain ihr Ziel erreichte:

• Die eigene Produkt-Sitemap der Website.
• Ein Crawl der eigenen Kategorieseiten der Website (von der Homepage bis zu Kategorie- und Unterkategorieseiten), wenn die Sitemap fehlte oder zu klein war, wobei Produktlinks gesammelt wurden, während nur Kategorieseiten abgerufen wurden, aber niemals die Produktseite.
• Eine auf die Website beschränkte Suche von Google, wenn eine Domain noch zu wenig URLs hatte.

Jede URL wurde mit einem domainspezifischen Produktmuster abgeglichen, um Nicht-Produktseiten zu verwerfen. Jede Domain, die weiterhin unter dem Ziel lag, wurde für eine manuelle Überprüfung markiert oder durch eine Ersatzdomain ersetzt.

Für Such-URLs generierten wir Suchanfragen aus dem eigenen Katalog der jeweiligen Domain und nicht aus einer externen Wortliste. Die Keywords stammten aus den Kategorienamen und Produkt-Slugs der Website, sind also in der Sprache der Website (eine japanische oder koreanische Website wird in ihrer eigenen Sprache abgefragt, ohne separaten Übersetzungsschritt), und wurden optional zu allgemeinen Kategoriebegriffen wie „running shoes“ verallgemeinert. Wir führten die Suchanfragen gegen den Such-Endpunkt der Website oder, falls keine Keyword-Suche existiert, gegen ihre Kategorieseiten aus und behielten die Anfragen, die mehrere unterschiedliche Produkte zurückgaben. Alle URLs wurden dann auf eine Locale pro Domain normalisiert, von Tracking-Parametern bereinigt und dedupliziert.

URL-Validierung

Da der Benchmark jede URL mit jedem Anbieter abruft, würde die Validierung des gesamten Satzes die ungenutzten URLs verbrauchen. Daher validierten wir eine Stichprobe von etwa einem Dutzend jedes Seitentyps pro Domain, also ungefähr 2.500 URLs. Wir bestätigten, dass Produktseiten live waren und einen Preis anzeigten und dass Listingseiten live waren und mehrere unterschiedliche Produkte zurückgaben, statt einer leeren Seite oder eines einzelnen Produkts. Wir entfernten Staging- und QA-Subdomains sowie gemischte Locales und schlossen jede geprüfte URL aus dem ausgelieferten Satz aus.

Benchmark-Durchführung

Jeder Anbieter rief dieselben frischen URLs ab, wobei bei jedem Lauf eine gleiche Anzahl von Seiten aus jeder Domain stammte. Wenn ein Anbieter einen dedizierten E-Commerce-Scraper für eine Domain anbot, verwendeten wir diesen; andernfalls nutzten wir den allgemeinen Web-Unblocker des Anbieters. Alle Anbieter liefen vom selben Serverstandort, sodass der Standort keinem Anbieter einen Vorteil verschaffte.

Um das Verhalten unter Last statt des Best-Case-Verhaltens zu messen, führten wir den gesamten Satz auf drei Parallelitätsstufen von 5, 100 und 5.000 gleichzeitigen Anfragen aus. Ein HTTP-200-Status zählte allein nicht als Erfolg. Für jede URL definierten wir vorab die erwarteten Daten und prüften dann die zurückgegebene Seite dagegen: Eine Antwort galt nur dann als Erfolg, wenn ihr Inhalt mit dieser Ground Truth über einen CSS-Selektor oder ein strukturiertes (JSON)-Feld mit den Zieldaten übereinstimmte (ein Preis und Produktfelder auf einer Produktseite, mehrere unterschiedliche Produkte auf einer Listingseite).

Eine Blockseite, ein Captcha oder eine leere Hülle wurde selbst mit einem 200-Status mit null bewertet. Jedes Diagramm in diesem Artikel verwendet diese inhaltsverifizierte Erfolgsrate. Wir protokollierten den HTTP-Status und die End-to-End-Antwortzeit und geben die Antwortzeit als Median (P50) und Tail (P90) der erfolgreichen Anfragen an.

Nur Bright Data und Nimble hielten einen vollständigen Lauf auf dem Niveau von 5.000 Anfragen durch; die anderen beiden Anbieter waren bei dieser Last durch kontobasierte Parallelitäts- oder Guthabenlimits eingeschränkt, nicht durch die Scraping-Fähigkeit, und werden daher bei dieser Parallelität nicht dargestellt.

Anti-Bot-Erkennung

Wir kennzeichneten jede der 100 Domains getrennt vom Benchmark-Lauf, indem wir zwei Anfragen an dieselben Produkt- und Such-URLs sendeten, die der Benchmark verwendete, da Bot-Abwehrmaßnahmen in der Regel auf diesen Pfaden und nicht auf einer Homepage aktiv sind. Ein einfacher Befehlszeilen-Client, den 70 der 100 Domains blockierten, erhält eine Blockseite, die den Anbieter nennt. Die anderen 30 sind anhand der Cookies und der Abwehrskripte identifizierbar, die eine normale browserähnliche Antwort mit sich bringt. Domains, die eine direkte Anfrage von unserem Standort verweigerten, wurden über einen Proxy abgerufen.

Wir gewichteten die Belege, statt jedes Signal als gleichwertig zu behandeln. Ein Cookie oder Header, der für ein Bot-Abwehrprodukt einzigartig ist, wie _abck von Akamai oder datadome von DataDome, gilt als aktivierte Abwehr, und eine Challenge-Seite, die den Anbieter nennt, zählt ebenso. Eine generische Deny-Seite belegt das Unternehmen, aber nicht das Produkt, und alleinige Header auf Delivery-Ebene sind kein Beleg für Bot-Abwehr. Wir prüften die mehrdeutigen Marker anhand der Anbieterdokumentation und der Cookie-Hinweise der Website und führten dann einen Durchgang durch, der versuchte, jede Zuordnung zu widerlegen. Dabei wurden mehrere korrigiert, darunter die __uzm-Cookies auf eBay, die zu Radware und nicht zu Imperva gehören.

Ist E-Commerce-Scraping legal?

Es ist legal, öffentliche Informationen wie Produktnamen, Preise und Lagerbestände zu sammeln, solange Sie keine Logins umgehen oder auf private Daten zugreifen.

Für einige Plattformen gelten jedoch neue KI-Regeln. So änderte eBay ab 2026 seine Nutzungsbedingungen, um „LLM-gesteuerte Bots“ und „Kauf-für-mich-Agenten“ ohne schriftliche Genehmigung von der Nutzung seiner Plattform auszuschließen. Diese Aktualisierung reagiert auf den Aufstieg des „agentischen Handels“.¹

Während allgemeines Scraping weiterhin legal ist, unterliegt die Nutzung von KI-Agenten zur Interaktion mit Marktplätzen nun strengeren Regeln.

FAQs

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dogan2026,
  author = {Dogan, Sedat and Sarı, Ekrem},
  title  = {{E-Commerce-Scraper: 4 Anbieter im Benchmark}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/ecommerce-scraper}},
  note   = {AIMultiple. Abgerufen am 21. August 2026}
}

Referenzlinks

1.

Security Measure | eBay

Sedat Dogan

CTO

Folgen auf

Sedat ist ein Technologie- und Informationssicherheitsleiter mit 20 Jahren Erfahrung in Softwareentwicklung, Netzwerkinfrastruktur und Cybersicherheit. Sedat:
Verfügt über 20 Jahre Erfahrung als White-Hat-Hacker und Entwicklungsguru mit umfassender Expertise in Programmiersprachen und Serverarchitekturen.
Ist Beiratsmitglied bei einem VC, der in Technologieunternehmen in der Frühphase investiert, und bei Ödeal, einer regionalen digitalen Zahlungsplattform, die 125.000 Händler bedient.
Hat die Technologieinfrastruktur und Cybersicherheit von sieben nationalen Wahlen geleitet und wurde von globalen Technologieführern, darunter Twitter, in die Cybersecurity Hall of Fame aufgenommen.

Vollständiges Profil anzeigen

Technisch geprüft von

Ekrem Sarı

KI-Forscher

Folgen auf

Ekrem ist KI-Forscher und Datenanalyst bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten