E-Commerce-Scraper: 4 Anbieter im Benchmark

Wir haben vier Webdaten-Anbieter über 100 E-Commerce-Domains hinweg in einem Benchmark getestet und dabei 65.000 Produkt- und Suchseiten mit jeweils 5 bis 5.000 gleichzeitigen Anfragen abgerufen.

Antwortzeit und Erfolgsquote

Über die Parallelitätsstufen gemittelt erreichte Bright Data die höchste Erfolgsquote (76 %) bei einem Median von 16 Sekunden. Apify verzeichnete die höchste mediane Antwortzeit mit 46 Sekunden.

Die Antwortzeit wird als Median (P50) der typischen Anfrage und als Tail (P90) der langsamsten 10 % der Anfragen angegeben.

Die Erfolgsquoten werden über die Parallelitätsstufen 5 und 100 gemittelt, da nur Bright Data und Nimble einen vollständigen Lauf bei 5.000 abgeschlossen haben.

Siehe unsere E-Commerce-Benchmark-Methodik, um zu erfahren, wie wir getestet haben.

Erfolgsquote des E-Commerce-Scrapers nach Parallelität

Bright Data erzielte die höchste Gesamterfolgsquote. Bei 5.000 parallelen Anfragen hielt Bright Data 71 % und Nimble 56 %.

Parallelität bezeichnet die Anzahl der gleichzeitig gesendeten Anfragen. Das Niveau von 5.000 Anfragen belastet die Ratenlimits und die Infrastruktur eines Anbieters.

Erfolgsquote auf Produkt- und Suchseiten

Jeder Anbieter erzielte auf Produktseiten (Detailseiten) höhere Werte als auf Suchseiten (Übersichtsseiten).

• Suchseiten (Übersichtsseiten) liefern viele Artikel aus einer Suchanfrage oder Kategorie, oft paginiert und dynamisch gerendert, was eine konsistente Extraktion erschwert.
• Produktseiten (Detailseiten) zeigen einen einzelnen Artikel mit strukturierten Feldern wie Titel, Preis, SKU und Bildern.

Erfolgsquote nach Anti-Bot-Anbieter

Wir haben den Anti-Bot-Anbieter für jede der 100 Domains identifiziert und dann dieselbe inhaltlich verifizierte Erfolgsmessung nach Anbieter gruppiert. Akamai deckt 42 ab, Cloudflare 16, AWS WAF 10, HUMAN 8 und DataDome 6, und 18 Domains verwenden Anbieter, die zu klein für die Darstellung sind.

Die größte Spreizung besteht bei DataDome, das 6 der Domains schützt. Bright Data erzielte dort 92.5 %, gegenüber 46.0 % bis 75.3 % für die anderen drei Anbieter.

Auf Akamai, der größten Gruppe mit 42 Domains, liegen die vier Anbieter zwischen 65.7 % und 70.4 %, mit überlappenden Intervallen.

Bewertung der E-Commerce-Scraper

Bright Data bietet eine Web-Scraper-API kombiniert mit einer No-Code-Oberfläche sowie einen dedizierten E-Commerce-Scraper und über 1.000 fertige Scraper, die Marktplätze wie Amazon, eBay, AliExpress, Walmart und Target abdecken. Die Kombination aus API-Zugang und No-Code-Bedienfeld macht die Lösung sowohl für Engineering- als auch für nicht-technische Teams nutzbar. In unserem Benchmark erzielte Bright Data die höchste Gesamterfolgsquote und war einer der wenigen Anbieter, der seine Quote unter starker paralleler Last halten konnte.

Leistung:

• Höchste Gesamterfolgsquote: 76 % über 100 Domains.
• Quote unter Last gehalten: einer von zwei Anbietern, der bei 5.000 gleichzeitigen Anfragen erfolgreich blieb (71 %).

Zyte API ist eine Web-Scraping-API, die Bann-Handling, Headless-Rendering und KI-Extraktionsfunktionen kombiniert, um rohes HTML in typisierte Daten wie Produktnamen, Preise und Bewertungen von Einzelhandels-Produktseiten zu strukturieren. Sie ist über REST zugänglich und lässt sich in das Open-Source-Framework Scrapy integrieren, das Zyte pflegt, zusammen mit Scrapy Cloud Hosting. In unserem Benchmark erzielte sie die zweithöchste Gesamterfolgsquote und blieb über große Marktplätze hinweg sowie bei erhöhter Parallelität konsistent.

Leistung:

• Zweithöchste Gesamterfolgsquote: 72 % über 100 Domains.
• Konsistent auf den großen Marktplätzen: Amazon 95 %, Walmart 97 %, Target 96 %, eBay 98 %.
• Kleinste Produkt-Such-Lücke: 74 % auf Produktseiten und 70 % auf Suchseiten, die geringste Lücke zwischen beiden von allen Anbietern.

Der Apify-Marktplatz hostet Tausende von Actors, die von Apify und seiner Community erstellt wurden und sowohl Entwicklern als auch Agenten dienen.

In unserem Benchmark verwendeten wir das E-Commerce Scraping Tool, einen einzigen universellen Actor, der Produkt- und Preisdaten, Kategoriedetails, Bewertungen und Verkäuferinformationen von Einzelhandelsplattformen und Marktplätzen wie Amazon, Walmart und eBay extrahiert – aus einer Produkt-URL, einer Kategorie-URL oder einer Keyword-Suche.

Leistung:

• Erfolg bei Standardlast: 70 % insgesamt, 96 % auf Amazon und 92 % bei Best Buy.
• Flexibilität: akzeptiert eine Produkt-URL, eine Kategorie-URL oder eine Keyword-Suche und exportiert JSON, CSV, Excel, XML oder HTML.
• Antwortzeit und Last: mediane Antwortzeit von 46 Sekunden.

Nimble bietet eine Allzweck-Web-Scraping-API neben einer dedizierten E-Commerce-API, die KI- und NLP-strukturierte JSON zurückgibt und große Marktplätze wie Amazon, Walmart und Google Shopping unterstützt. Die API umfasst integrierte Residential-Proxies und Geo-Targeting bis auf Länder-, Bundesstaats-, Stadt- und Postleitzahlen-Ebene. In unserem Benchmark hielt Nimble seine Erfolgsquote unter starker paralleler Last besser als jeder Anbieter außer Bright Data.

Leistung:

• Zweitbeste Widerstandsfähigkeit unter Last: hielt 56 % Erfolg bei 5.000 gleichzeitigen Anfragen, hinter Bright Data.
• Schnell: eine mediane Antwortzeit von etwa 9 Sekunden.
• Domänenspezifische Stärke: 100 % auf AliExpress und 90 % bei Best Buy, 25 % auf Amazon.

Abdeckung durch dedizierte Scraper nach Anbieter

Anbieter unterscheiden sich darin, wie sie Daten extrahieren. Einige liefern einen dedizierten, vorgefertigten Scraper für jeden Marktplatz, der die strukturierten Felder der Website zurückgibt; andere wenden eine universelle Engine auf jede Website an. Bright Data bot die breiteste dedizierte Abdeckung über die 100 Domains. Zyte und Apify verwenden eine einzige universelle Extraktions-Engine anstelle einer marktplatzspezifischen Bibliothek.

Für jeden Anbieter zählt die Spalte Metadatenfelder die unterschiedlichen Datenattribute in einem geparsten JSON-Produktdatensatz, wie Preis, Marke, Bewertung, SKU oder Bild. Der Wert ist der Durchschnitt über die Produktseiten, die einen geparsten Produktdatensatz zurückgaben, und schließt HTTP-Header, Anfrage-Metadaten und jedes Feld aus, das Roh-HTML der Seite enthält.

Die dedizierten Scraper von Bright Data liefern Produktseitendaten. Die Abdeckung spiegelt den Katalog jedes Anbieters zum Zeitpunkt des Benchmarks wider.

Preise für E-Commerce-Scraper

*Die Preise von Bright Data gelten pro Datensatz (ein extrahiertes Element, z. B. ein Produkt oder eine Bewertung), nicht pro Anfrage. Auf Suchseiten kann eine einzelne Anfrage mehrere Datensätze zurückgeben.

In unserem Benchmark kostete das Abrufen von 1.000 Produktseiten mit dem erwarteten Inhalt $1.30 bei Nimble, $1.52 bei Bright Data, $3.32 bei Zyte und $7.50 bei Apify. Fehlgeschlagene Anfragen zählen zu den Ausgaben, aber nicht zur Gesamtzahl der Seiten, daher handelt es sich um effektive Raten und nicht um Listenpreise.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

E-Commerce-Benchmark-Methodik

Domain-Auswahl

Wir wählten die Top-15-Länder nach BIP aus und schlossen Russland und China aus. Für jedes Land nahmen wir die Top-5-Domains aus den letzten drei Monaten der E-Commerce-Kategorie von SimilarWeb. Wir ergänzten die Top-5-Websites weltweit aus den Bereichen Unterhaltungselektronik und Lebensmittel. Für die Vereinigten Staaten, die den ersten Platz belegten, nahmen wir außerdem die Top-20 Domains der Einzelhandelskategorie von Semrush, da öffentliche Semrush-Listen 20 Websites zeigen, während SimilarWeb 5 zeigt.

Anschließend nahmen wir die globalen Top-20 der Einzelhandelskategorie und die Top-20 der Kategorie Bekleidung/Mode für Januar 2026 auf. Wir schlossen Domains aus, die Länder außerhalb des ausgewählten Satzes bedienten, Websites, die zum Browsen eine Authentifizierung erforderten, und Websites, die vor dem Browsen eine Länderauswahl auf der Landingpage verlangten. Wir schlossen regionale Pfade globaler Domains aus (zum Beispiel etsy.com/fr), behielten aber regionale Websites mit einer eigenen Domain. Wo ein Ausschluss eine Lücke in den Top 5 eines Landes hinterließ, füllten wir sie aus der Top-20 E-Commerce-Liste von Semrush für dieses Land. Um 100 Domains zu erreichen, fügten wir 10 Auswahlen aus führenden E-Commerce-Marktplätzen hinzu.

Zwei Einzelmarken-Domains, apple.com und consumer.huawei.com, lieferten selbst nach dem Crawlen aller Kategorien nur wenige hundert unterschiedliche Produkte und lagen damit unter dem Zielwert pro Domain. Wir ersetzten sie durch zwei Domains mit hohem Traffic laut SimilarWeb, bol.com und argos.co.uk.

URL-Erfassung

Für jede Domain sammelten wir sowohl Produkt- als auch Listing-URLs und behielten genügend Reserve-URLs, damit jeder Lauf und Lasttest aus einem frischen Satz schöpfen kann. Wir haben jede URL entdeckt, ohne die Zielseite über einen der Benchmark-Anbieter abzurufen, sodass diese Seiten vor dem eigentlichen Benchmark ungenutzt bleiben.

Für Produkt-URLs verwendeten wir nacheinander drei Quellen und hörten auf, sobald eine Domain ihr Ziel erreicht hatte:

• Die eigene Produkt-Sitemap der Website.
• Ein Crawl der eigenen Kategorieseiten der Website (von der Startseite über Kategorie- und Unterkategorieseiten), wenn die Sitemap fehlte oder zu klein war, wobei Produktlinks gesammelt wurden, während Kategorieseiten abgerufen wurden, aber nie die Produktseite.
• Google website-beschränkte Suche, wenn eine Domain immer noch unter dem Zielwert lag.

Jede URL wurde mit einem domain-spezifischen Produktmuster abgeglichen, um Nicht-Produktseiten zu verwerfen, und jede Domain, die weiterhin unter dem Zielwert lag, wurde für eine manuelle Überprüfung markiert oder durch eine Backup-Domain ersetzt.

Für Such-URLs generierten wir Suchanfragen aus dem eigenen Katalog jeder Domain und nicht aus einer externen Wortliste. Die Schlüsselwörter stammten aus den Kategorienamen und Produkt-Slugs der Website und liegen daher in der Sprache der Website vor (eine japanische oder koreanische Website wird in ihrer eigenen Sprache abgefragt, ohne separaten Übersetzungsschritt), und wurden optional zu allgemeinen Kategoriebegriffen wie „Laufschuhe“ verallgemeinert. Wir führten die Suchanfragen gegen den Such-Endpoint der Website oder ihre Kategorieseiten aus, wo keine Stichwortsuche vorhanden war, und behielten die Suchanfragen, die mehrere unterschiedliche Produkte zurückgaben. Alle URLs wurden dann auf eine Locale pro Domain normalisiert, von Tracking-Parametern bereinigt und dedupliziert.

URL-Validierung

Da der Benchmark jede URL mit jedem Anbieter abruft, würde eine Validierung des gesamten Satzes die ungenutzten URLs verbrauchen. Daher validierten wir eine Stichprobe von etwa einem Dutzend jedes Seitentyps pro Domain, insgesamt rund 2.500 URLs. Wir bestätigten, dass Produktseiten live waren und einen Preis anzeigten, und dass Listing-Seiten live waren und mehrere unterschiedliche Produkte zurückgaben statt einer leeren Seite oder eines einzelnen Produkts. Wir entfernten Staging- und QA-Subdomains sowie gemischte Locales und schlossen jede geprüfte URL aus dem gelieferten Satz aus.

Benchmark-Durchführung

Jeder Anbieter rief dieselben frischen URLs ab, wobei bei jedem Lauf eine gleiche Anzahl von Seiten aus jeder Domain gezogen wurde. Wenn ein Anbieter einen dedizierten E-Commerce-Scraper für eine Domain anbot, verwendeten wir diesen; andernfalls nutzten wir den allgemeinen Web-Unblocker des Anbieters. Alle Anbieter liefen von demselben Serverstandort aus, sodass der Standort keinem Anbieter einen Vorteil verschaffte.

Um das Verhalten unter Last anstelle des Best-Case-Verhaltens zu messen, führten wir den vollständigen Satz mit drei Parallelitätsstufen von 5, 100 und 5.000 parallelen Anfragen aus. Ein HTTP-200-Status zählte allein nicht als Erfolg. Für jede URL definierten wir die erwarteten Daten im Voraus und prüften dann die zurückgegebene Seite dagegen: Eine Antwort zählte nur dann als Erfolg, wenn ihr Inhalt mit dieser Ground Truth über einen CSS-Selektor oder ein strukturiertes (JSON)-Feld übereinstimmte, das die Zieldaten trug (einen Preis und Produktfelder auf einer Produktseite, mehrere unterschiedliche Produkte auf einer Listing-Seite).

Eine Blockseite, ein Captcha oder eine leere Hülle wurde selbst mit einem 200-Status mit null bewertet. Jedes Diagramm in diesem Artikel verwendet diese inhaltsgeprüfte Erfolgsquote. Wir protokollierten den HTTP-Status und die End-to-End-Antwortzeit und berichten die Antwortzeit als Median (P50) und Tail (P90) erfolgreicher Anfragen.

Nur Bright Data und Nimble hielten einen vollständigen Lauf auf dem Niveau von 5.000 Anfragen durch; die anderen beiden Anbieter waren bei dieser Last durch kontobezogene Parallelitäts- oder Guthabenlimits eingeschränkt, nicht durch Scraping-Fähigkeiten, und werden daher bei dieser Parallelität nicht angezeigt.

Anti-Bot-Erkennung

Wir haben jede der 100 Domains unabhängig vom Benchmark-Lauf gekennzeichnet und zwei Anfragen an dieselben Produkt- und Such-URLs gesendet, die der Benchmark verwendet hat, da Bot-Abwehrmaßnahmen in der Regel auf diesen Pfaden und nicht auf einer Startseite aktiv sind. Ein einfacher Kommandozeilen-Client, den 70 der 100 Domains blockierten, erzeugt eine Blockseite, die ihren Anbieter nennt. Die anderen 30 sind anhand der Cookies und der Abwehrskripte erkennbar, die eine normale browserähnliche Antwort enthält. Domains, die eine direkte Anfrage von unserem Standort verweigerten, wurden über einen Proxy abgerufen.

Wir haben die Evidenz bewertet, anstatt jedes Signal als gleichwertig zu behandeln. Ein Cookie oder Header, der eindeutig für ein Bot-Abwehrprodukt ist, wie _abck von Akamai oder datadome von DataDome, zählt als aktivierter Schutz, und eine Challenge-Seite, die ihren Anbieter nennt, zählt ebenso. Eine generische Ablehnungsseite weist das Unternehmen nach, aber nicht das Produkt, und Header der Delivery-Schicht allein sind keine Bot-Abwehr-Behauptung. Wir haben die mehrdeutigen Marker mit der Anbieterdokumentation und den Cookie-Hinweisen der Website abgeglichen und anschließend einen Durchgang ausgeführt, der versuchte, jede Zuschreibung zu widerlegen. Dabei wurden mehrere korrigiert, darunter die __uzm-Cookies auf eBay, die zu Radware und nicht zu Imperva gehören.

Ist E-Commerce-Scraping legal?

Es ist legal, öffentliche Informationen wie Produktnamen, Preise und Lagerbestände zu sammeln, solange Sie keine Logins umgehen oder auf private Daten zugreifen.

Allerdings werden neue KI-Regeln für einige Plattformen gelten. Zum Beispiel hat eBay ab 2026 seine Nutzungsbedingungen geändert, um „LLM-getriebene Bots“ und „Kauf-für-mich-Agenten“ die Nutzung seiner Plattform ohne schriftliche Erlaubnis zu verbieten. Dieses Update reagiert auf den Aufstieg des „agentic commerce“.¹

Während allgemeines Scraping weiterhin legal ist, unterliegt die Nutzung von KI-Agenten zur Interaktion mit Marktplätzen nun strengeren Regeln.

FAQs

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dogan2026,
  author = {Dogan, Sedat and Sarı, Ekrem},
  title  = {{E-Commerce-Scraper: 4 Anbieter im Benchmark}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/ecommerce-scraper}},
  note   = {AIMultiple. Abgerufen am 14. August 2026}
}

Referenzlinks

1.

Security Measure | eBay

Sedat Dogan

CTO

Folgen auf

Sedat ist ein führender Experte für Technologie und Informationssicherheit mit Erfahrung in Softwareentwicklung, Web-Datenerfassung und Cybersicherheit. Sedat: – Verfügt über 20 Jahre Erfahrung als White-Hat-Hacker und Entwicklungsexperte mit umfassenden Kenntnissen in Programmiersprachen und Serverarchitekturen. – Berät Führungskräfte und Vorstandsmitglieder von Unternehmen mit hohem Datenverkehr und geschäftskritischen Technologieanwendungen wie Zahlungsinfrastruktur. – Besitzt neben seiner technischen Expertise auch ausgeprägtes betriebswirtschaftliches Verständnis.

Vollständiges Profil anzeigen

Technisch geprüft von

Ekrem Sarı

KI-Forscher

Folgen auf

Ekrem ist KI-Forscher und Datenanalyst bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten