Web-Data-Scraping-Benchmarks

AIM Web Data Scraping Index Methodology

Der Index verwendet die Rohergebnisse aller von uns veröffentlichten Web-Daten-Benchmarks. Ein Benchmark zählt, wenn er Web-Daten-Anbieter testet und das Ergebnis jeder Anfrage erfasst. Der Indexwert eines Anbieters ist der Durchschnitt seiner Erfolgsraten in den Benchmarks, an denen er teilgenommen hat. Ein Anbieter wird nur gerankt, wenn er in mindestens 80 % der Benchmarks getestet wurde. Dieselbe Regel verwendet der SDG Index. Anbieter darunter erscheinen weiter in den Diagrammen, aber ohne Rang. Jeder Benchmark hat dasselbe Gewicht, eine Studie mit 1.400 Anfragen zählt also genauso viel wie eine mit 260.000. Erfolg bedeutet, dass die Antwort die Zielseite mit dem angefragten Inhalt zurückgegeben hat. Wir prüfen das gegen Bot-Seiten und leere Hüllen, eine 200-Antwort mit einer Challenge-Seite zählt also als Fehlschlag. Wurde ein Anbieter in einem Benchmark nie getestet, zeigen wir einen Strich statt einer Null.

Die Ziele stammen aus der Tranco-Liste, die Domains anhand des Durchschnitts mehrerer Traffic-Rankings ordnet. Vor dem Test entfernen wir nicht erreichbare, nicht jugendfreie, Glücksspiel- und schädliche Hosts. Die Domains sind in Kategorien gruppiert: E-Commerce, soziale Medien, Suchmaschinen, Video und Streaming, Reisen, Bewertungen, Essenslieferung, App-Stores, Immobilien, Stellenanzeigen, Nachrichten und Verlage, Entwickler und SaaS, Finanzen sowie Behörden und Bildung. Domain-Abdeckung und Unterstützung für strukturiertes JSON werden auf den Top 100 geprüft. Die Kosten gelten pro 1.000 erfolgreiche Seiten, nicht pro 1.000 gesendete Anfragen. Wir nehmen den günstigsten Tarif, den ein Anbieter bei diesem Volumen anbietet, und teilen ihn durch die gemessene Erfolgsrate. Die Bearbeitungszeit ist die Dauer einer Anfrage vom Start bis zum Ende. Metadatenfelder sind die geparsten Felder, die ein Anbieter liefert, wenn er mit JSON antwortet. KI-bereit ist der Anteil der Antworten, die als sauberes Markdown zurückkamen. Die Anti-Bot-Ergebnisse stammen aus zwei unserer Läufe: dem Unblocker-Benchmark über 10.000 Domains und dem E-Commerce-Benchmark über die Top-100-Domains, wobei jede Domain mit dem Anbieter gekennzeichnet ist, der sie schützt. Die Fehlerbalken sind 95-%-Konfidenzintervalle.