Webarchiv-APIs: 4 Top-Anbieter getestet & verglichen

Ein Webarchiv speichert Seiten, die gesammelt wurden, bevor Sie danach gefragt haben, sodass Sie abrufen können, ohne die Websites selbst zu crawlen. Was die einzelnen Anbieter speichern und wie viel davon sie herausgeben, variiert stark.

Wir haben 4 von ihnen mit Beispielabfragen getestet, um zu sehen, wie sie funktionieren und was sie zurückgeben.

Funktionsvergleich der Webarchiv-APIs

• Rohes HTML verfügbar: Seiten-Markup, wie der Server es gesendet hat. Webz.ios Nutzungsbedingungen erwähnen „die vollständigen HTML-Seiten“, aber das Archiv liefert ein text-Feld und gewährt keine Rechte an den Rohdateien.
• Massenzustellung an Ihren eigenen Speicher: eine gefilterte Auswahl, die an ein Ziel geschrieben wird, das Sie kontrollieren. Common Crawls Korpus liegt auf öffentlichem S3 zum Herunterladen bereit; nichts wird irgendwohin gesendet. Webz.io liefert nur über seine API.
• Live-Scraping vom selben Anbieter: deckt die Produktfamilie ab, nicht nur den Archiv-Endpunkt, und beantwortet so, ob ein Anbieter sowohl archivierte als auch nie archivierte Seiten abdecken kann. Exa ist der einzige Anbieter, bei dem der Fallback im selben Aufruf liegt.

Preis & kostenlos Gutschriften

Bright Data berechnet 0.2 $ pro 1.000 Seiten für Daten aus den letzten 24 Stunden und 1 $ pro 1.000 für alles Ältere. Exa berechnet 7 $ pro 1.000 Suchanfragen zusätzlich zum Seitenpreis, sodass das Auffinden von 1.000 Seiten vor dem Abruf zusätzlich etwa 0.70 $ kostet, wodurch sich die beiden identischen 1-$-Preise in der Praxis unterschiedlich auswirken.

Kostenlose Gutschriften decken die Datenzustellung: Das Abfragen ist bei allen vieren kostenlos, der Unterschied liegt darin, ob free-Gutschriften auch die Datenausgabe bezahlen. Bright Data erlaubt 100 Archivsuchanfragen pro Tag kostenlos, wobei jede vor einer Gebühr die übereinstimmende Datensatzanzahl und den Zustellpreis zurückgibt, sodass ein Auftrag kostenlos dimensioniert werden kann. Webz.io funktioniert genauso, mit einer kostenlos Probe und einer Kostenschätzung, aber ein Datenexport erfordert separat gekaufte Prepaid-Gutschriften. Common Crawl und Exa lassen free-Gutschriften für den tatsächlichen Abruf bezahlen.

Webarchivierungs-APIs

Bright Data Webarchiv-API verkauft Zugriff auf Seiten, die seine Infrastruktur bereits über den Unlocker und SERP-APIs gesammelt hat. Statt einen Crawler auszuführen, beschreiben Sie mit Filtern, was Sie möchten, prüfen eine Kostenschätzung und lassen sich die passenden Seiten in Ihren eigenen Speicher liefern.

Filter

Alles läuft über ein filters-Objekt mit 20 Feldern: Zeitraum, Domäne, URL-Muster, Kategorie, Sprache, Land und Erfassungsergebnis. Die Zeit ist obligatorisch, und die Kategorie ist eine geschlossene Liste mit 30 Werten, sodass Seiten bereits bei der Erfassung klassifiziert werden.

Zwei Felder beschreiben, wie die Seite erfasst wurde, und nicht, was sie enthält. ip_country filtert nach dem Land der Exit-IP, die Seite erfasst hat, was bestätigt, dass das Archiv ein Nebenprodukt des Proxy-Netzwerks ist. captcha und robots_block geben nur Datensätze zurück, bei denen ein CAPTCHA ausgelöst oder eine Robots-Regel angewendet wurde, sodass blockierte Versuche gespeichert statt verworfen werden.

Suchen und Kosten

Die Suche ist kostenlos, bis zu 100 Anfragen pro Tag, und die Antwort enthält alles, was Sie brauchen, um einen Auftrag vor der Bezahlung zu dimensionieren: die übereinstimmende Datensatzanzahl, die geschätzten Zustellkosten und eine Aufteilung, die zeigt, wie viele Seiten sich im 24-Stunden-Cache-Tier gegenüber der Archivstufe befinden.

• Abdeckung von Websites, die Crawler blockieren: Common Crawl enthält für zillow.com über einen gesamten monatlichen Crawl hinweg null Seiten. Bright Data gab 13.282 Datensätze für ein einzelnes 24-Stunden-Fenster zurück.
• Abfragegeschwindigkeit skaliert mit dem Fenster: Eine 240-Tage-Abfrage auf redfin.com gab 59.831 Datensätze in 1 Minute 53 Sekunden zurück. Die 24-Stunden-Abfrage für zillow.com wurde in 10.8 Sekunden zurückgegeben.
• Zwei Speicherstufen: Daten aus den letzten 24 Stunden kosten 0.2 $ pro 1.000 Seiten. Alles Ältere wandert zu S3 Glacier Deep Archive zu 1 $ pro 1.000. Die Lieferzeit folgt: Unser 24-Stunden-Auftrag kam in etwa 30 Sekunden an, während der 240-Tage-Auftrag für mehrere Minuten in restoring_archive_data blieb.
• Zustellung an Ihren eigenen Speicher: Amazon S3, Azure Blob Storage, Google Cloud Storage oder Webhook. Wir haben den Webhook-Pfad getestet; zehn Seiten kamen als ein einziges Tar-Archiv mit einer .html.gz und einer .meta.json pro Seite an.
• Vor der Bindung testen: max_entries begrenzt, wie viele Dateien eine Zustellung umfasst, sodass eine Abfrage mit 59.831 Datensätzen mit zehn Seiten für einen Bruchteil eines Cents als Stichprobe gezogen werden kann.

Was tatsächlich in den Dateien steckt

Jede Seite kommt so an, wie der Server sie gesendet hat, mit neun Metadatenfeldern: domain, url, timestamp, language, category, ip_country, content_type, charset und status_code. Um zu prüfen, ob dieses rohe HTML ohne Browser nutzbar ist, haben wir zehn archivierte Zillow-Seiten geöffnet, Skripte und Tags entfernt und den verbleibenden Text nach Listenfeldern durchsucht.

Common Crawl ist eine gemeinnützige Organisation, die ungefähr einmal im Monat einen Crawl des offenen Webs veröffentlicht und verschenkt. Es gibt kein Konto, keinen Schlüssel und kein Kontingent. Der Kompromiss besteht darin, dass Sie Dateien statt eines Dienstes erhalten: Nichts wird Ihnen zugestellt, und alles über eine einzelne Seitenabfrage hinaus bedeutet, dass Sie Ihre eigene Verarbeitung betreiben müssen.

Format wählen

Jeder Crawl kommt in mehreren Formaten. Rohe HTTP-Antworten enthalten das ursprüngliche HTML. Ein Metadatenauszug enthält Links, Titel und Header als JSON. Eine Klartextversion enthält den Artikeltext ohne Markup. Zwei kleinere Sets decken robots.txt-Dateien und Nicht-200-Antworten ab.

Die Wahl ist wichtig, weil sie in eine Richtung geht. Klartext ist viel kleiner und schneller zu verarbeiten, aber Tags, Attribute und eingebettetes JSON-LD fehlen darin, sodass die strukturierte Extraktion vom Rohdatensatz ausgehen muss.

Es gibt keine gefilterte Zustellung. Sie wählen ein Format, laden herunter, was Sie brauchen, und verarbeiten es selbst.

Eine Seite finden

Es gibt zwei Mechanismen, und sie beantworten unterschiedliche Fragen. Der CDX-Server bewältigt Einzel-URL-Abfragen über ein Webformular oder eine API. Der als Parquet veröffentlichte spaltenorientierte Index bewältigt Massenabfragen mit SQL.

Die CDX-Oberfläche verlangt zwei Angaben: welcher monatliche Crawl durchsucht werden soll, aus einer bis 2008 zurückreichenden Liste, und ein URL-Muster.

Die Ergebnisse kommen als JSON zurück, eine Zeile pro Erfassung. Drei Felder sind wichtiger als der Rest: der WARC-Dateiname, ein Byte-Offset und eine Datensatzlänge.

Zwei Dinge sind in der Ausgabe sichtbar. Dieselbe URL erscheint mehrmals mit unterschiedlichen Zeitstempeln, ein einzelner monatlicher Crawl ist also keine einzelne Momentaufnahme. Fehlgeschlagene Antworten werden separat gespeichert, mit Weiterleitungen und Fehlern in einem crawldiagnostics-Ordner und nicht neben erfolgreichen Abrufen.

Eine Seite abrufen, ohne die Datei herunterzuladen, in der sie liegt

Dateiname, Offset und Länge ermöglichen es, einen einzelnen Datensatz mit einem HTTP-Range-Header anzufordern. Wir haben dies an einer Redfin-Listenseite getestet.

Die CDX-Abfrage war in unter einer Sekunde zurück, und der Byte-Range-Abruf dauerte 0.38 Sekunden für 210 KB. Alle sieben Listenfelder, nach denen wir gesucht haben, einschließlich Preis, Schlafzimmer und Adresse, waren im rohen HTML vorhanden, ohne dass JavaScript ausgeführt wurde.

Massenfilterung mit SQL

Für alles, was größer als eine einzelne URL ist, ist der spaltenorientierte Index der richtige Weg. Er ist Parquet, über HTTPS abfragbar und stellt 33 Spalten für URL, Host, TLD, Sprache, MIME-Typ, Abrufstatus und Zeitstempel bereit.

Abfragen gegen einen einzelnen Shard mit 7.29 Millionen Zeilen kamen jeweils deutlich unter einer Sekunde zurück, ohne dass etwas auf die Festplatte geschrieben wurde. Ein Detail, das Sie vor der Verwendung wissen sollten: Die Shards sind nach einem umgekehrten Hostnamen geschlüsselt, sodass jede Datei einen schmalen alphabetischen Ausschnitt und keine Zufallsstichprobe enthält. Die Abfrage eines beliebigen Shards nach einer bestimmten Domäne liefert in der Regel nichts.

Wie viel es für eine bestimmte Domäne enthält

Wir haben den Index für zwei Domänen abgefragt, redfin.com und zillow.com, dabei den jeweils zuständigen Shard gefunden und seine Zeilen gezählt.

redfin.com gab 14.406 Seiten zurück, alle mit HTTP 200. zillow.com gab keine zurück. Das ist keine partielle Abdeckung oder ein fehlgeschlagener Abruf; die Domäne ist nicht im Index. Common Crawl respektiert robots.txt, sodass eine Website, die ihren Crawler ablehnt, fehlt, statt nur spärlich vertreten zu sein.

Wir haben eine archivierte Seite von jeder von acht großen Websites abgerufen und gemessen, wie viel Text ohne Browser erhalten blieb. Zwei von ihnen hatten überhaupt keine nutzbare HTML-Seite im Archiv. Bei den übrigen waren die meisten serverseitig gerendert, darunter Airbnb und Walmart. TripAdvisor war die Ausnahme und gab eine 18 KB große Seite zurück, die 282 Zeichen sichtbaren Textes enthielt.

Kosten und Lizenz

Die Daten sind kostenlos, und der Speicher-Bucket ist ohne Konto offen zugänglich. Was Sie bezahlen, sind Rechenleistung und Bandbreite, weshalb die Verarbeitung in derselben Cloud-Region wie die Daten empfohlen wird.

Die Lizenz ist keine offene Datenlizenz. Common Crawl gewährt eine eingeschränkte Lizenz für den Dienst, stellt fest, dass es die Seiteninhalte selbst nicht lizenzieren kann, und verlangt von den Nutzern, es von Ansprüchen freizustellen, die aus der Nutzung der Inhalte „im Zusammenhang mit künstlicher Intelligenz, maschinellem Lernen oder ähnlichen Technologien“ entstehen. Die Gesamthaftung ist auf 100 $ begrenzt.

Webz.io verkauft Zugriff auf ein Archiv aus Nachrichtenartikeln, Blogbeiträgen, Forumsthreads und Rezensionen, das es seit 2008 sammelt. Was zurückgegeben wird, ist nicht die Seite, sondern ein verarbeiteter Datensatz: der Artikeltext plus extrahierte Entitäten, Sentiment-Scores, Social-Engagement-Zahlen und Website-Metadaten. Alles, was älter als etwa 30 Tage ist, liegt im Archivprodukt; aktuelleres Material wird über die News-, Blogs- und Foren-APIs bereitgestellt.

Der Abfrage-Builder

Abfragen kombinieren einen booleschen Ausdruck über den Text mit Bedingungen auf Feldebene, verbunden durch UND. Jede Bedingung wird aus einer Eigenschaft, einem Operator und einem Wert aufgebaut.

Ein Detail ist vor der Verwendung wissenswert: Der mit Equals bezeichnete Operator erfordert keine exakte Übereinstimmung. Wir gaben redfin für das Feld Seitentitel ein, und es fand eine Website mit dem Titel „Redfin Real Estate News“.

Was zurückkommt

Jedes Ergebnis enthält den vollständigen Text zusammen mit entities, sentiment, social, categories, language, domain_rank, country und einem syndication-Objekt, das erfasst, ob dieselbe Geschichte anderswo erschienen ist. Es gibt kein Roh-HTML-Feld. Die Produktseite beschreibt, was Sie erhalten, als „den vollständigen Text jedes Artikels, Beitrags, Threads oder jeder Rezension“, und die Zustellung erfolgt „über die API oder durch eine eigene Abfrage“.

• Das Archiv enthält Verlage, keine Listenseiten. Die Suche nach Redfin ergab Redfins Unternehmensnewsblog, gehostet auf convesio.cloud, und nicht Seiten von redfin.com. Eine direkte Abfrage des Domänenfelds der Website nach redfin.com lieferte nichts, während convesio.cloud und yahoo.com Ergebnisse lieferten; die leere Antwort spiegelt also die Abdeckung und keine fehlerhafte Abfrage wider.
• Die Massenerfassung ist vertraglich eingeschränkt. Die Nutzungsbedingungen verbieten einen Catch-all-Sternchenfilter und vertikale Filter wie site_type:news oder language:english, die genau die Abfrageformen sind, die ein Korpuskäufer verwenden würde. Die Oberfläche selbst schlägt vor, site_type:news hinzuzufügen, um eine Suche einzugrenzen.
• Die Archivdokumentation ist ungeschrieben. In der Docs-Navigation gibt es vier Seiten zu Datenexporten, Limits, Dataset-Erstellung und der API-Referenz. Jede enthält eine Überschrift und sonst nichts.

Exa hat einen eigenen Web-Index aufgebaut und verkauft die Suche darüber. Das Unternehmen meldet mehr als 500 Milliarden URLs. Für diesen Vergleich ist der relevante Teil nicht der Such-Endpunkt, sondern /contents, das den Text einer Seite aus Exas Cache zurückgibt, statt sie live abzurufen.

Cache- oder Live-Optionen

Ein einzelner Parameter steuert dies. maxAgeHours, gesetzt auf 24, bedeutet, die zwischengespeicherte Kopie zu verwenden, wenn sie weniger als einen Tag alt ist, andernfalls zu crawlen. Auf 0 gesetzt, wird immer gecrawlt. Auf -1 gesetzt, wird nie gecrawlt, es wird nur zurückgegeben, was bereits gespeichert ist. Der maximal akzeptierte Wert ist 720 Stunden, sodass der Parameter nichts referenzieren kann, was älter als 30 Tage ist.

Wir führten zwei Anfragen mit einem auf sechs Monate gesetzten Alterslimit durch. Die erste betraf eine Redfin-Stadtseite.

Sie gab CRAWL_NOT_FOUND nach 7.07 Sekunden zurück. Die zweite betraf die Redfin-Startseite.

Sie gab den vollständigen Seiteninhalt in 0.010 Sekunden zurück. Zehn Millisekunden sind kürzer als ein Netzwerk-Roundtrip, die Antwort kam also aus dem Speicher und nicht von einem Abruf. Der Cache ist real, und der Sieben-Sekunden-Fehler war Exa, das suchte und nichts fand.

Zwei weitere Standardeinstellungen sind auf demselben Bildschirm sichtbar. Der Inhalt ist auf 20.000 Zeichen begrenzt, und „nur Hauptinhalt“ ist aktiviert, sodass Navigation und Standardtext von Exas eigener Logik entfernt werden und nicht von Ihrer.

Die Abdeckung ist auf Seitenebene lückenhaft

Die Startseite war zwischengespeichert; die Stadtseite von San Francisco war es nicht. Die Suche nach der Domäne zeigt, warum das keine einfache Ja/Nein-Frage ist.

Die Abfrage gab die Redfin-Startseite, eine „Houses For Sale Near Me“-Seite und eine Wichita-Stadtseite zurück, tiefe Seiten existieren also im Index. Die Abdeckung ist über eine Domäne verstreut und nicht vollständig oder leer.

Einschränkungen

Derselbe Bildschirm enthält den Satz, der Exa in diesem Vergleich von den Archiven unterscheidet: „Anzahl der Ergebnisse: 10. Maximum: 100. Kontaktieren Sie uns für weitere Ergebnisse.“

Es gibt keine Gesamtzahl. Common Crawl beantwortete diese Frage mit einer SQL-Abfrage, und Bright Data beantwortete sie mit einem files_count-Feld.

Kein Massenexport, keine Zustellung an Ihren eigenen Speicher, kein Firehose. Die Enterprise-Stufe erwähnt benutzerdefinierte Indexe, die maßgeschneiderte, über die API bereitgestellte Indexe sind, statt übergebene Daten.

Welcher Anbieter passt zu welcher Aufgabe

Diese vier Produkte sind keine Substitute. Die Frage ist nicht, welches das beste ist, sondern welches die Frage beantwortet, die Sie haben.

• Rohes HTML in großem Maßstab, auch von Websites, die Crawler blockieren. Bright Data ist der einzige Anbieter hier, der eine gefilterte Auswahl in von Ihnen kontrollierten Speicher schreibt, und der einzige, der Seiten von Domänen hält, die Crawler ablehnen.
• Ein breiter Korpus ohne Kosten, wenn Sie Engineering-Kapazität haben. Common Crawl liefert vollständige Crawls im WARC-Format, die mit SQL aufzählbar sind, und verlangt nichts außer Ihrer eigenen Rechenleistung. Die Verarbeitung müssen Sie selbst aufbauen.
• Nachrichten-, Blog- und Forentexte mit bereits extrahierten Entitäten und Sentiment. Webz.io liefert verarbeitete Datensätze statt Seiten, was die Extraktionsarbeit überflüssig macht, aber auch das Markup entfernt.
• Seitenkontext zur Abfragezeit, für einen Agenten oder eine RAG-Pipeline. Exa gibt zwischengespeicherten Text in Millisekunden zurück und fällt auf einen Live-Abruf zurück, wenn eine Seite nicht gespeichert ist, innerhalb desselben Aufrufs.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Wie wir Webarchiv-APIs getestet haben

Wir haben in jedem Produkt selbst gearbeitet und nicht anhand seiner Dokumentation. Jeder Anbieter wurde zuerst über seine eigene Konsole oder seinen Playground bedient, dann über seine API, damit wir die Anfrage sehen konnten, die Oberfläche erzeugt, und was zurückkommt, bevor etwas berechnet wird.

Für jeden Anbieter haben wir eine Abfrage erstellt, ausgeführt und die Rohantwort statt der gerenderten Zusammenfassung gelesen. Wo das Produkt eine Anzahl, eine Kostenschätzung oder ein Statusobjekt zurückgab, haben wir diese Felder direkt erfasst. Wo es eine Stichprobe oder eine Zustellung anbot, haben wir sie angenommen, die Dateien entpackt und geöffnet.

Kleine Skripte übernahmen die Teile, die Wiederholung oder Zeitmessung erforderten: das Abrufen eines einzelnen Datensatzes aus einem mehrere Terabyte großen Archiv, das Dekomprimieren eines gelieferten Pakets und das Durchsuchen des rohen HTML nach bestimmten Feldern, das Abfragen eines spaltenorientierten Index mit SQL und das Messen, wie lange eine zwischengespeicherte Antwort im Vergleich zu einer zu crawlenden dauert. Diese Skripte sind neben den von ihnen erzeugten Ergebnissen verlinkt.

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{sipi2026,
  author = {Şipi, Nazlı},
  title  = {{Webarchiv-APIs: 4 Top-Anbieter getestet & verglichen}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/web-archive-api}},
  note   = {AIMultiple. Abgerufen am 10. August 2026}
}

Nazlı Şipi

KI-Forscherin

Folgen auf

Nazlı ist Datenanalystin bei AIMultiple. Sie hat bereits Erfahrung in der Datenanalyse in verschiedenen Branchen, wo sie daran arbeitete, komplexe Datasets in umsetzbare Erkenntnisse zu verwandeln.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten