Vergleich der besten Zillow-Scraper-APIs: Leistungsüberprüfung
Wir haben die fünf besten Web-Scraping-Anbieter auf Zillow, einer der führenden Immobilien -Websites, verglichen und dazu über 1.250 Scraping-Anfragen an alle Anbieter gesendet. Jeder Anbieter erhielt die gleichen URLs von Immobilienangeboten und wurde hinsichtlich Bearbeitungszeit, Erfolgsquote und der Anzahl der pro Angebot zurückgegebenen strukturierten Datenfelder bewertet.
Zillow-Scraping-Benchmark
Wir analysierten auch die Bearbeitungszeiten speziell für Aufgaben, die alle Anbieter erfolgreich abschlossen. Die Ergebnisse waren nahezu identisch mit den Gesamtbearbeitungszeiten, was darauf hindeutet, dass fehlgeschlagene Anfragen die durchschnittliche Bearbeitungszeit für keinen Anbieter signifikant erhöhten.
Weitere Einzelheiten zum Testverfahren finden Sie in unserem Abschnitt zur Benchmark-Methodik .
Welche Daten lassen sich von Zillow extrahieren?
Da Apify als einziger Anbieter strukturiertes JSON lieferte, war er auch der einzige mit messbaren Metadatenfeldern. Apify lieferte 185 Metadatenfelder für Zillow. Die übrigen Anbieter lieferten gerendertes HTML, das lokal mithilfe von CSS-Selektoren analysiert wurde und daher keine vergleichbare Anzahl an Metadatenfeldern ergab.
Apify verfügbare Metadatenfelder für Zillow
Zillow-Scraping-Benchmark-Ergebnisse
Oxylabs wies mit 89 % die niedrigste Erfolgsquote in diesem Vergleich auf und verzeichnete mit rund 59 Sekunden auch die längste durchschnittliche Bearbeitungszeit. Es nutzte eine dedizierte Zillow-Scraping-Quelle, was sich bei diesem speziellen Datensatz jedoch nicht in einem Geschwindigkeits- oder Zuverlässigkeitsvorteil niederschlug.
Decodo erzielte eine Erfolgsquote von 97 % und lag damit nach Apify an zweiter Stelle. Die Bearbeitungszeit war mit rund 51 Sekunden jedoch deutlich länger, wodurch der Anbieter zu den langsameren zählte. Dieses Ergebnis wurde mit einer allgemeinen Scraping-Konfiguration ohne Zillow-spezifische Einrichtung erzielt.
Apify erzielte auf Zillow eine Erfolgsquote von 100 % bei einer Bearbeitungszeit von rund 17 Sekunden. Es war der einzige Anbieter, der strukturierte JSON-Ausgabe lieferte und somit auch der einzige mit messbaren Metadatenfeldern (durchschnittlich 185 Datenpunkte pro Eintrag).
Nimble war der schnellste Anbieter im Vergleichstest und bearbeitete Anfragen im Durchschnitt in etwa 12 Sekunden. Mit einer Erfolgsquote von 92 % gehörte er zur oberen Hälfte der Vergleichsgruppe. Die Kombination aus Geschwindigkeit und Zuverlässigkeit sorgte für eines der ausgewogensten Ergebnisse in dieser Kategorie.
Zyte erreichte eine Erfolgsquote von 92 % bei einer Bearbeitungszeit von etwa 46 Sekunden. Die Erfolgsquote lag ähnlich wie bei Nimble, die Bearbeitungszeit war jedoch deutlich langsamer. Das Ergebnis war insgesamt stabil, ohne jedoch signifikante Unterschiede aufzuzeigen.
Benchmark-Methodik
Wir haben fünf Web-Scraping-Anbieter (Apify, Decodo, Oxylabs, Nimble, Zyte) auf zillow.com getestet.
Datensatz
Wir haben 250 Produktseiten-URLs von Zillow vorbereitet. Produktseiten sind einzelne Immobilienangebote mit Details wie Adresse, Preis, Schlafzimmer, Badezimmer, Wohnfläche und Immobilienhistorie.
Alle URLs wurden vor dem Benchmark auf Erreichbarkeit überprüft. Die URLs entsprachen dem Standardformat der Zillow-Detailseite (/homedetails/…/zpid/).
Gemeinsame Konfiguration
Alle Anbieter erhielten identische URLs aus demselben Datensatz und wurden unter denselben Bedingungen getestet:
- Sequenzielle Ausführung: jeweils eine Anfrage, keine parallelen Anfragen
- Verzögerung zwischen den Anfragen: 2 Sekunden
- Ratenbegrenzungsbehandlung: 30 Sekunden Wartezeit mit bis zu 3 Wiederholungsversuchen bei HTTP 429
- Zeitlimit für die Einreichung: 300 Sekunden
- Ausführungs-Timeout: 600 Sekunden
- Jede URL wurde einmal pro Anbieter getestet.
Anbieterkonfigurationen
Apify
Apify verwendete den Actor maxcopell/zillow-detail-scraper, der strukturiertes JSON mit geparsten Feldern zurückgibt. Es war kein Parsen von CSS-Selektoren erforderlich. Die Actor-Läufe wurden im Sekundentakt abgefragt, bis der Status „SUCCEEDED“ erreichte.
Decodo
Decodo nutzte die Universal Scraper API (target: universal, headless: html), die JavaScript-gerendertes HTML zurückgibt. Die Antwort wurde lokal mit CSS-Selektoren analysiert. Alle Anfragen enthielten einen Desktop-User-Agent-Header.
Oxylabs
Oxylabs nutzte die Realtime API mit source: zillow und render: html, was JavaScript-gerendertes HTML zurückgibt. Die Antwort wurde lokal mit CSS-Selektoren analysiert.
Nimbleway
Nimble nutzte die Extract API mit `render: true` und `driver: vx10` (Stealth-Headless-Browser). Die Antwort wurde lokal mit CSS-Selektoren analysiert. Es wurde keine domänenspezifische Konfiguration angewendet.
Zyte
Zyte nutzte die Extract API mit browserHtml: true, wodurch JavaScript-gerendertes HTML über einen Headless-Chromium-Browser zurückgegeben wurde. Die Antwort wurde lokal mit CSS-Selektoren analysiert. Es wurde keine domänenspezifische Konfiguration angewendet.
Validierung
HTTP-Statusprüfung
Vor der Validierung wird zunächst der HTTP-Antwortcode des Anbieters geprüft. Antworten mit Statuscodes zwischen 200 und 399 sowie 404 gelten als erfolgreiche Übermittlungen und werden zur Validierungsphase weitergeleitet. Alle anderen Statuscodes (400, 403, 500, 550 usw.) werden als fehlgeschlagene Übermittlung gewertet, und der Test wird sofort als fehlgeschlagen markiert, ohne die Validierungsphase zu erreichen.
Validierungsregeln
Tests, die die HTTP-Statusprüfung bestehen, werden in der folgenden Reihenfolge validiert:
- 404-Fehlererkennung : Wenn der Seiteninhalt oder ein API-Fehler darauf hinweist, dass die Seite nicht mehr existiert („Seite nicht gefunden“, „existiert nicht“, „tote Seite“), wird der Test als gültig markiert. Der Anbieter hat die nicht verfügbare Seite korrekt identifiziert.
- Datenextraktion (JSON-API) : Bei Anbietern, die strukturiertes JSON zurückgeben, muss mindestens ein Datenfeld vorhanden und nicht leer sein. Der gültige Datentyp (Zeichenkette oder Ganzzahl) hängt vom jeweiligen Feld ab. Zu den geprüften Feldern gehören Adresse, Preis, Betten, Bäder und Wohnfläche.
- Datenextraktion (HTML) : Bei Anbietern, die HTML zurückgeben, wird die Antwort mithilfe von Zillow-spezifischen CSS-Selektoren analysiert. Wenn mindestens ein Selektor übereinstimmt und einen nicht leeren Wert zurückgibt, ist der Test erfolgreich.
- Seitenindikator (nur HTML): Wenn keine Daten extrahiert wurden, aber mindestens einer der vordefinierten CSS-Selektoren für Zillow auf ein Element der Seite zutrifft, wird der Test als gültig markiert. Dies bestätigt, dass die Seite gerendert und geladen wurde, auch wenn keine strukturierten Daten in den erwarteten Containern gefunden wurden.
- Wenn keine der oben genannten Bedingungen erfüllt ist, schlägt der Test fehl. Häufige Fehlerursachen sind Captcha-/Bot-Abfrageseiten, unzureichendes JavaScript-Rendering, Proxy-Verbindungsfehler und Crawler-Fehler.
Kennzahlen
Validierungserfolgsrate : Der Prozentsatz der getesteten URLs, bei denen der Anbieter verwertbare Daten zurückgegeben hat, berechnet als erfolgreiche Tests geteilt durch die Gesamtzahl der Tests.
Bearbeitungszeit : Die Gesamtzeit vom Absenden der Abfrageanfrage bis zum Empfang der validierten Ergebnisse, gemessen in Sekunden. Bei asynchronen Anbietern wurde der Abschlussstatus im Sekundentakt abgefragt. Angegeben wird der arithmetische Mittelwert aller Durchläufe einer Gruppe.
Verfügbare Metadaten : Die Anzahl der eindeutigen Feldnamen, die der Anbieter über alle Elemente einer Antwort hinweg zurückgibt. Gilt nur für JSON-API-Antworten.
FAQs
Strukturierte APIs liefern validierte Datenpunkte wie Preis, Adresse, Schlafzimmer und Wohnfläche in einheitlichen Formaten. Bei der Verwendung HTML-basierter Anbieter sollten die extrahierten Daten mit bekannten Einträgen abgeglichen und auf fehlende Felder geprüft werden, die durch dynamisches Seitenrendering oder Anti-Bot-Weiterleitungen verursacht wurden.
Ja, die meisten Web-Scraping-Anbieter unterstützen sowohl Miet- als auch Kaufangebote auf Zillow. Die URL-Struktur unterscheidet sich jedoch, daher sollte Ihr Datensatz den korrekten Angebotstyp enthalten. Einige Anbieter verwenden separate Konfigurationen oder Datensatz-IDs für Miet- und Kaufobjekte.
Bei Produkt-URLs (einzelnen Einträgen) ist keine Paginierung erforderlich, da jede URL nur eine Eigenschaft zurückgibt. Bei Suchergebnissen mit mehreren Ergebnissen handhaben die Anbieter die Paginierung unterschiedlich. Einige strukturierte APIs akzeptieren einen Parameter namens `limit`, um die Anzahl der Ergebnisse pro Anfrage zu steuern, während HTML-basierte Anbieter nur die Einträge der ersten Seite zurückgeben.
Zillow verwendet CAPTCHAs, IP-Sperren und dynamisches JavaScript-Rendering, um automatisierten Zugriff zu verhindern. Häufige Fehler sind leere Antworten blockierter Anfragen, unvollständige Daten von Seiten, die nicht vollständig gerendert wurden, und veraltete Einträge, die den Fehlercode 404 zurückgeben. Die Verwendung von Anbietern mit dedizierten Zillow-APIs oder Headless-Browser-Rendering reduziert diese Probleme.
Mithilfe von Zillow-Daten lassen sich Preistrends nach Stadtvierteln verfolgen, Angebotspreise mit Zestimates vergleichen, die Vermarktungsdauer überwachen, den Quadratmeterpreis in verschiedenen Postleitzahlengebieten analysieren und unterbewertete Immobilien identifizieren. Strukturierte APIs, die Felder wie Preishistorie und Steuerbewertungen liefern, bieten detailliertere Daten für Investitionsanalysen.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.