Die 6 besten Immobilien-Scraper: Bright Data, Apify & Oxylabs
Wir haben sechs Web-Scraping-Anbieter in fünf wichtigen Immobilienbranchen verglichen und dabei jeweils 1.500 URLs von Immobilienangeboten über jeden Anbieter laufen lassen, was insgesamt 9.000 Anfragen ergab.
Benchmark-Ergebnisse für Immobilien-Scraping
Weitere Einzelheiten zum Testverfahren finden Sie im Abschnitt „Methodik“ .
Domainabdeckung durch Anbieter
- ✅ = unterstützt, gibt HTML zurück
- ✅ ✅ = unterstützt, gibt strukturierte Daten zurück
- ❌ = Im Benchmark enthalten, aber 0 % Erfolg
Apify bietet keine dedizierten Sprecher für Realtor, Rightmove und Realestate.au an, daher wurden diese Domains vom Benchmark von Apify ausgeschlossen.
Benchmark-Ergebnisse für das Web-Scraping von Immobilien auf Domänenebene
Bearbeitungszeit für erfolgreiche Aufgaben im Vergleich zur Gesamterfolgsquote
Verfügbare Metadatenfelder nach Anbieter
Bei Zillow lieferte Bright Data 121 Felder pro Eintrag und Apify 185 Felder, während Apify der einzige Anbieter mit strukturiertem JSON für Redfin (23 Felder) und Bright Data der einzige für Realestate.com.au (35 Felder) war.
Die folgende Tabelle listet nur die Felder auf, die jeder Anbieter exklusiv zurückgibt, nicht die, die von beiden gemeinsam genutzt werden.
Sowohl Bright Data als auch Apify liefern diese Kernfelder von Zillow zurück: Adresse, Schlafzimmer, Badezimmer, Wohnfläche, Grundstücksgröße, Preis, Zillow-Schätzwert, Zillow-Schätzwert, Hausstatus, Haustyp, Baujahr, Breitengrad, Längengrad, Anzahl Fotos, Schulen, Preisverlauf, Steuerverlauf, letzter Verkaufspreis, Grundsteuersatz, Verkaufsdatum, Maklername, Datenquelle des Angebots.
Vor- und Nachteile der 6 besten Immobilien-Scraper
Bright Data zählte zu den beständigsten Anbietern im Vergleichsindex. Besonders gute Ergebnisse erzielte das Unternehmen auf Zillow, Realestate.com.au und Rightmove. Auf Zillow erreichte Bright Data eine Erfolgsquote von nahezu 100 %, obwohl es langsamer war als die schnellsten Anbieter in dieser Kategorie.
Auf Realestate.com.au erzielte es erneut eine hohe Erfolgsquote von rund 95 % und zählte damit zu den besten Ergebnissen auf dieser Domain. Auf Rightmove kombinierte es eine hohe Erfolgsquote mit einer sehr geringen Latenz und war somit eines der effizientesten Ergebnisse in dieser Grafik.
Das schwächere Ergebnis zeigte sich bei Redfin, wo Bright Data zwar sehr schnell, aber weniger zuverlässig als auf den stärkeren Domains war (Erfolgsquote: ca. 78 %). Bei Realtor blieb der Dienst konkurrenzfähig (moderate Latenz, Erfolgsquote: ca. 80 %), konnte aber nicht die Spitzenposition erreichen.
Der Anbieter schnitt in allen Immobilienbereichen gut ab, ohne auf einer einzelnen Seite einen größeren Einbruch zu verzeichnen. Er war zwar nicht in jeder Grafik der Spitzenreiter, befand sich aber durchgehend in der besseren Hälfte des Vergleichs.
Oxylabs wies im Immobilien-Benchmark ein uneinheitliches Leistungsprofil auf. Die Ergebnisse waren in einigen Bereichen stark, in anderen jedoch deutlich schwächer, wodurch es zu den stärker branchenabhängigen Anbietern im Vergleich zählt.
Auf Realtor und Rightmove schnitt Oxylabs gut ab. Die relativ geringe Latenzzeit wurde mit hohen Erfolgsraten kombiniert, wodurch sich der Anbieter auf diesen Domains unter den leistungsstärksten positionierte. Auch auf Realestate.com.au waren die Erfolgsraten hoch, die Bearbeitungszeiten jedoch merklich länger. Dies deutet darauf hin, dass Oxylabs für einige Ziele eine zuverlässige Datenextraktion gewährleisten kann, selbst wenn es nicht zu den schnellsten Optionen zählt.
Die besten Ergebnisse wurden bei Realtor und Rightmove erzielt, während Zillow und Redfin deutlich schwächer abschnitten. Für Teams, die Anbieter für das Web-Scraping von Immobiliendaten evaluieren, ist Oxylabs eher eine domänenspezifische Option als eine allgemein stabile Lösung für alle fünf Websites.
Auf Zillow erreichte Decodo eine hohe Erfolgsquote von rund 97 %, die Latenz war jedoch mit etwa 51 Sekunden ebenfalls hoch, wodurch der Dienst deutlich langsamer war als die leistungsstärkeren Anbieter. Auf Rightmove erzielte er mit rund 89 % eine akzeptable Erfolgsquote, war aber dennoch langsamer als die meisten Konkurrenten.
Decodo schnitt in diesem Vergleich nicht so gleichmäßig und zuverlässig ab wie die führenden Anbieter. Die Datenextraktion konnte zwar auf einigen Domains abgeschlossen werden, jedoch häufig mit höherer Latenz, und auf komplexeren Websites traten deutlichere Schwierigkeiten auf.
Auf Zillow kombinierte Apify eine sehr hohe Erfolgsquote mit einer relativ geringen Latenz. Die Erfolgsquote lag bei etwa 100 % nach rund 18 Sekunden, was das Ergebnis zu den besten in dieser Tabelle zählte.
Auf Redfin ist das Ergebnis noch aussagekräftiger. Redfin zählte zu den schwierigeren Domänen im Vergleichsmaßstab, und mehrere Anbieter verzeichneten dort einen deutlichen Erfolgsrückgang.
Der Anbieter Apify schnitt in dieser Tabelle besser ab als die übrigen Anbieter und erreichte eine Erfolgsquote von rund 88 % bei etwa 14 Sekunden. Er war zwar nicht der schnellste Anbieter auf Redfin, bot aber die beste Kombination aus Zuverlässigkeit und geringer Latenz.
Die besten Ergebnisse für Zyte wurden auf Rightmove, Zillow und Realestate.com.au erzielt. Auf Rightmove erreichte Zyte mit rund 93 % eine der höchsten Erfolgsquoten im Vergleichsindex und hielt gleichzeitig die Latenz in einem akzeptablen Bereich.
Auf Zillow konnte das Unternehmen ebenfalls eine solide Erfolgsquote von rund 92 % erzielen, allerdings waren die Bearbeitungszeiten länger als bei den schnelleren Anbietern in dieser Tabelle.
Auf Realestate.com.au war die Anzeige mit der Kennung Zyte relativ schnell und erzielte eine zufriedenstellende Erfolgsquote, gehörte aber nicht zur Spitzengruppe in puncto Zuverlässigkeit. Schwächere Ergebnisse zeigten sich auf Redfin und insbesondere auf Realtor.
Die größte Stärke von Nimble war seine Beständigkeit. Es blieb in allen fünf Immobilienbereichen in einem praktikablen Rahmen und wies in keinem Bereich einen Leistungseinbruch auf.
Die besten Ergebnisse für Nimble wurden auf Zillow, Redfin und Rightmove erzielt. Auf Zillow kombinierte Nimble eine geringe Latenz mit einer hohen Erfolgsquote und zählte damit zu den besten Ergebnissen in dieser Liste.
Auf Redfin schnitt es erneut recht gut ab, mit einer Erfolgsquote von rund 79 % und schnelleren Abschlusszeiten als einige Konkurrenten. Auch auf Rightmove war Nimble stark und erreichte eine Erfolgsquote von etwa 92 % bei moderater Latenz, wodurch es sich in diesem Bereich in der Spitzengruppe behauptete.
Auf Realestate.com.au blieb Nimble relativ schnell, der Erfolg lag jedoch etwas unter dem der stärksten Anbieter in dieser Rangliste. Dasselbe Muster zeigte sich auf Realtor, wo das Unternehmen zwar wettbewerbsfähig blieb, sich aber nicht deutlich vom Mittelfeld abheben konnte.
Immobilien-Scraper-Methode
Wir testeten sechs Web-Scraping-Anbieter (Apify, Bright Data, Decodo, Oxylabs, Nimble, Zyte) auf fünf Immobilien-Domains: zillow.com, redfin.com, realtor.com, rightmove.co.uk und realestate.com.au.
Immobilien-Scraper-Datensatz
Wir haben 1.250 Produktseiten-URLs auf 5 Domains erstellt (250 pro Domain). Die Produktseiten sind einzelne Immobilienangebote mit Details wie Adresse, Preis, Anzahl der Schlafzimmer und Badezimmer.
Die fünf Domains wurden anhand der SimilarWeb-Traffic-Rankings als die weltweit führenden Immobilien-Websites ausgewählt.
Alle URLs wurden vor dem Benchmark auf Erreichbarkeit geprüft. Ungültige Weiterleitungen, abgelaufene Einträge und nicht standardkonforme Subdomains wurden bei der Datenaufbereitung entfernt oder korrigiert.
Gemeinsame Konfiguration
Alle Anbieter erhielten identische URLs aus demselben Datensatz und wurden unter denselben Bedingungen getestet:
- Sequenzielle Ausführung: jeweils eine Anfrage, keine parallelen Anfragen
- Verzögerung zwischen den Anfragen: 2 Sekunden
- Ratenbegrenzungsbehandlung: 30 Sekunden Wartezeit mit bis zu 3 Wiederholungsversuchen bei HTTP 429
- Zeitlimit für die Einreichung: 300 Sekunden
- Ausführungs-Timeout: 600 Sekunden
- Jede URL wurde einmal pro Anbieter getestet.
Anbieterkonfigurationen
Bright Data
Bright Data verwendete je nach Domäne zwei Integrationsmethoden. Für Zillow und Realestate AU nutzten wir die Dataset API, die strukturiertes JSON mit geparsten Feldern zurückgibt. Für Redfin, Realtor und Rightmove verwendeten wir einen Web-Unblocker , der gerendertes HTML liefert, welches wir lokal mit CSS-Selektoren analysierten.
Die Dataset-API wurde über den Endpunkt /progress/{snapshot_id} im Sekundentakt abgefragt, bis der Status „bereit“ erreichte. Anschließend wurden die Ergebnisse vom Endpunkt /snapshot/{snapshot_id} abgerufen.
Apify
Apify verwendete vorgefertigte Akteure, die jeweils auf die unterstützten Domänen zugeschnitten waren. Für Zillow wurde maxcopell/zillow-detail-scraper verwendet, für Redfin tri_angle/redfin-detail. Apify unterstützt Realtor, Rightmove und Realestate AU in diesem Benchmark nicht.
Die Akteure vom Typ Apify liefern strukturiertes JSON zurück, daher war keine CSS-Selektoranalyse erforderlich. Die Ausführung der Akteure wurde im Sekundentakt abgefragt, bis der Status „ERFOLGREICH“ erreicht war.
Decodo
Decodo nutzte die Universal Scraper API (Ziel: universal, Headless: HTML) für Zillow und Redfin. Für Realtor, Rightmove und Realestate AU verwendeten wir den Web Unblocker mit dem Header X-SU-Headless: HTML für die JavaScript-Darstellung. Alle Anfragen enthielten einen Desktop-User-Agent-Header.
Oxylabs
Oxylabs nutzte eine dedizierte Quell-API für Zillow (source: zillow) mit render: html. Für Redfin, Realtor, Rightmove und Realestate AU verwendeten wir den Web Unblocker-Proxy. Unblocker-Anfragen enthielten einen Desktop-User-Agent-Header. JavaScript-Rendering war auf dem Unblocker deaktiviert.
Nimble
Nimbleway nutzte die Extract API für alle Domains mit `render: true` und `driver: vx10` (Stealth-Headless-Browser). Alle Anfragen lieferten gerendertes HTML, das wir mit CSS-Selektoren analysierten. Es wurde keine domänenspezifische Konfiguration angewendet.
Zyte
Zyte verwendete die Extract API für alle Domains mit Browser-HTML: true, wodurch JavaScript-gerendertes HTML über einen Headless-Chromium-Browser zurückgegeben wird. Es wurde keine domänenspezifische Konfiguration angewendet.
Scraping-Methoden nach Domäne
- JSON-API : Der Anbieter gibt strukturiertes JSON mit geparsten Feldern (Adresse, Preis, Betten) zurück.
- HTML-API : Der Anbieter gibt über seine Scraping-API JavaScript-gerendertes HTML zurück, das lokal mit CSS-Selektoren analysiert wird.
- Unblocker : Der Provider leitet die Anfrage über einen Proxy an die Zielseite weiter, gibt rohes HTML zurück und analysiert es lokal mit CSS-Selektoren.
Validierung von Immobilien-Benchmarkdaten
HTTP-Statusprüfung
Vor der Validierung wird zunächst der HTTP-Antwortcode des Anbieters geprüft. Antworten mit Statuscodes zwischen 200 und 399 sowie 404 gelten als erfolgreiche Übermittlungen und führen zur Validierungsphase. Alle anderen Statuscodes (400, 403, 500, 550) werden als fehlgeschlagene Übermittlung gewertet, und der Test wird sofort als fehlgeschlagen markiert, ohne die Validierungsphase zu erreichen.
Validierungsregeln
Tests, die die HTTP-Statusprüfung bestehen, werden in der folgenden Reihenfolge validiert:
- 404-Fehlererkennung : Wenn der Seiteninhalt oder ein API-Fehler darauf hinweist, dass die Seite nicht mehr existiert („Seite nicht gefunden“, „existiert nicht“, „tote Seite“), wird der Test als gültig markiert. Der Anbieter hat die nicht verfügbare Seite korrekt identifiziert.
- Datenextraktion (JSON-API) : Bei Anbietern, die strukturiertes JSON zurückgeben, muss mindestens ein Datenfeld vorhanden und nicht leer sein. Der Feldtyp (Zeichenkette oder Ganzzahl) hängt vom jeweiligen Feld ab. Zu den geprüften Feldern gehören Adresse, Preis, Betten, Bäder, Titel, Name, Bewertung und Rezensionen.
- Datenextraktion (HTML) : Bei Anbietern, die HTML zurückgeben, wird die Antwort mithilfe domänenspezifischer CSS-Selektoren analysiert. Wenn mindestens ein Selektor übereinstimmt und einen nicht leeren Wert zurückgibt, ist der Test erfolgreich.
- Seitenindikator (nur HTML): Wenn keine Daten extrahiert wurden, aber mindestens einer der vordefinierten CSS-Selektoren für diese Domain auf ein Element der Seite zutrifft, wird der Test als gültig markiert. Dies bestätigt, dass die Seite gerendert und geladen wurde, auch wenn keine strukturierten Daten in den erwarteten Containern gefunden wurden.
Wenn keine der oben genannten Bedingungen erfüllt ist, schlägt der Test fehl. Häufige Fehlerursachen sind CAPTCHA-/Bot-Abfrageseiten, unzureichendes JavaScript-Rendering, Proxy-Verbindungsfehler und Crawler-Fehler.
Benchmark-Kennzahlen für die Immobilienbranche
- Validierungserfolgsrate : Der Prozentsatz der getesteten URLs, bei denen der Anbieter verwertbare Daten zurückgegeben hat, berechnet als erfolgreiche Tests geteilt durch die Gesamtzahl der Tests.
- Bearbeitungszeit: Die Gesamtzeit vom Absenden der Abfrageanfrage bis zum Empfang der validierten Ergebnisse, gemessen in Sekunden. Bei asynchronen Anbietern wurde der Abschlussstatus jede Sekunde abgefragt. Angegeben wird der arithmetische Mittelwert aller Durchläufe einer Gruppe.
- Verfügbare Metadaten : Die Anzahl der eindeutigen Feldnamen, die der Anbieter über alle Elemente einer Antwort hinweg zurückgibt. Gilt nur für JSON-API-Antworten.
FAQs
Immobilien-Scraping bezeichnet die automatisierte Extraktion von Immobiliendaten von Immobilienportalen, darunter Preis, Adresse, Anzahl der Schlafzimmer und Badezimmer, Wohnfläche und Angebotsstatus. Es dient der Marktanalyse, der Investitionsrecherche, der Preisüberwachung, der Kundengewinnung und der Entwicklung von Immobilienvergleichstools.
Strukturierte JSON-Anbieter liefern analysierte Eigenschaftsfelder wie Preis, Adresse und Anzahl der Schlafzimmer in einem sofort einsatzbereiten Format. HTML-Anbieter liefern die gerenderte Seite, deren CSS-Selektoren analysiert werden müssen, um dieselben Datenpunkte zu extrahieren. JSON-APIs liefern typischerweise mehr Metadatenfelder und sind einfacher zu integrieren, während HTML-Ansätze zwar domänenübergreifend funktionieren, aber zusätzliche Analyselogik erfordern.
Immobilienanzeigen auf Portalen werden nach einem Verkauf oder einer Vermietung häufig entfernt. Die Anbieter gehen unterschiedlich damit um: Einige geben explizite 404- oder „dead_page“-Fehlercodes zurück, andere HTTP 200 mit dem Text „Seite nicht gefunden“ im HTML-Code. In unserem Benchmark werteten wir die korrekte Erkennung des 404-Fehlers als gültiges Ergebnis, da der Anbieter die nicht verfügbare Seite erfolgreich identifiziert hatte.
Ja, die meisten Anbieter unterstützen beide Angebotstypen. Die URL-Struktur unterscheidet sich in der Regel zwischen Kauf- und Mietangeboten auf den jeweiligen Plattformen. Ihr Datensatz sollte daher den korrekten Angebotstyp enthalten. Einige Anbieter verwenden separate Konfigurationen oder Datensatz-IDs für Miet- und Kaufangebote.
Immobilien-Websites nutzen CAPTCHAs, IP-Sperren, JavaScript-Rendering-Anforderungen und Browser-Fingerprinting, um automatisierten Zugriff zu verhindern. In unserem Benchmark lagen die Erfolgsquoten je nach Anbieter und Domain zwischen 42 % und 100 %, was die Wirksamkeit von Anti-Bot-Maßnahmen belegt. Anbieter mit dedizierten Domain-APIs oder Headless-Browser-Rendering erzielten im Allgemeinen bessere Ergebnisse.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.