En İyi Zillow Veri Çekme API'lerinin Karşılaştırılması: Performans İncelemesi
Önde gelen emlak sitelerinden biri olan Zillow'da en iyi beş web kazıma sağlayıcısını karşılaştırdık ve tüm sağlayıcılar genelinde 1.250'den fazla kazıma isteği gerçekleştirdik. Her sağlayıcıya aynı emlak ilan URL'leri seti gönderildi ve tamamlanma süresi, başarı oranı ve ilan başına döndürülen yapılandırılmış veri alanı sayısı açısından değerlendirildi.
Zillow veri kazıma kıyaslaması
Ayrıca, tüm sağlayıcıların başarılı olduğu görevler için tamamlama sürelerini özel olarak analiz ettik. Sonuçlar, genel tamamlama süreleriyle neredeyse aynıydı; bu da başarısız isteklerin herhangi bir sağlayıcı için ortalama tamamlama süresini önemli ölçüde artırmadığını gösteriyor.
Test süreciyle ilgili daha fazla ayrıntı için kıyaslama metodolojisi bölümümüzü okuyabilirsiniz.
Zillow'dan hangi verileri çekebilirsiniz?
Apify yapılandırılmış JSON çıktısı döndüren tek sağlayıcı olduğundan, ölçülebilir meta veri alanlarına sahip tek sağlayıcıydı. Apify, Zillow için 185 meta veri alanı döndürdü. Geri kalan sağlayıcılar, CSS seçicileri kullanılarak yerel olarak ayrıştırılan ve bu nedenle karşılaştırılabilir meta veri sayıları üretmeyen işlenmiş HTML döndürdü.
Zillow için Apify kullanılabilir meta veri alanı
Zillow veri kazıma kıyaslama sonuçları
Oxylabs bu karşılaştırmada en düşük başarı oranına (%89) sahip oldu ve ayrıca yaklaşık 59 saniye ile en yüksek ortalama tamamlama süresini kaydetti. Özel bir Zillow veri çekme kaynağı kullandı, ancak bu durum bu veri kümesinde hız veya güvenilirlik avantajına dönüşmedi.
Decodo , %97'lik başarı oranıyla Apify'ten sonra ikinci en yüksek oranı elde etti. Ancak, tamamlanma süresi yaklaşık 51 saniye ile belirgin şekilde daha uzundu ve bu da onu daha yavaş sağlayıcılar arasına yerleştirdi. Bu sonucu, Zillow'a özgü herhangi bir kurulum olmadan, genel amaçlı bir veri kazıma yapılandırması kullanarak elde etti.
Apify, Zillow'da yaklaşık 17 saniyelik bir tamamlama süresiyle %100 başarı oranına ulaştı. Yapılandırılmış JSON çıktısı döndüren tek sağlayıcıydı ve bu da onu, liste başına ortalama 185 veri noktasıyla ölçülebilir meta veri alanlarına sahip tek sağlayıcı yaptı.
Nimble, ortalama 12 saniyede istekleri tamamlayarak kıyaslamada en hızlı sağlayıcı oldu. Başarı oranı %92 ile karşılaştırmanın üst yarısında yer aldı. Hız ve güvenilirliğin birleşimi, bu alanda daha dengeli sonuçlardan birini ortaya koydu.
Zyte, yaklaşık 46 saniyelik bir tamamlama süresiyle %92'lik bir başarı oranına ulaştı. Başarı açısından Nimble ile benzer bir aralıkta yer aldı, ancak önemli ölçüde daha yavaştı. Sonuç istikrarlıydı, ancak herhangi bir yönde öne çıkmadı.
Kıyaslama metodolojisi
Zillow.com'da beş web kazıma sağlayıcısını (Apify, Decodo, Oxylabs, Nimble, Zyte) test ettik.
Veri kümesi
Zillow'dan 250 adet ürün sayfası URL'si hazırladık. Ürün sayfaları, adres, fiyat, yatak odası sayısı, banyo sayısı, metrekare ve mülk geçmişi gibi ayrıntıları içeren bireysel mülk ilanlarıdır.
Tüm URL'lerin erişilebilirliği, kıyaslama işleminden önce doğrulandı. URL'ler, standart Zillow detay sayfası formatını (/homedetails/…/zpid/) takip etti.
Paylaşılan yapılandırma
Tüm sağlayıcılara aynı veri kümesinden özdeş URL'ler gönderildi ve aynı koşullar altında test edildiler:
- Sıralı yürütme: her seferinde yalnızca bir istek işlenir, paralel istekler işlenmez.
- İstekler arasındaki gecikme: 2 saniye
- Hız sınırlaması yönetimi: HTTP 429'da 30 saniye bekleme ve en fazla 3 yeniden deneme.
- Gönderim zaman aşımı: 300 saniye
- Yürütme zaman aşımı: 600 saniye
- Her bir URL, sağlayıcı başına bir kez test edildi.
Sağlayıcı yapılandırmaları
Apify
Apify, ayrıştırılmış alanlara sahip yapılandırılmış JSON döndüren maxcopell/zillow-detail-scraper aktörünü kullandı. CSS seçici ayrıştırmasına gerek duyulmadı. Aktör çalıştırmaları, durum BAŞARILI'ya ulaşana kadar 1 saniyelik aralıklarla kontrol edildi.
Decodo
Decodo, JavaScript ile oluşturulmuş HTML döndüren Universal Scraper API'sini (target: universal, headless: html) kullandı. Yanıt, CSS seçicileriyle yerel olarak ayrıştırıldı. Tüm istekler bir masaüstü User-Agent başlığı içeriyordu.
Oxylabs
Oxylabs, kaynak olarak zillow ve render olarak html parametreleriyle Gerçek Zamanlı API'yi kullandı; bu da JavaScript ile oluşturulmuş HTML döndürüyor. Yanıt, CSS seçicileriyle yerel olarak ayrıştırıldı.
Nimbleyolu
Nimble, render: true ve driver: vx10 (gizli başsız tarayıcı) ile Extract API'yi kullandı. Yanıt, CSS seçicilerle yerel olarak ayrıştırıldı. Alan adına özgü herhangi bir yapılandırma uygulanmadı.
Zyte
Zyte, browserHtml: true parametresiyle Extract API'yi kullandı; bu, başsız bir Chromium tarayıcısı aracılığıyla JavaScript ile oluşturulmuş HTML döndürür. Yanıt, CSS seçicilerle yerel olarak ayrıştırıldı. Alan adına özgü herhangi bir yapılandırma uygulanmadı.
Doğrulama
HTTP durum kontrolü
Doğrulama işleminden önce, sağlayıcının HTTP yanıt kodu kontrol edilir. 200-399 ve 404 durum kodlarına sahip yanıtlar başarılı gönderim olarak kabul edilir ve doğrulama aşamasına geçer. Diğer tüm durum kodları (400, 403, 500, 550, vb.) başarısız gönderim olarak değerlendirilir ve test doğrulama aşamasına girmeden hemen başarısız olarak işaretlenir.
Doğrulama kuralları
HTTP durum kontrolünden geçen testler aşağıdaki sırayla doğrulanır:
- 404 tespiti : Sayfa içeriği veya API hatası sayfanın artık mevcut olmadığını ("sayfa bulunamadı", "mevcut değil", "ölü sayfa") gösteriyorsa, test geçerli olarak işaretlenir. Sağlayıcı, kullanılamayan sayfayı doğru şekilde tanımlamıştır.
- Veri çıkarma (JSON API) : Yapılandırılmış JSON döndüren sağlayıcılar için, en az bir veri alanı bulunmalı ve boş olmamalıdır; alanın geçerli bir türü (dize veya tamsayı) olmalıdır. Kontrol edilen alanlar arasında adres, fiyat, yatak sayısı, banyo sayısı ve metrekare yer almaktadır.
- Veri çıkarma (HTML) : HTML döndüren sağlayıcılar için yanıt, Zillow'a özgü CSS seçicileriyle ayrıştırılır. En az bir seçici eşleşirse ve boş olmayan bir değer döndürürse, test başarılı olur.
- Sayfa göstergesi (yalnızca HTML): Hiçbir veri öğesi çıkarılmamışsa ancak Zillow için önceden tanımlanmış CSS seçicilerinden en az biri sayfadaki bir öğeyle eşleşmişse, test geçerli olarak işaretlenir. Bu, beklenen kapsayıcılarda yapılandırılmış veri öğesi bulunmasa bile sayfanın oluşturulduğunu ve yüklendiğini doğrular.
- Yukarıdaki koşullardan hiçbiri karşılanmazsa, test başarısız olur. Yaygın başarısızlık nedenleri arasında captcha/bot doğrulama sayfaları, yetersiz JavaScript oluşturma, proxy bağlantı hataları ve tarayıcı hataları bulunur.
Metrikler
Doğrulama başarı oranı : Sağlayıcının kullanılabilir veri döndürdüğü test edilen URL'lerin yüzdesi; başarılı testlerin toplam test sayısına bölünmesiyle hesaplanır.
Tamamlama süresi : Veri çekme isteğinin gönderilmesinden doğrulanmış sonuçların alınmasına kadar geçen toplam süre, saniye cinsinden ölçülür. Asenkron sağlayıcılar için, iş tamamlama durumu 1 saniyelik aralıklarla sorgulandı. Bir gruptaki tüm çalıştırmaların aritmetik ortalaması olarak raporlanır.
Kullanılabilir meta veriler : Sağlayıcı tarafından bir yanıttaki tüm öğeler arasında döndürülen benzersiz alan adlarının sayısı. Yalnızca JSON API yanıtları için geçerlidir.
SSS'ler
Yapılandırılmış API'ler, fiyat, adres, yatak odası sayısı ve metrekare gibi doğrulanmış veri noktalarını tutarlı formatlarda döndürür. HTML tabanlı sağlayıcılar kullanırken, çıkarılan verileri bilinen listelerle karşılaştırın ve dinamik sayfa oluşturma veya bot karşıtı yönlendirmelerden kaynaklanan eksik alanları kontrol edin.
Evet, çoğu veri çekme sağlayıcısı Zillow'daki hem kiralık hem de satılık ilanlarını desteklemektedir. URL yapısı ikisi arasında farklılık gösterdiğinden, veri setiniz doğru ilan türünü içermelidir. Bazı sağlayıcılar kiralık ve satılık ilanlar için ayrı yapılandırmalar veya veri seti kimlikleri kullanır.
Ürün URL'leri (bireysel listelemeler) için, her URL tek bir özellik döndürdüğü için sayfalama gerekmez. Birden fazla sonuç döndüren arama URL'leri için sağlayıcılar sayfalama işlemini farklı şekilde ele alır. Bazı yapılandırılmış API'ler, istek başına sonuç sayısını kontrol etmek için bir limit parametresi kabul ederken, HTML tabanlı sağlayıcılar yalnızca ilk sayfada görüntülenen listelemeleri döndürür.
Zillow, otomatik erişimi engellemek için CAPTCHA'lar, IP engelleme ve dinamik JavaScript oluşturma yöntemlerini kullanır. Sık karşılaşılan hatalar arasında engellenen isteklerden gelen boş yanıtlar, tam olarak oluşturulamayan sayfalardan gelen eksik veriler ve 404 hatası veren güncel olmayan ilanlar yer alır. Zillow'a özel API'lere sahip sağlayıcılar veya başsız tarayıcı oluşturma yöntemini kullanmak bu sorunları azaltır.
Zillow'dan elde edilen veriler, mahalle bazında fiyat trendlerini izlemek, ilan fiyatlarını Zestimate değerleriyle karşılaştırmak, piyasada kalma sürelerini takip etmek, posta kodları genelinde metrekare başına fiyatı analiz etmek ve değerinin altında fiyatlandırılmış mülkleri belirlemek için kullanılabilir. Fiyat geçmişi ve vergi değerlendirmeleri gibi alanları döndüren yapılandırılmış API'ler, yatırım analizi için daha derinlemesine veriler sağlar.
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.