En İyi 6 Gayrimenkul Kazıyıcısı: Bright Data, Apify ve Oxylabs
Beş büyük emlak alanında altı web kazıma sağlayıcısını karşılaştırdık ve her sağlayıcı üzerinden 1.500 emlak ilanı URL'si çalıştırarak toplam 9.000 istekte bulunduk.
Gayrimenkul veri kazıma kıyaslama sonuçları
Test süreciyle ilgili daha fazla ayrıntı için metodoloji bölümüne bakınız.
Sağlayıcıya göre alan adı kapsamı
- ✅ = destekleniyor, HTML döndürüyor
- ✅ ✅ = destekleniyor, yapılandırılmış veri döndürüyor
- ❌ = Kıyaslama testine dahil edildi ancak başarı oranı %0
Apify, Realtor, Rightmove ve Realestate.au için özel aktörler sunmadığı için bu alan adları Apify'in kıyaslama ölçütünden çıkarılmıştır.
Alan düzeyinde emlak verisi çekme kıyaslama sonuçları
Başarılı görevlerin tamamlanma süresi ile genel başarı oranı arasındaki ilişki
Sağlayıcıya göre kullanılabilir meta veri alanları
Zillow'da , Bright Data her ilan için 121 alan, Apify ise 185 alan döndürdü. Redfin için yapılandırılmış JSON (23 alan) sağlayan tek sağlayıcı Apify iken, Realestate.com.au için tek sağlayıcı Bright Data idi (35 alan).
Aşağıdaki tabloda, her sağlayıcının yalnızca kendi bünyesinde döndürdüğü alanlar listelenmiştir; her iki sağlayıcının da ortak olarak döndürdüğü alanlar listelenmemiştir.
Hem Bright Data hem de Apify, Zillow'un şu temel alanlarını döndürür: adres, yatak odası sayısı, banyo sayısı, yaşam alanı, arsa boyutu, fiyat, zestimate, kira zestimate, ev durumu, ev tipi, inşa yılı, enlem, boylam, fotoğraf sayısı, okullar, fiyat geçmişi, vergi geçmişi, son satış fiyatı, emlak vergisi oranı, satış tarihi, emlak şirketi adı, ilan veri kaynağı.
En iyi 6 emlak veri kazıyıcısının artıları ve eksileri
Bright Data, karşılaştırma testinde en istikrarlı sağlayıcılardan biriydi. Daha güçlü sonuçları Zillow, Realestate.com.au ve Rightmove'da görüldü. Zillow'da Bright Data, yaklaşık %100 başarıya ulaştı, ancak bu listedeki en hızlı sağlayıcılardan daha yavaştı.
Realestate.com.au'da yine %95 civarında yüksek bir başarı oranı göstererek bu alan adındaki en güçlü sonuçlar arasında yer aldı. Rightmove'da ise yüksek başarı oranını çok düşük gecikme süresiyle birleştirerek bu grafikteki en verimli sonuçlardan biri oldu.
Daha zayıf sonuç Redfin'de görüldü; burada Bright Data çok hızlıydı ancak daha güçlü olduğu alanlara göre daha az güvenilirdi ve başarı oranı yaklaşık %78 civarındaydı. Realtor'da ise orta düzeyde gecikme ve yaklaşık %80'lik başarı oranıyla rekabetçi kalmaya devam etti, ancak burada liderliği ele geçiremedi.
Bu hizmet sağlayıcı, emlak sektörünün tüm alanlarında iyi bir performans sergiledi ve hiçbir alanda büyük bir düşüş göstermedi. Her listede en üst sırada yer almasa da, karşılaştırmanın genelinde daha güçlü olanların arasında kaldı.
Oxylabs, gayrimenkul kıyaslamasında karma bir performans profili sergiledi. Sonuçları bazı alanlarda güçlü, diğerlerinde ise çok daha zayıftı; bu da onu kümedeki alan bağımlı sağlayıcılardan biri haline getirdi.
Realtor ve Rightmove'da Oxylabs iyi performans gösterdi. Nispeten düşük gecikme süresini yüksek başarı oranlarıyla birleştirerek bu alan adlarında en güçlü sağlayıcılar arasına girdi. Realestate.com.au'da da başarı oranları yüksekti, ancak tamamlama süreleri belirgin şekilde daha yavaştı. Bu, Oxylabs'ün en hızlı seçenekler arasında olmasa bile bazı hedefler için güvenilir veri çıkarma işlemini sürdürebileceğini göstermektedir.
Oxylabs'ün daha güçlü sonuçları Realtor ve Rightmove'da elde edilirken, Zillow ve Redfin'de önemli ölçüde daha zayıf performans gösterdi. Emlak verisi toplama sağlayıcılarını değerlendiren ekipler için Oxylabs, beş sitenin tamamında genel olarak istikrarlı bir seçenek olmaktan ziyade, alana özgü bir seçenektir.
Zillow'da Decodo yaklaşık %97'lik yüksek bir başarı oranına ulaştı, ancak gecikme süresi de yaklaşık 51 saniye ile yüksekti ve bu da onu daha güçlü sağlayıcılardan çok daha yavaş hale getirdi. Rightmove'da ise yine yaklaşık %89'luk kullanılabilir bir başarı oranı elde etti, ancak yine de çoğu rakipten daha yavaştı.
Decodo bu karşılaştırmada önde gelen sağlayıcılar kadar istikrarlı veya güçlü bir performans sergilemedi. Bazı alan adlarında veri çıkarma işlemini tamamlayabildi, ancak genellikle daha yüksek gecikmeyle ve daha zorlu sitelerde daha belirgin şekilde zorlandı.
Zillow'da, Apify çok yüksek bir başarı oranını nispeten düşük gecikme süresiyle birleştirdi. Yaklaşık 18 saniyede %100'e yakın başarıya ulaşarak, bu listedeki en güçlü sonuçlar arasında yer aldı.
Redfin'de sonuç daha da önemli. Redfin, kıyaslama testindeki en zorlu alanlardan biriydi ve birçok sağlayıcı burada başarı oranlarında belirgin bir düşüş yaşadı.
Apify, bu grafikteki diğer sağlayıcılardan daha iyi performans göstererek yaklaşık 14 saniyede %88'lik bir başarı oranına ulaştı. Redfin'deki en hızlı sağlayıcı değildi, ancak güvenilirlik ve gecikme süresinin en güçlü kombinasyonunu sundu.
Zyte'nin daha güçlü sonuçları Rightmove, Zillow ve Realestate.com.au'da görüldü. Rightmove'da, Zyte, yaklaşık %93'lük bir başarı oranıyla, gecikmeyi makul bir aralıkta tutarken, kıyaslamada en yüksek başarı oranlarından birine ulaştı.
Zillow'da da yaklaşık %92'lik sağlam bir başarı oranı korudu, ancak işlem süreleri listedeki daha hızlı sağlayıcılara göre daha yavaştı.
Realestate.com.au'da Zyte nispeten hızlıydı ve güvenilirlik açısından en üst sıralarda yer almasa da kullanılabilir bir başarı oranı elde etti. Daha zayıf sonuçlar Redfin'de ve özellikle Realtor'da ortaya çıktı.
Nimble'in en büyük gücü tutarlılığıydı. Beş emlak alanının tamamında uygulanabilir bir aralıkta kaldı ve performansın çöktüğü hiçbir alan göstermedi.
Nimble'in daha güçlü sonuçları Zillow, Redfin ve Rightmove'da ortaya çıktı. Zillow'da, Nimble düşük gecikme süresini yüksek başarı oranıyla birleştirerek bu listedeki en güçlü sonuçlar arasında yer aldı.
Redfin'de de yine oldukça iyi bir performans sergiledi; başarı oranı yaklaşık %79 ve birçok rakibine göre daha hızlı işlem süreleri elde etti. Rightmove'da da Nimble güçlü bir performans göstererek, orta düzeyde gecikmeyle yaklaşık %92 başarı oranına ulaştı ve bu alanda en iyiler arasına yakın bir konumda yer aldı.
Realestate.com.au'da Nimble nispeten hızlı kalmaya devam etti, ancak başarısı bu listedeki en güçlü sağlayıcılarınkinden biraz daha düşüktü. Aynı durum Realtor'da da görüldü; burada rekabetçi kaldı, ancak kendisini orta sıralardan açıkça ayıramadı.
Gayrimenkul veri toplama metodolojisi
Altı farklı web kazıma sağlayıcısını (Apify, Bright Data, Decodo, Oxylabs, Nimble, Zyte) beş emlak alan adında test ettik: zillow.com, redfin.com, realtor.com, rightmove.co.uk ve realestate.com.au.
Gayrimenkul veri toplama veri seti
5 farklı alan adı üzerinden toplam 1.250 ürün sayfası URL'si hazırladık (alan adı başına 250 adet). Ürün sayfaları, adres, fiyat, yatak odası ve banyo sayısı gibi detayları içeren bireysel gayrimenkul ilanlarıdır.
Bu beş alan adı, SimilarWeb trafik sıralamalarına göre dünyanın en iyi emlak web siteleri olarak seçilmiştir.
Tüm URL'lerin erişilebilirliği, kıyaslama işleminden önce doğrulandı. Geçersiz yönlendirmeler, süresi dolmuş listelemeler ve standart dışı alt alan adları, veri seti hazırlığı sırasında kaldırıldı veya düzeltildi.
Paylaşılan yapılandırma
Tüm sağlayıcılara aynı veri kümesinden özdeş URL'ler gönderildi ve aynı koşullar altında test edildiler:
- Sıralı yürütme: her seferinde yalnızca bir istek işlenir, paralel istekler işlenmez.
- İstekler arasındaki gecikme: 2 saniye
- Hız sınırlaması yönetimi: HTTP 429'da 30 saniye bekleme ve en fazla 3 yeniden deneme.
- Gönderim zaman aşımı: 300 saniye
- Yürütme zaman aşımı: 600 saniye
- Her bir URL, sağlayıcı başına bir kez test edildi.
Sağlayıcı yapılandırmaları
Bright Data
Bright Data alan adına bağlı olarak iki entegrasyon yöntemi kullandı. Zillow ve Realestate AU için, ayrıştırılmış alanlara sahip yapılandırılmış JSON döndüren Veri Kümesi API'sini kullandık. Redfin, Realtor ve Rightmove için ise, yerel olarak CSS seçicilerle ayrıştırdığımız işlenmiş HTML döndüren bir web engelleyici kullandık.
Veri kümesi API'si, durum 'hazır' olana kadar 1 saniyelik aralıklarla /progress/{snapshot_id} uç noktası üzerinden sorgulandı. Ardından sonuçlar /snapshot/{snapshot_id} uç noktasından alındı.
Apify
Apify, desteklenen her alan adına özgü önceden oluşturulmuş aktörleri kullandı. Zillow için maxcopell/zillow-detail-scraper'ı, Redfin için ise tri_angle/redfin-detail'i kullandık. Apify, bu kıyaslamada Realtor, Rightmove veya Realestate AU'yu desteklememektedir.
Apify aktörleri yapılandırılmış JSON döndürdüğü için CSS seçici ayrıştırmasına gerek duyulmadı. Aktör çalıştırmaları, durum BAŞARILI olana kadar 1 saniyelik aralıklarla kontrol edildi.
Decodo
Decodo, Zillow ve Redfin için Universal Scraper API'sini (target: universal, headless: HTML) kullandı. Realtor, Rightmove ve Realestate AU için ise JavaScript oluşturma için X-SU-Headless: HTML başlığına sahip web engelleyiciyi kullandık. Tüm istekler bir masaüstü User-Agent başlığı içeriyordu.
Oxylabs
Oxylabs, Zillow için (source: zillow) render: html ile özel bir kaynak API'si kullandı. Redfin, Realtor, Rightmove ve Realestate AU için Web Unblocker proxy'sini kullandık. Unblocker istekleri, masaüstü User-Agent başlığını içeriyordu. Unblocker'da JavaScript oluşturma etkinleştirilmemişti.
Nimble
Nimbleway, render: true ve driver: vx10 (gizli başsız tarayıcı) ile tüm alan adları için Extract API'yi kullandı. Tüm istekler, CSS seçicilerle ayrıştırdığımız işlenmiş HTML döndürdü. Alan adına özgü herhangi bir yapılandırma uygulanmadı.
Zyte
Zyte, tarayıcı HTML: true seçeneğiyle tüm etki alanları için Extract API'sini kullandı; bu, başsız bir Chromium tarayıcısı aracılığıyla JavaScript ile oluşturulmuş HTML döndürür. Etki alanına özgü herhangi bir yapılandırma uygulanmadı.
Alan adına göre veri kazıma yöntemleri
- JSON API : Sağlayıcı, ayrıştırılmış alanlara (adres, fiyat, yatak sayısı) sahip yapılandırılmış JSON döndürür.
- HTML API : Sağlayıcı, kazıma API'si aracılığıyla JavaScript ile oluşturulmuş HTML döndürür; bu HTML, CSS seçicilerle yerel olarak ayrıştırılır.
- Engeli Kaldırıcı : Sağlayıcı, isteği bir proxy üzerinden hedef siteye yönlendirir, ham HTML döndürür ve bunu yerel olarak CSS seçicilerle ayrıştırır.
Gayrimenkul kıyaslama verilerinin doğrulanması
HTTP durum kontrolü
Doğrulama işleminden önce, sağlayıcının HTTP yanıt kodu kontrol edilir. 200 ile 399 ve 404 durum kodlarına sahip yanıtlar başarılı gönderim olarak kabul edilir ve doğrulama aşamasına geçer. Diğer tüm durum kodları (400, 403, 500, 550) başarısız gönderim olarak değerlendirilir ve test doğrulama aşamasına girmeden hemen başarısız olarak işaretlenir.
Doğrulama kuralları
HTTP durum kontrolünden geçen testler aşağıdaki sırayla doğrulanır:
- 404 tespiti : Sayfa içeriği veya API hatası sayfanın artık mevcut olmadığını ("sayfa bulunamadı", "mevcut değil", "ölü sayfa") gösteriyorsa, test geçerli olarak işaretlenir. Sağlayıcı, kullanılamayan sayfayı doğru şekilde tanımlamıştır.
- Veri çıkarma (JSON API) : Yapılandırılmış JSON döndüren sağlayıcılar için, en az bir veri alanı bulunmalı ve boş olmamalıdır; alan türü alana bağlı olarak değişir (dize veya tamsayı). Kontrol edilen alanlar arasında adres, fiyat, yatak sayısı, banyo sayısı, başlık, isim, puan ve yorumlar yer alır.
- Veri çıkarma (HTML) : HTML döndüren sağlayıcılar için yanıt, alana özgü CSS seçicileri kullanılarak ayrıştırılır. En az bir seçici eşleşirse ve boş olmayan bir değer döndürürse, test başarılı olur.
- Sayfa göstergesi (yalnızca HTML): Hiçbir veri öğesi çıkarılmadıysa ancak o etki alanı için önceden tanımlanmış CSS seçicilerinden en az biri sayfadaki bir öğeyle eşleştiyse, test geçerli olarak işaretlenir. Bu, beklenen kapsayıcılarda yapılandırılmış veri öğesi bulunmasa bile sayfanın oluşturulduğunu ve yüklendiğini doğrular.
Yukarıdaki koşullardan hiçbiri karşılanmazsa, test başarısız olur. Yaygın başarısızlık nedenleri arasında CAPTCHA/bot doğrulama sayfaları, yetersiz JavaScript oluşturma, proxy bağlantı hataları ve tarayıcı hataları yer alır.
Gayrimenkul kıyaslama ölçütleri
- Doğrulama başarı oranı : Sağlayıcının kullanılabilir veri döndürdüğü test edilen URL'lerin yüzdesi; başarılı testlerin toplam test sayısına bölünmesiyle hesaplanır.
- Tamamlama süresi: Veri çekme isteğinin gönderilmesinden doğrulanmış sonuçların alınmasına kadar geçen toplam süre, saniye cinsinden ölçülür. Asenkron sağlayıcılar için, iş tamamlama durumu her 1 saniyede bir sorgulandı. Bir gruptaki tüm çalıştırmaların aritmetik ortalaması olarak raporlanır.
- Kullanılabilir meta veriler : Sağlayıcı tarafından bir yanıttaki tüm öğeler arasında döndürülen benzersiz alan adlarının sayısı. Yalnızca JSON API yanıtları için geçerlidir.
SSS'ler
Gayrimenkul veri kazıma, fiyat, adres, yatak odası sayısı, banyo sayısı, metrekare ve ilan durumu gibi gayrimenkul verilerinin ilan sitelerinden otomatik olarak çıkarılması işlemidir. Piyasa analizi, yatırım araştırması, fiyat takibi, potansiyel müşteri bulma ve gayrimenkul karşılaştırma araçları oluşturma amacıyla kullanılır.
Yapılandırılmış JSON sağlayıcıları, fiyat, adres ve yatak odası sayısı gibi ayrıştırılmış özellik alanlarını kullanıma hazır bir biçimde döndürür. HTML sağlayıcıları ise, aynı veri noktalarını çıkarmak için CSS seçici ayrıştırması gerektiren işlenmiş sayfayı döndürür. JSON API'ları genellikle daha fazla meta veri alanı döndürür ve entegre edilmesi daha kolaydır, HTML yaklaşımları ise daha fazla alanda çalışır ancak ek ayrıştırma mantığı gerektirir.
Emlak sitelerindeki ilanlar, satış veya kiralama işleminden sonra sıklıkla kaldırılır. Sağlayıcılar bunları farklı şekilde ele alırlar: bazıları açıkça 404 veya "dead_page" hata kodları döndürürken, diğerleri HTML'de "sayfa bulunamadı" metniyle HTTP 200 döndürür. Karşılaştırma testimizde, sağlayıcının kullanılamayan sayfayı başarıyla tanımladığı için doğru 404 tespitini geçerli bir sonuç olarak saydık.
Evet, çoğu sağlayıcı her iki ilan türünü de destekler. URL yapısı genellikle her platformda satış ve kiralama arasında farklılık gösterir, bu nedenle veri setiniz doğru ilan türünü içermelidir. Bazı sağlayıcılar kiralama ve satış için ayrı yapılandırmalar veya veri seti kimlikleri kullanır.
Emlak web siteleri, otomatik erişimi engellemek için CAPTCHA'lar, IP engelleme, JavaScript oluşturma gereksinimleri ve tarayıcı parmak izi alma yöntemlerini kullanır. Karşılaştırma testimizde, başarı oranları sağlayıcıya ve alana bağlı olarak %42 ile %100 arasında değişmekte olup, bot karşıtı korumaların ölçülebilir bir etkiye sahip olduğunu göstermektedir. Özel alan adı API'lerine veya başsız tarayıcı oluşturmaya sahip sağlayıcılar genellikle daha iyi performans göstermiştir.
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.