Büyük Ölçekli Web Kazıma: 7 Sağlayıcı Karşılaştırıldı
Canlı web sitelerinde, 5 ile 5.000 arasında eşzamanlı istek ile iki kıyaslama çalıştırdık. İlki, Tranco en iyi 10.000 alan adı genelinde dört web engel kaldırıcı üzerinden 260.000 istek gönderdi, ayrıca 10.000 URL üzerinde bir markdown çıkarma testi yapıldı. İkincisi, beş kazıma sağlayıcısının her birinden 100 e-ticaret alan adı genelinde 65.000 ürün ve arama sayfası getirdi.
E-ticaret kazıyıcı kıyaslaması
Metriklerin açıklaması
İçerik doğrulamalı başarı oranı: beklenen içeriği döndüren isteklerin payı, hedef veriyi taşıyan bir CSS seçici veya yapılandırılmış JSON alanı üzerinden doğrulandı. Bir engelleme sayfası, captcha veya boş kabuk, HTTP 200 durumu olsa bile sıfır puan aldı.
Ortanca yanıt süresi (P50): tipik istek, saniye cinsinden, yatay eksende. Araç ipucu ayrıca P90'ı, yani en yavaş %10 isteği gösterir.
Eşzamanlılık: aynı anda devam eden istek sayısı, filtre düğmeleri ile seçilebilir. 5.000 düzeyi, sağlayıcının hız limitlerini ve hesap düzeyindeki tavanları, çıkarma kalitesinden daha fazla zorlar.
Ortalama: bu makale boyunca, e-ticaret ortalaması 5 ve 100 eşzamanlılık kademelerinin ortalamasıdır. 5.000 kademesi, beş sağlayıcıdan ikisi bunu çalıştırdığı için hariç tutulmuştur.
Fiyatlandırma ayrıntıları ve ürün ile arama sayfaları için başarı oranları e-ticaret kazıyıcı kıyaslamasında bulunabilir.
Web engel kaldırıcı kıyaslaması
Metriklerin açıklaması
Ortalama tamamlanma süresi: başarılı istekler için aritmetik ortalama uçtan uca süre, saniye cinsinden, yatay eksende. E-ticaret grafiği yatay ekseninde bir ortanca çizerken, bu grafik bir ortalama çizer, bu nedenle iki eksen farklı istatistikler taşır.
Markdown çıkarma sonuçları, fiyatlandırma tablosu ve sağlayıcı başına incelemeler web engel kaldırıcı kıyaslamasında bulunabilir.
Büyük ölçekli kazıma kıyaslama bulguları
100 e-ticaret alan adı genelinde en yüksek içerik doğrulamalı başarı oranı %76,0 ve en düşüğü %59,4 oldu, her ikisi de 5 ve 100 eşzamanlılık kademelerinin ortalamasıdır. Tranco en iyi 10.000 alan adı genelinde dört engel kaldırıcı %88 ile %94 arasında değişti. Bunlar farklı hedef kümelerine, farklı sayfa türlerine ve farklı sağlayıcı kümelerine karşı ayrı testlerdir, bu nedenle iki aralık tek bir puanda birleştirilemez.
Başarı 100 eşzamanlı istekte zirve yapıyor
E-ticaret kıyaslamasındaki her sağlayıcı, 100 eşzamanlı istekte 5'ten daha yüksek puan aldı: Bright Data %73,7'den %78,3'e, Zyte %71,1'den %73,0'e, Apify %67,7'den %72,5'e, Nimble %56,6'dan %67,3'e, Decodo %55,6'dan %63,1'e. Engel kaldırıcı kıyaslamasında, Bright Data 500 eşzamanlı istekte %95 ve Zyte 500'de %93 ile zirve yaptı.
Düşüş 5.000'e ulaşıyor, Bright Data %71,0'e ve Nimble %56,0'a düşüyor. Yani eğri, monoton bir eğimden ziyade bir orta banda sahiptir ve düşük eşzamanlılık ayarına ayarlanmış bir kazıyıcı ölçülebilir bir başarı oranı verir. Mekanizma, bu kıyaslamaların izole ettiği bir şey değildir. 5 istek ve 5.000 istek çalışmaları aynı URL'leri ve aynı doğrulamayı kullandı, bu nedenle fark, testlerin gözlemlediği sağlayıcı tarafı davranışındadır, açıklamalarda değil.
Liste sayfaları, ürün sayfalarından daha sık başarısız oluyor
Beş e-ticaret sağlayıcısının tamamı, arama ve liste sayfalarında beklenen içeriği, ürün sayfalarına göre daha az sıklıkta döndürdü. Fark, Zyte'de 4.6 puandan Decodo'da 14.9 puana kadar uzanıyor.
Ürün sayfaları, başlık, fiyat, SKU ve resimler gibi yapılandırılmış alanlarla tek bir öğe taşır. Arama ve liste sayfaları, bir sorgudan veya kategoriden birçok öğe döndürür, genellikle sayfalandırılmış ve ilk HTML'den sonra oluşturulmuştur. Bir tarama planı için, ürün site haritasından veya bir ürün kimlikleri kümesinden besleme yapmak, arama sonuçlarında sayfa numarasıyla ilerlemekten daha yüksek bir ürün sayfasına yakın oran verir.
Ortanca yanıt süresi, kuyruğu tahmin etmiyor
Zyte Bright Data'ya göre daha uzun bir ortanca kaydetti, 20.9s'ye karşı 16.2s, ve daha kısa bir kuyruk, 52s'ye karşı 62s. Apify'ın kuyruğu 116s'ye ulaştı, 45.7s ortancaya karşı, ve Decodo'nun 23s'si 7.0s'ye karşı.
Bu nedenle, ortancadan belirlenen istek başına zaman aşımı, her sağlayıcıda P90'dan belirlenen farklı bir trafik payını keser. Zaman aşımına uğramış bir sayfa da bir maliyet taşır, çünkü başarısız istekler harcamaya sayılır ancak sayfa toplamına sayılmaz.
İki sağlayıcı 5.000 eşzamanlı istekte bir çalışmayı tamamladı
E-ticaret kıyaslamasında, Bright Data %71 ve Nimble %56 ile 5.000 paralel istekte kaldı. Diğer sağlayıcılar, bu yükte kazıma yeteneğinden ziyade hesap düzeyinde eşzamanlılık veya kredi tavanları ile sınırlıydı, bu nedenle onlar için bu kademede bir sonuç yayınlanmadı. Engel kaldırıcı kıyaslamasında, Bright Data %92 ile 5.000 eşzamanlılık sonucu taşır ve Nimble %88 ile. Zyte veya Firecrawl için 5.000 eşzamanlılık rakamı yayınlanmadı.
Özel kazıyıcılar en fazla 100 alan adının 59'unu kapsıyor
Sağlayıcılar veriyi nasıl çıkardıkları konusunda farklılık gösterir. Bazıları, her pazar yeri için sitenin yapılandırılmış alanlarını döndüren önceden oluşturulmuş bir kazıyıcı gönderir, diğerleri herhangi bir siteye tek bir motor uygular.
Kümelenmedeki en geniş katalogda, 100 alan adının 41'i hâlâ evrensel bir motora düşüyor. Bu nedenle, sabit bir hedef listesi, test edilen her sağlayıcıda uzun kuyruk işi taşır; bu da imzalamadan önce belirli bir alan adı listesini bir satıcının kazıyıcı kataloğuna göre kontrol etmek için bir argümandır. Meta veri alan sayıları iki sağlayıcıdan gelir ve genel olarak iki çıkarma modunu değil, bu iki ürünü tanımlar.
Hangi katman hedef listeyle eşleşiyor?
Bir kazıyıcı ile hedef site arasında üç katman bulunur ve işi hangisinin taşıyacağına hedef liste karar verir.
Bir kazıyıcı API, zaten desteklediği bir site için ayrıştırılmış alanlar döndürür. Bir web engel kaldırıcı sayfayı döndürür ve ayrıştırmayı çağırana bırakır. Yerleşik proxy'ler bir bağlantı döndürür ve hem bot karşıtı işlemeyi hem de ayrıştırmayı çağırana bırakır. Kazıma tarayıcıları, etkileşime ihtiyaç duyan sayfalar için programlı tarayıcı kontrolü ekleyerek engel kaldırıcı katmanının yanında yer alır.
Bilinen, sabit bir hedef listesi, e-ticaret kıyaslamasının ölçtüğü durumdur. Böyle bir liste, nadiren değişen alan adlarını, öğrenmeye değer site başına sayfa türlerini ve yinelenen bir yenilemeyi barındırır. Özel kazıyıcılar, kataloğun listeyi kapsadığı ölçüde burada karşılığını verir; yukarıdaki kapsam tablosu bunu 100 alan adının 59'u ile sınırlar. Geri kalan, baştan planlanmış bir evrensel motor yoluna ihtiyaç duyar.
Açık, uzun kuyruklu bir hedef listesi, engel kaldırıcı kıyaslamasının ölçtüğü durumdur. Böyle bir liste, önceden bilinmeyen alan adlarını, yazmaya değer site başına ayrıştırıcı olmayan ve genel çıkarma ile eşleştirilmiş tek bir genel motoru barındırır. Tranco en iyi 10.000, belirsiz sitelerin bir listesinden ziyade genel popülerlik listesidir, bu nedenle hedef liste heterojenliğini temsil eder, hedef liste belirsizliğini değil.
Çıktı biçimi her iki durumu da keser. Markdown çıkarma testinde, sağlayıcılar ham HTML yerine temiz metin döndürdü.
Markdown çıkarma testi, 10.000 URL. Her iki testte de bulunan her sağlayıcı, burada 260.000 istek üzerinde farklı bir URL kümesinde çalışan HTML testine göre daha düşük bir oran kaydetti. Exa yalnızca bu testte görünür çünkü hiç ham HTML belgesi döndürmez.
Büyük dil modelleri artık bir zamanlar elle yazılmış desen eşleştirme gerektiren ayrıştırmayı ele alıyor ve sağlayıcılar bu adımı tekliflerine dahil ediyor. LLM ayrıştırma, kendi başarısızlık modunu getirir. Otomatik olarak ayrıştırılan alanların bilinen değerlere karşı test edilmesi gerekir, çünkü halüsinasyon görmüş bir fiyat geçerli veri olarak okunur. Yapay zeka web kazıma araçları bu kategoriyi kapsar.
Büyük ölçekte başarısızlık modları
Bot karşıtı savunmalar ve dinamik sayfalar
Bot karşıtı sistemler IP itibarı, istek başlığı kontrolleri, JavaScript zorlukları ve captcha kapılarını üst üste dizer ve içeriğini betik yürütüldükten sonra birleştiren bir sayfa, herhangi bir çıkarma işlemi yapılmadan önce temizlenmesi gereken ikinci bir yüzey ekler.
Bir JavaScript zorluğunu temizlemek, düz bir HTTP isteği yerine bir tarayıcı oturumu çalıştırmak anlamına gelir ve bu, sağlayıcıya kabaca 5 ila 10 kat daha fazla işlem maliyeti çıkarır. Sağlayıcılar sonuç olarak işlenmiş istekleri farklı şekilde fiyatlandırır ve hızlandırır.
Hesap düzeyinde eşzamanlılık ve kredi tavanları
E-ticaret kıyaslamasında 5.000 paralel istekte, beş sağlayıcıdan üçü hiçbir tamamlanmış çalışma döndürmedi. Orada raporlanan sınır, kazıma yeteneğinden ziyade hesap düzeyinde eşzamanlılık veya kredi tavanlarıydı.
Sessiz başarısızlıklar ve veri doğruluğu
Her iki kıyaslamada da başarı, yalnızca beklenen içerik yanıtta mevcut olduğunda sayıldı ve çalıştırmadan önce tanımlanmış bir temel gerçeğe göre kontrol edildi. Bir engelleme sayfası, captcha veya boş kabuk taşıyan bir HTTP 200 sıfır puan aldı, bu nedenle bu rakamlar aynı trafikte bir durum kodu sayımının üreteceğinin altındadır. Yalnızca durum kodlarını kontrol eden bir işlem hattı, engelleme sayfalarını toplarken başarı rapor eder.
Yasal risk
Büyük ölçekli toplama, güvenlik ekiplerinin dikkatini çeker ve bir kısmı oturum açma arkasındaki verilere veya kişisel verilere dokunduğunda dava takip eder. Google, genel arama sonuçlarında görünen telif hakkıyla korunan içeriği kazıdığı için SerpApi'ye dava açtı.1 Web kazımanın yasallığı sınırları daha ayrıntılı olarak ele alır.
Büyük ölçekli kazıma kıyaslama metodolojisi
Web engel kaldırıcı metodolojisi
Dört sağlayıcı, Tranco en iyi 10.000 alan adı, 260.000 istek, eşzamanlılık 5, 100, 500 ve 5.000. Alan adları, ölü sunucular, yalnızca altyapı uç noktaları ve taranabilir içeriği olmayan siteler için filtrelendi, ardından genel engelleme listelerine, bir alan adı otoritesi eşiğine ve bir anahtar kelime listesine göre tarandı. En az üç taranabilir URL'yi elinde tutan alan adları ilerledi. Test bölümleri, farklı, örtüşmeyen URL kümeleri kullandı.
Başarı, bir bot sayfası imza ön filtresi, ardından bir temel gerçek CSS seçici eşleşmesi, ardından ham ve etiketten arındırılmış gövdede metin eşleştirme ile, karma sınıf adları, yardımcı CSS'den kaçış ve karakter kodlaması bozulması için yedeklerle aşamalı bir doğrulamadan geçti. Ayrı bir markdown çıkarma testi 10.000 URL'yi kapsadı. Bir sınırlama geçerlidir. Zyte veya Firecrawl için 5.000 eşzamanlılık rakamı yayınlanmadı.
E-ticaret kazıyıcı metodolojisi
Beş sağlayıcı, 100 e-ticaret alan adı, her biri için 65.000 ürün ve arama sayfası, eşzamanlılık 5, 100 ve 5.000. Raporlanan ortalama, 5 ve 100 eşzamanlılık kademelerinin ortalamasıdır, çünkü Bright Data ve Nimble 5.000'de tam bir çalışmayı tamamlayan iki sağlayıcıydı.
Alan adları, Rusya ve Çin hariç, GSYİH'ya göre en iyi 15 ülkeden ve ayrıca SimilarWeb ve Semrush kategori listelerinden alınan kategori liderlerinden seçildi. Ürün URL'leri site haritalarından, kategori taramalarından ve site ile sınırlı aramadan geldi, arama URL'leri ise her alan adının kendi kategori adlarından ve ürün slug'larından, sitenin kendi dilinde oluşturulan sorgulardan geldi. Her URL, bir kıyaslanan sağlayıcı aracılığıyla hedef sayfayı getirmeden keşfedildi. Bir sağlayıcının bir alan adı için özel bir e-ticaret kazıyıcısı sunduğu durumlarda, o kazıyıcı çalıştı. Aksi takdirde, sağlayıcının genel engel kaldırıcısı çalıştı. Tüm sağlayıcılar aynı sunucu konumundan çalıştı. Maliyet, 1.000 başarılı ürün sayfası başına harcama olarak kaydedildi, başarısız istekler harcamaya sayıldı.
Tercih edilen kaynak olarak ekleTest edilen sağlayıcılar
Büyük ölçekli web kazıma nedir?
Büyük ölçekli web kazıma, altyapı seçiminin mimariyi takip etmek yerine belirlemeye başladığı bir hacimde web verilerinin otomatik olarak toplanmasıdır.
Gözlemlenebilir geçişler aralığı işaretler. Ayda 10.000 istekte, engel kaldırıcı liste fiyatları Exa'da $0 ve Bright Data'da $7.50'den Firecrawl'da $99'a kadar uzanır. Ayda bir milyonda aynı sağlayıcılar $749 ile $4.080 arasında değişir. 5.000 eşzamanlı istekte, beş e-ticaret sağlayıcısından üçü hiçbir tamamlanmış çalışma üretmedi. Bu ölçekte değişen, kazıma tekniği değil, hacim ve eşzamanlılıktır.
Sonuç
100 e-ticaret alan adı genelinde ölçülen en yüksek içerik doğrulamalı başarı oranı, 5 ve 100 eşzamanlılık kademelerinin ortalaması olarak %76,0 ve en düşüğü %59,4 oldu. Tranco en iyi 10.000'de, dört engel kaldırıcı %88 ile %94 arasında değişti. Her iki rakam da içerik doğrulamalı sayımlardır, HTTP 200 ile döndürülen bir engelleme sayfasını başarısızlık olarak puanlar, bu nedenle aynı trafikte bir durum kodu sayımının rapor ettiğinin altındadırlar.
Bilinen, sabit bir hedef listesi için, Bright Data %76,0 ortalama başarı, başarılı ürün sayfası 1.000 başına $1.52 ve 100 alan adının 59'u için özel kazıyıcılar kaydetti. Aynı listede yanıt süresi için, Decodo 7.0s ortanca ve Nimble 8.9s, %59,4 ve %62,0 ile kaydetti. Açık, uzun kuyruklu bir liste için, Bright Data %94 5s ortalama ile ve Firecrawl %88 4s ile kaydetti. 5.000 eşzamanlı istekte sürekli yük için, Bright Data ve Nimble her iki kıyaslamada da yayınlanmış sonuçlar taşır.
Daha fazla okuma
- Web Kazıma Yol Haritası: 30M İstekten İçgörüler
- E-Ticaret Kazıyıcı Kıyaslaması
- Web Sitesi Engel Kaldırıcılar Kıyaslandı & Karşılaştırıldı
- En İyi Web Kazıma API'leri Kıyaslandı
- En İyi & En Ucuz Yerleşik Proxy'ler
- En İyi Yapay Zeka Web Kazıma Araçları
- En Yaygın Web Kazıma Zorlukları
Bu benchmarkı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dogan2026,
author = {Dogan, Sedat and Sarı, Ekrem},
title = {{Büyük Ölçekli Web Kazıma: 7 Sağlayıcı Karşılaştırıldı}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/large-scale-web-scraping}},
note = {AIMultiple. Erişim tarihi: 30 Temmuz 2026}
}
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.