En İyi 5 Web Sitesi Engelleyici Benchmark'lendi ve Karşılaştırıldı

Önde gelen 4 web veri sağlayıcısını en üstteki 10.000 alan adında benchmark'ladık ve toplam 260.000 istek çalıştırdık. Her sağlayıcı, artan yük altında nasıl davrandıklarını ölçmek için birden fazla eşzamanlılık düzeyinde test edildi.

Ayrıca, her sağlayıcının yapay zeka için hazır çıktı için temiz içerik sunumunu nasıl ele aldığını değerlendirmek amacıyla 10.000 URL üzerinde özel bir markdown çıkarma testi gerçekleştirdik.

Sağlayıcılar, web engelleme benchmark'ındaki başarı oranlarına göre sıralanmıştır.

Web engelleme benchmark'ı

Test sürecimiz hakkında daha fazla ayrıntı için web engelleyici benchmark metodolojimizi okuyabilirsiniz.

Web engelleme benchmark'ı markdown çıktı performansı

Anti-bot sağlayıcısına göre başarı oranı

Anti-bot sistemleri, bir isteğin başarısız olmasının temel nedenidir; bu nedenle tüm sonuçları hedefte çalışan korumaya göre gruplandırdık. 10.000 alan adından en yaygın olarak dağıtılan ilk 5 anti-bot sağlayıcısı Cloudflare (2.791 alan adı), Akamai (526), Imperva (140), DataDome (90) ve AWS WAF (61) idi. Aşağıdaki grafik, her sağlayıcının bu beş korumaya karşı atlatma başarı oranını %95 güven aralıklarıyla göstermektedir. 

Web engelleyiciler fiyatlandırması

Ort, benchmark'ımızda ödediğimiz, her sağlayıcının en ucuz mevcut planıyla hacim ayarlamalı etkin 1k başına ücrettir. Min, her sağlayıcının sunduğu en ucuz katmandır. Maks, en pahalı katmandır (premium ücretler veya krediyle çarpılmış modlar). Aylık kullanım arttıkça hacim indirimleri her üçüne de uygulanır.

Bright Data, Nimble, Zyte ve Firecrawl yalnızca başarılı teslimatlar için faturalandırır; bu nedenle listelenen ücretleri başarılı istek başına maliyete eşittir. Exa başarıdan bağımsız olarak her denemeyi faturalandırır; bu yüzden rakamları ölçülen %68 başarı oranına göre düzeltilmiştir.

Bright Data: Min ve Ort, benchmark'ımız tam olarak Bright Data’nın PAYG standart ücretine denk geldiği için $1,50/1K düzeyinde çakışır. Maks, Premium ücretini kullanır ($2,50/1K = $1,50 standart + $1/CPM premium ek ücreti). Premium, anti-bot korumalı alan adlarının belirli bir listesine uygulanır. Benchmark sırasında bunlardan bazılarında kullandık ve ücretsiz katman bu istekleri karşıladı, bu nedenle ortalamayı değiştirmedi.

Firecrawl: Abonelik tabanlıdır; bu nedenle etkin 1k başına ücret, planınızı ne kadar doldurduğunuza bağlıdır. Hobby'de 1K/ay ($19) $19/1k eder; Standard'da 100k/ay ($99) $1/1k altına düşer; Scale'de 1M/ay ($749 aylık faturalandırma) $0,75/1k seviyesine indirir. Min, Ort ve Maks aynı taban ücreti kullanır (istek başına 1 kredi).

Zyte: Tarayıcıda işlenen fiyatlandırma beş site zorluk katmanında çalışır; PAYG'de $1,01/1k (basit sayfalar) ile $16,08/1k (karmaşık, JS yoğun sayfalar) arasında değişir. Ort, Zyte’ın $100–$500 aylık taahhüt indirimleriyle hacim ayarlamalı olarak benchmark'ımızdaki etkin ücreti kullanır ($2,98/1k, yaklaşık katman 2).

Nimble: Fiyatlar API ürününe göre belirlenir. Min ve Ort, $1/1k fiyatla Extract/Crawl/Map API'sini kullanır. Maks, yapılandırılmış, şablon tabanlı veriler için $3/1k fiyatla Extract Template API'sini kullanır.

Kurumsal veya özel olarak müzakere edilen fiyatlandırma dahil değildir.

Web engelleme benchmark sonuçları

Bright Data, proxy rotasyonu, CAPTCHA çözme, JavaScript oluşturma ve başlık yönetimini tek bir endpoint'te birleştiren bir Web Unlocker API'si sunar. Web engelleyici benchmark'ında Bright Data, test edilen her eşzamanlılık düzeyinde en yüksek genel başarı oranını ve en düşük yanıt sürelerini sağladı.

• Her eşzamanlılık düzeyinde birinci sırada: tekli %94, 100 eşzamanlılıkta %94, 500 eşzamanlılıkta %95.
• Yaklaşık 4 saniyelik ortalama yanıt süresiyle hızlı teslimat sağladı ve en ağır yük altında hızını korudu.
• Birçok sağlayıcının önemli ölçüde düştüğü 500 eşzamanlı istekte bile hızını ve başarısını sürdürdü.
• 5.000 eşzamanlıda %92 başarı oranıyla birinciliği korudu.
• %79 ile en yüksek markdown çıkarma başarı oranı; ortalama 9 saniye.

Firecrawl, test edilen sağlayıcılar arasında en hızlı yanıt sürelerinden biriyle dengeli başarı oranları gösterdi.

• Dengeli başarı oranları: tekli %88, 100 eşzamanlılıkta %88, 500 eşzamanlılıkta %88.
• Benchmark'taki en hızlı ortalamalardan biri: yaklaşık 4 saniye.
• Yük altında büyük bir düşüş olmadan eşzamanlılık düzeylerinde istikrarlı performans.
• Markdown testinde %71 başarı; yaklaşık 3 saniye ile en hızlı ortalama.

Nimble, ülke, eyalet, şehir ve posta kodu düzeyine kadar yerleşik residential proxy'ler ve coğrafi hedefleme içeren genel amaçlı bir web kazıma API'si sunar. Benchmark'ımızda Nimble, eşzamanlılık arttıkça sağlam kalan istikrarlı orta düzey sonuçlar verdi.

• Tutarlı üçüncülük: tekli %90, 100 eşzamanlılıkta %90, 500 eşzamanlılıkta %90.
• Yük altında başarı oranını minimum kayıpla korudu.
• Ortalama yanıt süresi yaklaşık 10 saniye.
• 5.000 eşzamanlıda %88 başarıyla yerini korudu; Bright Data’dan sonra ikinci ve ortalama yaklaşık 20 saniye.
• Markdown testinde %70 başarı; ortalama yaklaşık 10 saniye.

Zyte API, ham HTML'i tipli verilere dönüştürmek için yasaklama yönetimi, başsız oluşturma ve yapay zeka çıkarımını birleştiren bir web kazıma API'sidir. REST üzerinden erişilebilir ve Zyte'ın sürdürdüğü açık kaynaklı framework olan Scrapy ile entegre olur. Benchmark'ımızda Zyte, her eşzamanlılık düzeyinde en tutarlı ikinci oldu.

• En yüksek ikinci genel başarı oranı: tekli %92, 100 eşzamanlılıkta %92, 500 eşzamanlılıkta %93.
• Eşzamanlılık arttıkça pürüzsüz bir eğriyle yük altında istikrarlı davranış.
• Ortalama yanıt süresi yaklaşık 13 saniye.

Exa’nın Contents API'si, JavaScript ile oluşturulan sayfaları, PDF'leri ve karmaşık düzenleri işleyerek herhangi bir URL'den temiz, LLM'e hazır içerik çıkarır. Tam markdown metni, hedefli vurgular veya LLM tarafından oluşturulan özetler döndürür. Exa öncelikli olarak markdown odaklı olduğundan ve ham HTML belgeleri döndürmediğinden, benchmark'ımızda yalnızca markdown çıkarma testine dahil edildi.

• Markdown çıkarma testinde %68 başarı.
• Markdown testindeki en hızlı ortalama yanıt süresi: yaklaşık 3 saniye.
• Exa tam HTML belgeleri döndürmediği için HTML eşzamanlılık benchmark'ına dahil edilmedi.

Yapay zeka uygulamaları için markdown çıktısı neden önemlidir?

Yapay zeka iş yükleri için çıktı biçimi yalnızca getirmenin başarılı olup olmadığını değil, sonraki aşama maliyeti de belirlediği için 10.000 URL üzerinde ayrı bir markdown çıkarma testi çalıştırdık.

Ham HTML, bağlam penceresi token'larını israf eder

Web kazıma API'leri genellikle ham HTML döndürür: bir tarayıcının oluşturacağı aynı dağınık işaretleme; gezinme menüleri, reklam alanları, altbilgi şablonları ve sayfanın içerdiği gerçek içeriğin etrafına sarılmış satır içi stiller. Bilinen seçicilerle örüntü eşleştirdiğinizde bu sorun değildir, ancak büyük dil model'leri için kötü bir uyumdur. Kullanılmayan her etiket bağlam penceresi token'larını tüketir, modelin filtrelemesi gereken gürültüyü enjekte eder ve sayfayı içeren her prompt'un maliyetini artırır.

LLM'e hazır çıktı için HTML'den markdown'a dönüştürme

Markdown döndüren sağlayıcılar, sunumsal işaretlemeyi kaldırıp temiz yapılandırılmış içerik döndürerek bu ek yükü atlar:

• Başlıklar # olur
• Bağlantılar [text](url) olarak kalır
• Listeler liste olarak kalır
• Geri kalan her şey düşer

Sonuç, anlamlı metin korunarak eşdeğer HTML'den tipik olarak token olarak 60 ila %80 daha küçüktür. RAG pipeline'ları, vektör veritabanı alımı, yapay zeka ajanı araç çağrıları ve kazınmış bir sayfanın bir model prompt'una girdiği tüm iş akışları için bu doğrudan daha düşük inference maliyeti, daha hızlı yanıt süreleri ve üzerinde akıl yürütülecek daha az gürültü olduğundan daha iyi model çıktısı anlamına gelir.

Bu, birçok “yapay zeka için hazır” kazıma ürününün ham HTML yerine markdown ile öne çıkmasının aynı nedenidir. Bu kozmetik bir tercih değildir; sonraki aşamadaki bir LLM'in içerikle ne yapabileceğini önemli ölçüdeğiştiren bir token ve kalite kararıdır.

JavaScript oluşturma ne zaman kullanılmalı ve ne zaman atlanmalı

Web engelleyici API'leri bir sayfayı getirmek için iki yol sunar:

• Düz HTTP isteği: sunucunun gönderdiği ham HTML'i döndürür
• Tam tarayıcı oturumu (başsız tarayıcı modu): JavaScript'i çalıştırır ve betikler çalıştıktan sonra DOM'u döndürür

Ancak oluşturma ücretsiz değildir. Oluşturulan her istek, başsız bir tarayıcı örneği başlatır; bu da:

• Sağlayıcıya 5 ila 10 kat daha fazla hesaplama maliyeti çıkarır
• Birkaç saniye gecikme ekler
• Bazı sağlayıcılar bunu ayrı, daha yüksek fiyatlı bir katman olarak faturalandırır
• Diğerleri gecikmeyi daha yavaş yanıt olarak yansıtır

Engelleyici benchmark'ımız genelinde gördüğümüz temel kural: sayfa gerektirmedikçe oluşturma. İçerik öncelikli çoğu sayfa, yararlı içeriği başlangıçta sunucu tarafında oluşturulan HTML'de döndürür.

Bu şunları içerir:

• Bloglar ve makaleler
• Ürün listeleri
• Dokümantasyon
• Sunucu tarafında oluşturulan arama sonucu sayfaları

Gerçekten JS yoğun hedefler için JS oluşturmayı saklayın:

• Panolar ve yönetim panelleri
• Grafik odaklı analitikler
• Anlamlı metnin yalnızca fetch çağrıları çözüldükten sonra göründüğü endpoint'ler

Alan adı düzeyinde bir JavaScript oluşturma listesi (hangi sitelerin buna ihtiyacı olduğu, hangilerinin olmadığı), genellikle hem oluşturma maliyeti hem de başarı oranı açısından genel bir “her zaman oluştur” ayarından daha iyidir.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Bir web engelleyici ile proxy sunucuları arasındaki fark nedir?

Anti-bot sistemlerine karşı başarı oranları

Web sitesi engelleyicileri, varsayılan olarak tarayıcı parmak izi, TLS parmak izi, JS oluşturma, CAPTCHA çözme, otomatik proxy rotasyonu ve kazıma gibi gelişmiş özelliklerden yararlandıkları için yüksek başarı oranlarına sahiptir. Bu, kullanıcıların engellenen web sitelerine erişmesini sağlar.

Bu yetenekler normal residential veya datacenter proxy hizmetlerinde bulunmaz. Bu nedenle proxy kullanıcıları, Cloudflare, Akamai ve DataDome gibi anti-bot algılama sistemlerinden kaçınmak için bu tür yetenekleri kendileri uygulamalıdır.

Kullanım kolaylığı ve bakım

Dönen proxy'lerin web sitelerindeki anti-bot önlemlerini atlatmak için yapılandırılması gerekir. Bunları bir kez yapılandırmak da yeterli değildir. Web siteleri zamanla algılama mekanizmalarını geliştirir; bu nedenle proxy kullanıcılarının web sitelerini başarıyla kazımak için IP rotasyonu ve parmak izi taktiklerini geliştirmeleri gerekir.

Web engelleyici API'leri herhangi bir proxy rotasyonu veya oturum yapılandırması gerektirmez.

Her biri nasıl çalışır

Site engelleyiciler, sanal özel ağ, proxy sunucusu veya tarayıcı uzantısı gibi farklı yöntemler kullanabilir. Bir proxy sunucusu, internet trafiğini farklı bir sunucu üzerinden yönlendirerek kullanıcının gerçek IP adresini gizler, ancak verileri şifrelemez.

Web engelleyici benchmark metodolojisi

Dataset oluşturma

Birden fazla kaynaktan toplanan verilere dayanarak web sitelerini trafik ve popülerliğe göre sıralayan Tranco listesindeki en üst 10.000 alan adıyla başladık.

Alan adı dışlama. Bu havuzdan anlamlı benchmark hedefi olamayacak alan adlarını eledik:

• Yanıt veren sunucusu olmayan ölü alan adları
• Yalnızca CDN veya reklam hizmeti endpoint'leri olarak kullanılan, yalnızca altyapı amaçlı alan adları (kullanıcıya dönük siteler değil)
• Temel DNS çözümlemesi başarısız olan veya gerçek bir web mülkü barındırmayan geçersiz alan adları
• Yanıt veren ancak çıkarılabilir URL sunmayan, taranabilir içeriği olmayan alan adları
• Engel listesi filtreleme. Kalan her alan adı; yetişkin, kumar, oltalama, kötü amaçlı yazılım, dolandırıcılık ve kötüye kullanım kategorilerini kapsayan seçilmiş bir genel engel listesi kümesine karşı kontrol edildi (HaGeZi, StevenBlack/hosts, ShadowWhisperer, The Block List Project, PhishDestroy, romainmarcoux/malicious-domains, Phishing Army Extended ve diğerleri).
• URL otoritesi ve spam puanı filtreleme. Alan adı güvenilirliği DA/PA Checker ile değerlendirildi. Eşikler, bilinen güvenli ve bilinen zararlı örnekler arasındaki puan dağılımları karşılaştırılarak kalibre edildi ve zararlı tarafta kalan her alan adı kaldırıldı.
• Anahtar kelime filtreleme. Alan adları, genel engel listelerinden kaçan alan adlarını yakalamak için kumar, yetişkin içerik, uyuşturucu/ilaç ve finansal dolandırıcılığı kapsayan seçilmiş bir anahtar kelime listesine karşı tarandı.
• Son filtre. Yalnızca üç katmanın tümünden (engel listesi, URL puanlayıcı eşiği, anahtar kelime dışlama) geçen ve en az 3 taranabilir URL'ye sahip alan adları tutuldu.

URL toplama

Hayatta kalan her alan adı için, yalnızca ana sayfaları değil gerçek sayfaları keşfetmek ve toplamak amacıyla Cloudflare’ın tarayıcı altyapısını kullanan bir web tarayıcısı kullandık. 3'ten az taranabilir URL üreten alan adları bırakıldı.

Ayrıca, her URL için kendi getirdiğimiz HTML'den bir CSS seçici ve görünür bir metin parçası topladık; bunlar daha sonra sağlayıcıların doğru sayfayı döndürdüğünü doğrulamak için kullanıldı.

Test bölümleri

URL havuzu single_html, single_markdown, 100_html, 500_html ve 5000_html testlerine bölündü. Her test, benzersiz alan adı başına 1 URL aldı; yalnızca bir test yalnızca alan adına özgü URL'lerle doldurulamadığında en zengin alan adlarından ek URL'ler ödünç alındı. Her test, çakışmayan ayrı bir URL kümesi kullandı.

Doğrulama metodolojisi

Yalnızca HTTP durum kodlarını kontrol etmek yeterli değildir: bir sağlayıcı, gövdede bot engelleme sayfası varken HTTP 200 döndürebilir veya doğru sayfayı getirirken bizim temel doğruluk seçicimiz güncelliğini yitirmiş olabilir. Sağlayıcı başarısını dataset kalitesinden bağımsız olarak ölçmek için 10 aşamalı hibrit bir doğrulama uyguluyoruz.

999 kontrolü (bot sayfası ön filtresi). 10 aşamayı çalıştırmadan önce her yanıt gövdesi, seçilmiş bir bot engelleme ve CAPTCHA imzaları listesine karşı taranır (Cloudflare challenge işaretleri, DataDome, PerimeterX, Incapsula, “Just a moment…” vb.). Herhangi bir imza bulunursa satırın durum kodu 999 olarak yeniden yazılır ve sağlayıcının döndürdüğü HTTP kodundan bağımsız olarak doğrudan başarısız olarak işaretlenir.

Ön kontrol. Durum kodu 200 altında veya 400+ ise (404 hariç), satır başarısız olur. 201-399 ve 404 durumları başarı sayılır (404 meşru bir sağlayıcı yanıtıdır) ve içerik doğrulamasını atlar. Durum, adaptör tarafından önceden ayarlanmış bir hata alanıyla 200 ise satır başarısız olur. Yalnızca adaptör hatası olmayan 200 durumu 10 aşamaya geçer.

Aşama 1: Ham CSS. Temel doğruluk css_selector'ı BeautifulSoup ile gövdeye uygulanır. Başarılı satırların yaklaşık %80 kadarı burada eşleşir.

Aşama 2: Ham metin (gövde). Ham gövde içinde temel doğruluk metni için büyük/küçük harfe duyarsız alt dize araması.

Aşama 3: Ham metin (strip_tags). HTML etiketleri çıkarıldıktan sonra aynı alt dize araması; etiketler veya HTML varlıkları arasında bölünmüş metinleri yakalar.

Aşama 4: Wildcard CSS. Derleme zamanında karma hâle getirilmiş sınıf adlarını (CSS Modules, Styled Components) işler. .Slogan_title__YNy5xv [class*=”Slogan_title__”] olur. Seçici parçalara bölünür ve son 2 veya son N-3 parça bağımsız olarak denenir.

Aşama 5: Yalın sınıf düzeltmesi. Bazı temel doğruluk seçicileri başlarındaki . veya # işaretinden yoksundur. İlk token geçerli bir HTML etiketi değilse ve ., #, [ veya * ile başlamıyorsa, başına . ekler ve yeniden deneriz.

Aşama 6: Tailwind kaçışı. Utility-CSS sınıf adları [, ], :, / içerir; CSS grameri bunların \ ile kaçış karakteriyle yazılmasını gerektirir. Kaçış sırasında sözde sınıflar (:hover, :nth-of-type(1)) korunur.

Aşamalar 7-10: ftfy ile Mojibake düzeltmesi. Yukarıdakilerden hiçbiri eşleşmezse ftfy, karakter kodlama bozulmasını düzeltmek için gövdeyi ve metni yeniden çözer; ardından normalleştirilmiş içerik üzerinde Aşama 1-4 yeniden denenir.

Dil işleme: Bazı sağlayıcılar, coğrafi tabanlı yönlendirme veya hedef sitenin varsayılan yerelleştirmesi nedeniyle temel doğruluk metninden farklı bir dilde sayfalar döndürdü. Bu durumlar için mümkün olduğunda ek bir dil farkındalıklı kontrol çalıştırdık: sayfaların dili algılandı ve döndürülen dil temel doğrulukla eşleşmediğinde temel doğruluk metnini döndürülen dile çevirip alt dize aramasını tekrarladık. Bu, doğru sayfayı farklı bir yerel ayarda getiren bir sağlayıcıyı cezalandırmayı önler.

Markdown doğrulaması: Markdown çıkarma testi için aynı 999 kontrolü önce çalışır, ancak 10 aşamalı pipeline, döndürülen markdown içindeki temel doğruluk metni için büyük/küçük harfe duyarsız bir alt dize aramasına indirgenir (ıskada ftfy yeniden çözme ile), çünkü markdown'da sorgulanacak CSS yapısı yoktur.

SSS'ler

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dogan2026,
  author = {Dogan, Sedat and Şipi, Nazlı},
  title  = {{En İyi 5 Web Sitesi Engelleyici Benchmark'lendi ve Karşılaştırıldı}},
  year   = {2026},
  month  = sep,
  howpublished    = {\url{https://aimultiple.com/web-unblockers}},
  note   = {AIMultiple. Erişim tarihi: 8 Eylül 2026}
}

Değişiklik günlüğü

20 güncelleme

Tümü20Genel17Metodoloji3

202620252024

1. 20 Ağu

   Fiyatlandırma grafiği notları, sağlayıcı başına Min/Ort/Maks maliyet dökümü ve hacim indirimleriyle genişletildi.

2. 18 Ağu

   Anti-bot sağlayıcısına göre başarı oranını ele alan, ilk 5 sağlayıcıyı listeleyen bir bölüm eklendi.

3. 21 Tem

   Test edilen Oxylabs, Decodo ve Crawlbase sağlayıcılarını Firecrawl, Nimble ve Exa ile değiştirdi.

4. 30 Nis

   Beş sağlayıcıyı Amazon, Facebook, eBay, TikTok ve YouTube üzerinde kapsayan web engel kaldırıcı açıklama bölümü ve kararlılık kıyaslama metodolojisi eklendi.

5. 26 Mar

   Bireysel ürün açıklamalarından fiyatlandırma verileri kaldırıldı.

6. 20 Oca

   YouTube ve sosyal medya sitelerinin engellemesini nasıl kaldıracağınıza dair bir bölüm eklendi.

Sedat Dogan

CTO

Takip Et

Sedat, yazılım geliştirme, ağ altyapısı ve siber güvenlik alanlarında 20 yıllık deneyime sahip bir teknoloji ve bilgi güvenliği lideridir. Sedat:
- Programlama dilleri ve sunucu mimarileri konusunda kapsamlı uzmanlığa sahip, 20 yıllık deneyime sahip bir beyaz şapkalı hacker ve geliştirme gurusudur.
- Erken aşama teknoloji şirketlerine yatırım yapan bir VC'de ve 125.000 işletmeye hizmet veren bölgesel bir dijital ödeme platformu olan Ödeal'da yönetim kurulu danışmanıdır.
- Yedi ulusal seçimin teknoloji altyapısını ve siber güvenliğini yönetmiş ve Twitter dahil küresel teknoloji liderleri tarafından siber güvenlik Onur Listesi'nde tanınmıştır.

Tam Profili Görüntüle

Teknik olarak inceleyen

Nazlı Şipi

Yapay Zeka Araştırmacısı

Takip Et

Nazlı, AIMultiple'da veri analistidir. Çeşitli sektörlerde veri analizi alanında önceki deneyime sahiptir; bu sektörlerde karmaşık dataset'leri uygulanabilir içgörülere dönüştürme üzerine çalışmıştır.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder