Değişen zorlukta üç alan adında, üç maksimum derinlik seviyesinde (5, 10, 20) ve 1.000 sayfa sınırıyla dört tarama API'sini değerlendirdik; tarama kapsamını, yürütme süresini, bağlantı keşfini, markdown bağlantı kalitesini ve başlık çıkarma doğruluğunu ölçtük.
Amacınız şunlarsa:
- Web sayfalarını yapılandırılmış veriye dönüştürmek istiyorsanız, web kazıma rehberimize bakın.
- Web sitelerinin tamamını taramak istiyorsanız okumaya devam edin.
Web tarayıcı değerlendirmesi
Değerlendirme metodolojimizi okuyabilirsiniz.
Taranan ortalama sayfa sayısı ve 1.000 sayfa başına maliyet
Maksimum derinliğe göre alan adları genelinde taranan sayfalar
Firecrawl, maksimum derinlikten bağımsız olarak theregister.com'da sürekli olarak yaklaşık 100 sayfa, tüm derinlik seviyelerinde entrepreneur.com'da yaklaşık 90 sayfa ve amazon.com'da yalnızca yaklaşık 30 sayfa taradı; bu durum büyük olasılıkla Amazon'un agresif bot korumasından kaynaklanıyor. Dikkat çekici şekilde, maksimum derinliği artırmak Firecrawl'ın herhangi bir alan adında tarayabildiği sayfa sayısı üzerinde neredeyse hiçbir etki yaratmadı.
Apify, belirgin bir zorluk yaşamadan her alan adında ve her derinlik seviyesinde maksimum tarama sınırı olan 1.000 sayfaya ulaşarak en tutarlı performansı gösterdi; hatta Amazon gibi yoğun korunan sitelerde bile.
Cloudflare testler boyunca tutarsız davranışlar sergiledi:
- theregister.com'da maksimum derinlik 5'te yalnızca 100 sayfa taradı, ancak maksimum derinlik 20'de neredeyse 1.000 sayfaya ulaştı.
- Daha önceki testlerde de gözlemlediğimiz gibi Cloudflare zaman yalnızca 1 sayfa tarayıp işi tamamen sonlandırıyor. Bunun bir önbellek sorunu olmadığını doğruladık (önbellek devre dışıydı) ve çalıştırmalar arasında 1 dakikaya kadar bekleme süreleriyle test ettik, ancak davranış devam etti. theregister.com'da maksimum derinlik 10'de bu sorun aynen yaşandı; Cloudflare durmadan önce yalnızca 1 sayfa taradı.
- entrepreneur.com'da Cloudflare derinlik 5'te 780 sayfa taradı, derinlik 10'de 885'e yükseldi, ancak derinlik 20'de yalnızca 172 sayfaya sert şekilde düştü. Bu düşüş, Cloudflare'ın tarama zamanlayıcısının daha derin bağlantı zincirlerini önceliksizleştirmesi veya zaman aşımına uğratmasıyla ilgili olabilir veya daha yüksek derinliklerde tarama sınırı çok büyüdüğünde işi erken sonlandıran bir dahili eşzamanlılık sınırını yansıtıyor olabilir.
- amazon.com'da Cloudflare derinlik 5'te 905 sayfa taradı, ancak maksimum derinlik arttıkça sayı istikrarlı şekilde azaldı; derinlik 10'de 809, derinlik 20'de 795'e düştü. Bu durum, daha derin tarama yapılandırmalarının Cloudflare'ın gerçek sayfa getirme yerine bağlantı keşfi ek yüküne daha fazla zaman harcamasına neden olabileceğini gösteriyor.
Nimble, tüm derinlik seviyelerinde theregister.com'da 1.000 sayfa sınırına ulaştı veya yaklaştı (1.000 / 1.000 / 999). entrepreneur.com'da derinlik 5'te 1.000 sayfa taradı ancak daha yüksek derinliklerde hafif düşüşler gösterdi (derinlik 10'de 896, derinlik 20'de 983); bunun nedeni muhtemelen daha derin seviyelerde tam taramayı tamamlamadan 7 saatlik zaman aşımına ulaşılması ve tüm Nimble çalıştırmalarının zaman aşımı durumuyla sona ermesidir. Amazon daha zorlu oldu:
- Derinlik 5'te yalnızca 319 sayfa tarayabildi, ancak derinlik 10'de 988 sayfaya sıçradı, ardından derinlik 20'de 906'ya düştü
- Bu tutarsızlık, muhtemelen Amazon'un bot koruma mekanizmaları ile Nimble'ın zaman aşımı kısıtlarının birleşimini yansıtıyor; daha derin taramalar her sayfayı işlemek için daha uzun sürüyor ve yol boyunca daha fazla bot karşıtı zorlukla karşılaşabiliyor
Maksimum derinliğe göre alan adları genelinde yürütme süresi
Firecrawl, tüm alan adlarında en hızlı sağlayıcıydı; taramaları 5 dakikanın altında, genellikle 75-265 saniye arasında tamamladı. Bu hız kapsama pahasına geliyor çünkü Firecrawl aynı zamanda en az sayfayı taradı. Temelde erken durduğu için çabuk bitiriyor.
Apify, derinlikten bağımsız olarak theregister.com'da yaklaşık 2.200-2.400 saniye (~40 dakika) sürdü. entrepreneur.com ve amazon.com'da yürütme süreleri 8.300-15.900 saniye (2-4 saat) ile önemli ölçüde daha uzundu; bu da daha büyük ve daha karmaşık site yapılarını yansıtıyor. Daha uzun sürelere rağmen Apify sürekli olarak 1.000 sayfa sınırına ulaşarak kapsama-süre oranı açısından en güvenilir sağlayıcı oldu.
Cloudflare, tutarsız tarama sayılarıyla örtüşen süreler gösterdi:
- theregister.com'da derinlik 10'de, durmadan önce yalnızca 1 sayfa taradığı için yalnızca 1 saniyede tamamladı.
- entrepreneur.com'da derinlik 20'de, yalnızca 172 sayfa taradıktan sonra 10 saniyede bitirdi.
- Cloudflare tam bir taramayı tamamladığında süreler 3.500 ile 25.200 saniye arasında değişiyor.
- Maksimum derinlik arttıkça Cloudflare genişlikten çok daha derin sayfalara ulaşmaya öncelik veriyor gibi görünüyor; daha az sayfa tarıyor ancak daha hızlı tamamlıyor. amazon.com'da yürütme süresi derinlik 5'te 25.200 saniyeden (zaman aşımı) derinlik 20'de yalnızca 5.660 saniyeye düşerken taranan sayfalar da 905'ten 795'e azaldı. Bu, Cloudflare tarayıcısının daha yüksek derinliklerde stratejisini değiştirip geniş keşfe daha az, derin gezinmeye daha fazla zaman harcadığını gösteriyor.
Nimble, tüm alan adları ve derinlik seviyelerindeki her çalıştırmada 7 saatlik zaman aşımına (25.200 saniye) takıldı. Bu dikkat çekicidir çünkü maksimum derinlik 1 ile yaptığımız daha önceki hızlı testlerde Nimble zaman aşımına uğramadan tamamlamıştı. 5-20 derinlikleri ve 1.000 sayfa sınırıyla yapılan tam değerlendirmede, zaman aşımına ulaşılana kadar sürekli olarak çalıştı. Buna rağmen Nimble çoğu durumda yine de yüksek sayıda sayfa taramayı başardı (theregister.com ve entrepreneur.com'da ~900-1.000); bu da 7 saat boyunca aktif olarak taradığı ancak tamamlandığını hiç bildirmediği anlamına geliyor.
Maksimum derinliğe göre sağlayıcılar genelinde bağlantı metni doluluk oranı
Markdown çıktı kalitesini değerlendirmek için her sağlayıcının markdown'undaki bağlantıların yüzde kaçının bağlantı metni (bir bağlantının tıklanabilir metin kısmı) içerdiğini ölçtük. Eksik bağlantı metni (ör. [](/about) yerine [About Us](/about)), tarayıcının bağlantı etiketini çıkaramadığı anlamına gelir.
- Nimble: tüm derinliklerde %100
- Cloudflare: 91-%94
- Firecrawl: %90
- Apify: 77-%78 , yaklaşık her 5 bağlantıdan 1'inde bağlantı metni eksik
Tarama derinliği hiçbir sağlayıcı için doluluk oranları üzerinde önemli bir etki yaratmadı; bu da bunun bir tarama ayarından ziyade her sağlayıcının ayrıştırma motorunun bir özelliği olduğunu gösteriyor.
Alana göre sağlayıcılar genelinde bağlantı metni doluluk oranı
Farklı alan adlarındaki doluluk oranlarına bakmak, site karmaşıklığının her sağlayıcının bağlantı çıkarma kalitesini nasıl etkilediğini ortaya koyuyor.
- Nimble tüm alan adlarında %100 oranını korudu.
- Apify en fazla değişkenliği gösterdi; amazon.com'da %89 iken entrepreneur.com'da %66'ya düştü, yani bu sitedeki bağlantılarının üçte birinde bağlantı metni eksikti. Bu, Apify'ın karmaşık gezinme yapılarına sahip içerik ağırlıklı sitelerde daha fazla zorlandığını gösteriyor.
- Firecrawl theregister.com'da en iyi performansı gösterdi (%98) ancak entrepreneur.com'da %81'e düştü; Apify ile benzer bir örüntü izledi.
- Cloudflare, Nimble'dan sonra en tutarlı sağlayıcıydı; alan adından bağımsız olarak 89-%94 arasında kaldı.
Entrepreneur.com, bağlantı metni çıkarma açısından en zorlu alan adı oldu; hem Apify (%66) hem de Firecrawl (%81) en düşük puanlarını burada aldı. Bu durum muhtemelen sitenin iç içe gezinme menülerini ve dinamik içerik öğelerini yoğun kullanmasından ve bunların markdown'a temiz şekilde dönüştürülmesinin daha zor olmasından kaynaklanıyor.
Maksimum derinliğe göre alan adları genelinde markdown çıktısındaki toplam bağlantılar
Sağlayıcılar arasındaki bağlantı sayısı değişkenliği sürekli olarak yüksekti (74-%97); bu da sağlayıcıların aynı sayfalardan çok farklı sayılarda bağlantı çıkardığını gösteriyor. Bu eşitsizliğe daha ayrıntılı bakmak için sağlayıcı başına toplam markdown bağlantı sayısını ölçtük.
- Apify genel olarak en fazla bağlantıyı döndürdü; özellikle amazon.com'da derinlik 5'te 420K'dan fazla bağlantı (sayfa başına ~423) elde etti. entrepreneur.com'da derinlikten bağımsız olarak 63K civarında sabit kaldı. Çıktısı, sayfa içeriği bağlantılarının yanında reklam izleyicileri ve izleme pikselleri içeriyor.
- Cloudflare, entrepreneur.com'da derinlik 10'de 303K ile zirve yaptı, ancak derinlik 20'de 53K'ya düştü. Aynı entrepreneur.com ana sayfasında Cloudflare, Apify'ın 143 bağlantısına karşılık 434 bağlantı çıkardı; tam gezinme menülerini ve alt menüleri yakaladı.
- Firecrawl, düşük sayfa sayısı nedeniyle tüm yapılandırmalarda sürekli olarak 5-9K bağlantı döndürdü.
- Nimble toplamda 3-40K bağlantı döndürdü; sayfa başına ortalama 5-28 bağlantı diğer sağlayıcılardaki 60-420 bağlantıya kıyasla düşük kaldı. entrepreneur.com ana sayfasında Nimble, Cloudflare'ın 434 bağlantısına karşılık yalnızca 13 bağlantı döndürdü ve bunlar ana makale başlıklarıyla sınırlıydı. %100 doluluk oranı, kapsamlı bağlantı kapsamını değil, dahil ettiği bağlantıların hepsinde bağlantı metni bulunduğunu yansıtıyor. Nimble standart markdown bağlantıları çıkarmaz; sayısı markdown çıktısında bulunan kaçışlı HTML bağlantılarını içerir.
Sağlayıcılar genelinde başlık bulunma oranı
Sağlayıcılar arasındaki başlık benzerliği tüm testler ve alan adlarında %1'ın altında sapma gösterdi; bu da sağlayıcılar bir başlık çıkardığında tutarlı olarak aynı sonucu döndürdüğünü doğruluyor. Başlık bulunma oranı da tüm maksimum derinlik seviyelerinde 98-%100 arasında kaldı; bu da tarama derinliğinin başlık çıkarma üzerinde anlamlı bir etkisi olmadığını gösteriyor.
Alana göre ayrıldığında bazı farklılıklar ortaya çıktı:
entrepreneur.com ve theregister.com'da çoğu sağlayıcı 99-%100 başlık bulunma oranına ulaştı. Amazon.com, anlamlı farklılıkların ortaya çıktığı tek alan adıydı; Firecrawl %93'e ve Nimble %95,9'a düşerken Apify %99,6 oranını korudu. Bu durum, Amazon'un daha güçlü bot korumasıyla örtüşüyor; bu koruma sayfa yanıtlarını engelleyebilir veya bozabilir ve bazı sağlayıcıların başlığı çıkarılamayan sayfalar döndürmesine neden olabilir.
En iyi web tarayıcı API'lerinin özellikleri
Decodo , Web Data API'sinin bir endpoint'i olan /crawl aracılığıyla tarama sağlar. Tüm Web Data API endpoint'leri tek bir API ve tek bir API anahtarı altında çalışır. Bir /crawl işi 10.000'e kadar sayfa toplar ve her sayfayı Markdown veya HTML olarak döndürür.
- Kullanıcılar maksimum derinliği ayarlar, yolları düzenli ifadelerle filtreler ve taramayı tek bir host'ta, alt alan adlarında veya tüm alan adlarında tutar.
- Tarayıcı site haritasını, sayfa bağlantılarını veya her ikisini kullanır ve sayfaları seçilen ülke ve yerel ayardan talep eder.
- Maksimum süre işi durdurur ve o ana kadar toplanan sayfaları korur.
- JavaScript olmadan başarısız olan bir sayfa, JavaScript oluşturma ile bir kez daha denenir.
/map endpoint'i, içerik getirmeden bir sayfadan ve sitenin üst düzey site haritasından 147.000'e kadar URL listeler; böylece bir tarama yalnızca seçilen yolları hedefleyebilir. ücretsiz planı, kredi kartı gerekmeden ayda 10.000 istek içerir.
Decodo Web Data API'sini test etmek için ayda 10K ücretsiz istekle başlayın
Web Sitesini Ziyaret EtApify, web sitelerini Apify platformundaki bir Actor olan Website Content Crawler aracılığıyla tarar. Varsayılan olarak statik sayfaları düz HTTP üzerinden getirir ve JavaScript gerektiren sayfalar için başsız bir tarayıcıya geçer. Kullanıcılar ayrıca yalnızca tarayıcı veya yalnızca HTTP modunda çalıştırabilir.
- Kullanıcılar başlangıç URL'lerini, maksimum derinliği, maksimum sayfa sayısını ve dahil edilecek veya hariç tutulacak URL desenlerini ayarlar; keşif için site haritaları ekleyebilir.
- "modified since" tarihi, yeniden taramayı yalnızca değişen sayfalarla sınırlar.
- Bir CSS seçici, dönüştürmeden önce gezinmeyi, üst bilgileri ve alt bilgileri kaldırır.
- Tarayıcı metin, Markdown, HTML ve ekran görüntüleri döndürür; bağlantılı PDF, Word ve Excel dosyalarını indirebilir.
Apify, çıktıyı LangChain, LlamaIndex, Pinecone ve Qdrant'a bağlar ve tarayıcıyı bir MCP aracı olarak sunar.
Cloudflare, Browser Rendering hizmetinde bir /crawl endpoint'i sunar. Bir iş 100.000 sayfaya kadar kapsar ve yedi güne kadar çalışır; sonuçlar 14 gün boyunca kullanılabilir kalır.
- Tarayıcı sayfaları site haritaları, sayfa bağlantıları veya her ikisi aracılığıyla bulur ve URL'leri joker karakter desenleriyle filtreler.
- Varsayılan olarak sayfaları başsız bir tarayıcıda oluşturur ve bunun yerine JavaScript olmadan düz HTML getirebilir.
- Çıktı HTML, Markdown veya JSON olur.
Tarayıcı, crawl-delay dahil robots.txt'e uyar ve kendisini sabit bir kullanıcı aracısıyla tanıtır. Cloudflare, CAPTCHA'ları veya bot korumasını atlamadığını belirtir.
Firecrawl'ın /crawl endpoint'i, bir başlangıç URL'sinin alt sayfalarını keşfeder ve kazır; her sayfa için Markdown, HTML veya JSON döndürür.
- Kullanıcılar sayfa sınırı, keşif derinliği ve regex yol filtreleri ayarlar.
- Tarama üst yollara, alt alan adlarına veya harici bağlantıların bir adımına kadar genişleyebilir.
- Tarayıcı site haritasını sayfa bağlantılarıyla birleştirir veya yalnızca ikisinden birini kullanır.
- Bir prompt parametresi, doğal dildeki talimatı tarama ayarlarına dönüştürür.
Sonuçlar yoklama, sayfa başına webhook olayları veya bir SDK izleyicisiyle gelir ve 24 saat boyunca kullanılabilir kalır.
Nimble Crawl, her taramayı 10.000 sayfaya ve 20 bağlantı atlamasına kadar arka plan işi olarak çalıştırır ve her sayfa için HTML veya Markdown döndürür.
- Kullanıcılar yolları düzenli ifadelerle filtreler ve alt alan adlarının izlenip izlenmeyeceğini seçer.
- Tarayıcı kaynak olarak site haritasını, sayfa bağlantılarını veya her ikisini kullanır.
- Yalnızca sorgu parametrelerinde farklılık gösteren URL'ler tek bir sayfa olarak sayılabilir.
- Her tarama seçilen ülke ve yerel ayardan çalıştırılabilir.
Bir durum çağrısı kaç sayfanın beklemede, tamamlanmış veya başarısız olduğunu bildirir ve her sayfanın içeriği kendi sonuç çağrısından gelir. Geri çağırmalar tarama başladığında, her sayfa için ve sonunda tetiklenir.
Web tarayıcı değerlendirme metodolojisi
Değişen zorlukta üç alan adında dört tarama API'sini (Apify, Nimble, Cloudflare, Firecrawl) test ettik: amazon.com (yoğun bot koruması), entrepreneur.com (karmaşık içerik sitesi) ve theregister.com (haber sitesi).
Ortak yapılandırma
Adil bir karşılaştırma sağlamak için tüm sağlayıcılar aynı çekirdek ayarları aldı:
- Site haritası: Devre dışı, sağlayıcılar sayfaları yalnızca HTML bağlantıları aracılığıyla keşfetmelidir
- Harici bağlantılar: Devre dışı, tarayıcılar hedef alan adı içinde kalır
- Alt alan adları: Etkin, alt alan adı sayfaları izlenir (ör. india.entrepreneur.com)
- JavaScript oluşturma: Etkin, tüm sağlayıcılar başsız bir tarayıcı kullanır
- Önbellek: Devre dışı
- Sayfa sınırı: Çalıştırma başına 1.000 sayfa
- Zaman aşımı: 7 saat (25.200 saniye)
- Hız sınırı yönetimi: 20 saniye bekleme ve HTTP 429'da en fazla 3 yeniden deneme
Her sağlayıcı, üç alan adının tamamında üç maksimum derinlik seviyesinde (5, 10, 20) test edildi; toplam 36 tarama çalıştırması yapıldı. Sağlayıcılar sırayla (paralel değil) test edildi, her kombinasyon bir kez çalıştırıldı ve tarama durumu her 1 saniyede bir yoklandı.
Apify, başsız tarayıcı olarak Playwright/Firefox kullanan website-content-crawler Actor'ı ile yapılandırıldı. Alt alan adı erişimi glob desenleriyle kontrol edildi ve tüm istekler için Apify'ın yerleşik proxy'si kullanıldı.
Nimble, Cloudflare ve Firecrawl, yukarıda açıklanan ortak ayarlarla kendi REST API'leri kullanılarak yapılandırıldı. Standartlaştırılmış parametrelerin ötesinde sağlayıcıya özel ek yapılandırma uygulanmadı.
Cloudflare için Workers Paid planı kullanıldı. Bildirilen maliyet, bu plan kapsamında 1.000 sayfayı taramak için harcadığımız tutarı yansıtıyor. Cloudflare, sayfa sayısı yerine tarayıcı oluşturma süresine göre ücretlendirir.
Firecrawl için Hobby planı kullanıldı. Bildirilen maliyet, bu planda sağlanan kredilerden 1.000 kredinin orantılı tutarıdır. Etkin sayfa başına maliyet, plan kademesine ve ek kredi paketlerinin satın alınıp alınmamasına bağlı olarak değişir.
Bu benchmarkı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Şipi, Nazlı},
title = {{Web Sitelerini Yapay Zekaya Beslemek iç Web Tarayıcı Değerlendirmesi}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/web-crawler}},
note = {AIMultiple. Erişim tarihi: 22 Ekim 2026}
}152 veri noktasının sonuçları ve zaman damgaları. Bu makaledeki grafik ve tablolarda gösterilen özet verileri, 16 CSV dosyası içeren ZIP dosyası olarak indirin.
Arkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın
Değişiklik günlüğü
9 güncellemeSektör trendleri, tarayıcı türleri ve web tarama örnekleri bölümleri kaldırıldı.
Dört tarama API'sinin üç alan adı ve üç derinlik seviyesinde karşılaştırıldığı; kapsam, hız, bağlantı ve başlık grafikleri içeren bir kıyaslama eklendi.
Dört sağlayıcı, üç alan adı ve üç derinlik düzeyindeki tarama kurulumunu ayrıntılandıran bir metodoloji bölümü eklendi.
Makaleye "Web tarayıcıları yasal mı?" başlıklı bir bölüm eklendi.
Yeni trendler ve çalışma modları ile "Web tarayıcısı nedir?" bölümü güncellendi.
Yorumlar 1
Düşüncelerinizi Paylaşın
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.
Hi Cem, I think there is a misunderstanding regarding the robots.txt role in the crawling context. The web bots can crawl any website when indexing is allowed without having the robots.txt somewhere on their top domain, subdomains and ports and so on. The role of a robots.txt is to keep control of the traffic from web bots so the website is not overloaded by requests.