Premium
Hizmetler
Premium

Ajanlar web görevlerini tamamlamak için web arayüzlerine güvenir. Web arayüzleri arasında görev tamamlamayı karşılaştırmak için AIM Ajanik Web Benchmarkı'nı oluşturduk ve 100 görevi, her biri 5 kez olmak üzere 8 arayüz üzerinden, 4.000 puanlanmış sonuç için çalıştırdık.

Başarı oranları

Successful retrieval rate, avg of five runs
Successful retrieval rate, avg of five runs
NameMetricSuccessful retrieval rate, avg of five runs
Nimble MCPTasks completed0.284
Zenrows MCPTasks completed0.29
Nimble CLITasks completed0.314
Oxylabs MCPTasks completed0.344
Firecrawl MCPTasks completed0.346
Zenrows CLITasks completed0.392
Bright Data CLITasks completed0.428
Bright Data MCPTasks completed0.43

Bright Data CLI ve Bright Data MCP, diğer altı arayüzün en iyisi olan Zenrows CLI ile karşılaştırıldığında 100 başına 3.6 ve 3.8 daha fazla görev tamamladı.

On örnek görev GitHub üzerinde tam olarak yayımlandı ve metodoloji benchmark'ı nasıl yürüttüğümüzü açıklıyor.

Çalıştırmalar arası tutarlılık

Best and worst of five runs, same 100 tasks every time
NameBest runWorst run
Nimble MCP0.320.25
Zenrows MCP0.350.24
Nimble CLI0.360.27
Oxylabs MCP0.370.32
Firecrawl MCP0.380.28
Zenrows CLI0.430.35
Bright Data CLI0.460.39
Bright Data MCP0.520.37

Bright Data MCP, %52 ile en iyi çalıştırmaya sahiptir. Oxylabs MCP için en iyi ile en kötü çalıştırma arasındaki fark 5 çalıştırma boyunca yalnızca 5 görevdir. Paneldeki en tutarlı arayüzdür; onu şunlar izler:

  • Bright Data CLI: 7
  • Nimble MCP: 7
  • Zenrows CLI: 8
  • Nimble CLI: 9
  • Firecrawl MCP: 10
  • Zenrows MCP: 11
  • Bright Data MCP: 15
Ekibimiz, iş süreçlerinizden birini yapay zeka ajanlarıyla ücretsiz olarak otomatikleştirsin.
Bir süreci otomatikleştir

Maliyet ve hız

Cost and speed against success rate
NameTasks completed out of 100Total cost per task (model plus interface fees, USD)Model costInterface costMetric
Bright Data CLI0.428357——Latency vs. Success Rate
Bright Data MCP0.43186——Latency vs. Success Rate
Firecrawl MCP0.346240——Latency vs. Success Rate
Nimble CLI0.314830——Latency vs. Success Rate
Oxylabs MCP0.344254——Latency vs. Success Rate
Zenrows MCP0.29306——Latency vs. Success Rate
Nimble MCP0.284253——Latency vs. Success Rate
Zenrows CLI0.392466.5——Latency vs. Success Rate
Bright Data CLI0.4280.45850.2750.1835Cost vs. Success Rate
Bright Data MCP0.430.3080.1520.156Cost vs. Success Rate
Firecrawl MCP0.3460.08420.080.0042Cost vs. Success Rate
Nimble CLI0.3140.27310.2640.0091Cost vs. Success Rate
Oxylabs MCP0.3440.10160.0890.0126Cost vs. Success Rate
Zenrows MCP0.290.33220.170.1622Cost vs. Success Rate
Nimble MCP0.2840.0720.0650.007Cost vs. Success Rate
Zenrows CLI0.3920.39820.27260.1255Cost vs. Success Rate

Bright Data MCP, görev başına 186 saniyelik ortanca ile en hızlı arayüzdür ve beş MCP aracının tamamının medyanları üç CLI aracından daha düşüktü. Aynı sağlayıcıda CLI, Zenrows için MCP sunucusundan 1.5 kat, Bright Data için 1.9 kat ve Nimble için 3.3 kat daha uzun sürdü. Nimble CLI, 830 saniye ile en yavaştır ve zaman aşımlarından sonra 500 görevinden 144'ünü yeniden denedi; bu, diğer tüm arayüzlerden daha fazladır.

Toplam maliyet, ajanın token harcaması artı sağlayıcının ücretidir. Nimble MCP, görev başına $0,072 ile en düşük toplama sahiptir. Bant genişliğine göre ücretlendirilen uzak bir tarayıcı kullanan iki Bright Data arayüzü ve Zenrows MCP için sağlayıcı ücretleri toplamın yüzde 40 ile 51'ini oluşturur. Firecrawl'ın rakamı dakika başına tarayıcı oturumlarını hariç tuttuğu için bu bir alt sınırdır.

Başarısızlık nedenleri

Average outcome mix per 100 tasks, all runs pooled
NameCompletedBlockedNo answerWrong answerNDBypassed
Nimble MCP28.435.4914.411.81
Zenrows MCP292921.610.29.40.8
Nimble CLI31.418.228.411.291.8
Oxylabs MCP34.430.47.411142.8
Firecrawl MCP34.630.212.21210.80.2
Zenrows CLI39.2284.612.814.60.8
Bright Data CLI42.817.69.613.215.61.2
Bright Data MCP4322.45.61216.80.2

Bright Data CLI, 100 görevde ortalama 17.6 kez engellendi; bu paneldeki en düşük sayıdır; oysa Firecrawl MCP, Nimble MCP ve Oxylabs MCP 1.7 ila 2 kat daha sık engellendi.

Nimble CLI, altı Bright Data dışı arayüz arasında 18.2 ile en az engellenen oldu, ancak 100 görev başına 28.4 görevde hiçbir şey döndürmedi; bu paneldeki en yüksek teslim etmeme oranıdır ve denemelerinin yüzde 36.3'ünde 30 dakikalık sınıra ulaşmasını yansıtır (denemeler görevlerden fazladır çünkü zaman aşımına uğrayan görevler bir kez yeniden denendi).

Zenrows CLI ve Zenrows MCP yaklaşık aynı oranda engellendi, ancak CLI daha fazla görevi başarıyla tamamladı.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.
GoogleTercih edilen kaynak olarak ekle

Metodoloji

Her arayüz kendi VPS üzerinde çalıştı. Ajan, OpenRouter üzerinden MiniMax M3 çalıştıran OpenClaw'dı ve paralel görev çalıştırması yoktu. Her sunucuda 2 vCPU ve 2GB RAM vardı.

Kullanılan görev seti, 5 çalıştırmanın tamamında sekiz arayüzün tümü için aynıydı.

Her çalıştırmadan önce, bir sonda sağlayıcı hesabı üzerinden düşük maliyetli bir sayfa getirdi ve bu getirme başarısız olursa çalıştırma başlamayı reddetti. Her denemenin 30 dakikası vardı.

Süresi dolan veya 500 baytın altında çıktı döndüren bir görev bir yeniden deneme hakkı kazandı; ancak ilk deneme bir sepeti zaten değiştirmiş olabileceği için durum değiştiren dört görev hiçbir zaman yeniden denenmedi. Yeniden deneme, puanlanan denemedir ve model maliyeti ile süre, sınıra ulaşmış olsa bile bu denemeden alınır.

Zenrows CLI dışındaki tüm yüklü istemciler 27 Temmuz 2026 itibarıyla en son sürümdeydi. Zenrows CLI ilk olarak 31 Temmuz 2026'da yayımlandı. Bu benchmark'ta kullanılan sürümler:

Örnek Görevler

100 görevin on tanesi, ajana verilen talimat, çıktı biçimi, geçme kuralları ve her arayüzün nasıl puanlandığıyla birlikte GitHub üzerinde tam olarak yayımlandı.

Dataset

100 görev, altı kategorideki 29 web sitesini kapsar. Web sitelerini, 15 Mayıs 2026'da her kategoride trafiğe göre SimilarWeb'in en iyi 20 sitesinden, her listenin başından başlayarak seçtik.

Tek bir ABD dışı pazara hizmet veren siteleri, seçilen bir sitenin bölgesel kopyalarını, mesajlaşma uygulamalarını, oturum açma gerektiren siteleri ve aranacak herkese açık listesi olmayan siteleri atladık.

Site başına, sitenin desteklediği eylem sayısına bağlı olarak 2 ila 5 görev hazırladık. Doksan altı görev bilgi getirir ve dört görev uzak sitedeki durumu değiştirir.

Değerlendirme

Her görev ve geçme koşulları İngilizce yazılmıştır. Puanlayıcı, kural dosyasını okur ve kendisine uygulanan her kural sağlandığında yalnızca puanlama yapar.

Engellendi, ajanın veri yerine bir hata mesajı döndürmesi anlamına gelir; örneğin sağlayıcının siteye ulaşamaması veya sayfada ücret dökümünün gösterilmemesi gibi.

Bazı sağlayıcılar belirli sitelere gelen istekleri reddetti. Bu görevler, her arayüz için 100 görevlik toplamda kalır.

  • Zenrows: Ticketmaster ve Instagram (7 görev), ayarlardan bağımsız olarak kullanım politikası uyarınca reddedildi.1
  • Oxylabs: Ticketmaster, AXS ve SeatGeek ve bir çalıştırmada StubHub, “desteklenmiyor” olarak reddedildi. Oxylabs, hesap bir doğrulama kontrolünden geçmedikçe kısıtladığı hedefler arasında biletlemeyi listeler.2
  • Firecrawl: LinkedIn, Reddit, TikTok, X ve Instagram için “bu siteyi desteklemiyoruz” yanıtını verdi.

Baypas edildi, ajanın sağlayıcı arayüzünü kullanmak yerine sayfayı doğrudan, genellikle kabuktan yapılan doğrudan bir istek yoluyla getirmesi anlamına gelir. Bunları oturum günlüklerinde buluruz. Baypas edilen bir görev hiçbir şey kazandırmaz ve 101 görevlik toplamda kalır.

“Belirlenemedi” hücreleri, puanlayıcının yanıtın doğru olup olmadığına karar veremediği hücrelerdir. Bunlar ne doğru ne de engellenmiş olarak sayıldı. Bu, arayüz başına çalıştırma başına 8 ila 18 görevi kapsar ve tamamı aynı 28 görevden gelir.

Sekiz arayüzün tamamında aynı görevleri, talimatları ve modeli kullandık ve kuralları ilk çalıştırmadan önce kilitledik.

Maliyet

Grafik iki sayıyı toplar. Model maliyeti, ajanın token harcamasıdır; MiniMax M3 OpenRouter üzerinden milyon giriş tokenı başına $0,30, milyon çıktı başına $1,20 ve milyon önbellek okuması başına $0,06 oranlarıyla, her görevin puanlanan denemesinden sayılır.

Arayüz maliyeti, sağlayıcının aynı iş için beş çalıştırma üzerinden ortalaması alınarak ücretlendirdiği tutardır:

  • Bright Data: bölge başına günlük hesap faturalandırmasından okunan kullanım; GB başına 8 ABD doları artı Scraping Browser için saat başına $0,10, Web Unlocker için 1K istek başına $1,50 ve SERP için 1K başına $1.50.
  • Zenrows: panellerinden, tarayıcı oturumu bant genişliği artı günlüğe kaydedilen fetch kredileri. Plan, 1M kredi başına EUR 129.99; tarayıcı GB başına yaklaşık 40.500 krediye denk gelir ve fetch, JS render ve premium proxy çarpanlarından sonra istek başına ortalama 14 kredi tutar.
  • Oxylabs: ajan transkriptlerinden istek sayıları, 1K sonuç başına $1.15.
  • Firecrawl: transkriptlerden sayılan krediler, 100K kredi başına $83, scrape başına 1 kredi.
  • Nimble: transkriptlerden sayılan istekler, extract için 1K başına $1,00 ve arama için 1K başına $1.10.

Sınırlamalar

Nimble CLI, denemelerinin yüzde 36.3'ünde süre doldu.

Tüm arayüzlerin hızları farklıdır; tüm görevler aynı anda başlamaz veya bitmez. Bazı görevler tarihe veya o sırada listelenen içeriğe bağlıdır, bu nedenle bazı sağlayıcılar aynı sayfayı görmedi. Geçme kuralları, belirli bir listeyi değil, biçimi ve getirimi test etmek için yazılmıştır; bu nedenle değişen bir sayfa puanı değiştirmez.

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

Cem Dilmegani and Berk Kalelioğlu (2026) - "AIM Ajanik Web Benchmarkı". AIMultiple.com adresinde çevrimiçi yayımlanmıştır. Erişim tarihi: 15 Ekim 2026, kaynak: https://aimultiple.com/agentic-web [Çevrimiçi Kaynak]

Dilmegani, C., & Kalelioğlu, B. (2026, 15 Ekim). AIM Ajanik Web Benchmarkı. AIMultiple. https://aimultiple.com/agentic-web

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Kalelioğlu, Berk},
  title  = {{AIM Ajanik Web Benchmarkı}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/agentic-web}},
  note   = {AIMultiple. Erişim tarihi: 15 Ekim 2026}
}
Tüm verileri indir

64 veri noktasının sonuçları ve zaman damgaları. Bu makaledeki grafik ve tablolarda gösterilen özet verileri, 7 CSV dosyası ve bir README içeren ZIP dosyası olarak indirin.

Son güncelleme: 13 Kasım 2026
İndir

Arkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın

Cem Dilmegani
Cem Dilmegani
Baş Analist
Cem, 2017'den beri AIMultiple bünyesinde baş analisttir. Cem'in AIMultiple'daki çalışmaları; Business Insider, Forbes, Morning Brew ve Washington Post gibi önde gelen küresel yayınlar, Deloitte ve HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslarüstü kuruluşlar tarafından alıntılanmıştır. [1], [2], [3], [4], [5] Kariyeri boyunca Cem; teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yaptı. On yılı aşkın süre boyunca McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararlarında danışmanlık yaptı. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayımladı. CEO'ya rapor verirken bir telekom şirketinin teknoloji stratejisini ve satın alma süreçlerini yönetti. Ayrıca 2 yıl içinde 0'dan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetti. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınları tarafından ele alındı. Cem, uluslararası teknoloji konferanslarında düzenli olarak konuşma yapmaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisi olarak mezun oldu ve Columbia Business School'dan MBA derecesine sahiptir.
Tam Profili Görüntüle
Teknik olarak inceleyen
Berk Kalelioğlu
Berk Kalelioğlu
Yapay Zeka Araştırmacısı
Berk, AIMultiple'ın benchmark ekibinde Yapay Zeka Araştırmacısıdır; etmen tabanlı yapay zeka, makine öğrenimi ve büyük ve küçük dil modelleri (LLM'ler ve SLM'ler) üzerine odaklanmaktadır.
Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

0/450

Etik normlar ve sürecimiz doğrultusunda tarafsızlığı esas alıyoruz. AIMultiple'ın Agentic Web alanındaki kıyaslama hizmetlerinin aboneleri arasında Bright Data, Oxylabs, ZenRows yer alır.