Ajanlar web görevlerini tamamlamak için web arayüzlerine güvenir. Web arayüzleri arasında görev tamamlamayı karşılaştırmak için AIM Ajanik Web Benchmarkı'nı oluşturduk ve 100 görevi, her biri 5 kez olmak üzere 8 arayüz üzerinden, 4.000 puanlanmış sonuç için çalıştırdık.
Başarı oranları
Bright Data CLI ve Bright Data MCP, diğer altı arayüzün en iyisi olan Zenrows CLI ile karşılaştırıldığında 100 başına 3.6 ve 3.8 daha fazla görev tamamladı.
On örnek görev GitHub üzerinde tam olarak yayımlandı ve metodoloji benchmark'ı nasıl yürüttüğümüzü açıklıyor.
Çalıştırmalar arası tutarlılık
Bright Data MCP, %52 ile en iyi çalıştırmaya sahiptir. Oxylabs MCP için en iyi ile en kötü çalıştırma arasındaki fark 5 çalıştırma boyunca yalnızca 5 görevdir. Paneldeki en tutarlı arayüzdür; onu şunlar izler:
- Bright Data CLI: 7
- Nimble MCP: 7
- Zenrows CLI: 8
- Nimble CLI: 9
- Firecrawl MCP: 10
- Zenrows MCP: 11
- Bright Data MCP: 15
Maliyet ve hız
Bright Data MCP, görev başına 186 saniyelik ortanca ile en hızlı arayüzdür ve beş MCP aracının tamamının medyanları üç CLI aracından daha düşüktü. Aynı sağlayıcıda CLI, Zenrows için MCP sunucusundan 1.5 kat, Bright Data için 1.9 kat ve Nimble için 3.3 kat daha uzun sürdü. Nimble CLI, 830 saniye ile en yavaştır ve zaman aşımlarından sonra 500 görevinden 144'ünü yeniden denedi; bu, diğer tüm arayüzlerden daha fazladır.
Toplam maliyet, ajanın token harcaması artı sağlayıcının ücretidir. Nimble MCP, görev başına $0,072 ile en düşük toplama sahiptir. Bant genişliğine göre ücretlendirilen uzak bir tarayıcı kullanan iki Bright Data arayüzü ve Zenrows MCP için sağlayıcı ücretleri toplamın yüzde 40 ile 51'ini oluşturur. Firecrawl'ın rakamı dakika başına tarayıcı oturumlarını hariç tuttuğu için bu bir alt sınırdır.
Başarısızlık nedenleri
Bright Data CLI, 100 görevde ortalama 17.6 kez engellendi; bu paneldeki en düşük sayıdır; oysa Firecrawl MCP, Nimble MCP ve Oxylabs MCP 1.7 ila 2 kat daha sık engellendi.
Nimble CLI, altı Bright Data dışı arayüz arasında 18.2 ile en az engellenen oldu, ancak 100 görev başına 28.4 görevde hiçbir şey döndürmedi; bu paneldeki en yüksek teslim etmeme oranıdır ve denemelerinin yüzde 36.3'ünde 30 dakikalık sınıra ulaşmasını yansıtır (denemeler görevlerden fazladır çünkü zaman aşımına uğrayan görevler bir kez yeniden denendi).
Zenrows CLI ve Zenrows MCP yaklaşık aynı oranda engellendi, ancak CLI daha fazla görevi başarıyla tamamladı.
Metodoloji
Her arayüz kendi VPS üzerinde çalıştı. Ajan, OpenRouter üzerinden MiniMax M3 çalıştıran OpenClaw'dı ve paralel görev çalıştırması yoktu. Her sunucuda 2 vCPU ve 2GB RAM vardı.
Kullanılan görev seti, 5 çalıştırmanın tamamında sekiz arayüzün tümü için aynıydı.
Her çalıştırmadan önce, bir sonda sağlayıcı hesabı üzerinden düşük maliyetli bir sayfa getirdi ve bu getirme başarısız olursa çalıştırma başlamayı reddetti. Her denemenin 30 dakikası vardı.
Süresi dolan veya 500 baytın altında çıktı döndüren bir görev bir yeniden deneme hakkı kazandı; ancak ilk deneme bir sepeti zaten değiştirmiş olabileceği için durum değiştiren dört görev hiçbir zaman yeniden denenmedi. Yeniden deneme, puanlanan denemedir ve model maliyeti ile süre, sınıra ulaşmış olsa bile bu denemeden alınır.
Zenrows CLI dışındaki tüm yüklü istemciler 27 Temmuz 2026 itibarıyla en son sürümdeydi. Zenrows CLI ilk olarak 31 Temmuz 2026'da yayımlandı. Bu benchmark'ta kullanılan sürümler:
Örnek Görevler
100 görevin on tanesi, ajana verilen talimat, çıktı biçimi, geçme kuralları ve her arayüzün nasıl puanlandığıyla birlikte GitHub üzerinde tam olarak yayımlandı.
Dataset
100 görev, altı kategorideki 29 web sitesini kapsar. Web sitelerini, 15 Mayıs 2026'da her kategoride trafiğe göre SimilarWeb'in en iyi 20 sitesinden, her listenin başından başlayarak seçtik.
Tek bir ABD dışı pazara hizmet veren siteleri, seçilen bir sitenin bölgesel kopyalarını, mesajlaşma uygulamalarını, oturum açma gerektiren siteleri ve aranacak herkese açık listesi olmayan siteleri atladık.
Site başına, sitenin desteklediği eylem sayısına bağlı olarak 2 ila 5 görev hazırladık. Doksan altı görev bilgi getirir ve dört görev uzak sitedeki durumu değiştirir.
Değerlendirme
Her görev ve geçme koşulları İngilizce yazılmıştır. Puanlayıcı, kural dosyasını okur ve kendisine uygulanan her kural sağlandığında yalnızca puanlama yapar.
Engellendi, ajanın veri yerine bir hata mesajı döndürmesi anlamına gelir; örneğin sağlayıcının siteye ulaşamaması veya sayfada ücret dökümünün gösterilmemesi gibi.
Bazı sağlayıcılar belirli sitelere gelen istekleri reddetti. Bu görevler, her arayüz için 100 görevlik toplamda kalır.
- Zenrows: Ticketmaster ve Instagram (7 görev), ayarlardan bağımsız olarak kullanım politikası uyarınca reddedildi.1
- Oxylabs: Ticketmaster, AXS ve SeatGeek ve bir çalıştırmada StubHub, “desteklenmiyor” olarak reddedildi. Oxylabs, hesap bir doğrulama kontrolünden geçmedikçe kısıtladığı hedefler arasında biletlemeyi listeler.2
- Firecrawl: LinkedIn, Reddit, TikTok, X ve Instagram için “bu siteyi desteklemiyoruz” yanıtını verdi.
Baypas edildi, ajanın sağlayıcı arayüzünü kullanmak yerine sayfayı doğrudan, genellikle kabuktan yapılan doğrudan bir istek yoluyla getirmesi anlamına gelir. Bunları oturum günlüklerinde buluruz. Baypas edilen bir görev hiçbir şey kazandırmaz ve 101 görevlik toplamda kalır.
“Belirlenemedi” hücreleri, puanlayıcının yanıtın doğru olup olmadığına karar veremediği hücrelerdir. Bunlar ne doğru ne de engellenmiş olarak sayıldı. Bu, arayüz başına çalıştırma başına 8 ila 18 görevi kapsar ve tamamı aynı 28 görevden gelir.
Sekiz arayüzün tamamında aynı görevleri, talimatları ve modeli kullandık ve kuralları ilk çalıştırmadan önce kilitledik.
Maliyet
Grafik iki sayıyı toplar. Model maliyeti, ajanın token harcamasıdır; MiniMax M3 OpenRouter üzerinden milyon giriş tokenı başına $0,30, milyon çıktı başına $1,20 ve milyon önbellek okuması başına $0,06 oranlarıyla, her görevin puanlanan denemesinden sayılır.
Arayüz maliyeti, sağlayıcının aynı iş için beş çalıştırma üzerinden ortalaması alınarak ücretlendirdiği tutardır:
- Bright Data: bölge başına günlük hesap faturalandırmasından okunan kullanım; GB başına 8 ABD doları artı Scraping Browser için saat başına $0,10, Web Unlocker için 1K istek başına $1,50 ve SERP için 1K başına $1.50.
- Zenrows: panellerinden, tarayıcı oturumu bant genişliği artı günlüğe kaydedilen fetch kredileri. Plan, 1M kredi başına EUR 129.99; tarayıcı GB başına yaklaşık 40.500 krediye denk gelir ve fetch, JS render ve premium proxy çarpanlarından sonra istek başına ortalama 14 kredi tutar.
- Oxylabs: ajan transkriptlerinden istek sayıları, 1K sonuç başına $1.15.
- Firecrawl: transkriptlerden sayılan krediler, 100K kredi başına $83, scrape başına 1 kredi.
- Nimble: transkriptlerden sayılan istekler, extract için 1K başına $1,00 ve arama için 1K başına $1.10.
Sınırlamalar
Nimble CLI, denemelerinin yüzde 36.3'ünde süre doldu.
Tüm arayüzlerin hızları farklıdır; tüm görevler aynı anda başlamaz veya bitmez. Bazı görevler tarihe veya o sırada listelenen içeriğe bağlıdır, bu nedenle bazı sağlayıcılar aynı sayfayı görmedi. Geçme kuralları, belirli bir listeyi değil, biçimi ve getirimi test etmek için yazılmıştır; bu nedenle değişen bir sayfa puanı değiştirmez.
Bu araştırmayı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Kalelioğlu, Berk},
title = {{AIM Ajanik Web Benchmarkı}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/agentic-web}},
note = {AIMultiple. Erişim tarihi: 15 Ekim 2026}
}64 veri noktasının sonuçları ve zaman damgaları. Bu makaledeki grafik ve tablolarda gösterilen özet verileri, 7 CSV dosyası ve bir README içeren ZIP dosyası olarak indirin.
Arkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.