Ajanlar web üzerindeki görevleri tamamlamak için web arayüzlerine güvenir. Web arayüzleri arasında görev tamamlamayı karşılaştırmak için AIM Ajan Bazlı Web Benchmark'ı oluşturduk ve 100 görevi 7 arayüz üzerinde, her birinde 5 kez olmak üzere, 3.500 puanlanmış sonuç için çalıştırdık.
Başarı oranları
Bright Data CLI ve Bright Data MCP, 8.2 ve 8.4 daha fazla görevi, diğer beşinin en iyisi olan Firecrawl MCP'den her 100 görevde tamamladı.
On örnek görev GitHub üzerindedir ve metodoloji, benchmark'ı nasıl çalıştırdığımızı açıklar.
Çalıştırmalar arası tutarlılık
Bright Data MCP, %52 ile en iyi çalıştırmaya sahiptir. Oxylabs MCP'de en iyi ve en kötü çalıştırma arasındaki fark 5 çalıştırma boyunca yalnızca 5 görevdir. Paneldeki en tutarlı arayüzdür ve onu şunlar izler:
- Bright Data CLI: 7
- Nimble MCP: 7
- Nimble CLI: 9
- Firecrawl MCP: 10
- ZenRows MCP: 11
- Bright Data MCP: 15
Maliyet ve hız
Bright Data MCP, görev başına medyan 186 saniye ile en hızlı arayüzdür ve beş MCP aracının tümü, her iki CLI aracından daha düşük medyanlara sahipti. Aynı sağlayıcıda CLI, Bright Data için MCP sunucusundan 1.9 kat, Nimble için 3.3 kat daha uzun sürdü. Nimble CLI, 830 saniye ile en yavaş olanıdır ve zaman aşımlarından sonra 500 görevinin 144'ünü yeniden denedi; bu, diğer tüm arayüzlerden daha fazladır.
Toplam maliyet, ajanın token harcaması artı sağlayıcının ücretidir. Nimble MCP, görev başına $0,072 ile en düşük toplama sahiptir. Bant genişliğine göre faturalanan uzak bir tarayıcı kullanan iki Bright Data arayüzü ve ZenRows MCP için sağlayıcı ücretleri toplamın yüzde 40 ila 51'ini oluşturur. Firecrawl’ın rakamı dakika başına tarayıcı oturumlarını hariç tutar, bu nedenle bu bir alt sınırdır.
Başarısızlık nedenleri
Bright Data CLI, her 100 görevde ortalama 17.6 kez engellendi; bu paneldeki en düşük orandır. Firecrawl MCP, Nimble MCP ve Oxylabs MCP ise 1.7 ila 2 kat daha sık engellendi.
Nimble CLI, beş Bright Data dışı arayüz arasında 18.2 ile en az engellenen oldu; ancak her 100 görevde 28.4 görevde hiçbir şey döndürmedi. Bu, paneldeki en yüksek teslim etmeme oranıdır ve denemelerin yüzde 36.3'ünde 30 dakikalık sınıra takıldığını yansıtır (zaman aşımına uğrayan görevler bir kez yeniden denendiği için denemeler görevlerden fazladır).
Tercih edilen kaynak olarak ekleMetodoloji
Her arayüz kendi VPS'inde çalıştı. Ajan, MiniMax M3 modelini OpenRouter üzerinden çalıştıran OpenClaw idi ve hiçbir paralel görev çalıştırması yoktu. Her sunucuda 2 vCPU ve 2GB RAM vardı.
Kullanılan görev seti, tüm 5 çalıştırmada yedi arayüzün tümü için aynıydı.
Her çalıştırmadan önce, bir sonda sağlayıcı hesabı üzerinden düşük maliyetli bir sayfa getirdi ve bu getirme başarısız olursa çalıştırma başlamayı reddetti. Her denemenin 30 dakikası vardı.
Süresi dolan veya 500 bayttan az çıktı döndüren bir görev, bir kez yeniden denendi; ancak ilk deneme zaten bir sepeti değiştirmiş olabileceğinden, durum değiştiren dört görev asla yeniden denenmedi. Puanlanan deneme yeniden denemedir ve model maliyeti ile süresi, sınıra takılsa bile ondan alınır.
Bu benchmark'ta kullanılan sürümler:
Örnek Görevler
100 görevin on tanesi, ajana verilen talimat, çıktı biçimi, geçme kuralları ve her arayüzün nasıl puanlandığı ile birlikte GitHub üzerinde tam olarak yayımlanmıştır.
Dataset
100 görev, altı kategoride 29 web sitesini kapsar. Her kategoride trafiğe göre SimilarWeb'in en iyi 20 sitesinden, her listenin en üstünden başlayarak, 15 Mayıs 2026'da web sitelerini seçtik.
Tek bir ABD dışı pazara hizmet veren siteleri, seçilen bir sitenin bölgesel kopyalarını, mesajlaşma uygulamalarını, oturum açma gerektiren siteleri ve aranacak genel ilanları olmayan siteleri atladık.
Bir sitenin desteklediği eylem sayısına bağlı olarak web sitesi başına 2 ila 5 görev hazırladık. Doksan altı görev bilgi getirir ve dördü uzak sitede durum değiştirir.
Değerlendirme
Her görev ve geçme koşulları İngilizce yazılmıştır. Puanlayıcı kural dosyasını okur ve kendisine uygulanan her kural sağlandığında yalnızca puanlama yapar.
Engellendi, ajanın veri yerine bir hata mesajı döndürdüğü anlamına gelir; örneğin sağlayıcının siteye ulaşamadığı veya ücret dökümünün sayfada gösterilmediği.
Atlatıldı, ajanın sağlayıcı arayüzünü kullanmak yerine sayfayı doğrudan getirdiği anlamına gelir; genellikle kabuktan doğrudan bir istek yoluyla. Bunları oturum kayıtlarında buluruz. Atlatılan bir görev hiçbir şey kazanmaz ve 100 görevlik toplamda kalır.
“Belirlenemedi” hücreleri, puanlayıcının cevabın doğru olup olmadığına karar veremediği hücrelerdir. Bunlar ne doğru ne de engellenmiş olarak sayıldı. Bu, çalıştırma başına arayüz başına 8 ila 18 görevi kapsar ve hepsi aynı 28 görevdendir.
Aynı görevler, talimatlar ve model yedi arayüzün tümünde kullanıldı ve kurallar ilk çalıştırmadan önce kilitlendi.
Maliyet
Grafik iki sayıyı toplar. Model maliyeti, ajanın MiniMax M3'ü OpenRouter üzerinden kullanarak tokenlara harcadığı tutardır: milyon giriş token başına $0,30, milyon çıkış başına $1,20 ve milyon önbellek okuması başına $0,06; her görevin puanlanan denemesinden sayılır.
Arayüz maliyeti, aynı iş için sağlayıcının talep ettiği ücrettir; beş çalıştırma üzerinden ortalama alınmıştır:
- Bright Data: hesabın bölge başına günlük faturalandırmasından okunur. Scraping Browser, GB başına $8 artı saat başına $0,10; Web Unlocker $1,50 / 1K istek, SERP $1,50 / 1K.
- ZenRows: kendi panelinden, tarayıcı oturumu bant genişliği artı günlüğe kaydedilen getirme kredileri. Plan, EUR 129.99 / 1M kredidir; tarayıcı GB başına yaklaşık 40.500 krediye denk gelir ve getirme, JS render ve premium proxy çarpanlarından sonra istek başına ortalama 14 kredi tutarındadır.
- Oxylabs: ajan dökümlerinden istek sayıları, $1,15 / 1K sonuç.
- Firecrawl: dökümlerden sayılan krediler, $83 / 100K kredi; kazıma başına 1 kredi.
- Nimble: dökümlerden sayılan istekler; extract için $1,00 / 1K, arama için $1,10 / 1K.
Sınırlamalar
Nimble CLI, denemelerinin yüzde 36.5'inde süreyi aştı.
Tüm arayüzler farklı hızlara sahipti; tüm görevler aynı anda başlamadı veya bitmedi. Bazı görevler tarihe veya o anda listelenen içeriğe bağlıdır; bu nedenle bu tür görevlerde bazı sağlayıcılar aynı sayfayı görmedi. Geçme kuralları, belirli bir ilanı değil, biçimi ve getirmeyi test etmek için yazılmıştır; bu nedenle değişen bir sayfa puanı değiştirmez.
Bu araştırmayı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Kalelioğlu, Berk},
title = {{AIM Ajan Bazlı Web Benchmark'ı}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/agentic-web}},
note = {AIMultiple. Erişim tarihi: 29 Eylül 2026}
}16 veri noktasının sonuçları ve zaman damgaları. Bu makaledeki grafik ve tablolarda gösterilen özet verileri, 2 CSV dosyası içeren ZIP dosyası olarak indirin.
Arkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.