Ajanlar web üzerindeki görevleri tamamlamak için web arayüzlerine güvenir. Arayüz seçiminin görev tamamlamayı nasıl etkilediğini ölçmek için AIM Ajanik Web Benchmark'ı oluşturduk ve 3.500 görevi denedik (100 görev 5 çalıştırmada 7 web arayüzü üzerinden tamamlandı).
Başarı oranları
Bir Bright Data arayüzü her çalıştırmada öne geçti. Bright Data CLI, Bright Data dışındaki en iyi arayüzden 8 görev daha getirdi; bu arayüz Firecrawl MCP idi.
10 örnek görevi GitHub'da inceleyin ve bu benchmark'ı nasıl yürüttüğümüzü metodoloji bölümünde görün.
Çalıştırmalar arası tutarlılık
Bright Data MCP, %52 ile en iyi çalıştırmaya sahiptir. Oxylabs MCP'deki en iyi ve en kötü çalıştırma arasındaki fark 5 çalıştırma boyunca yalnızca 5 görevdir. Bu, paneldeki en tutarlı arayüzdür; onu şunlar izler:
- Bright Data CLI: 7
- Nimble MCP: 7
- Nimble CLI: 9
- Firecrawl MCP: 10
- ZenRows MCP: 11
- Bright Data MCP: 15
Maliyet ve hız
Maliyet ekseni, ajanın token harcamasını sağlayıcının aynı görev için talep ettiği ücrete ekler. Süre açısından MCP araçları, her iki CLI aracını da aralarında hiç örtüşme olmaksızın yener. CLI ile çalışmak ajanın dışarıya komut göndermesi, metni geri okuması ve genellikle sözdizimini yeniden denemesi anlamına gelir; eklenen her turda tüm konuşma yeniden ileri taşınır. Maliyete önbellek okumaları hakimdir; bu nedenle grafik, ajan yanıtlayana kadar bir arayüzün kaç tura ihtiyaç duyduğunu esas olarak sayar.
Nimble MCP, görev başına $0,065 ile benchmark'taki en düşük maliyetli ve en hızlı arayüzdür; onu Firecrawl MCP görev başına $0,08 ile izler. Bright Data MCP ise görev başına 186 saniyelik medyan ile en hızlısıdır. Nimble CLI, zaman aşımları nedeniyle diğer araçlardan daha fazla yeniden deneme yaptı. Süresi dolan bir görev ikinci bir deneme hakkı kazanır ve yalnızca bu ikinci deneme puanlanır. Maliyet ve gecikme, kendisi de sınıra takılmış olabilecek aynı puanlanan denemeden gelir.
Başarısızlık nedenleri
Bright Data CLI, ortalama 17.6 kez, 100 görev başına engellendi; bu paneldeki en düşük değerdir. Oysa Firecrawl MCP, Nimble MCP ve Oxylabs MCP neredeyse iki kat daha sık engellendi.
Nimble CLI, dört Bright Data dışı arayüz arasında 18.2 ile en az engellenen oldu; ancak 28.4 görevde, 100 görev başına hiçbir şey döndürmedi. Bu, paneldeki en yüksek teslim etmeme oranıdır ve 30 dakikalık sınıra, denemelerinin yüzde 36.5'inde takıldığını yansıtır (denemeler görevlerden fazladır çünkü süresi dolan görevler bir kez yeniden denendi).
Tercih edilen kaynak olarak ekleMetodoloji
Her arayüz kendi VPS üzerinde çalıştı. Ajan, MiniMax M3 modelini OpenRouter üzerinden çalıştıran OpenClaw idi; hiçbir görev paralel olarak yürütülmedi. Her sunucuda 2 vCPU ve 2GB RAM vardı.
Kullanılan görev seti, 5 çalıştırmanın tamamında yedi arayüzün tümü için aynıydı.
Her denemenin 30 dakikası vardı. Süresi dolan bir görev bir yeniden deneme hakkı aldı; ancak durum değiştiren dört görev hiçbir zaman yeniden denenmedi. Her çalıştırmadan önce sağlayıcı hesabı üzerinden düşük maliyetli bir sayfa getiren bir sonda çalıştırıldı ve bu getirme başarısız olursa çalıştırma başlamayı reddetti.
Bu benchmark'ta kullanılan sürümler;
Örnek Görevler
100 görevin on tanesi, ajana verilen talimat, çıktı formatı, geçme kuralları ve her arayüzün nasıl puanlandığıyla birlikte GitHub'da tam olarak yayımlandı.
Dataset
100 görev şu kategorilerdeki 29 web sitesine yayılıyor: e-ticaret (24 görev), seyahat (21), emlak (17), biletler (15), sosyal (15) ve işler (8). Her web sitesi için, sitenin desteklediği eylem sayısına bağlı olarak 2 ila 5 görev hazırladık. Doksan altı görev bilgi getirir; dört görev ise uzak sitede durum değiştirir ve ilk deneme bir sepeti zaten değiştirmiş olabileceğinden bu görevler asla yeniden denenmez.
Değerlendirme
Her görev ve geçme koşulları İngilizce yazılmıştır. Puanlayıcı kural dosyasını okur ve yalnızca, onun için geçerli olan her kural sağlandığında puanlama yapar.
Engellendi, sağlayıcının siteye ulaşamadığı ve bunu bildirdiği anlamına gelir. Yanıt, veri yerine bir hata mesajı olarak geri geldi.
Baypas edildi, ajanın sağlayıcı arayüzünü kullanmak yerine sayfayı doğrudan, genellikle kabuktan yapılan doğrudan bir istekle getirdiği anlamına gelir. Bunları oturum günlüklerinde buluruz. Baypas edilen bir görev hiçbir şey kazandırmaz ve 100 görevlik toplamda kalır.
“Belirlenemedi” hücreleri, puanlayıcının yanıtın doğru olup olmadığına karar veremediği hücrelerdir. Bunlar ne doğru ne de engellenmiş olarak sayıldı. Bu durum, çalıştırma başına arayüz başına 8 ila 18 görevi kapsar ve bunların tümü aynı 27 görevdendir.
Yedi arayüzün tamamında aynı görevler, talimatlar ve model kullanıldı ve kurallar ilk çalıştırmadan önce kilitlendi.
Maliyet
Grafik iki sayıyı toplar. Model maliyeti, ajanın token'lara harcadığı tutardır; MiniMax M3 için OpenRouter üzerinden milyon girdi token'ı başına $0,30, milyon çıktı başına $1,20 ve milyon önbellek okuması başına $0,06; bu, her görevin puanlanan denemesinden sayılır.
Arayüz maliyeti, sağlayıcının aynı iş için talep ettiği ücrettir ve beş çalıştırma üzerinden ortalaması alınmıştır:
- Bright Data: hesabın bölge başına günlük faturalamasından okunur. Scraping Browser, GB başına $8 artı saat başına $0,10; Web Unlocker $1,50 / 1K istek; SERP $1,50 / 1K.
- ZenRows: kendi panelinden; tarayıcı oturumu bant genişliği ve günlükteki fetch kredileri. Plan, EUR 129.99 / 1M kredi; tarayıcı GB başına yaklaşık 40.500 krediye denk geliyor ve fetch, JS oluşturma ve premium proxy çarpanlarından sonra istek başına ortalama 14 kredi tuttu.
- Oxylabs: ajan transkriptlerinden istek sayıları; $1,15 / 1K sonuç.
- Firecrawl: transkriptlerden sayılan krediler; $83 / 100K kredi, kazıma başına 1 kredi.
- Nimble: transkriptlerden sayılan istekler; çıkarım için $1,00 / 1K ve arama için $1,10 / 1K.
Sınırlamalar
Nimble CLI, denemelerinin yüzde 36.5'inde süreyi aştı.
Tüm arayüzler farklı hızlara sahiptir; tüm görevler aynı anda başlamadı veya bitmedi. Bazı görevler tarihe veya o sırada listede olan içeriğe bağlıdır; bu nedenle bu görevlerde bazı sağlayıcılar aynı sayfayı görmedi. Geçme kuralları, belirli bir listelemeden ziyade formatı ve getirmeyi test etmek üzere yazılmıştır; bu nedenle değişen bir sayfa puanı değiştirmez.
Bu araştırmayı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Kalelioğlu, Berk},
title = {{AIM Ajanik Web Benchmark}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/agentic-web}},
note = {AIMultiple. Erişim tarihi: 29 Eylül 2026}
}0 veri noktasının sonuçları ve zaman damgaları. Bu makaledeki grafik ve tablolarda gösterilen özet verileri, 0 CSV dosyası içeren ZIP dosyası olarak indirin.
Arkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.