AIM-Decision: Jev vs Kev vs LLM'ler

Karar modelleri, aynı zamanda System One modelleri olarak da bilinir,¹ metin token üretmek yerine sabit bir seçenek kümesini puanlar. 22 karar modelini, bir güvenlik açığını veya ürün geri çağırmasını derecelendirme gibi 1.655 sınıflandırma sorusu üzerinde test ettik ve bunların 19 tanesini 50 tarayıcı görevinde çalıştırdık.

Sınıflandırma benchmark sonuçları

• decider-12b güvenlik açıklarında 46.4 ve geri çağırmalarda 62.4 puan aldı; 1.000 karar başına $0,06 maliyete sahipti. Her iki görevde de hiçbir karar modeli anlamlı olarak daha yüksek puan almadı.
• Jev 1.13 $0,039 / 1.000 karar başına maliyete sahipti ve 47.9 puan aldı; bu, yaklaşık 7 ve 9 kat daha maliyetli olan Kev-9B ve Nimble 9B'nin yaklaşık bir puan altındaydı.
• Eikos-27B, 27 milyar parametreli, $0,075 / 1.000 karar başına tuttu. Tev1 4B, 4 milyar parametreli, $0,34 tuttu.
• GLiDE, güvenlik açıklarında 46.5 puan aldı; decider-12b'nin 46.4'üne karşı, ama karar başına 15,7 saniye sürdü, 0.13'e karşı ve $0,48 / 1.000 karar başına maliyete sahipti. Clef ortalama 51.0 puan aldı, $0,17 ile, Cloudflare'nin API'si üzerinden.

Tarayıcı otomasyonu başarı oranları

Görev başına bir deneme; LLM'ler, API'lerinin düşük akıl yürütme çabası ayarında çalıştı.

• Solar Decide, Nimble 9B ve iki Tev1 modeli sıralanmadı: hizmetleri soru başına en fazla 26 seçenek kabul ediyor ve 17/50 görev daha fazla seçenek içeren bir sayfada açılıyor. Laya da sıralanmadı, çünkü girdi sınırları diğer modellerin tam olarak aldığı istekleri reddetti.
• Kev-27B 40 görevi tamamladı; bu, Gemini 3.8 Flash'tan iki eksik ve GPT-6 Astra'dan yedi eksikti; tamamlanan görev başına tahmini $0,006, buna karşılık $0,026 Gemini için ve $0,226 Astra için.
• Karar modelleri birlikte 44/50 görevi tamamladı; bunlara Astra'nın başarısız olduğu üç görevden ikisi dahildir.
• Sınıflandırmada ilk sıradaki decider-12b 16 tarayıcı görevini tamamladı; sınıflandırmada Jev'in altında puan alan Kev-27B ise 40 görevi tamamladı.

10 örnek görevi ve her modelin sonucunu Hugging Face üzerinde, benchmarkı nasıl çalıştırdığımızı ise metodoloji bölümünde görebilirsiniz.

Karar modelleri ile LLM'ler tarayıcı görevlerinde

Çoğu LLM, yanıtlarını her seferinde bir token yazar ve her token hesaplama ile zaman maliyeti getirir. Çoğu tarayıcı adımında ajan yalnızca sayfadaki bir işlemi ve bir kontrolü seçer.

Bir karar modeli sayfayı ve seçenekleri okur, her seçeneği puanlar ve en olası olanı döndürür. Üretilmiş metin yerine her seçenek için bir olasılık döndürür, bu nedenle bir adım uzun çıktı gerektirmez. Karar modelleri yeterince isabetli hale gelirse, aynı otomasyon çok daha hızlı çalışabilir ve LLM maliyetinin çok küçük bir kısmına mal olabilir.

Bizim sunduğumuz şekliyle karar modelleri seçenek puanları döndürür ve metin döndürmez; bu nedenle ayrı bir metin modeli, Mercury 2.5,² form alanlarına yazılan değerleri yazar. Buna metin yardımcısı diyoruz ve her modelin kullanımına açıktı.

Her modeli browser-use'un açık kaynaklı jev-ultrafast çalışma zamanında çalıştırdık,³ bu; Jev 1.13 için TypeSafe tarafından geliştirilmiştir.⁴ GPT-6 Astra üst düzey bir LLM referansı olarak, Gemini 3.8 Flash ise düşük maliyetli bir referans olarak hizmet eder. Tüm modeller metodoloji altında listelenmiştir.

Aynı görevde beş model

Wikipedia'da Laya dışındaki her model arama kutusuna yazı yazdı, metin yardımcısı "Ada Lovelace" yazdı ve model doğru öneriyi seçti. Jev makaleye 8,1 saniyede ulaştı; Gemini 11,0 saniyede, Astra 18,9 saniyede ve Kev-9B 43,8 saniyede. Laya ana sayfada hiçbir eylem yapmadan görevi tamamlanmış ilan etti.

Filtre görevi iki açılır menüye ve bir arama düğmesine ihtiyaç duyar. Jev, Gemini ve Astra aynı dört adımı attı ve sırasıyla 4.6, 10.7 ve 20,3 saniyede bitirdi. Laya site logosuna tıkladı ve görevi tamamlanmış ilan etti. Kev-9B benchmarkta bu görevde başarısız oldu ve demoda 11 dakika sonra hâlâ tıklıyordu; bu nedenle bu klipten çıkarıldı.

Başlıklar her modelin seçtiği işlemi ve hedefi, karar modelleri içinse o işlemin olasılığını gösterir. Klipler, puanlanan benchmarktan değil, 1× hızında ayrı bir demo çalışmasından alınmıştır ve her son sayfa benchmarkın değerlendiricisiyle kontrol edilmiştir.

Modeller nasıl başarısız oldu

Jev ve Kev-9B birlikte 26 farklı görevi tamamladı. Her ikisi de iki Wikipedia görevini ve Web Scraper açılır menü görevini tamamladı; bunu her iki LLM de yaptı. Her görevin bir kategori listesinden ürün sayfasına geçtiği Books to Scrape'te Jev altı görevden hiçbirini, Kev-9B ise üçünü tamamladı. Kev-27B, Eikos-27B ve AutoJev-27B altısını da tamamladı.

• Jev, 24/33 başarısızlığında görevi engellenmiş ilan etti; 16 kez herhangi bir eylem yapmadan önceydi.
• Kev-9B başarısız görevlerde medyan 9.5 eylem yaptı; tamamladığı görevlerde bu sayı 3'tü. On deneme eylem veya karar çağrısı sınırına takıldı ve beş deneme daha, art arda üç eylem sayfayı değiştirmeden bırakınca durduruldu.
• Kev-4B, Kev-9B'nin geliştiricisinden, 29/50 görevde daha ilk kararında görevi engellenmiş ilan etti.
• Kev-27B, Eikos-27B ve GLiDE ortak olarak yedi görevde başarısız oldu. Bunlardan dördünü engellenmiş ilan ettiler; bunlar iki ScrapeMe ürün araması ve iki Web Scraper göreviydi; üçünden hiçbiri onay kutusunu veya hesap makinesi formunu bitiremedi.
• GPT-6 Astra 3 görevde başarısız oldu. Bir ScrapeMe kategori görevini engellenmiş olarak işaretledi, durdurulana kadar aynı hesap makinesi alanına yazmaya devam etti ve T02 form görevinde Astra formu doldurup gönderdikten sonra metin yardımcısı geçerli bir değer döndürmedi.
• Gemini 3.8 Flash 8 görevde başarısız oldu; bunlara aynı T02 sonu dahildir. Dört başarısızlık doğru sayfaya ulaştı ancak bitmedi; ikisi, OpenRouter bir ücret bildirmediğinde maliyet korumamız tarafından durduruldu ve biri eylem sınırına takıldı.

Neden bazı modeller 0/50 aldı

GLiNER2.5-Decide

GLiNER2.5-Decide, Fastino tarafından geliştirilmiştir⁵ ve 50 görevin tümünü çok erken tamamlanmış ilan etti; bunların 49'u daha ilk kararındaydı. Başka bir görevle başlangıç sayfasını paylaşan 37 görevde, operasyon olasılıkları hedefler arasında 6 puandan fazla farklılık göstermedi.

Fastino, GLiNER2.5-Decide'i bilet yönlendirme, niyet, aciliyet ve bir ajanın bitirip bitirmediği gibi kararlar için bir sınıflandırıcı olarak tanımlar ve modelin akıl yürütmediğini belirtir. Model 512 token'a kadar girdiler için üretilmiştir ancak daha uzunlarını da kabul eder. İlk adım isteklerimizin medyanı 1.915 token idi.

CLM-v0.1-8B

CLM-v0.1-8B, Contrastive-LM tarafından geliştirilmiştir⁶ ve 2.199/2.288 operasyon kararında beklemeyi seçti; bu nedenle 36 deneme eylem hakkını tüketti. Aynı başlangıç sayfalarında, olasılıkları hedefler arasında en fazla 13 puan farklılık gösterdi.

Contrastive-LM, CLM-v0.1-8B'nin fine-tuning olmadan bilgisayar kullanımı, oyun ve araç çağırma görevlerinde Jev ile aynı düzeyde performans gösterdiğini ve Jev'in istek biçimini değişiklik olmadan kabul ettiğini belirtir.⁷ Biz de istekleri bu biçimde gönderdik.

Hız ve başarı

Kev-27B, Eikos-27B ve AutoJev-27B, deneme başına yaklaşık 7 saniyelik medyanla görevlerin %68 ile %80'ini tamamladı; bu, Gemini'nin 12,7 saniyesinden ve Astra'nın 17,4 saniyesinden daha hızlıydı. decider-4b, decider-12b ve Jev deneme başına 2.5 ile 4,2 saniye sürdü ve 19 ile 24 görevi engellenmiş ilan etti.

GLiDE, görevlerin %72'ini deneme başına 46,8 saniyelik medyanla tamamladı; bu, tüm modeller arasındaki en yavaş değerdi ve denemelerinin 3'ü 900 saniyelik sınıra takıldı.

GLiNER2.5-Decide (0,2 saniye) 49/50 görevi daha ilk kararında tamamlanmış ilan etti ve Kev-4B 29 görevi daha ilk kararında engellenmiş ilan etti.

Kev-9B deneme başına 38,3 saniyelik medyan süre aldı; bu, Kev-27B'nin beş katıydı. Her Kev-9B kararı medyan 3,7 saniye sunucu süresi aldı; tam bir Jev API çağrısı için bu süre yaklaşık 1 saniyeydi. İstek ek yükü yaklaşık yarım saniye ekledi.

Kev-9B deneme başına ortalama 26 karar verdi; Jev için bu sayı yaklaşık 4'tü ve bunların %90'ı başarısız denemelerde ortaya çıktı.

Maliyet

Tarayıcı otomasyonu maliyeti

† Tahmin: Sınıflandırma çıktı testinden elde edilen girdi tokeni başına A100 maliyeti, tarayıcı girdi tokenleriyle çarpılır ve metin yardımcısının ücretleri eklenir. Yöntem metodoloji bölümündedir.

‡ Daha yüksek rakam, token bildirmeden başarısız olan 17 isteği ekler; her biri 120.000 girdi tokeni olarak sayılır; Fastino bunları faturalandırmayabilir.

Astra, Gemini ve Jev karar başına 3.150 ile 3.470 girdi tokeni kullandı. Astra'nın girdi fiyatı Jev'inkinin yaklaşık 240 katıdır.⁸⁹

Düşük akıl yürütmede Astra, 6.599 çıktı tokenini 307 karar boyunca üretti; buna karşılık girdi tokeni sayısı 968.376 idi. Jev'in çıktı fiyatı $0'dır.

Jev'in girdi fiyatıyla Astra'nın 968.376 karar girdi tokeni yaklaşık $0,04 tutardı; $9,68 yerine. Kev-27B, tahmini $0,25 ile 50 görevde Astra'nın yedi görev yakınına geldi; Astra'nın maliyeti $10,63'tü.

Bu tahminlere göre, tablodaki görev tamamlayan her karar modeli, Kev-9B hariç, tamamlanan görev başına Gemini'den daha az maliyetliydi. Hiçbiri Jev'den daha az maliyetli değildi.

• Kev-9B, tamamlanan görev başına Gemini'nin yaklaşık 3 katı ve Jev'in 46 katı maliyete sahipti. Tahmini A100 maliyeti milyon girdi tokeni başına yaklaşık $0,47; bu, Jev'in 11 katıydı (API fiyatının); ve 1.321 karar verdi, Jev'in 185 kararına karşılık.
• Kev-4B'nin token başına tahmini GPU maliyeti 6.5 katıydı; OpenRouter fiyatının.

Kev-9B çalışması için kiraladığımız A100 süresi, kurulum ve boşta bekleme süresi dahil 3.32 saat, yaklaşık $5,31 tuttu. Bir Jev ücreti ve iki Gemini ücreti kaydedilmedi ve tabloda eksik.

Sınıflandırma maliyeti

Barındırılan modeller, API liste fiyatlarıyla fiyatlandırılır; yalnızca Solar Decide faturalandırılan ücretleriyle fiyatlandırılır. Yerel modeller, kiraladığımız bir A100 üzerinde ölçtüğümüz en yüksek verimde 1.000 karar başına fiyatlandırılır.

Kiralık bir A100, ister meşgul ister boş olsun, günlük yaklaşık $40 tutar. Kaydettiğimiz oranla $40, yaklaşık bir milyon Jev kararı satın alır.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Karar modeli eğitimi

Kev-9B ve Laya'yı, etiketleme modeli olan GLM-5.3-Flash'ın benchmark dışındaki sekiz web sitesindeki tarayıcı görevlerinde verdiği kararlar üzerinde fine-tune ettik. Ardından 50 görevi tekrar çalıştırdık. Her fine-tune edilmiş model, aynı gün ve aynı donanımda çalıştırılan stok sürümüyle karşılaştırılmıştır.

Fine-tune edilmiş Kev ve her iki Laya sürümü Hugging Face üzerindedir.

p, aynı 50 görev üzerinde yapılan eşleştirilmiş bir testten (kesin McNemar) gelir ve 0.05'in altındaki p anlamlı kabul edilir. Bu karşılaştırmada stok Kev, yukarıdaki sonuçlardan bir fazla olarak 21 görev tamamladı. Kev'in 12 kazanımından biri olan C02, model hatası değil, stok çalışmasındaki bir tarayıcı zaman aşımıydı. Bu olmadan Kev 11 görev kazandı ve 1 kaybetti (p = 0.006).

• Fine-tune edilmiş Kev, dokuz web sitesinin altısında görev kazandı; Quotes to Scrape ve Scrape This Site'ta her birinde üçer görev kazandı. Web Scraper, Wikipedia ve TestPages formlarındaki sonuçları değişmedi.
• Fine-tune edilmiş Kev, 12'ye karşı 5 denemeyi engellenmiş olarak bitirdi ve 11'e karşı 6 kez eylem sınırına takıldı. Bitmemiş bir görevi 7 kez tamamlanmış ilan etti; bu sayı önceki için 4'tü.
• Eğitim dışında tutulan eğitim web sitelerinden 41 görevde Kev, 21 görev tamamladı; önceki sayı 13'tü. 101 tek kararda, bu görevlerin 19'undan alınan, etiketleme modelinin işlemini %94 oranında seçti; önceki oran %62 idi.
• Laya'nın ilk fine-tune edilmiş hali, okuyabildiği kararların %75/88'inde etiketleme modelinin işlemini seçti; stok Laya için bu oran %19 idi. Hâlâ bir eylem gerektiren bir sayfada görevi 53 yerine 2 kez tamamlanmış ilan etti.
• Benchmarkta Laya'nın ilk fine-tune edilmiş hali bitmemiş bir görevi 36 kez tamamlanmış ilan etti; bunlardan biri herhangi bir eylem yapmadan önceydi. Stok Laya bunu 32 kez yaptı; bunların 17'si herhangi bir eylemden önceydi.

Karar modeli kullanım alanları

• Bir ajanın bitiş sinyalini kontrol etme. Bir tarayıcı ajanının görevi tamamlanmış ilan etmeden önce gördüğü son sayfada, 13/22 karar modeli, bitti ile bitmediyi ayırt etmede 90'ın üzerinde puan aldı ve AutoJev-27B, Clef ve Kev-27B 99.5 puan aldı. Bir çalıştırmanın daha önceki sayfalarındaki kontrolleri test etmedik.
• Güvenlik bültenlerini veya geri çağırmaları derecelendirme gibi sabit etiketlerle triyaj. decider-12b, şiddette 21 puan ve geri çağırmalarda 29 puanla rastgele yanıtları yendi. Makale konularında, 28.595 etiketli makaleyle eğitilen bir anahtar kelime sınıflandırıcı 70.4 puan aldı ve hiçbir karar modeli anlamlı olarak daha yüksek puan almadı; aynı tür sınıflandırıcı şiddet ve geri çağırmalarda neredeyse rastgele puan aldı.
• Tarayıcı otomasyonunda her eylemi seçme. En iyi karar modeli Kev-27B, 40/50 görevi tamamladı; buna karşılık 42 ve 47 görev iki LLM içindi. Kev-9B'yi diğer web sitelerinden 606 karar üzerinde fine-tune etmek, tamamladığı görev sayısını 21'den 32'ye yükseltti.

İki ana sınıflandırma görevinde, yerel karar modelleri tahmini $0,014 ile $0,36 arasında, 1.000 karar başına, kiralık bir GPU üzerinde maliyete sahipti ve karar başına ortalama bir saniyenin altında sürdü. Tarayıcı görevlerinde Jev'in girdi fiyatı, yaklaşık 1/240'iydi; bu, GPT-6 Astra'nın fiyatına kıyasla.

Her yanıt ayrıca seçenek başına bir olasılıkla gelir; bir uygulama bunu belirsiz durumları bir LLM'ye iletmek için kullanabilir. Bu olasılıkların gerçek doğrulukla ne kadar örtüştüğünü test etmedik. 22 modelin on yedisi tek kiralık bir GPU üzerinde çalıştı; Jev, Solar Decide, GLiDE, Clef ve Clef-Flash barındırılan API'lerdir.

Metodoloji

Tarayıcı otomasyonu benchmarkı

Tüm modeller aynı jev-ultrafast tarayıcı çalışma zamanını kullandı. Her adımda, geçerli sayfayı sayfa metnine ve görünür kontrollerin numaralı bir listesine dönüştürdü. Model; tıklama, yazma, seçme, tamamlandı veya engellendi gibi bir işlem ve bu listeden bir hedef seçti. Çalışma zamanı eylemi gerçekleştirdi ve sayfayı yeniden okudu.

Karar modelleri sağlanan seçenekleri sıralar ve metin döndürmez. Herhangi bir model yazmayı seçtiğinde, değeri form alanına metin yardımcısı yazdı. Her deneme yeni bir tarayıcı oturumunda başladı.

GPT-6 Astra, Gemini 3.8 Flash, Jev, Kev-9B ve Laya 22 Eylül 2026'da çalıştı; tarayıcı bir Mac üzerindeydi ve Kev-9B kiralık bir A100 GPU'sundaydı.

GLiNER2.5-Decide ve CLM-v0.1-8B, 25 Eylül'de Linux'ta Chrome ile kiralık RTX 4090 GPU'larında çalıştı. Kev-4B 29 Eylül'de kiralık bir RTX A6000 GPU'sunda çalıştı. Solar Decide 30 Eylül'de aynı Mac'ten OpenRouter üzerinden çalıştı; Nimble 9B ve her iki Tev1 modeli aynı gün Linux'ta Chrome bulunan kiralık bir RTX A6000 GPU'sunda Ollama 0.35.0 ile çalıştı.

GLiDE, Clef ve Clef-Flash 2 Ekim'de aynı Mac'ten sağlayıcılarının API'leri üzerinden, Chrome 154 ile, 153 yerine çalıştı. Kev-27B, AutoJev-27B, Eikos-27B, Eikos-4B, decider-4b ve decider-12b 2 ve 3 Ekim'de Linux'ta Chrome bulunan kiralık A100 GPU'larında çalıştı.

Hiçbir istek bir modele sığdırmak için kısaltılmadı. Solar Decide'ın API'si ve Ollama soru başına 2 ile 26 seçenek kabul eder. Bu sınırların dışındaki bir istek denemeyi sonlandırdı; aynı şey Laya için büyük isteklerde de oldu. Ollama seçenek açıklamalarını yalnızca metin olarak kabul eder; bu nedenle yapılandırılmış seçenekler kompakt JSON metni olarak gönderildi. Tev1 2.050 token'lık bağlamla gelir; biz bunu 8.194'e, Nimble'ın kendi ayarına yükselttik, böylece sayfalar kesilmedi.

Cloudflare'ın hizmeti yalnızca ilk 2.048 tokeni okur; bu, Clef ve Clef-Flash için sayfa metninin. Daha uzun sayfalar göndermedik; bu durum her model için bir denemeyi sonlandırdı.

Clef, Clef-Flash, decider ve Eikos soru başına en az iki seçenek gerektirir. Bir sayfanın tek metin alanı gibi tek seçenekli bir soru, o seçenek iki kez gönderilerek çalıştırıldı ve yanıt ona geri eşlendi.

Kev-9B'yi üreticinin referans koduyla tam 32-bit hassasiyette çalıştırdık. Temel modelini hızlandıran iki isteğe bağlı çekirdek paketi kurulmadı; bu nedenle model daha yavaş referans çekirdeklerine geri döndü. Daha hızlı bir GPU kurulumu test etmedik.

CLM'nin kendi kodu her isteği metne dönüştürür. GLiNER aynı metni aldı; her sorunun hedefi ve kuralları onun promptu olarak verildi. Kev-4B ayrıca OpenRouter üzerinde SiliconFlow tarafından 8-bit hassasiyetle sunulur.¹⁰ 29 Eylül'de Mac'ten bunun üzerinden çalıştırıldığında Kev-4B 6 görev tamamladı.

Tarayıcı modelleri

Düşük akıl yürütme, sağlayıcı tanımlı bir çaba ayarıdır. Astra'nın 307 kararı, raporlanan 791 akıl yürütme tokenini içeriyordu. Kev-9B¹¹ ve Kev-4B¹² aynı geliştiriciden gelir; Nimble 9B ise Bespoke Labs'tan gelir.¹³ GLiDE, Fastino'dan gelir; GLiNER2.5-Decide'in geliştiricisi olan¹⁴ ve Clef ile Clef-Flash, Cloudflare'dan gelir.¹⁵

Dataset

50 görev dokuz web sitesini kapsar: kazıma ve test için oluşturulmuş sekiz uygulama sitesi ve ayrıca Wikipedia. Görevler katalog navigasyonu, arama, sıralama, sayfalama, ürün seçenekleri, formlar ve makale aramalarını içerir. Her görev sabit bir URL'den başlar ve bitiş durumunu tek cümleyle belirtir; örneğin "Bilim Kurgu'ya geç, Dune'u (Dune #1) bul, ürün detaylarını aç ve dur."

Modeller çalışmadan önce, yalnızca çalışma zamanının desteklenen eylemlerini kullanarak bir betiklenmiş çalışma tüm 50 görevi tamamladı. Her görev parolalar, CAPTCHA'lar veya Enter tuşu olmadan çözülebilir.

Örnek görevler

50 görevin on tanesi, talimatlar, başlangıç URL'si, geçme koşulları ve her modelin sonucuyla birlikte Hugging Face üzerinde yayımlanmıştır. Diğer 40 görev daha sonraki çalışmalar için saklanmıştır.

Değerlendirme

Bir görev, model sınırlar içinde tamamlandığını ilan ettiğinde ve son sayfanın ayrı bir kontrolü her koşulu doğruladığında geçti: kabul edilen bir son URL, görevin olgularının sayfada görünür olması, 100 karakterden fazla sayfa metni ve tam yüklenmiş bir sayfa.

Her denemede 900 saniye, 60 tarayıcı eylemi ve 120 karar çağrısı vardı. API hataları başarısızlık olarak sayıldı. Süre, ilk yüklenen sayfadan son kontrole kadar ölçülür.

Modeller, kontrolün gerektirdiği sayfa yükleme durumunu göremiyordu. B05'te Jev ve Gemini M04'te doğru içeriğe ulaştı ancak yalnızca o kontrolde başarısız oldu; bunlar başarısızlık olarak sayılır.

Maliyet

API maliyeti, model başına tüm 50 deneme için karar çağrılarını ve metin yardımcısını kapsar. OpenRouter, GPT-6 Astra, Gemini ve Mercury için ücretleri bildirdi. Jev'in maliyeti, 22 Eylül 2026'daki liste fiyatı üzerinden bildirilen tokenlerine göre: milyon girdi tokeni başına $0,042 ve çıktı için ücret yok.⁴ GLiDE, Clef ve Clef-Flash da liste fiyatlarıyla fiyatlandırılır.

Kendi barındırılan tarayıcı çalışmaları A100, A6000, RTX 4090 veya bir Mac kullandı. Hepsini, sınıflandırma maliyet testindeki A100 üzerinden saatte $1,673 ile fiyatlandırıyoruz: her modelin buradaki girdi tokeni başına maliyeti, tarayıcı girdi tokenleriyle çarpılır ve metin yardımcısının ücretleri eklenir.

Her iki iş yükü de neredeyse tamamen girdiden oluşur çünkü bu modeller seçenek puanları veya birkaç token döndürür. Tahmin, maliyetin girdi tokenleriyle orantılı olarak arttığını varsayar. Tarayıcı girdileri, aynı modelin sınıflandırma sorularının uzunluğunun 2 ile 12 katı arasındaydı ve tarayıcı sayfalarını verim testinden geçirmedik.

Fine-tuning

327 görev, eğitim için 286 ve dışarıda tutulan 41 görev, benchmarkta olmayan sekiz web sitesinden gelir; bunlar arasında Demo Web Shop, Automation Exercise ve Project Gutenberg bulunur. Her görev bir tarayıcıda kontrol edildi: başlangıç sayfası değerlendiriciyi geçemez ve görev farklı bir URL'de bitiyorsa o sayfa geçer.

MIT lisansı altında açık ağırlıklı bir model olan GLM-5.3-Flash,¹⁶ düşük akıl yürütmede benchmark çalışma zamanında görevlerin 300'ünü denedi. Sağlayıcı hataları onu diğer 27 görevden alıkoydu. Bunun için GPT-6 Astra veya Gemini'yi kullanmadık; çünkü OpenAI'nin ve Google'ın koşulları, çıktılarının rakip modeller oluşturmak için kullanılmasını yasaklar.¹⁷¹⁸

184 başarılı eğitim çalışması 606 karar kaydı verdi. Bir çalışma, değerlendirici geçtiğinde veya site araması yoluyla doğru ürün sayfasına ulaşıp yalnızca tam URL kontrolünde başarısız olduğunda başarılı sayıldı; tüm görevlerde 11 çalışma böyle oldu.

Tek karar testi, 103 kayıtlı kararı, 19 dışarıda tutulan görevden yeniden oynatır ve bir modelin etiketleme modelinin işlemini ne sıklıkla seçtiğini sayar. Kev bunların 101'ini okuyabildi. Laya, yalnızca her adımın ihtiyaç duyduğu sorular gönderildiğinde 88'ini ve benchmarkın gönderdiği tam istekte 34'ünü okuyabildi. Bu 34'ünde, stok Laya zamanın %29'unda, ilk fine-tune edilmiş hali %71'inde ve ikincisi %41'inde aynı fikirdeydi.

Her iki model de benchmark ettiğimiz stok ağırlıklardan başladı ve üreticilerinin eğitim tariflerini benchmarkın girdi sınırlarıyla kullandı. Kev ayrıca bir yerine iki epoch boyunca, üreticinin tekrar kayıtları olmadan eğitildi. Her eğitim çalışması 20 dakikanın altında sürdü; bir H100 GPU'sunda.

Laya'nın ilk fine-tune edilmiş hali aynı 606 kaydı kullandı; Laya için çok uzun olanları atladı. İkincisi, benchmarkın gönderdiği tam isteğe sığan 292 kaydı tuttu ve 102 kayıt ekledi; bu kayıtlar Laya'nın kendi çalışmalarından geldi; bu çalışmalarda GLM-5.3-Flash, Laya bir görevi tamamlanmış veya engellenmiş ilan ettikten sonra devraldı. Kev'in ikinci turu yoktu.

Kev çifti ve Laya'nın ilk çifti, Linux'ta Chrome ile Fransa'daki kiralık bir H100 üzerinde çalıştı. Laya'nın ikinci çifti ana benchmarktaki Mac'te çalıştı. Her çift, ana benchmarkın 50 görevini, çalışma zamanını, sınırlarını ve değerlendiricisini görev başına bir deneme ile kullandı.

Sınıflandırma benchmarkı

Her öğe, sabit bir seçenek kümesine sahip tek bir karardır. Öğeler, Temmuz ile Eylül 2026 arasında yayımlanan kayıtlardan ve kendi tarayıcı çalışmalarımızdaki son sayfaların yayımlanmamış anlık görüntülerinden gelir. Eğitimle çakışma göz ardı edilemez.

İlk üç görev, bir modelin bir kurumun kaydettiği bir kararı yalnızca metinden yeniden üretmesini ister. GitHub ve FDA, metnin içermediği kanıtlar kullanmış olabilir. GitHub'ın şiddet düzeyleri, standart güvenlik açığı puanlama sistemi olan CVSS'in dört düzeyidir.¹⁹

Her model, bir görev için aynı talimatları ve seçenek tanımlarını aldı: FDA'nın sınıf tanımları, GitHub'ın şiddet bantları, arXiv'in kategori açıklamaları. Seçenek sırası her öğe için karıştırıldı ve her model için aynıydı. Güvenlik açığı şiddeti ve geri çağırma tehlike düzeyi ana görevlerdir ve herhangi bir çalıştırmadan önce sabitlenmiştir; makale konuları ve görev tamamlandı kontrolü tamamlayıcıdır.

Puan, dengeli doğruluktur: her olası yanıt içindeki başarı oranının yanıtlar üzerinden ortalamasıdır.

Her zaman en yaygın yanıtı veren bir model, şiddette 25, geri çağırmada 33 ve makale konularında 5 puan alır. Grafik puanı iki ana görevin ortalamasıdır; bu yanıt yaklaşık 29 puan alır. Aralıklar %95 bootstrap aralıklarıdır; ilişkili öğeler birlikte yeniden örneklenir: aynı paket için bültenler, aynı geri çağırma olayındaki geri çağırmalar, aynı tarayıcı görevinden sayfalar.

İki LLM, Qwen 3.8 Max ve Claude Opus 5.5, kaydedilen yanıtı görmeden 350 test öğesinden oluşan bir örneği, görev başına 100 ve 50 tarayıcı sayfasını etiketledi.

Birbirleriyle 62/100 bültende, 69/100 geri çağırmada, 84/100 makalede ve 49/50 tarayıcı sayfasında aynı fikirdeydi. Bültenler ve geri çağırmalarda kayıtla aynı fikirde olmadıklarında, çoğunlukla orta düzeylere doğru bir düzey sapmışlardı. GitHub'ın şiddetini, 55 ve 56/100 bültende eşleştirdiler.

Her iki jüri, 54 öğede kayıttan farklı aynı yanıtı verdi. 53 GitHub, FDA ve arXiv kaydını canlı kaynakla karşılaştırdık ve hepsi eşleşti; bu nedenle hiçbir etiket değişmedi.

O tek tarayıcı sayfası, değerlendirici tam sayfada en az 40 yorum saydığı için tamamlandı olarak etiketlendi; modellerin gördüğü anlık görüntü ise yaklaşık dokuz gösteriyor. Bu öğeyi ve 48 diğer görev tamamlandı öğesini çıkardık; bunların yanıtı 10 veya daha fazla öğe saymaya dayanıyordu; geriye 155 kaldı.

Yerel maliyetler, o GPU üzerinde test ettiğimiz ayar için geçerlidir; başka bir sunucu ayarı veya GPU bunları değiştirir. Puanlanan çalıştırma ile maliyet çalıştırması arasında CLM-v0.1-8B yanıtlarının %3,7'ini, Shisa DE-1 %2,2'sini ve Tev1 0.8B %1,2'sini değiştirdi; bu nedenle onların maliyetleri puanlarını tam olarak yeniden üretmeyen bir kurulumdan gelir. Diğer 14 yerel model %1'in altında değişti.

Her modeli yayınlandığı şekliyle çalıştırmaya ilişkin istisnalar:

• Laya, yayınlanan 512 token bağlamı yerine 8.192 token bağlamıyla çalıştı (typed-decisions için 1.024); Tev1 ise 2.050 yerine 8.194 ile çalıştı, tarayıcı çalışmalarımızda olduğu gibi.
• Laya'nın kendi kodu uzun bir seçeneği veya girdiyi keseceği yerde, bağlayıcımız isteği reddetti ve bir reddetme yanlış yanıt olarak sayılır. Her makale konusu isteği reddedildi çünkü konu açıklamaları Laya'nın seçenek başına okuduğu 48 token'den uzundu.
• CLM'nin encoder bağlamı 2.048 token'den 16.384 token'e çıkarıldı; GLiNER, belgelenen 512 token girdisinin ötesinde çalıştı. Shisa, GPU belleğine sığması için 32.768 token bağlamı kullandı.
• Decision-1.0-Lux-9B'yi çalıştıramadık: çalışma zamanı bu modeli yalnızca AMD (ROCm) GPU'larında çalıştırıyor ve biz bir NVIDIA GPU kullandık.
• Together AI, 30 Eylül 2026 itibarıyla Tev1 ağırlıkları için bir lisans yayımlamamıştı.
• Cloudflare'ın hizmeti, Clef ve Clef-Flash için öğe metninin yalnızca ilk 2.048 tokenini okur; oysa modeller 65.536 token kabul eder. 9'u şiddette ve 3'ü geri çağırmada olmak üzere 12 uzun öğe yanlış yanıt olarak sayılır.

Sınırlamalar

Her model her tarayıcı görevini bir kez denedi; bu nedenle iki model arasındaki birkaç görevlik fark hangisinin daha iyi olduğunu göstermez.

50 görev dokuz web sitesinden gelir ve aynı sitedeki görevler sayfa düzenlerini paylaşır. Modeller canlı web sitelerinde çalıştı; siteler çalıştırmalar arasında değişebilir.

Adım biçimi, bir işlem listesi artı hedef listeleri, ilk olarak Jev için oluşturuldu. Her model aynı biçimi aldı. Başka bir biçimin sonuçları değiştirip değiştirmeyeceğini test etmedik. Laya, uzun sayfalar kesilmesin diye yayınlanan ayarlarının üzerinde girdi sınırlarıyla çalıştı.

Sınıflandırma benchmarkında her model her öğeyi bir kez yanıtladı. GitHub ve FDA yanıtları, bu kurumların kaydettiği kararlardır; bunlar bülten veya geri çağırma metninin içermediği kanıtlara dayanabilir.

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{kalelioglu2026,
  author = {Kalelioğlu, Berk},
  title  = {{AIM-Decision: Jev vs Kev vs LLM'ler}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/decision-models}},
  note   = {AIMultiple. Erişim tarihi: 5 Ekim 2026}
}

Referans Linkleri

1.

Introducing System One Models & Jev - TypeSafe AI Blog

2.

Introducing Mercury 2.5 – Inception

3.

GitHub - browser-use/jev-ultrafast: Fastest and cheapest web agent · GitHub

4.

Models - TypeSafe AI

Mintlify

5.

fastino/GLiNER2.5-Decide · Hugging Face

6.

Contrastive-LM/CLM-v0.1-8B · Hugging Face

7.

GitHub - Contrastive-LM/CLM · GitHub

8.

GPT-6 Astra - API Pricing & Benchmarks | OpenRouter

OpenRouter

9.

Gemini 3.8 Flash - API Pricing & Benchmarks | OpenRouter

OpenRouter

10.

Kev 4B - API Pricing & Providers | OpenRouter

OpenRouter

11.

jaredpalmer/kev-9b · Hugging Face

12.

jaredpalmer/kev-4b · Hugging Face

13.

bespokelabs/Bespoke-Nimble-9B · Hugging Face

14.

Pricing - Fastino API Docs

Mintlify

15.

clef (Cloudflare) · Cloudflare AI docs · Cloudflare Workers AI docs

Cloudflare

16.

zai-org/GLM-5.3-Flash · Hugging Face

17.

OpenAI Services Agreement | OpenAI

18.

Gemini API Additional Terms of Service  |  Google AI for Developers

19.

GitHub Advisory database - GitHub Docs

Berk Kalelioğlu

Yapay Zeka Araştırmacısı

Takip Et

Berk, AIMultiple'ın benchmark ekibinde Yapay Zeka Araştırmacısıdır; etmen tabanlı yapay zeka, makine öğrenimi ve büyük ve küçük dil modelleri (LLM'ler ve SLM'ler) üzerine odaklanmaktadır.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder