Joey 1 eklendi
System One benchmarklarına eklenen en yeni model Joey 1.
AIM System One Index
v1.264 karar modelini 1.655 sınıflandırma, 64 önyargı ve 50 tarayıcı otomasyonu görevinde test ettik. Daha fazla ayrıntı için AIM System One Index Methodology bölümüne bakın.
AIM System One Index ve karar başına süre
Daha yukarı ve daha sol daha iyidir. Süre: AIM-Decision Classification sorusu başına ortalama.
AIM System One Index
Sıralama tablosu
System One modelleri AIM System One Index'e göre sıralanır.
Filter & Sort
# | Model | Endeks | AIM-AI-Bias (%) | AIM-Decision Browser (%) | AIM-Decision Classification (%) | AIM-Decision Browser süre (sn) | 1 bin karar başına maliyet ($) | Karar başına gecikme (ms) | Bağlam penceresi (token) |
|---|---|---|---|---|---|---|---|---|---|
| 1 |  d1-ultra Liquid | 60 | 80.1 | 76 | 52.1 | 3.8 | 0.026 | 597 | 32,768 |
| 2 |  AutoJev-27B Perplexity | 60 | 94.8 | 68 | 48.4 | 6 | 0.11 | 223 | 262,144 |
| 3 | decider-12b Mapika | 59 | 93.8 | 32 | 54.4 | 3 | 0.06 | 127 | 262,144 |
| 4 |  GLiDE Fastino | 59 | 90.0 | 76 | 48.3 | 46.8 | 0.479 | 15,686 | 40,000 |
| 5 |  Drex Max Nace AI | 58 | 80.7 | 86 | 48.7 | 5.9 | 0.04 | 632 | 262,144 |
| 6 |  Solar Decide Flash Upstage | 58 | 97.6 | - | 46.2 | - | 0.046 | 1,132 | 524,288 |
| 7 | Solar Decide Upstage | 58 | 97.2 | - | 46.0 | - | 0.046 | 7,231 | 524,288 |
| 9 |  Jev 1.14 TypeSafe | 57 | 87.5 | 68 | 48.1 | 3.2 | 0.039 | 634 | 262,144 |
| 10 | d1.1 Liquid | 57 | 70.3 | 58 | 54.5 | 2.5 | 0.013 | 277 | 65,536 |
| 11 |  Shisa DE-1 Shisa.AI | 57 | 83.9 | - | 48.9 | - | 0.021 | 65 | 262,144 |
Sayfa 1 / 2
Maliyet$0.026 / 1k
Gecikme597 ms
Bağlam33k
AIM-AI-Bias (%)
80.1
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
52.1
Maliyet$0.110 / 1k
Gecikme223 ms
Bağlam262k
AIM-AI-Bias (%)
94.8
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.4
Maliyet$0.060 / 1k
Gecikme127 ms
Bağlam262k
AIM-AI-Bias (%)
93.8
AIM-Decision Browser (%)
32
AIM-Decision Classification (%)
54.4
Maliyet$0.479 / 1k
Gecikme15,686 ms
Bağlam40k
AIM-AI-Bias (%)
90.0
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
48.3
Maliyet$0.040 / 1k
Gecikme632 ms
Bağlam262k
AIM-AI-Bias (%)
80.7
AIM-Decision Browser (%)
86
AIM-Decision Classification (%)
48.7
Maliyet$0.046 / 1k
Gecikme1,132 ms
Bağlam524k
AIM-AI-Bias (%)
97.6
AIM-Decision Classification (%)
46.2
Maliyet$0.046 / 1k
Gecikme7,231 ms
Bağlam524k
AIM-AI-Bias (%)
97.2
AIM-Decision Classification (%)
46.0
Maliyet$0.039 / 1k
Gecikme634 ms
Bağlam262k
AIM-AI-Bias (%)
87.5
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.1
Maliyet$0.013 / 1k
Gecikme277 ms
Bağlam66k
AIM-AI-Bias (%)
70.3
AIM-Decision Browser (%)
58
AIM-Decision Classification (%)
54.5
Maliyet$0.021 / 1k
Gecikme65 ms
Bağlam262k
AIM-AI-Bias (%)
83.9
AIM-Decision Classification (%)
48.9
Sayfa 1 / 2
Benchmarklar tek tek
Aynı tarayıcı görevlerinde 50 görevden tamamlananlar.
Tamamlanan tarayıcı görevleri (50 üzerinden)
*Görev başına tek deneme.
Dört görevde 1.655 tek kararlı soru: skor ile 1.000 karar başına maliyet.
Skor, maliyet ve gecikme
*Skor: iki ana görevin ortalaması. 1.000 karar başına maliyet: API ile sunulan modellerde API fiyatı veya faturası, kendi sunucusunda çalışan modellerde GPU tam yükteyken A100 kiralama süresi. Gecikme: karar başına ortalama saniye.
Sıkça sorulan sorular
Karar modeli olarak da adlandırılan System One modeli, sabit bir seçenek kümesinden tek bir cevap seçer ve her seçenek için bir olasılık döndürür. LLM'den farklı olarak muhakemesini yazmaz ve cevabını token token üretmez. Bir görev, örneğin bir forma yazılacak değer gibi metin gerektirdiğinde, bunu ayrı bir metin modeli yazar.
Cevabı sabit bir seçenek kümesinden gelen otomasyon adımlarına uygundurlar; örneğin bir tarayıcı ajanının sonraki eylemi veya bir destek talebinin etiketi. Bir LLM ürettiği her token için zaman ve para harcar, karar modeli ise hiç token üretmez. Tarayıcı görevlerimizde Drex Max, Gemini 3.8 Flash kadar görevi görev başına medyan sürenin yarısından azında ve tamamlanan görev başına yaklaşık 1/20 maliyetle tamamladı.
50 tarayıcı görevimizde en iyi System One modeli Drex Max 43 görevi tamamladı; bu, Gemini 3.8 Flash ile aynı sayı. GPT-6 Astra 47 görevi tamamladı; her iki LLM de düşük muhakeme eforuyla çalıştı. Drex Max görev başına medyan 5,9 saniye sürdü; Gemini için bu süre 13,2, Astra için 15,5 saniye. Drex Max tamamlanan görev başına yaklaşık $0,001 tuttu; Gemini için $0,025, Astra için $0,224.
d1-ultra, 60 ile AIM System One Index'te önde. AutoJev-27B (60), decider-12b (59) ve GLiDE (59) ona bir puan farkın içinde. d1-ultra üç benchmarkın hiçbirinde tek başına lider değil. 64 modelden 31 tanesi 50'nin üzerinde skor alıyor.
Her modelin skorunun ortalamasını iki sınıflandırma görevi üzerinden alıyoruz: güvenlik bülteni önem derecesi ve FDA geri çağırma sınıfı. En iyi ortalamalar %54,5 (d1.1) ve %54,4 (decider-12b); medyan modelin ortalaması %46,7. Skor, nadir cevapların yaygın cevaplar kadar sayıldığı bir doğruluk ölçüsüdür. Rastgele cevaplar önem derecesi görevinde ortalama %25 alır.
Sayfa, 64 modelden 50 tanesi için tarayıcı sonuçlarını listeliyor. Diğerlerinin bir kısmı soru başına çok az seçenek kabul ediyor veya tarayıcı sayfaları için girdisi fazla kısa. Medyan model 22 görevi (%44) tamamladı, en iyisi olan Drex Max ise 43 görevi (%86) tamamladı.
AIM-AI-Bias, insanlarla ilgili çoktan seçmeli sorulara verilen yanlılık içermeyen cevapların oranını sayar. 64 modelden 7 tanesi cevapların en az %90'ını yanlılık olmadan veriyor; başta %97,6 ile Solar Decide Flash geliyor. Medyan model %75,1 alıyor, Laya ise %1,6.
Medyan model karar başına 366 ms sürüyor ve 64 modelden 59 tanesi bir saniyenin altında kalıyor. Laya 30 ms ile en hızlısı, ancak endeks skoru 5. 50'nin üzerinde skor alan modeller arasında 65 ms ile en hızlısı Shisa DE-1.
Medyan modelin maliyeti 1.000 karar başına $0,039. Span-02, Decider Flash V1.2, Joey 1 ve Laya yuvarlamadan sonra $0,007 ile en düşük fiyata sahip. Bunlardan yalnızca Span-02 endekste 50'nin üzerinde skor alıyor. Barındırılan modeller API fiyatlarını, kendi sunucusunda çalıştırılan modeller ise bir A100 GPU kiralama maliyetini kullanıyor.
Bağlam penceresi listelenen 45 model, 512 token (Laya) ile 1.050.000 (GPT-6 Luna Decisions) arasında değişiyor. Medyan 131.072 token. Bağlam penceresi, bir modelin aynı anda okuduğu en fazla girdidir; token olarak, yani sözcük parçaları olarak sayılır.
AIM System One Index Methodology
AIM System One Index, her modelin AIM-Decision Browser, AIM-Decision Classification ve AIM-AI-Bias skorlarını birleştirir.
Her skor bir z-skoruna çevrilir: benchmark ortalamasından kaç standart sapma uzak olduğu, üç skoru da olan modellere göre ölçülür. Index 50 + 10 × modelin z-skorlarının ortalamasıdır; 50 ortalama bir model, her 10 puan bir standart sapma demektir. Eksik skor atlanır; sıralama tablosunda tire olarak görünür.
Gecikme ve maliyet referans olarak gösterilir ve index'e sayılmaz.
Karar başına maliyet ve gecikme AIM-Decision Classification'dan gelir. Maliyet, API ile sunulan modellerde API fiyatı, kendi sunucusunda çalışan modellerde GPU tam yükteyken A100 kiralama süresidir.
Kullanmamaya Karar Verdiğimiz Benchmarklar
Bu açık benchmarklar, sağlayıcılar modellerini bunlar üzerinde eğittiği için index'imizden çıkarıldı: BANKING77, CLINC150, ContractNLI, Amazon ESCI, RAGTruth, SGD / SGD-X (Schema-Guided Dialogue), Typed Decisions, GoEmotions, When2Call.
Kullandığımız Benchmarklar
AIMultiple
AIM-Decision Browser50 tarayıcı görevi, her biri tek deneme. Başarı oranı index'e katılır.AIMultiple
AIM-Decision ClassificationDört görevde 1.655 tek kararlı soru: güvenlik bildirimi önem derecesi, FDA geri çağırma sınıfı, makale konusu ve tarayıcı görevinin bitip bitmediği. Skoru index'e katılır.AIMultiple
AIM-AI-BiasÇoktan seçmeli bias soruları; her soru “cannot be determined” şıkkı her pozisyonda olacak şekilde sorulur. Skoru, yani bu pozisyonların ortalaması alınmış yanlı olmayan cevap payı, index'e katılır. GLiDE, Nimble 9B ve iki Tev1 modelinin ilk sürümleri yalnızca bu şık en sondayken test edildi.Tüm verileri indir
Bu endeksin dayandığı AIMultiple benchmark'larından 181 veri noktasının ham sonuçları. Bunları 3 CSV dosyası ve bir README içeren ZIP dosyası olarak indirin.
Son güncelleme: 3 Kasım 2026
İndirArkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın
Değişiklik günlüğü
19 güncelleme- v1.2
2 model endekse girdi: d1.1, Joey 1.
- v1.2
3 model endekse girdi: Drex Max, GLiDE v1.2, SubQ Snap 1.1.
- v1.2
Celeris 1.1 Decision endekse girdi.
- v1.2
6 model endekse girdi: Classify-1, d3-flash, d3-mini, Decider Flash V1.2, Decider V1.2 ve 1 tane daha.
- v1.2
2 model endekse girdi: d1-ultra, Jev 1.14.
- v1.2
7 model endekse girdi: APUS Reflex 35B-A3B, Decision-1.0-Lux-9B, MATILDA JEV v1.5, NeoHorse-Jev-4B, Nimble 9B v2 ve 2 tane daha.
- v1.2
12 model endekse girdi: d1-3B, d3, Decision-2.0-Vega-27B, Decision 4B v1.6, GEV-26B-Decide ve 7 tane daha.
- v1.2
2 model endekse girdi: Drex v2.0, SubQ Snap.
- v1.2
3 model endekse girdi: Clef Omni, Drex v1.5, Microsoft-Decision-1.
- v1.2
5 model endekse girdi: d1, Decider V1.1 27B, GPT-6 Luna Decisions, Mercury Decide, Solar Decide Flash.