Premium
Hizmetler
Premium
Yapay Zeka ModelleriSystem OneSystem One

AIM System One Index

v1.2

Karar modelleri olarak da bilinen System One modelleri, metni token token üretmek yerine tek geçişte her seçenek için bir olasılıkla birlikte tipli bir karar döndürür. AIM System One Index nasıl hesaplanır

Respan
Span-02 eklendi

System One benchmarklarına eklenen en yeni model Span-02.

Değişiklik Günlüğünü Gör
En iyi model
AutoJev-27B
AIM System One Index 60
En hızlı model
Laya
Karar başına 30 ms
En ucuz API modeli
Decider Flash V1.2
1 bin karar başına $0.007
AIM System One Index ve karar başına süre
*AIM System One Index, AIM System One Index nasıl hesaplanır bölümünde anlatıldığı gibidir. Süre: AIM-Decision Classification sorusu başına ortalama.
AIM System One Index

System One Modelleri Sıralaması

System One modelleri AIM System One Index'e göre sıralanır.

#
Model
Endeks
AIM-AI-Bias (%)
AIM-Decision Browser (%)
AIM-Decision Classification (%)
AIM-Decision Browser süre (sn)
1 bin karar başına maliyet ($)
Karar başına gecikme (ms)
Bağlam penceresi (token)
1
AutoJev-27B
60
94.86848.46.90.11223262,144
2
d1-ultra
d1-ultra
60
80.17452.140.026597-
3
decider-12b
decider-12b
60
93.83254.43.10.06127262,144
4
GLiDE
GLiDE
59
907248.346.80.47915,68640,000
5
Solar Decide Flash
Solar Decide Flash
3 benchmarktan 2
59
97.6-46.2-0.0461,132524,288
6
Solar Decide
Solar Decide
3 benchmarktan 2
58
97.2-46-0.0467,231524,288
7
Jev 1.14
Jev 1.14
57
87.56248.13.20.039634-
8
GLiDE v2
GLiDE v2
57
78.17249.160.096473-
9
Shisa DE-1
Shisa DE-1
3 benchmarktan 2
57
83.9-48.9-0.02165262,144
10
Shisa DE-2
Shisa DE-2
56
884449.817.20.2551,138262,144
Sayfa 1 / 6

Maliyet$0.110 / 1k
Gecikme223 ms
Bağlam262k
AIM-AI-Bias (%)
94.8
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.4

Maliyet$0.026 / 1k
Gecikme597 ms
Bağlam-
AIM-AI-Bias (%)
80.1
AIM-Decision Browser (%)
74
AIM-Decision Classification (%)
52.1

Maliyet$0.060 / 1k
Gecikme127 ms
Bağlam262k
AIM-AI-Bias (%)
93.8
AIM-Decision Browser (%)
32
AIM-Decision Classification (%)
54.4

Maliyet$0.479 / 1k
Gecikme15,686 ms
Bağlam40k
AIM-AI-Bias (%)
90
AIM-Decision Browser (%)
72
AIM-Decision Classification (%)
48.3

Maliyet$0.046 / 1k
Gecikme1,132 ms
Bağlam524k
AIM-AI-Bias (%)
97.6
AIM-Decision Classification (%)
46.2

Maliyet$0.046 / 1k
Gecikme7,231 ms
Bağlam524k
AIM-AI-Bias (%)
97.2
AIM-Decision Classification (%)
46

Maliyet$0.039 / 1k
Gecikme634 ms
Bağlam-
AIM-AI-Bias (%)
87.5
AIM-Decision Browser (%)
62
AIM-Decision Classification (%)
48.1

Maliyet$0.096 / 1k
Gecikme473 ms
Bağlam-
AIM-AI-Bias (%)
78.1
AIM-Decision Browser (%)
72
AIM-Decision Classification (%)
49.1

Maliyet$0.021 / 1k
Gecikme65 ms
Bağlam262k
AIM-AI-Bias (%)
83.9
AIM-Decision Classification (%)
48.9

Maliyet$0.255 / 1k
Gecikme1,138 ms
Bağlam262k
AIM-AI-Bias (%)
88
AIM-Decision Browser (%)
44
AIM-Decision Classification (%)
49.8
Sayfa 1 / 6

1 bin karar başına maliyet

Her System One modelinin AIM-Decision Classification maliyeti, API üzerinden ya da kendi sunucusunda.

1 bin karar başına maliyet
*Hosted API: liste fiyatı çarpı her API'nin bildirdiği girdi token sayısı; OpenRouter modelleri faturalandığı gibi, Mercury Decide ücretli rotasının fiyatıyla. Self-hosted: GPU tam yükteyken saatlik $1.673'ten A100 kiralama, her üreticinin kendi koduyla. Nimble 9B ve Tev1 modellerinin ilk Ollama sürümleri, en fazla 16 paralel istekle yapılmış önceki ölçümü korur.

Benchmarklar tek tek

AIM-Decision Browser

Aynı tarayıcı görevlerinde 50 görevden tamamlananlar.

Tamamlanan tarayıcı görevleri (50 üzerinden)
*Görev başına tek deneme.

AIM-Decision Classification

Dört görevde 1.655 tek kararlı soru: skor ile 1.000 karar başına maliyet.

Skor, maliyet ve gecikme
*Skor: iki ana görevin ortalaması. 1.000 karar başına maliyet: API ile sunulan modellerde API fiyatı veya faturası, kendi sunucusunda çalışan modellerde GPU tam yükteyken A100 kiralama süresi. Gecikme: karar başına ortalama saniye.

AIM System One Index nasıl hesaplanır

AIM System One Index, her modelin AIM-Decision Browser, AIM-Decision Classification ve AIM-AI-Bias skorlarını birleştirir.

Her skor bir z-skoruna çevrilir: benchmark ortalamasından kaç standart sapma uzak olduğu, üç skoru da olan modellere göre ölçülür. Index 50 + 10 × modelin z-skorlarının ortalamasıdır; 50 ortalama bir model, her 10 puan bir standart sapma demektir. Eksik skor atlanır; sıralama tablosu modelin üç skordan kaçına sahip olduğunu gösterir.

Gecikme ve maliyet referans olarak gösterilir ve index'e sayılmaz.

Karar başına maliyet ve gecikme AIM-Decision Classification'dan gelir. Maliyet, API ile sunulan modellerde API fiyatı, kendi sunucusunda çalışan modellerde GPU tam yükteyken A100 kiralama süresidir.

Kullandığımız Benchmarklar

AIMultiple
AIM-Decision Browser50 tarayıcı görevi, her biri tek deneme. Başarı oranı index'e katılır.
AIMultiple
AIM-Decision ClassificationDört görevde 1.655 tek kararlı soru: güvenlik bildirimi önem derecesi, FDA geri çağırma sınıfı, makale konusu ve tarayıcı görevinin bitip bitmediği. Skoru index'e katılır.
AIMultiple
AIM-AI-BiasÇoktan seçmeli bias soruları; her soru “cannot be determined” şıkkı her pozisyonda olacak şekilde sorulur. Skoru, yani bu pozisyonların ortalaması alınmış yanlı olmayan cevap payı, index'e katılır. GLiDE, Nimble 9B ve iki Tev1 modelinin ilk sürümleri yalnızca bu şık en sondayken test edildi.

Değişiklik günlüğü

16 güncelleme
  1. v1.2

    5 model endekse girdi: d3-flash, d3-mini, Decider Flash V1.2, Decider V1.2, Span-02.

  2. v1.2

    2 model endekse girdi: d1-ultra, Jev 1.14.

  3. v1.2

    7 model endekse girdi: APUS Reflex 35B-A3B, Decision-1.0-Lux-9B, MATILDA JEV v1.5, NeoHorse-Jev-4B, Nimble 9B v2 ve 2 tane daha.

  4. v1.2

    12 model endekse girdi: d1-3B, d3, Decision-2.0-Vega-27B, Decision 4B v1.6, GEV-26B-Decide ve 7 tane daha.

  5. v1.2

    2 model endekse girdi: Drex v2.0, SubQ Snap.

  6. v1.2

    3 model endekse girdi: Clef-Omni, Drex v1.5, Microsoft-Decision-1.

  7. v1.2

    5 model endekse girdi: d1, GPT-6 Luna Decisions, Mercury Decide, pplx-decider-v1.1-27b, Solar Decide Flash.

  8. v1.2

    AIM System One Index: AIM-Decision Classification sonuçları artık endekse dahil. Versiyon v1.2 olarak güncellendi.

  9. v1.2

    AIM System One Index: Endeks artık benchmark'ların en güncel verisi üzerindeki ortalama z-skoru; 50 + 10 × z olarak gösteriliyor.

  10. v1.1

    AIM System One Index: AI yanlılığı sonuçları artık endekse dahil. Versiyon v1.1 olarak güncellendi.

AIM System One Index Keşfedin

Filtreler
Kategori
  • 1
Tür
  • 1
  • 0
  • 0
  • 0