Premium
Servizi
Premium
Modelli di IASystem OneSystem One

AIM System One Index

v1.2

I modelli System One, detti anche modelli decisionali, restituiscono in un solo passaggio una decisione tipizzata con una probabilità per ogni opzione, invece di generare testo token per token. Come funziona l'AIM System One Index

Respan
Span-02 aggiunto

Il modello più recente nei benchmark System One è Span-02.

Vedi registro modifiche
Modello migliore
AutoJev-27B
AIM System One Index 60
Modello più veloce
Laya
30 ms per decisione
Modello API più economico
Decider Flash V1.2
0.007 $ per 1.000 decisioni
AIM System One Index e tempo per decisione
*AIM System One Index, come spiegato in Come funziona l'AIM System One Index. Tempo: media per domanda di AIM-Decision Classification.
AIM System One Index

Classifica dei modelli System One

Modelli System One classificati secondo l'AIM System One Index.

#
Modello
Indice
AIM-AI-Bias (%)
AIM-Decision Browser (%)
AIM-Decision Classification (%)
AIM-Decision Browser tempo (s)
Costo per 1.000 decisioni ($)
Latenza per decisione (ms)
Finestra di contesto (token)
1
AutoJev-27B
AutoJev-27B
60
94.86848.46.90.11223262,144
2
d1-ultra
d1-ultra
60
80.17452.140.026597-
3
decider-12b
decider-12b
60
93.83254.43.10.06127262,144
4
GLiDE
GLiDE
59
907248.346.80.47915,68640,000
5
Solar Decide Flash
Solar Decide Flash
2 benchmark su 3
59
97.6-46.2-0.0461,132524,288
6
Solar Decide
Solar Decide
2 benchmark su 3
58
97.2-46-0.0467,231524,288
7
Jev 1.14
Jev 1.14
57
87.56248.13.20.039634-
8
GLiDE v2
GLiDE v2
57
78.17249.160.096473-
9
Shisa DE-1
Shisa DE-1
2 benchmark su 3
57
83.9-48.9-0.02165262,144
10
Shisa DE-2
Shisa DE-2
56
884449.817.20.2551,138262,144
Pagina 1 di 6

Costo$0.110 / 1k
Latenza223 ms
Contesto262k
AIM-AI-Bias (%)
94.8
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.4

Costo$0.026 / 1k
Latenza597 ms
Contesto-
AIM-AI-Bias (%)
80.1
AIM-Decision Browser (%)
74
AIM-Decision Classification (%)
52.1

Costo$0.060 / 1k
Latenza127 ms
Contesto262k
AIM-AI-Bias (%)
93.8
AIM-Decision Browser (%)
32
AIM-Decision Classification (%)
54.4

Costo$0.479 / 1k
Latenza15,686 ms
Contesto40k
AIM-AI-Bias (%)
90
AIM-Decision Browser (%)
72
AIM-Decision Classification (%)
48.3

Costo$0.046 / 1k
Latenza1,132 ms
Contesto524k
AIM-AI-Bias (%)
97.6
AIM-Decision Classification (%)
46.2

Costo$0.046 / 1k
Latenza7,231 ms
Contesto524k
AIM-AI-Bias (%)
97.2
AIM-Decision Classification (%)
46

Costo$0.039 / 1k
Latenza634 ms
Contesto-
AIM-AI-Bias (%)
87.5
AIM-Decision Browser (%)
62
AIM-Decision Classification (%)
48.1

Costo$0.096 / 1k
Latenza473 ms
Contesto-
AIM-AI-Bias (%)
78.1
AIM-Decision Browser (%)
72
AIM-Decision Classification (%)
49.1

Costo$0.021 / 1k
Latenza65 ms
Contesto262k
AIM-AI-Bias (%)
83.9
AIM-Decision Classification (%)
48.9

Costo$0.255 / 1k
Latenza1,138 ms
Contesto262k
AIM-AI-Bias (%)
88
AIM-Decision Browser (%)
44
AIM-Decision Classification (%)
49.8
Pagina 1 di 6

Costo per 1.000 decisioni

Costo AIM-Decision Classification di ogni modello System One, tramite API ospitata o self-hosted.

Costo per 1.000 decisioni
*Hosted API: prezzo di listino per i token di input riportati da ogni API; modelli OpenRouter come fatturato, Mercury Decide al prezzo della sua route a pagamento. Self-hosted: noleggio A100 a 1,673 $ l'ora con la GPU a pieno carico, con il codice di ciascun produttore. Le prime versioni Ollama di Nimble 9B e dei modelli Tev1 mantengono una misurazione precedente con fino a 16 richieste parallele.

Benchmark singoli

AIM-Decision Browser

Task completati su 50 negli stessi task di browser.

Attività del browser completate su 50
*Un tentativo per attività.

AIM-Decision Classification

1.655 domande a decisione singola in quattro attività: punteggio rispetto al costo per 1.000 decisioni.

Punteggio vs costo e latenza
*Punteggio: media delle due attività principali. Costo per 1.000 decisioni: prezzo o fattura API per i modelli ospitati, tempo di noleggio A100 con la GPU a pieno carico per quelli self-hosted. Latenza: secondi medi per decisione.

Come funziona l'AIM System One Index

L'AIM System One Index combina i punteggi di ogni modello su AIM-Decision Browser, AIM-Decision Classification e AIM-AI-Bias.

Ogni punteggio diventa uno z-score, la sua distanza dalla media del benchmark in deviazioni standard, misurata rispetto ai modelli che hanno tutti e tre i punteggi. L'indice è 50 + 10 × la media degli z-score di un modello: 50 è un modello medio e ogni 10 punti sono una deviazione standard. Un punteggio mancante viene saltato; la classifica mostra quanti dei tre punteggi ha un modello.

Latenza e costo sono mostrati come riferimento e non contano nell'indice.

Costo e latenza per decisione provengono da AIM-Decision Classification. Il costo è il prezzo API per i modelli ospitati e il tempo di noleggio A100 con la GPU a pieno carico per quelli self-hosted.

Benchmark utilizzati

AIMultiple
AIM-Decision Browser50 task di browser, un tentativo ciascuno. Il tasso di successo conta nell'indice.
AIMultiple
AIM-Decision Classification1.655 domande a decisione singola in quattro attività: gravità degli avvisi di sicurezza, classe di richiamo FDA, argomento dell'articolo e verifica del completamento di un'attività nel browser. Il punteggio conta per l'indice.
AIMultiple
AIM-AI-BiasDomande a scelta multipla sui bias, ognuna posta con l'opzione «cannot be determined» in ogni posizione. Il punteggio, la quota di risposte non distorte mediata su quelle posizioni, conta per l'indice. Le prime versioni di GLiDE, Nimble 9B e dei due modelli Tev1 sono state testate solo con quell'opzione in ultima posizione.

Registro delle modifiche

16 aggiornamenti
  1. v1.2

    5 modelli sono entrati nell'indice: d3-flash, d3-mini, Decider Flash V1.2, Decider V1.2, Span-02.

  2. v1.2

    2 modelli sono entrati nell'indice: d1-ultra, Jev 1.14.

  3. v1.2

    7 modelli sono entrati nell'indice: APUS Reflex 35B-A3B, Decision-1.0-Lux-9B, MATILDA JEV v1.5, NeoHorse-Jev-4B, Nimble 9B v2 e altri 2.

  4. v1.2

    12 modelli sono entrati nell'indice: d1-3B, d3, Decision-2.0-Vega-27B, Decision 4B v1.6, GEV-26B-Decide e altri 7.

  5. v1.2

    2 modelli sono entrati nell'indice: Drex v2.0, SubQ Snap.

  6. v1.2

    3 modelli sono entrati nell'indice: Clef-Omni, Drex v1.5, Microsoft-Decision-1.

  7. v1.2

    5 modelli sono entrati nell'indice: d1, GPT-6 Luna Decisions, Mercury Decide, pplx-decider-v1.1-27b, Solar Decide Flash.

  8. v1.2

    AIM System One Index: I risultati di AIM-Decision Classification ora contano per l'indice. Versione aggiornata a v1.2.

  9. v1.2

    AIM System One Index: L'indice è ora lo z-score medio dei suoi benchmark sui dati più recenti, mostrato come 50 + 10 × z.

  10. v1.1

    AIM System One Index: I risultati sul bias dell'IA ora contano per l'indice. Versione aggiornata a v1.1.

Esplora AIM System One Index

Filtri
Categoria
  • 1
Tipo
  • 1
  • 0
  • 0
  • 0