Joey 1 aggiunto
Il modello più recente nei benchmark System One è Joey 1.
AIM System One Index
v1.2Abbiamo testato 64 modelli decisionali su 1.655 attività di classificazione, 64 di bias e 50 di automazione del browser. Consulta AIM System One Index Methodology per ulteriori dettagli.
AIM System One Index e tempo per decisione
Più in alto e più a sinistra è meglio. Tempo: media per domanda di AIM-Decision Classification.
AIM System One Index
Classifica
Modelli System One classificati secondo l'AIM System One Index.
Filter & Sort
# | Modello | Indice | AIM-AI-Bias (%) | AIM-Decision Browser (%) | AIM-Decision Classification (%) | AIM-Decision Browser tempo (s) | Costo per 1.000 decisioni ($) | Latenza per decisione (ms) | Finestra di contesto (token) |
|---|---|---|---|---|---|---|---|---|---|
| 1 |  d1-ultra Liquid | 60 | 80.1 | 76 | 52.1 | 3.8 | 0.026 | 597 | 32,768 |
| 2 |  AutoJev-27B Perplexity | 60 | 94.8 | 68 | 48.4 | 6 | 0.11 | 223 | 262,144 |
| 3 | decider-12b Mapika | 59 | 93.8 | 32 | 54.4 | 3 | 0.06 | 127 | 262,144 |
| 4 |  GLiDE Fastino | 59 | 90.0 | 76 | 48.3 | 46.8 | 0.479 | 15,686 | 40,000 |
| 5 |  Drex Max Nace AI | 58 | 80.7 | 86 | 48.7 | 5.9 | 0.04 | 632 | 262,144 |
| 6 |  Solar Decide Flash Upstage | 58 | 97.6 | - | 46.2 | - | 0.046 | 1,132 | 524,288 |
| 7 | Solar Decide Upstage | 58 | 97.2 | - | 46.0 | - | 0.046 | 7,231 | 524,288 |
| 9 |  Jev 1.14 TypeSafe | 57 | 87.5 | 68 | 48.1 | 3.2 | 0.039 | 634 | 262,144 |
| 10 | d1.1 Liquid | 57 | 70.3 | 58 | 54.5 | 2.5 | 0.013 | 277 | 65,536 |
| 11 |  Shisa DE-1 Shisa.AI | 57 | 83.9 | - | 48.9 | - | 0.021 | 65 | 262,144 |
Pagina 1 di 2
Costo$0.026 / 1k
Latenza597 ms
Contesto33k
AIM-AI-Bias (%)
80.1
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
52.1
Costo$0.110 / 1k
Latenza223 ms
Contesto262k
AIM-AI-Bias (%)
94.8
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.4
Costo$0.060 / 1k
Latenza127 ms
Contesto262k
AIM-AI-Bias (%)
93.8
AIM-Decision Browser (%)
32
AIM-Decision Classification (%)
54.4
Costo$0.479 / 1k
Latenza15,686 ms
Contesto40k
AIM-AI-Bias (%)
90.0
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
48.3
Costo$0.040 / 1k
Latenza632 ms
Contesto262k
AIM-AI-Bias (%)
80.7
AIM-Decision Browser (%)
86
AIM-Decision Classification (%)
48.7
Costo$0.046 / 1k
Latenza1,132 ms
Contesto524k
AIM-AI-Bias (%)
97.6
AIM-Decision Classification (%)
46.2
Costo$0.046 / 1k
Latenza7,231 ms
Contesto524k
AIM-AI-Bias (%)
97.2
AIM-Decision Classification (%)
46.0
Costo$0.039 / 1k
Latenza634 ms
Contesto262k
AIM-AI-Bias (%)
87.5
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.1
Costo$0.013 / 1k
Latenza277 ms
Contesto66k
AIM-AI-Bias (%)
70.3
AIM-Decision Browser (%)
58
AIM-Decision Classification (%)
54.5
Costo$0.021 / 1k
Latenza65 ms
Contesto262k
AIM-AI-Bias (%)
83.9
AIM-Decision Classification (%)
48.9
Pagina 1 di 2
Benchmark singoli
Task completati su 50 negli stessi task di browser.
Attività del browser completate su 50
*Un tentativo per attività.
1.655 domande a decisione singola in quattro attività: punteggio rispetto al costo per 1.000 decisioni.
Punteggio vs costo e latenza
*Punteggio: media delle due attività principali. Costo per 1.000 decisioni: prezzo o fattura API per i modelli ospitati, tempo di noleggio A100 con la GPU a pieno carico per quelli self-hosted. Latenza: secondi medi per decisione.
Domande frequenti
Un modello System One, detto anche modello decisionale, sceglie una risposta da un insieme fisso di opzioni e restituisce una probabilità per ciascuna opzione. A differenza di un LLM, non scrive il ragionamento né genera la risposta token per token. Quando un'attività richiede testo, come un valore digitato in un modulo, lo scrive un modello di testo separato.
Sono adatti ai passaggi di automazione la cui risposta proviene da un insieme fisso di opzioni, come la prossima azione di un agente browser o l'etichetta di un ticket di assistenza. Un LLM spende tempo e denaro per ogni token generato, mentre un modello decisionale non ne genera nessuno. Nelle nostre attività nel browser, Drex Max ha completato tante attività quante Gemini 3.8 Flash in meno della metà del tempo mediano per attività, a circa 1/20 del costo per attività completata.
Nelle nostre 50 attività nel browser, il miglior modello System One, Drex Max, ne ha completate 43, quante Gemini 3.8 Flash. GPT-6 Astra ne ha completate 47, con entrambi gli LLM a basso impegno di ragionamento. Drex Max ha impiegato una mediana di 5,9 secondi per attività, contro 13,2 di Gemini e 15,5 di Astra. Drex Max è costato circa $0,001 per attività completata, contro $0,025 di Gemini e $0,224 di Astra.
d1-ultra guida l'AIM System One Index con 60. AutoJev-27B (60), decider-12b (59) e GLiDE (59) sono entro un punto. d1-ultra non è in testa da solo in nessuno dei tre benchmark. Dei 64 modelli, 31 ottengono più di 50.
Calcoliamo la media del punteggio di ogni modello su due attività di classificazione, la gravità degli avvisi di sicurezza e la classe di richiamo FDA. Le medie migliori sono 54,5% (d1.1) e 54,4% (decider-12b), e il modello mediano ottiene in media 46,7%. Il punteggio è un'accuratezza in cui le risposte rare contano quanto quelle comuni. Le risposte casuali ottengono in media il 25% nell'attività sulla gravità.
La pagina riporta i risultati nel browser per 50 dei 64 modelli. Alcuni degli altri accettano troppo poche opzioni per domanda o un input troppo corto per le pagine del browser. Il modello mediano ha completato 22 attività (44%) e il migliore, Drex Max, ne ha completate 43 (86%).
AIM-AI-Bias conta la quota di risposte prive di bias a domande a scelta multipla sulle persone. 7 dei 64 modelli rispondono senza bias almeno nel 90% dei casi, guidati da Solar Decide Flash con 97,6%. Il modello mediano ottiene 75,1% e Laya ottiene 1,6%.
Il modello mediano impiega 366 ms per decisione e 59 dei 64 impiegano meno di un secondo. Laya è il più veloce con 30 ms, ma il suo punteggio nell'indice è 5. Tra i modelli che superano 50, Shisa DE-1 è il più veloce con 65 ms.
Il modello mediano costa $0,039 per 1.000 decisioni. Span-02, Decider Flash V1.2, Joey 1 e Laya costano $0,007 dopo l'arrotondamento, il prezzo più basso. Tra questi, solo Span-02 supera 50 nell'indice. I modelli ospitati usano i prezzi delle API, mentre i modelli self-hosted usano il costo di noleggio di una GPU A100.
I 45 modelli con una finestra di contesto indicata vanno da 512 token (Laya) a 1.050.000 (GPT-6 Luna Decisions). La mediana è di 131.072 token. La finestra di contesto è la quantità massima di input che un modello legge in una volta, contata in token, cioè frammenti di parola.
AIM System One Index Methodology
L'AIM System One Index combina i punteggi di ogni modello su AIM-Decision Browser, AIM-Decision Classification e AIM-AI-Bias.
Ogni punteggio diventa uno z-score, la sua distanza dalla media del benchmark in deviazioni standard, misurata rispetto ai modelli che hanno tutti e tre i punteggi. L'indice è 50 + 10 × la media degli z-score di un modello: 50 è un modello medio e ogni 10 punti sono una deviazione standard. Un punteggio mancante viene saltato; la classifica lo mostra come un trattino.
Latenza e costo sono mostrati come riferimento e non contano nell'indice.
Costo e latenza per decisione provengono da AIM-Decision Classification. Il costo è il prezzo API per i modelli ospitati e il tempo di noleggio A100 con la GPU a pieno carico per quelli self-hosted.
Benchmark che abbiamo deciso di non usare
Abbiamo escluso questi benchmark pubblici dal nostro indice perché i fornitori addestrano i loro modelli su di essi: BANKING77, CLINC150, ContractNLI, Amazon ESCI, RAGTruth, SGD / SGD-X (Schema-Guided Dialogue), Typed Decisions, GoEmotions, When2Call.
Benchmark utilizzati
AIMultiple
AIM-Decision Browser50 task di browser, un tentativo ciascuno. Il tasso di successo conta nell'indice.AIMultiple
AIM-Decision Classification1.655 domande a decisione singola in quattro attività: gravità degli avvisi di sicurezza, classe di richiamo FDA, argomento dell'articolo e verifica del completamento di un'attività nel browser. Il punteggio conta per l'indice.AIMultiple
AIM-AI-BiasDomande a scelta multipla sui bias, ognuna posta con l'opzione «cannot be determined» in ogni posizione. Il punteggio, la quota di risposte non distorte mediata su quelle posizioni, conta per l'indice. Le prime versioni di GLiDE, Nimble 9B e dei due modelli Tev1 sono state testate solo con quell'opzione in ultima posizione.Scarica tutti i dati
Risultati grezzi di 181 punti dati dai benchmark AIMultiple su cui si basa questo indice. Scaricali come file ZIP contenente 3 file CSV e un README.
Ultimo aggiornamento: 3 novembre 2026
ScaricaVuoi i dati granulari che ci stanno dietro? Passa a Premium
Registro delle modifiche
19 aggiornamenti- v1.2
2 modelli sono entrati nell'indice: d1.1, Joey 1.
- v1.2
3 modelli sono entrati nell'indice: Drex Max, GLiDE v1.2, SubQ Snap 1.1.
- v1.2
Celeris 1.1 Decision è entrato nell'indice.
- v1.2
6 modelli sono entrati nell'indice: Classify-1, d3-flash, d3-mini, Decider Flash V1.2, Decider V1.2 e altri 1.
- v1.2
2 modelli sono entrati nell'indice: d1-ultra, Jev 1.14.
- v1.2
7 modelli sono entrati nell'indice: APUS Reflex 35B-A3B, Decision-1.0-Lux-9B, MATILDA JEV v1.5, NeoHorse-Jev-4B, Nimble 9B v2 e altri 2.
- v1.2
12 modelli sono entrati nell'indice: d1-3B, d3, Decision-2.0-Vega-27B, Decision 4B v1.6, GEV-26B-Decide e altri 7.
- v1.2
2 modelli sono entrati nell'indice: Drex v2.0, SubQ Snap.
- v1.2
3 modelli sono entrati nell'indice: Clef Omni, Drex v1.5, Microsoft-Decision-1.
- v1.2
5 modelli sono entrati nell'indice: d1, Decider V1.1 27B, GPT-6 Luna Decisions, Mercury Decide, Solar Decide Flash.