Joey 1 hinzugefügt
Das neueste Modell in den System One Benchmarks ist Joey 1.
AIM System One Index
v1.2Wir haben 64 Entscheidungsmodelle mit 1.655 Klassifizierungs-, 64 Bias- und 50 Browser-Automatisierungsaufgaben getestet. Weitere Details finden Sie unter AIM System One Index Methodology.
AIM System One Index und Zeit pro Entscheidung
Höher und weiter links ist besser. Zeit: Mittelwert pro AIM-Decision Classification-Frage.
AIM System One Index
Rangliste
System One Modelle nach dem AIM System One Index gerankt.
Filter & Sort
# | Modell | Index | AIM-AI-Bias (%) | AIM-Decision Browser (%) | AIM-Decision Classification (%) | AIM-Decision Browser Zeit (s) | Kosten pro 1.000 Entscheidungen ($) | Latenz pro Entscheidung (ms) | Kontextfenster (Token) |
|---|---|---|---|---|---|---|---|---|---|
| 1 |  d1-ultra Liquid | 60 | 80.1 | 76 | 52.1 | 3.8 | 0.026 | 597 | 32,768 |
| 2 |  AutoJev-27B Perplexity | 60 | 94.8 | 68 | 48.4 | 6 | 0.11 | 223 | 262,144 |
| 3 | decider-12b Mapika | 59 | 93.8 | 32 | 54.4 | 3 | 0.06 | 127 | 262,144 |
| 4 |  GLiDE Fastino | 59 | 90.0 | 76 | 48.3 | 46.8 | 0.479 | 15,686 | 40,000 |
| 5 |  Drex Max Nace AI | 58 | 80.7 | 86 | 48.7 | 5.9 | 0.04 | 632 | 262,144 |
| 6 |  Solar Decide Flash Upstage | 58 | 97.6 | - | 46.2 | - | 0.046 | 1,132 | 524,288 |
| 7 | Solar Decide Upstage | 58 | 97.2 | - | 46.0 | - | 0.046 | 7,231 | 524,288 |
| 9 |  Jev 1.14 TypeSafe | 57 | 87.5 | 68 | 48.1 | 3.2 | 0.039 | 634 | 262,144 |
| 10 | d1.1 Liquid | 57 | 70.3 | 58 | 54.5 | 2.5 | 0.013 | 277 | 65,536 |
| 11 |  Shisa DE-1 Shisa.AI | 57 | 83.9 | - | 48.9 | - | 0.021 | 65 | 262,144 |
Seite 1 von 2
Kosten$0.026 / 1k
Latenz597 ms
Kontext33k
AIM-AI-Bias (%)
80.1
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
52.1
Kosten$0.110 / 1k
Latenz223 ms
Kontext262k
AIM-AI-Bias (%)
94.8
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.4
Kosten$0.060 / 1k
Latenz127 ms
Kontext262k
AIM-AI-Bias (%)
93.8
AIM-Decision Browser (%)
32
AIM-Decision Classification (%)
54.4
Kosten$0.479 / 1k
Latenz15,686 ms
Kontext40k
AIM-AI-Bias (%)
90.0
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
48.3
Kosten$0.040 / 1k
Latenz632 ms
Kontext262k
AIM-AI-Bias (%)
80.7
AIM-Decision Browser (%)
86
AIM-Decision Classification (%)
48.7
Kosten$0.046 / 1k
Latenz1,132 ms
Kontext524k
AIM-AI-Bias (%)
97.6
AIM-Decision Classification (%)
46.2
Kosten$0.046 / 1k
Latenz7,231 ms
Kontext524k
AIM-AI-Bias (%)
97.2
AIM-Decision Classification (%)
46.0
Kosten$0.039 / 1k
Latenz634 ms
Kontext262k
AIM-AI-Bias (%)
87.5
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.1
Kosten$0.013 / 1k
Latenz277 ms
Kontext66k
AIM-AI-Bias (%)
70.3
AIM-Decision Browser (%)
58
AIM-Decision Classification (%)
54.5
Kosten$0.021 / 1k
Latenz65 ms
Kontext262k
AIM-AI-Bias (%)
83.9
AIM-Decision Classification (%)
48.9
Seite 1 von 2
Einzelne Benchmarks
Abgeschlossene Aufgaben von 50 bei denselben Browser-Aufgaben.
Abgeschlossene Browser-Aufgaben von 50
*Ein Versuch pro Aufgabe.
1.655 Einzelentscheidungsfragen in vier Aufgaben: Wert im Verhältnis zu den Kosten pro 1.000 Entscheidungen.
Wert vs. Kosten und Latenz
*Wert: Durchschnitt der zwei Hauptaufgaben. Kosten pro 1.000 Entscheidungen: API-Preis oder -Rechnung bei gehosteten Modellen, A100-Mietzeit bei voll ausgelasteter GPU bei selbst gehosteten Modellen. Latenz: mittlere Sekunden pro Entscheidung.
Häufig gestellte Fragen
Ein System-One-Modell, auch Entscheidungsmodell genannt, wählt aus einer festen Menge von Optionen eine Antwort aus und gibt für jede Option eine Wahrscheinlichkeit zurück. Anders als ein LLM schreibt es keine Begründung aus und erzeugt seine Antwort nicht Token für Token. Wenn eine Aufgabe Text erfordert, etwa einen in ein Formular einzutragenden Wert, schreibt ihn ein separates Textmodell.
Sie eignen sich für Automatisierungsschritte, deren Antwort aus einer festen Menge von Optionen stammt, etwa die nächste Aktion eines Browser-Agenten oder das Label eines Support-Tickets. Ein LLM verbraucht für jedes erzeugte Token Zeit und Geld, ein Entscheidungsmodell erzeugt keines. Bei unseren Browser-Aufgaben erledigte Drex Max genauso viele Aufgaben wie Gemini 3.8 Flash in weniger als der halben medianen Zeit pro Aufgabe und zu etwa 1/20 der Kosten pro erledigter Aufgabe.
Bei unseren 50 Browser-Aufgaben erledigte das beste System-One-Modell, Drex Max, 43 und damit ebenso viele wie Gemini 3.8 Flash. GPT-6 Astra erledigte 47, beide LLMs mit niedrigem Reasoning-Aufwand. Drex Max brauchte im Median 5,9 Sekunden pro Aufgabe, gegenüber 13,2 bei Gemini und 15,5 bei Astra. Drex Max kostete etwa $0,001 pro erledigter Aufgabe, gegenüber $0,025 bei Gemini und $0,224 bei Astra.
d1-ultra führt den AIM System One Index mit 60 an. AutoJev-27B (60), decider-12b (59) und GLiDE (59) liegen höchstens einen Punkt dahinter. d1-ultra führt keinen der drei Benchmarks allein an. Von den 64 Modellen erreichen 31 mehr als 50.
Wir mitteln den Wert jedes Modells über zwei Klassifikationsaufgaben, den Schweregrad von Sicherheitshinweisen und die FDA-Rückrufklasse. Die besten Durchschnitte sind 54,5 % (d1.1) und 54,4 % (decider-12b), das mediane Modell erreicht im Schnitt 46,7 %. Der Wert ist eine Genauigkeit, bei der seltene Antworten genauso zählen wie häufige. Zufällige Antworten erreichen bei der Schweregrad-Aufgabe im Schnitt 25 %.
Die Seite listet Browser-Ergebnisse für 50 der 64 Modelle. Manche der übrigen akzeptieren zu wenige Optionen pro Frage oder eine zu kurze Eingabe für die Browser-Seiten. Das mediane Modell erledigte 22 Aufgaben (44 %), das beste, Drex Max, erledigte 43 (86 %).
AIM-AI-Bias zählt den Anteil unverzerrter Antworten auf Multiple-Choice-Fragen über Menschen. 7 der 64 Modelle antworten zu mindestens 90 % unverzerrt, angeführt von Solar Decide Flash mit 97,6 %. Das mediane Modell erreicht 75,1 %, Laya erreicht 1,6 %.
Das mediane Modell braucht 366 ms pro Entscheidung, und 59 der 64 liegen unter einer Sekunde. Laya ist mit 30 ms am schnellsten, hat aber einen Index von 5. Unter den Modellen mit mehr als 50 ist Shisa DE-1 mit 65 ms am schnellsten.
Das mediane Modell kostet $0,039 pro 1.000 Entscheidungen. Span-02, Decider Flash V1.2, Joey 1 und Laya kosten nach Rundung $0,007, der niedrigste Preis. Davon erreicht nur Span-02 im Index mehr als 50. Gehostete Modelle verwenden API-Preise, selbst gehostete Modelle die Kosten für die Miete einer A100-GPU.
Die 45 Modelle mit angegebenem Kontextfenster reichen von 512 Token (Laya) bis 1.050.000 (GPT-6 Luna Decisions). Der Median liegt bei 131.072 Token. Das Kontextfenster ist die größte Eingabe, die ein Modell auf einmal liest, gezählt in Token, also Wortbausteinen.
AIM System One Index Methodology
Der AIM System One Index fasst die Werte jedes Modells in AIM-Decision Browser, AIM-Decision Classification und AIM-AI-Bias zusammen.
Jeder Wert wird zu einem z-Wert, seinem Abstand vom Benchmark-Durchschnitt in Standardabweichungen, gemessen an den Modellen mit allen drei Werten. Der Index ist 50 + 10 × der Durchschnitt der z-Werte eines Modells: 50 ist ein durchschnittliches Modell, jede 10 Punkte sind eine Standardabweichung. Ein fehlender Wert wird übersprungen; die Rangliste zeigt ihn als Strich.
Latenz und Kosten werden als Referenz gezeigt und zählen nicht zum Index.
Kosten und Latenz pro Entscheidung stammen aus AIM-Decision Classification. Die Kosten sind der API-Preis bei gehosteten Modellen und die A100-Mietzeit bei voll ausgelasteter GPU bei selbst gehosteten Modellen.
Benchmarks, die wir bewusst nicht verwenden
Diese öffentlichen Benchmarks haben wir aus unserem Index ausgeschlossen, weil Anbieter ihre Modelle darauf trainieren: BANKING77, CLINC150, ContractNLI, Amazon ESCI, RAGTruth, SGD / SGD-X (Schema-Guided Dialogue), Typed Decisions, GoEmotions, When2Call.
Verwendete Benchmarks
AIMultiple
AIM-Decision Browser50 Browser-Aufgaben, je ein Versuch. Die Erfolgsquote zählt zum Index.AIMultiple
AIM-Decision Classification1.655 Einzelentscheidungsfragen in vier Aufgaben: Schweregrad von Sicherheitshinweisen, FDA-Rückrufklasse, Paper-Thema und Prüfung, ob eine Browser-Aufgabe erledigt ist. Der Wert zählt zum Index.AIMultiple
AIM-AI-BiasMultiple-Choice-Fragen zu Verzerrungen, jede mit der Option „cannot be determined“ an jeder Position gestellt. Der Wert, der über diese Positionen gemittelte Anteil unverzerrter Antworten, zählt zum Index. Die ersten Versionen von GLiDE, Nimble 9B und den beiden Tev1-Modellen wurden nur mit dieser Option an letzter Stelle getestet.Alle Daten herunterladen
Rohergebnisse von 181 Datenpunkten aus den AIMultiple-Benchmarks, auf denen dieser Index beruht. Laden Sie sie als ZIP-Datei herunter, die 3 CSV-Dateien und eine README enthält.
Zuletzt aktualisiert: 3. November 2026
HerunterladenMöchten Sie die granularen Daten dahinter? Premium beitreten
Änderungsprotokoll
19 Aktualisierungen- v1.2
2 Modelle wurden in den Index aufgenommen: d1.1, Joey 1.
- v1.2
3 Modelle wurden in den Index aufgenommen: Drex Max, GLiDE v1.2, SubQ Snap 1.1.
- v1.2
Celeris 1.1 Decision wurde in den Index aufgenommen.
- v1.2
6 Modelle wurden in den Index aufgenommen: Classify-1, d3-flash, d3-mini, Decider Flash V1.2, Decider V1.2 und 1 weitere.
- v1.2
2 Modelle wurden in den Index aufgenommen: d1-ultra, Jev 1.14.
- v1.2
7 Modelle wurden in den Index aufgenommen: APUS Reflex 35B-A3B, Decision-1.0-Lux-9B, MATILDA JEV v1.5, NeoHorse-Jev-4B, Nimble 9B v2 und 2 weitere.
- v1.2
12 Modelle wurden in den Index aufgenommen: d1-3B, d3, Decision-2.0-Vega-27B, Decision 4B v1.6, GEV-26B-Decide und 7 weitere.
- v1.2
2 Modelle wurden in den Index aufgenommen: Drex v2.0, SubQ Snap.
- v1.2
3 Modelle wurden in den Index aufgenommen: Clef Omni, Drex v1.5, Microsoft-Decision-1.
- v1.2
5 Modelle wurden in den Index aufgenommen: d1, Decider V1.1 27B, GPT-6 Luna Decisions, Mercury Decide, Solar Decide Flash.