Premium
Dienstleistungen
Premium

AIM System One Index

v1.2

Wir haben 64 Entscheidungsmodelle mit 1.655 Klassifizierungs-, 64 Bias- und 50 Browser-Automatisierungsaufgaben getestet. Weitere Details finden Sie unter AIM System One Index Methodology.

TOP-MODELL
d1-ultra
Index-Score 60 Rang #1
SCHNELLSTES MODELL
Laya
30 ms pro Entscheidung Index-Score 5 · Rang #64
GÜNSTIGSTES API-MODELL
Decider Flash V1.2
$0.007 pro 1.000 Entscheidungen Index-Score 44 · Rang #53
AIM System One Index und Zeit pro Entscheidung
Höher und weiter links ist besser. Zeit: Mittelwert pro AIM-Decision Classification-Frage.
AIM System One Index

Rangliste der System One Modelle

System One Modelle nach dem AIM System One Index gerankt.

Filter & Sort
#
Modell
Index
AIM-AI-Bias (%)
AIM-Decision Browser (%)
AIM-Decision Classification (%)
AIM-Decision Browser Zeit (s)
Kosten pro 1.000 Entscheidungen ($)
Latenz pro Entscheidung (ms)
Kontextfenster (Token)
1
d1-ultra
d1-ultra
Liquid
60
80.17652.13.80.02659732,768
2
AutoJev-27B
AutoJev-27B
Perplexity
60
94.86848.460.11223262,144
3
decider-12b
Mapika
59
93.83254.430.06127262,144
4
GLiDE
GLiDE
Fastino
59
907648.346.80.47915,68640,000
5
Drex Max
Drex Max
Nace AI
58
80.78648.75.90.04632262,144
6
Solar Decide Flash
Solar Decide Flash
Upstage
58
97.6-46.2-0.0461,132524,288
7
Solar Decide
Solar Decide
Upstage
58
97.2-46-0.0467,231524,288
8
GLiDE v1.2
GLiDE v1.2
Fastino
57
76.678505.10.026433-
9
Jev 1.14
Jev 1.14
TypeSafe
57
87.56848.13.20.039634262,144
10
d1.1
d1.1
Liquid
57
70.35854.52.50.01327765,536
Seite 1 von 7

Kosten$0.026 / 1k
Latenz597 ms
Kontext33k
AIM-AI-Bias (%)
80.1
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
52.1

Kosten$0.110 / 1k
Latenz223 ms
Kontext262k
AIM-AI-Bias (%)
94.8
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.4

Kosten$0.060 / 1k
Latenz127 ms
Kontext262k
AIM-AI-Bias (%)
93.8
AIM-Decision Browser (%)
32
AIM-Decision Classification (%)
54.4

Kosten$0.479 / 1k
Latenz15,686 ms
Kontext40k
AIM-AI-Bias (%)
90
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
48.3

Kosten$0.040 / 1k
Latenz632 ms
Kontext262k
AIM-AI-Bias (%)
80.7
AIM-Decision Browser (%)
86
AIM-Decision Classification (%)
48.7

Kosten$0.046 / 1k
Latenz1,132 ms
Kontext524k
AIM-AI-Bias (%)
97.6
AIM-Decision Classification (%)
46.2

Kosten$0.046 / 1k
Latenz7,231 ms
Kontext524k
AIM-AI-Bias (%)
97.2
AIM-Decision Classification (%)
46

Kosten$0.026 / 1k
Latenz433 ms
Kontext-
AIM-AI-Bias (%)
76.6
AIM-Decision Browser (%)
78
AIM-Decision Classification (%)
50

Kosten$0.039 / 1k
Latenz634 ms
Kontext262k
AIM-AI-Bias (%)
87.5
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.1

Kosten$0.013 / 1k
Latenz277 ms
Kontext66k
AIM-AI-Bias (%)
70.3
AIM-Decision Browser (%)
58
AIM-Decision Classification (%)
54.5
Seite 1 von 7
Kosten pro 1.000 Entscheidungen
AIM-Decision-Classification-Kosten jedes System One Modells, über eine gehostete API oder selbst gehostet.
*Hosted API: Listenpreis mal die von jeder API gemeldeten Eingabe-Tokens; OpenRouter-Modelle wie abgerechnet, Mercury Decide zum Preis seiner kostenpflichtigen Route. Self-hosted: A100-Miete zu $1.673 pro Stunde bei voll ausgelasteter GPU, mit dem Code des jeweiligen Anbieters. Die ersten Ollama-Versionen von Nimble 9B und den Tev1-Modellen behalten eine frühere Messung mit bis zu 16 parallelen Anfragen.

Einzelne Benchmarks

Abgeschlossene Aufgaben von 50 bei denselben Browser-Aufgaben.

Abgeschlossene Browser-Aufgaben von 50
*Ein Versuch pro Aufgabe.

1.655 Einzelentscheidungsfragen in vier Aufgaben: Wert im Verhältnis zu den Kosten pro 1.000 Entscheidungen.

Wert vs. Kosten und Latenz
*Wert: Durchschnitt der zwei Hauptaufgaben. Kosten pro 1.000 Entscheidungen: API-Preis oder -Rechnung bei gehosteten Modellen, A100-Mietzeit bei voll ausgelasteter GPU bei selbst gehosteten Modellen. Latenz: mittlere Sekunden pro Entscheidung.

AIM System One Index Methodology

Der AIM System One Index fasst die Werte jedes Modells in AIM-Decision Browser, AIM-Decision Classification und AIM-AI-Bias zusammen.

Jeder Wert wird zu einem z-Wert, seinem Abstand vom Benchmark-Durchschnitt in Standardabweichungen, gemessen an den Modellen mit allen drei Werten. Der Index ist 50 + 10 × der Durchschnitt der z-Werte eines Modells: 50 ist ein durchschnittliches Modell, jede 10 Punkte sind eine Standardabweichung. Ein fehlender Wert wird übersprungen; die Rangliste zeigt ihn als Strich.

Latenz und Kosten werden als Referenz gezeigt und zählen nicht zum Index.

Kosten und Latenz pro Entscheidung stammen aus AIM-Decision Classification. Die Kosten sind der API-Preis bei gehosteten Modellen und die A100-Mietzeit bei voll ausgelasteter GPU bei selbst gehosteten Modellen.

Benchmarks, die wir bewusst nicht verwenden

Diese öffentlichen Benchmarks haben wir aus unserem Index ausgeschlossen, weil Anbieter ihre Modelle darauf trainieren: BANKING77, CLINC150, ContractNLI, Amazon ESCI, RAGTruth, SGD / SGD-X (Schema-Guided Dialogue), Typed Decisions, GoEmotions, When2Call.

Verwendete Benchmarks

Alle Daten herunterladen

Rohergebnisse von 181 Datenpunkten aus den AIMultiple-Benchmarks, auf denen dieser Index beruht. Laden Sie sie als ZIP-Datei herunter, die 3 CSV-Dateien und eine README enthält.

Zuletzt aktualisiert: 3. November 2026
Herunterladen

Möchten Sie die granularen Daten dahinter? Premium beitreten

Änderungsprotokoll

19 Aktualisierungen
  1. v1.2

    2 Modelle wurden in den Index aufgenommen: d1.1, Joey 1.

  2. v1.2

    3 Modelle wurden in den Index aufgenommen: Drex Max, GLiDE v1.2, SubQ Snap 1.1.

  3. v1.2

    Celeris 1.1 Decision wurde in den Index aufgenommen.

  4. v1.2

    6 Modelle wurden in den Index aufgenommen: Classify-1, d3-flash, d3-mini, Decider Flash V1.2, Decider V1.2 und 1 weitere.

  5. v1.2

    2 Modelle wurden in den Index aufgenommen: d1-ultra, Jev 1.14.

  6. v1.2

    7 Modelle wurden in den Index aufgenommen: APUS Reflex 35B-A3B, Decision-1.0-Lux-9B, MATILDA JEV v1.5, NeoHorse-Jev-4B, Nimble 9B v2 und 2 weitere.

  7. v1.2

    12 Modelle wurden in den Index aufgenommen: d1-3B, d3, Decision-2.0-Vega-27B, Decision 4B v1.6, GEV-26B-Decide und 7 weitere.

  8. v1.2

    2 Modelle wurden in den Index aufgenommen: Drex v2.0, SubQ Snap.

  9. v1.2

    3 Modelle wurden in den Index aufgenommen: Clef Omni, Drex v1.5, Microsoft-Decision-1.

  10. v1.2

    5 Modelle wurden in den Index aufgenommen: d1, Decider V1.1 27B, GPT-6 Luna Decisions, Mercury Decide, Solar Decide Flash.

AIM System One Index erkunden