Premium
Dienstleistungen
Premium
KI-ModelleSystem OneSystem One

AIM System One Index

v1.2

System One Modelle, auch Entscheidungsmodelle genannt, liefern in einem Durchgang eine typisierte Entscheidung mit einer Wahrscheinlichkeit für jede Option, statt Text Token für Token zu erzeugen. So funktioniert der AIM System One Index

Respan
Span-02 hinzugefügt

Das neueste Modell in den System One Benchmarks ist Span-02.

Änderungsprotokoll ansehen
Top-Modell
AutoJev-27B
AIM System One Index 60
Schnellstes Modell
Laya
30 ms pro Entscheidung
Günstigstes API-Modell
Decider Flash V1.2
$0.007 pro 1.000 Entscheidungen
AIM System One Index und Zeit pro Entscheidung
*AIM System One Index wie unter „So funktioniert der AIM System One Index“ beschrieben. Zeit: Mittelwert pro AIM-Decision Classification-Frage.
AIM System One Index

Rangliste der System One Modelle

System One Modelle nach dem AIM System One Index gerankt.

#
Modell
Index
AIM-AI-Bias (%)
AIM-Decision Browser (%)
AIM-Decision Classification (%)
AIM-Decision Browser Zeit (s)
Kosten pro 1.000 Entscheidungen ($)
Latenz pro Entscheidung (ms)
Kontextfenster (Token)
1
AutoJev-27B
60
94.86848.46.90.11223262,144
2
d1-ultra
d1-ultra
60
80.17452.140.026597-
3
decider-12b
decider-12b
60
93.83254.43.10.06127262,144
4
GLiDE
GLiDE
59
907248.346.80.47915,68640,000
5
Solar Decide Flash
Solar Decide Flash
2 von 3 Benchmarks
59
97.6-46.2-0.0461,132524,288
6
Solar Decide
Solar Decide
2 von 3 Benchmarks
58
97.2-46-0.0467,231524,288
7
Jev 1.14
Jev 1.14
57
87.56248.13.20.039634-
8
GLiDE v2
GLiDE v2
57
78.17249.160.096473-
9
Shisa DE-1
Shisa DE-1
2 von 3 Benchmarks
57
83.9-48.9-0.02165262,144
10
Shisa DE-2
Shisa DE-2
56
884449.817.20.2551,138262,144
Seite 1 von 6

Kosten$0.110 / 1k
Latenz223 ms
Kontext262k
AIM-AI-Bias (%)
94.8
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.4

Kosten$0.026 / 1k
Latenz597 ms
Kontext-
AIM-AI-Bias (%)
80.1
AIM-Decision Browser (%)
74
AIM-Decision Classification (%)
52.1

Kosten$0.060 / 1k
Latenz127 ms
Kontext262k
AIM-AI-Bias (%)
93.8
AIM-Decision Browser (%)
32
AIM-Decision Classification (%)
54.4

Kosten$0.479 / 1k
Latenz15,686 ms
Kontext40k
AIM-AI-Bias (%)
90
AIM-Decision Browser (%)
72
AIM-Decision Classification (%)
48.3

Kosten$0.046 / 1k
Latenz1,132 ms
Kontext524k
AIM-AI-Bias (%)
97.6
AIM-Decision Classification (%)
46.2

Kosten$0.046 / 1k
Latenz7,231 ms
Kontext524k
AIM-AI-Bias (%)
97.2
AIM-Decision Classification (%)
46

Kosten$0.039 / 1k
Latenz634 ms
Kontext-
AIM-AI-Bias (%)
87.5
AIM-Decision Browser (%)
62
AIM-Decision Classification (%)
48.1

Kosten$0.096 / 1k
Latenz473 ms
Kontext-
AIM-AI-Bias (%)
78.1
AIM-Decision Browser (%)
72
AIM-Decision Classification (%)
49.1

Kosten$0.021 / 1k
Latenz65 ms
Kontext262k
AIM-AI-Bias (%)
83.9
AIM-Decision Classification (%)
48.9

Kosten$0.255 / 1k
Latenz1,138 ms
Kontext262k
AIM-AI-Bias (%)
88
AIM-Decision Browser (%)
44
AIM-Decision Classification (%)
49.8
Seite 1 von 6

Kosten pro 1.000 Entscheidungen

AIM-Decision-Classification-Kosten jedes System One Modells, über eine gehostete API oder selbst gehostet.

Kosten pro 1.000 Entscheidungen
*Hosted API: Listenpreis mal die von jeder API gemeldeten Eingabe-Tokens; OpenRouter-Modelle wie abgerechnet, Mercury Decide zum Preis seiner kostenpflichtigen Route. Self-hosted: A100-Miete zu $1.673 pro Stunde bei voll ausgelasteter GPU, mit dem Code des jeweiligen Anbieters. Die ersten Ollama-Versionen von Nimble 9B und den Tev1-Modellen behalten eine frühere Messung mit bis zu 16 parallelen Anfragen.

Einzelne Benchmarks

AIM-Decision Browser

Abgeschlossene Aufgaben von 50 bei denselben Browser-Aufgaben.

Abgeschlossene Browser-Aufgaben von 50
*Ein Versuch pro Aufgabe.

AIM-Decision Classification

1.655 Einzelentscheidungsfragen in vier Aufgaben: Wert im Verhältnis zu den Kosten pro 1.000 Entscheidungen.

Wert vs. Kosten und Latenz
*Wert: Durchschnitt der zwei Hauptaufgaben. Kosten pro 1.000 Entscheidungen: API-Preis oder -Rechnung bei gehosteten Modellen, A100-Mietzeit bei voll ausgelasteter GPU bei selbst gehosteten Modellen. Latenz: mittlere Sekunden pro Entscheidung.

So funktioniert der AIM System One Index

Der AIM System One Index fasst die Werte jedes Modells in AIM-Decision Browser, AIM-Decision Classification und AIM-AI-Bias zusammen.

Jeder Wert wird zu einem z-Wert, seinem Abstand vom Benchmark-Durchschnitt in Standardabweichungen, gemessen an den Modellen mit allen drei Werten. Der Index ist 50 + 10 × der Durchschnitt der z-Werte eines Modells: 50 ist ein durchschnittliches Modell, jede 10 Punkte sind eine Standardabweichung. Ein fehlender Wert wird übersprungen; die Rangliste zeigt, wie viele der drei Werte ein Modell hat.

Latenz und Kosten werden als Referenz gezeigt und zählen nicht zum Index.

Kosten und Latenz pro Entscheidung stammen aus AIM-Decision Classification. Die Kosten sind der API-Preis bei gehosteten Modellen und die A100-Mietzeit bei voll ausgelasteter GPU bei selbst gehosteten Modellen.

Verwendete Benchmarks

AIMultiple
AIM-Decision Browser50 Browser-Aufgaben, je ein Versuch. Die Erfolgsquote zählt zum Index.
AIMultiple
AIM-Decision Classification1.655 Einzelentscheidungsfragen in vier Aufgaben: Schweregrad von Sicherheitshinweisen, FDA-Rückrufklasse, Paper-Thema und Prüfung, ob eine Browser-Aufgabe erledigt ist. Der Wert zählt zum Index.
AIMultiple
AIM-AI-BiasMultiple-Choice-Fragen zu Verzerrungen, jede mit der Option „cannot be determined“ an jeder Position gestellt. Der Wert, der über diese Positionen gemittelte Anteil unverzerrter Antworten, zählt zum Index. Die ersten Versionen von GLiDE, Nimble 9B und den beiden Tev1-Modellen wurden nur mit dieser Option an letzter Stelle getestet.

Änderungsprotokoll

16 Aktualisierungen
  1. v1.2

    5 Modelle wurden in den Index aufgenommen: d3-flash, d3-mini, Decider Flash V1.2, Decider V1.2, Span-02.

  2. v1.2

    2 Modelle wurden in den Index aufgenommen: d1-ultra, Jev 1.14.

  3. v1.2

    7 Modelle wurden in den Index aufgenommen: APUS Reflex 35B-A3B, Decision-1.0-Lux-9B, MATILDA JEV v1.5, NeoHorse-Jev-4B, Nimble 9B v2 und 2 weitere.

  4. v1.2

    12 Modelle wurden in den Index aufgenommen: d1-3B, d3, Decision-2.0-Vega-27B, Decision 4B v1.6, GEV-26B-Decide und 7 weitere.

  5. v1.2

    2 Modelle wurden in den Index aufgenommen: Drex v2.0, SubQ Snap.

  6. v1.2

    3 Modelle wurden in den Index aufgenommen: Clef-Omni, Drex v1.5, Microsoft-Decision-1.

  7. v1.2

    5 Modelle wurden in den Index aufgenommen: d1, GPT-6 Luna Decisions, Mercury Decide, pplx-decider-v1.1-27b, Solar Decide Flash.

  8. v1.2

    AIM System One Index: Ergebnisse von AIM-Decision Classification zählen nun zum Index. Version auf v1.2 aktualisiert.

  9. v1.2

    AIM System One Index: Der Index ist nun der mittlere z-Wert über seine Benchmarks auf deren neuesten Daten, dargestellt als 50 + 10 × z.

  10. v1.1

    AIM System One Index: Ergebnisse zu KI-Bias zählen nun zum Index. Version auf v1.1 aktualisiert.

AIM System One Index erkunden

Filter
Kategorie
  • 1
Typ
  • 1
  • 0
  • 0
  • 0