Das neueste Modell in den System One Benchmarks ist Kev-9B.
AIM System One Index
System One Modelle, auch Entscheidungsmodelle genannt, liefern in einem Durchgang eine typisierte Entscheidung mit einer Wahrscheinlichkeit für jede Option, statt Text Token für Token zu erzeugen. So funktioniert der AIM System One Index
Rangliste der System One Modelle
System One Modelle nach dem AIM System One Index gerankt.
# | Modell | Index | AIM-Agentic-RAG-Genauigkeit (%) | AIM-AI-Bias-Wert | AIM-Decision (%) | AIM-Decision Zeit pro Aufgabe (s) | Median-Latenz (ms) |
|---|---|---|---|---|---|---|---|
| 1 | Kev-9B System One Modell | 69 | 97.1 | - | 40 | 38.8 | 952 |
| 2 | Jev 1.13 System One Modell | 66 | 98.8 | 80.6 | 34 | 5.4 | 344 |
| 3 | Laya System One Modell | 25 | 50.6 | - | 0 | - | 200 |
AIM System One Index und Zeit pro Entscheidung
Höher und weiter links ist besser.
Feinabgestimmt und Original
Abgeschlossene Browser-Aufgaben von 50, jedes feinabgestimmte Modell gegen seine Originalversion.
Einzelne Benchmarks
AIM-Decision
Abgeschlossene Aufgaben von 50 bei denselben Browser-Aufgaben.
AIM-Agentic-RAG
243 Fragen zum Datenbank-Routing.
So funktioniert der AIM System One Index
Der AIM System One Index ist der Durchschnitt der Genauigkeit jedes Modells auf AIM-Agentic-RAG und AIM-Decision.
Latenz und Kosten werden als Referenz gezeigt und zählen nicht zum Index.
Ergebnisse von AIM-AI-Bias werden als Referenz gezeigt und zählen nicht zum Index.
API-Kosten sind die uns berechneten Beträge. Die Kosten selbst gehosteter Modelle (Kev-9B, Laya) sind Hardware-Schätzungen bei voller Auslastung; die Latenz von Kev-9B enthält einen SSH-Tunnel zu seiner GPU.
Verwendete Benchmarks
Neueste Aktualisierungen
Zuletzt zu den System One Benchmarks hinzugefügte Modelle.
Kev-9B
Neues Modell zu den System One Benchmarks hinzugefügt.
Jev 1.13
Neues Modell zu den System One Benchmarks hinzugefügt.
Laya
Neues Modell zu den System One Benchmarks hinzugefügt.