Premium
Services
Premium

AIM System One Index

v1.2

Nous avons testé 64 modèles de décision sur 1 655 tâches de classification, 64 de biais et 50 d'automatisation de navigateur. Consultez AIM System One Index Methodology pour plus de détails.

MEILLEUR MODÈLE
d1-ultra
Score de l'index 60 Rang #1
MODÈLE LE PLUS RAPIDE
Laya
30 ms par décision Score de l'index 5 · Rang #64
MODÈLE API LE MOINS CHER
Decider Flash V1.2
0.007 $ pour 1 000 décisions Score de l'index 44 · Rang #53
AIM System One Index et temps par décision
Plus haut et plus à gauche, c'est mieux. Temps : moyenne par question AIM-Decision Classification.
AIM System One Index

Classement des modèles System One

Modèles System One classés selon l'AIM System One Index.

Filter & Sort
#
Modèle
Index
AIM-AI-Bias (%)
AIM-Decision Browser (%)
AIM-Decision Classification (%)
AIM-Decision Browser temps (s)
Coût pour 1 000 décisions ($)
Latence par décision (ms)
Fenêtre de contexte (tokens)
1
d1-ultra
d1-ultra
Liquid
60
80.17652.13.80.02659732,768
2
AutoJev-27B
AutoJev-27B
Perplexity
60
94.86848.460.11223262,144
3
decider-12b
Mapika
59
93.83254.430.06127262,144
4
GLiDE
GLiDE
Fastino
59
907648.346.80.47915,68640,000
5
Drex Max
Drex Max
Nace AI
58
80.78648.75.90.04632262,144
6
Solar Decide Flash
Solar Decide Flash
Upstage
58
97.6-46.2-0.0461,132524,288
7
Solar Decide
Solar Decide
Upstage
58
97.2-46-0.0467,231524,288
8
GLiDE v1.2
GLiDE v1.2
Fastino
57
76.678505.10.026433-
9
Jev 1.14
Jev 1.14
TypeSafe
57
87.56848.13.20.039634262,144
10
d1.1
d1.1
Liquid
57
70.35854.52.50.01327765,536
Page 1 sur 7

Coût$0.026 / 1k
Latence597 ms
Contexte33k
AIM-AI-Bias (%)
80.1
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
52.1

Coût$0.110 / 1k
Latence223 ms
Contexte262k
AIM-AI-Bias (%)
94.8
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.4

Coût$0.060 / 1k
Latence127 ms
Contexte262k
AIM-AI-Bias (%)
93.8
AIM-Decision Browser (%)
32
AIM-Decision Classification (%)
54.4

Coût$0.479 / 1k
Latence15,686 ms
Contexte40k
AIM-AI-Bias (%)
90
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
48.3

Coût$0.040 / 1k
Latence632 ms
Contexte262k
AIM-AI-Bias (%)
80.7
AIM-Decision Browser (%)
86
AIM-Decision Classification (%)
48.7

Coût$0.046 / 1k
Latence1,132 ms
Contexte524k
AIM-AI-Bias (%)
97.6
AIM-Decision Classification (%)
46.2

Coût$0.046 / 1k
Latence7,231 ms
Contexte524k
AIM-AI-Bias (%)
97.2
AIM-Decision Classification (%)
46

Coût$0.026 / 1k
Latence433 ms
Contexte-
AIM-AI-Bias (%)
76.6
AIM-Decision Browser (%)
78
AIM-Decision Classification (%)
50

Coût$0.039 / 1k
Latence634 ms
Contexte262k
AIM-AI-Bias (%)
87.5
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.1

Coût$0.013 / 1k
Latence277 ms
Contexte66k
AIM-AI-Bias (%)
70.3
AIM-Decision Browser (%)
58
AIM-Decision Classification (%)
54.5
Page 1 sur 7
Coût pour 1 000 décisions
Coût AIM-Decision Classification de chaque modèle System One, via une API hébergée ou auto-hébergé.
*Hosted API : prix catalogue multiplié par les jetons d'entrée déclarés par chaque API ; modèles OpenRouter tels que facturés, Mercury Decide au prix de sa route payante. Self-hosted : location d'A100 à 1,673 $ de l'heure avec le GPU à pleine charge, avec le code de chaque éditeur. Les premières versions Ollama de Nimble 9B et des modèles Tev1 conservent une mesure antérieure avec jusqu'à 16 requêtes en parallèle.

Benchmarks individuels

Tâches réussies sur 50 pour les mêmes tâches de navigateur.

Tâches de navigateur réussies sur 50
*Une tentative par tâche.

1 655 questions à décision unique sur quatre tâches : score par rapport au coût pour 1 000 décisions.

Score vs coût et latence
*Score : moyenne des deux tâches principales. Coût pour 1 000 décisions : prix ou facture d'API pour les modèles hébergés, temps de location d'A100 avec le GPU à pleine charge pour les modèles auto-hébergés. Latence : secondes moyennes par décision.

AIM System One Index Methodology

L'AIM System One Index combine les scores de chaque modèle sur AIM-Decision Browser, AIM-Decision Classification et AIM-AI-Bias.

Chaque score devient un z-score, son écart à la moyenne du benchmark en écarts-types, mesuré par rapport aux modèles qui ont les trois scores. L'index vaut 50 + 10 × la moyenne des z-scores d'un modèle : 50 correspond à un modèle moyen et chaque tranche de 10 points à un écart-type. Un score manquant est ignoré ; le classement l'affiche sous forme de tiret.

La latence et le coût sont affichés à titre de référence et ne comptent pas dans l'index.

Le coût et la latence par décision proviennent d'AIM-Decision Classification. Le coût est le prix d'API pour les modèles hébergés et le temps de location d'A100 avec le GPU à pleine charge pour les modèles auto-hébergés.

Benchmarks que nous avons choisi de ne pas utiliser

Ces benchmarks publics ont été exclus de notre index, car les fournisseurs entraînent leurs modèles dessus : BANKING77, CLINC150, ContractNLI, Amazon ESCI, RAGTruth, SGD / SGD-X (Schema-Guided Dialogue), Typed Decisions, GoEmotions, When2Call.

Benchmarks utilisés

Télécharger toutes les données

Résultats bruts de 181 points de données issus des benchmarks AIMultiple sur lesquels repose cet indice. Téléchargez-les sous forme de fichier ZIP contenant 3 fichiers CSV et un README.

Dernière mise à jour : 3 novembre 2026
Télécharger

Vous voulez les données détaillées derrière ? Rejoindre Premium

Journal des modifications

19 mises à jour
  1. v1.2

    2 modèles sont entrés dans l'indice : d1.1, Joey 1.

  2. v1.2

    3 modèles sont entrés dans l'indice : Drex Max, GLiDE v1.2, SubQ Snap 1.1.

  3. v1.2

    Celeris 1.1 Decision est entré dans l'indice.

  4. v1.2

    6 modèles sont entrés dans l'indice : Classify-1, d3-flash, d3-mini, Decider Flash V1.2, Decider V1.2 et 1 de plus.

  5. v1.2

    2 modèles sont entrés dans l'indice : d1-ultra, Jev 1.14.

  6. v1.2

    7 modèles sont entrés dans l'indice : APUS Reflex 35B-A3B, Decision-1.0-Lux-9B, MATILDA JEV v1.5, NeoHorse-Jev-4B, Nimble 9B v2 et 2 de plus.

  7. v1.2

    12 modèles sont entrés dans l'indice : d1-3B, d3, Decision-2.0-Vega-27B, Decision 4B v1.6, GEV-26B-Decide et 7 de plus.

  8. v1.2

    2 modèles sont entrés dans l'indice : Drex v2.0, SubQ Snap.

  9. v1.2

    3 modèles sont entrés dans l'indice : Clef Omni, Drex v1.5, Microsoft-Decision-1.

  10. v1.2

    5 modèles sont entrés dans l'indice : d1, Decider V1.1 27B, GPT-6 Luna Decisions, Mercury Decide, Solar Decide Flash.

Explorez AIM System One Index