Span-02 ajouté
Le modèle le plus récent dans les benchmarks System One est Span-02.
AIM System One Index
v1.2Les modèles System One, aussi appelés modèles de décision, renvoient en une seule passe une décision typée avec une probabilité pour chaque option, au lieu de générer du texte token par token. Fonctionnement de l'AIM System One Index
Meilleur modèle
AutoJev-27B
AIM System One Index 60
Modèle le plus rapide
Laya
30 ms par décision
Modèle API le moins cher
Decider Flash V1.2
0.007 $ pour 1 000 décisions
AIM System One Index et temps par décision
*AIM System One Index, tel qu'expliqué dans Comment fonctionne l'AIM System One Index. Temps : moyenne par question AIM-Decision Classification.
AIM System One Index
Classement des modèles System One
Modèles System One classés selon l'AIM System One Index.
# | Modèle | Index | AIM-AI-Bias (%) | AIM-Decision Browser (%) | AIM-Decision Classification (%) | AIM-Decision Browser temps (s) | Coût pour 1 000 décisions ($) | Latence par décision (ms) | Fenêtre de contexte (tokens) |
|---|---|---|---|---|---|---|---|---|---|
| 1 | AutoJev-27B | 60 | 94.8 | 68 | 48.4 | 6.9 | 0.11 | 223 | 262,144 |
| 2 |  d1-ultra | 60 | 80.1 | 74 | 52.1 | 4 | 0.026 | 597 | - |
| 3 |  decider-12b | 60 | 93.8 | 32 | 54.4 | 3.1 | 0.06 | 127 | 262,144 |
| 4 |  GLiDE | 59 | 90 | 72 | 48.3 | 46.8 | 0.479 | 15,686 | 40,000 |
| 5 |  Solar Decide Flash 2 benchmarks sur 3 | 59 | 97.6 | - | 46.2 | - | 0.046 | 1,132 | 524,288 |
| 6 | Solar Decide 2 benchmarks sur 3 | 58 | 97.2 | - | 46 | - | 0.046 | 7,231 | 524,288 |
| 7 |  Jev 1.14 | 57 | 87.5 | 62 | 48.1 | 3.2 | 0.039 | 634 | - |
| 8 | GLiDE v2 | 57 | 78.1 | 72 | 49.1 | 6 | 0.096 | 473 | - |
| 9 |  Shisa DE-1 2 benchmarks sur 3 | 57 | 83.9 | - | 48.9 | - | 0.021 | 65 | 262,144 |
| 10 | Shisa DE-2 | 56 | 88 | 44 | 49.8 | 17.2 | 0.255 | 1,138 | 262,144 |
Page 1 sur 6
Coût$0.110 / 1k
Latence223 ms
Contexte262k
AIM-AI-Bias (%)
94.8
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.4
Coût$0.026 / 1k
Latence597 ms
Contexte-
AIM-AI-Bias (%)
80.1
AIM-Decision Browser (%)
74
AIM-Decision Classification (%)
52.1
Coût$0.060 / 1k
Latence127 ms
Contexte262k
AIM-AI-Bias (%)
93.8
AIM-Decision Browser (%)
32
AIM-Decision Classification (%)
54.4
Coût$0.479 / 1k
Latence15,686 ms
Contexte40k
AIM-AI-Bias (%)
90
AIM-Decision Browser (%)
72
AIM-Decision Classification (%)
48.3
Coût$0.046 / 1k
Latence1,132 ms
Contexte524k
AIM-AI-Bias (%)
97.6
AIM-Decision Classification (%)
46.2
Coût$0.046 / 1k
Latence7,231 ms
Contexte524k
AIM-AI-Bias (%)
97.2
AIM-Decision Classification (%)
46
Coût$0.039 / 1k
Latence634 ms
Contexte-
AIM-AI-Bias (%)
87.5
AIM-Decision Browser (%)
62
AIM-Decision Classification (%)
48.1
Coût$0.096 / 1k
Latence473 ms
Contexte-
AIM-AI-Bias (%)
78.1
AIM-Decision Browser (%)
72
AIM-Decision Classification (%)
49.1
Coût$0.021 / 1k
Latence65 ms
Contexte262k
AIM-AI-Bias (%)
83.9
AIM-Decision Classification (%)
48.9
Coût$0.255 / 1k
Latence1,138 ms
Contexte262k
AIM-AI-Bias (%)
88
AIM-Decision Browser (%)
44
AIM-Decision Classification (%)
49.8
Page 1 sur 6
Coût pour 1 000 décisions
Coût AIM-Decision Classification de chaque modèle System One, via une API hébergée ou auto-hébergé.
Coût pour 1 000 décisions
*Hosted API : prix catalogue multiplié par les jetons d'entrée déclarés par chaque API ; modèles OpenRouter tels que facturés, Mercury Decide au prix de sa route payante. Self-hosted : location d'A100 à 1,673 $ de l'heure avec le GPU à pleine charge, avec le code de chaque éditeur. Les premières versions Ollama de Nimble 9B et des modèles Tev1 conservent une mesure antérieure avec jusqu'à 16 requêtes en parallèle.
Benchmarks individuels
Tâches réussies sur 50 pour les mêmes tâches de navigateur.
Tâches de navigateur réussies sur 50
*Une tentative par tâche.
1 655 questions à décision unique sur quatre tâches : score par rapport au coût pour 1 000 décisions.
Score vs coût et latence
*Score : moyenne des deux tâches principales. Coût pour 1 000 décisions : prix ou facture d'API pour les modèles hébergés, temps de location d'A100 avec le GPU à pleine charge pour les modèles auto-hébergés. Latence : secondes moyennes par décision.
Fonctionnement de l'AIM System One Index
L'AIM System One Index combine les scores de chaque modèle sur AIM-Decision Browser, AIM-Decision Classification et AIM-AI-Bias.
Chaque score devient un z-score, son écart à la moyenne du benchmark en écarts-types, mesuré par rapport aux modèles qui ont les trois scores. L'index vaut 50 + 10 × la moyenne des z-scores d'un modèle : 50 correspond à un modèle moyen et chaque tranche de 10 points à un écart-type. Un score manquant est ignoré ; le classement indique combien des trois scores un modèle possède.
La latence et le coût sont affichés à titre de référence et ne comptent pas dans l'index.
Le coût et la latence par décision proviennent d'AIM-Decision Classification. Le coût est le prix d'API pour les modèles hébergés et le temps de location d'A100 avec le GPU à pleine charge pour les modèles auto-hébergés.
Benchmarks utilisés
AIMultiple
AIM-Decision Browser50 tâches de navigateur, une tentative chacune. Son taux de réussite compte dans l'index.AIMultiple
AIM-Decision Classification1 655 questions à décision unique sur quatre tâches : gravité d'un avis de sécurité, classe de rappel FDA, thème d'un article et vérification qu'une tâche de navigateur est terminée. Son score compte dans l'index.AIMultiple
AIM-AI-BiasQuestions à choix multiples sur les biais, chacune posée avec l'option « cannot be determined » à chaque position. Son score, la part de réponses non biaisées moyennée sur ces positions, compte dans l'index. Les premières versions de GLiDE, Nimble 9B et des deux modèles Tev1 n'ont été testées qu'avec cette option en dernière position.Journal des modifications
16 mises à jour- v1.2
5 modèles sont entrés dans l'indice : d3-flash, d3-mini, Decider Flash V1.2, Decider V1.2, Span-02.
- v1.2
2 modèles sont entrés dans l'indice : d1-ultra, Jev 1.14.
- v1.2
7 modèles sont entrés dans l'indice : APUS Reflex 35B-A3B, Decision-1.0-Lux-9B, MATILDA JEV v1.5, NeoHorse-Jev-4B, Nimble 9B v2 et 2 de plus.
- v1.2
12 modèles sont entrés dans l'indice : d1-3B, d3, Decision-2.0-Vega-27B, Decision 4B v1.6, GEV-26B-Decide et 7 de plus.
- v1.2
2 modèles sont entrés dans l'indice : Drex v2.0, SubQ Snap.
- v1.2
3 modèles sont entrés dans l'indice : Clef-Omni, Drex v1.5, Microsoft-Decision-1.
- v1.2
5 modèles sont entrés dans l'indice : d1, GPT-6 Luna Decisions, Mercury Decide, pplx-decider-v1.1-27b, Solar Decide Flash.
- v1.2
AIM System One Index: Les résultats AIM-Decision Classification comptent désormais dans l'indice. Version mise à jour en v1.2.
- v1.2
AIM System One Index: L'indice est désormais le score z moyen de ses benchmarks sur leurs données les plus récentes, affiché comme 50 + 10 × z.
- v1.1
AIM System One Index: Les résultats sur les biais de l'IA comptent désormais dans l'indice. Version mise à jour en v1.1.