Joey 1 ajouté
Le modèle le plus récent dans les benchmarks System One est Joey 1.
AIM System One Index
v1.2Nous avons testé 64 modèles de décision sur 1 655 tâches de classification, 64 de biais et 50 d'automatisation de navigateur. Consultez AIM System One Index Methodology pour plus de détails.
AIM System One Index et temps par décision
Plus haut et plus à gauche, c'est mieux. Temps : moyenne par question AIM-Decision Classification.
AIM System One Index
Classement
Modèles System One classés selon l'AIM System One Index.
Filter & Sort
# | Modèle | Index | AIM-AI-Bias (%) | AIM-Decision Browser (%) | AIM-Decision Classification (%) | AIM-Decision Browser temps (s) | Coût pour 1 000 décisions ($) | Latence par décision (ms) | Fenêtre de contexte (tokens) |
|---|---|---|---|---|---|---|---|---|---|
| 1 |  d1-ultra Liquid | 60 | 80.1 | 76 | 52.1 | 3.8 | 0.026 | 597 | 32,768 |
| 2 |  AutoJev-27B Perplexity | 60 | 94.8 | 68 | 48.4 | 6 | 0.11 | 223 | 262,144 |
| 3 | decider-12b Mapika | 59 | 93.8 | 32 | 54.4 | 3 | 0.06 | 127 | 262,144 |
| 4 |  GLiDE Fastino | 59 | 90.0 | 76 | 48.3 | 46.8 | 0.479 | 15,686 | 40,000 |
| 5 |  Drex Max Nace AI | 58 | 80.7 | 86 | 48.7 | 5.9 | 0.04 | 632 | 262,144 |
| 6 |  Solar Decide Flash Upstage | 58 | 97.6 | - | 46.2 | - | 0.046 | 1,132 | 524,288 |
| 7 | Solar Decide Upstage | 58 | 97.2 | - | 46.0 | - | 0.046 | 7,231 | 524,288 |
| 9 |  Jev 1.14 TypeSafe | 57 | 87.5 | 68 | 48.1 | 3.2 | 0.039 | 634 | 262,144 |
| 10 | d1.1 Liquid | 57 | 70.3 | 58 | 54.5 | 2.5 | 0.013 | 277 | 65,536 |
| 11 |  Shisa DE-1 Shisa.AI | 57 | 83.9 | - | 48.9 | - | 0.021 | 65 | 262,144 |
Page 1 sur 2
Coût$0.026 / 1k
Latence597 ms
Contexte33k
AIM-AI-Bias (%)
80.1
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
52.1
Coût$0.110 / 1k
Latence223 ms
Contexte262k
AIM-AI-Bias (%)
94.8
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.4
Coût$0.060 / 1k
Latence127 ms
Contexte262k
AIM-AI-Bias (%)
93.8
AIM-Decision Browser (%)
32
AIM-Decision Classification (%)
54.4
Coût$0.479 / 1k
Latence15,686 ms
Contexte40k
AIM-AI-Bias (%)
90.0
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
48.3
Coût$0.040 / 1k
Latence632 ms
Contexte262k
AIM-AI-Bias (%)
80.7
AIM-Decision Browser (%)
86
AIM-Decision Classification (%)
48.7
Coût$0.046 / 1k
Latence1,132 ms
Contexte524k
AIM-AI-Bias (%)
97.6
AIM-Decision Classification (%)
46.2
Coût$0.046 / 1k
Latence7,231 ms
Contexte524k
AIM-AI-Bias (%)
97.2
AIM-Decision Classification (%)
46.0
Coût$0.039 / 1k
Latence634 ms
Contexte262k
AIM-AI-Bias (%)
87.5
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.1
Coût$0.013 / 1k
Latence277 ms
Contexte66k
AIM-AI-Bias (%)
70.3
AIM-Decision Browser (%)
58
AIM-Decision Classification (%)
54.5
Coût$0.021 / 1k
Latence65 ms
Contexte262k
AIM-AI-Bias (%)
83.9
AIM-Decision Classification (%)
48.9
Page 1 sur 2
Benchmarks individuels
Tâches réussies sur 50 pour les mêmes tâches de navigateur.
Tâches de navigateur réussies sur 50
*Une tentative par tâche.
1 655 questions à décision unique sur quatre tâches : score par rapport au coût pour 1 000 décisions.
Score vs coût et latence
*Score : moyenne des deux tâches principales. Coût pour 1 000 décisions : prix ou facture d'API pour les modèles hébergés, temps de location d'A100 avec le GPU à pleine charge pour les modèles auto-hébergés. Latence : secondes moyennes par décision.
Questions fréquentes
Un modèle System One, aussi appelé modèle de décision, choisit une réponse parmi un ensemble fixe d'options et renvoie une probabilité pour chaque option. Contrairement à un LLM, il n'écrit pas son raisonnement et ne génère pas sa réponse token par token. Lorsqu'une tâche exige du texte, comme une valeur saisie dans un formulaire, un modèle de texte distinct l'écrit.
Ils conviennent aux étapes d'automatisation dont la réponse provient d'un ensemble fixe d'options, comme la prochaine action d'un agent de navigateur ou l'étiquette d'un ticket de support. Un LLM dépense du temps et de l'argent pour chaque token généré, alors qu'un modèle de décision n'en génère aucun. Sur nos tâches de navigateur, Drex Max a accompli autant de tâches que Gemini 3.8 Flash en moins de la moitié du temps médian par tâche, pour environ 1/20 du coût par tâche accomplie.
Sur nos 50 tâches de navigateur, le meilleur modèle System One, Drex Max, en a accompli 43, autant que Gemini 3.8 Flash. GPT-6 Astra en a accompli 47, les deux LLM étant à un faible niveau d'effort de raisonnement. Drex Max a pris une médiane de 5,9 secondes par tâche, contre 13,2 pour Gemini et 15,5 pour Astra. Drex Max a coûté environ $0,001 par tâche accomplie, contre $0,025 pour Gemini et $0,224 pour Astra.
d1-ultra est en tête de l'AIM System One Index avec 60. AutoJev-27B (60), decider-12b (59) et GLiDE (59) sont à moins d'un point. d1-ultra n'est seul en tête d'aucun des trois benchmarks. Sur les 64 modèles, 31 obtiennent plus de 50.
Nous calculons la moyenne du score de chaque modèle sur deux tâches de classification, la gravité des avis de sécurité et la classe de rappel de la FDA. Les meilleures moyennes sont de 54,5 % (d1.1) et 54,4 % (decider-12b), et le modèle médian obtient en moyenne 46,7 %. Le score est une précision où les réponses rares comptent autant que les réponses courantes. Des réponses aléatoires obtiennent en moyenne 25 % sur la tâche de gravité.
La page indique les résultats de navigateur de 50 des 64 modèles. Certains des autres acceptent trop peu d'options par question ou une entrée trop courte pour les pages de navigateur. Le modèle médian a accompli 22 tâches (44 %), et le meilleur, Drex Max, en a accompli 43 (86 %).
AIM-AI-Bias compte la part de réponses sans biais aux questions à choix multiples portant sur des personnes. 7 des 64 modèles répondent sans biais dans au moins 90 % des cas, en tête Solar Decide Flash avec 97,6 %. Le modèle médian obtient 75,1 %, et Laya obtient 1,6 %.
Le modèle médian met 366 ms par décision, et 59 des 64 mettent moins d'une seconde. Laya est le plus rapide avec 30 ms, mais son score d'indice est de 5. Parmi les modèles qui dépassent 50, Shisa DE-1 est le plus rapide avec 65 ms.
Le modèle médian coûte $0,039 pour 1 000 décisions. Span-02, Decider Flash V1.2, Joey 1 et Laya coûtent $0,007 après arrondi, le prix le plus bas. Parmi eux, seul Span-02 dépasse 50 à l'indice. Les modèles hébergés utilisent les prix d'API, et les modèles auto-hébergés utilisent le coût de location d'un GPU A100.
Les 45 modèles dont la fenêtre de contexte est indiquée vont de 512 tokens (Laya) à 1 050 000 (GPT-6 Luna Decisions). La médiane est de 131 072 tokens. La fenêtre de contexte est la quantité maximale d'entrée qu'un modèle lit d'un coup, comptée en tokens, qui sont des fragments de mots.
AIM System One Index Methodology
L'AIM System One Index combine les scores de chaque modèle sur AIM-Decision Browser, AIM-Decision Classification et AIM-AI-Bias.
Chaque score devient un z-score, son écart à la moyenne du benchmark en écarts-types, mesuré par rapport aux modèles qui ont les trois scores. L'index vaut 50 + 10 × la moyenne des z-scores d'un modèle : 50 correspond à un modèle moyen et chaque tranche de 10 points à un écart-type. Un score manquant est ignoré ; le classement l'affiche sous forme de tiret.
La latence et le coût sont affichés à titre de référence et ne comptent pas dans l'index.
Le coût et la latence par décision proviennent d'AIM-Decision Classification. Le coût est le prix d'API pour les modèles hébergés et le temps de location d'A100 avec le GPU à pleine charge pour les modèles auto-hébergés.
Benchmarks que nous avons choisi de ne pas utiliser
Ces benchmarks publics ont été exclus de notre index, car les fournisseurs entraînent leurs modèles dessus : BANKING77, CLINC150, ContractNLI, Amazon ESCI, RAGTruth, SGD / SGD-X (Schema-Guided Dialogue), Typed Decisions, GoEmotions, When2Call.
Benchmarks utilisés
AIMultiple
AIM-Decision Browser50 tâches de navigateur, une tentative chacune. Son taux de réussite compte dans l'index.AIMultiple
AIM-Decision Classification1 655 questions à décision unique sur quatre tâches : gravité d'un avis de sécurité, classe de rappel FDA, thème d'un article et vérification qu'une tâche de navigateur est terminée. Son score compte dans l'index.AIMultiple
AIM-AI-BiasQuestions à choix multiples sur les biais, chacune posée avec l'option « cannot be determined » à chaque position. Son score, la part de réponses non biaisées moyennée sur ces positions, compte dans l'index. Les premières versions de GLiDE, Nimble 9B et des deux modèles Tev1 n'ont été testées qu'avec cette option en dernière position.Télécharger toutes les données
Résultats bruts de 181 points de données issus des benchmarks AIMultiple sur lesquels repose cet indice. Téléchargez-les sous forme de fichier ZIP contenant 3 fichiers CSV et un README.
Dernière mise à jour : 3 novembre 2026
TéléchargerVous voulez les données détaillées derrière ? Rejoindre Premium
Journal des modifications
19 mises à jour- v1.2
2 modèles sont entrés dans l'indice : d1.1, Joey 1.
- v1.2
3 modèles sont entrés dans l'indice : Drex Max, GLiDE v1.2, SubQ Snap 1.1.
- v1.2
Celeris 1.1 Decision est entré dans l'indice.
- v1.2
6 modèles sont entrés dans l'indice : Classify-1, d3-flash, d3-mini, Decider Flash V1.2, Decider V1.2 et 1 de plus.
- v1.2
2 modèles sont entrés dans l'indice : d1-ultra, Jev 1.14.
- v1.2
7 modèles sont entrés dans l'indice : APUS Reflex 35B-A3B, Decision-1.0-Lux-9B, MATILDA JEV v1.5, NeoHorse-Jev-4B, Nimble 9B v2 et 2 de plus.
- v1.2
12 modèles sont entrés dans l'indice : d1-3B, d3, Decision-2.0-Vega-27B, Decision 4B v1.6, GEV-26B-Decide et 7 de plus.
- v1.2
2 modèles sont entrés dans l'indice : Drex v2.0, SubQ Snap.
- v1.2
3 modèles sont entrés dans l'indice : Clef Omni, Drex v1.5, Microsoft-Decision-1.
- v1.2
5 modèles sont entrés dans l'indice : d1, Decider V1.1 27B, GPT-6 Luna Decisions, Mercury Decide, Solar Decide Flash.