Joey 1 añadido
El modelo más reciente en los benchmarks de System One es Joey 1.
AIM System One Index
v1.2Probamos 64 modelos de decisión en 1.655 tareas de clasificación, 64 de sesgo y 50 de automatización del navegador. Consulte AIM System One Index Methodology para más detalles.
AIM System One Index frente a tiempo por decisión
Más arriba y más a la izquierda es mejor. Tiempo: media por pregunta de AIM-Decision Classification.
AIM System One Index
Clasificación
Modelos System One clasificados por el AIM System One Index.
Filter & Sort
# | Modelo | Índice | AIM-AI-Bias (%) | AIM-Decision Browser (%) | AIM-Decision Classification (%) | AIM-Decision Browser tiempo (s) | Coste por 1.000 decisiones ($) | Latencia por decisión (ms) | Ventana de contexto (tokens) |
|---|---|---|---|---|---|---|---|---|---|
| 1 |  d1-ultra Liquid | 60 | 80.1 | 76 | 52.1 | 3.8 | 0.026 | 597 | 32,768 |
| 2 |  AutoJev-27B Perplexity | 60 | 94.8 | 68 | 48.4 | 6 | 0.11 | 223 | 262,144 |
| 3 | decider-12b Mapika | 59 | 93.8 | 32 | 54.4 | 3 | 0.06 | 127 | 262,144 |
| 4 |  GLiDE Fastino | 59 | 90.0 | 76 | 48.3 | 46.8 | 0.479 | 15,686 | 40,000 |
| 5 |  Drex Max Nace AI | 58 | 80.7 | 86 | 48.7 | 5.9 | 0.04 | 632 | 262,144 |
| 6 |  Solar Decide Flash Upstage | 58 | 97.6 | - | 46.2 | - | 0.046 | 1,132 | 524,288 |
| 7 | Solar Decide Upstage | 58 | 97.2 | - | 46.0 | - | 0.046 | 7,231 | 524,288 |
| 9 |  Jev 1.14 TypeSafe | 57 | 87.5 | 68 | 48.1 | 3.2 | 0.039 | 634 | 262,144 |
| 10 | d1.1 Liquid | 57 | 70.3 | 58 | 54.5 | 2.5 | 0.013 | 277 | 65,536 |
| 11 |  Shisa DE-1 Shisa.AI | 57 | 83.9 | - | 48.9 | - | 0.021 | 65 | 262,144 |
Página 1 de 2
Costo$0.026 / 1k
Latencia597 ms
Contexto33k
AIM-AI-Bias (%)
80.1
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
52.1
Costo$0.110 / 1k
Latencia223 ms
Contexto262k
AIM-AI-Bias (%)
94.8
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.4
Costo$0.060 / 1k
Latencia127 ms
Contexto262k
AIM-AI-Bias (%)
93.8
AIM-Decision Browser (%)
32
AIM-Decision Classification (%)
54.4
Costo$0.479 / 1k
Latencia15,686 ms
Contexto40k
AIM-AI-Bias (%)
90.0
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
48.3
Costo$0.040 / 1k
Latencia632 ms
Contexto262k
AIM-AI-Bias (%)
80.7
AIM-Decision Browser (%)
86
AIM-Decision Classification (%)
48.7
Costo$0.046 / 1k
Latencia1,132 ms
Contexto524k
AIM-AI-Bias (%)
97.6
AIM-Decision Classification (%)
46.2
Costo$0.046 / 1k
Latencia7,231 ms
Contexto524k
AIM-AI-Bias (%)
97.2
AIM-Decision Classification (%)
46.0
Costo$0.039 / 1k
Latencia634 ms
Contexto262k
AIM-AI-Bias (%)
87.5
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.1
Costo$0.013 / 1k
Latencia277 ms
Contexto66k
AIM-AI-Bias (%)
70.3
AIM-Decision Browser (%)
58
AIM-Decision Classification (%)
54.5
Costo$0.021 / 1k
Latencia65 ms
Contexto262k
AIM-AI-Bias (%)
83.9
AIM-Decision Classification (%)
48.9
Página 1 de 2
Benchmarks individuales
Tareas completadas de 50 en las mismas tareas de navegador.
Tareas de navegador completadas de 50
*Un intento por tarea.
1.655 preguntas de decisión única en cuatro tareas: puntuación frente al coste por 1.000 decisiones.
Puntuación vs coste y latencia
*Puntuación: media de las dos tareas principales. Coste por 1.000 decisiones: precio o factura de API para los modelos alojados, tiempo de alquiler de A100 con la GPU a plena carga para los autoalojados. Latencia: segundos medios por decisión.
Preguntas frecuentes
Un modelo System One, también llamado modelo de decisión, elige una respuesta de un conjunto fijo de opciones y devuelve una probabilidad para cada una. A diferencia de un LLM, no escribe su razonamiento ni genera la respuesta token a token. Cuando una tarea necesita texto, como un valor que se escribe en un formulario, lo redacta un modelo de texto aparte.
Son adecuados para pasos de automatización cuya respuesta sale de un conjunto fijo de opciones, como la siguiente acción de un agente de navegador o la etiqueta de un ticket de soporte. Un LLM gasta tiempo y dinero en cada token que genera, y un modelo de decisión no genera ninguno. En nuestras tareas de navegador, Drex Max completó tantas tareas como Gemini 3.8 Flash en menos de la mitad del tiempo mediano por tarea y a aproximadamente 1/20 del coste por tarea completada.
En nuestras 50 tareas de navegador, el mejor modelo System One, Drex Max, completó 43, tantas como Gemini 3.8 Flash. GPT-6 Astra completó 47, con ambos LLM en esfuerzo de razonamiento bajo. Drex Max tardó una mediana de 5,9 segundos por tarea, frente a 13,2 de Gemini y 15,5 de Astra. Drex Max costó aproximadamente $0,001 por tarea completada, frente a $0,025 de Gemini y $0,224 de Astra.
d1-ultra lidera el AIM System One Index con 60. AutoJev-27B (60), decider-12b (59) y GLiDE (59) están a un punto o menos. d1-ultra no lidera por sí solo ninguno de los tres benchmarks. De los 64 modelos, 31 puntúan por encima de 50.
Promediamos la puntuación de cada modelo en dos tareas de clasificación, la gravedad de avisos de seguridad y la clase de retirada de la FDA. Los mejores promedios son 54,5 % (d1.1) y 54,4 % (decider-12b), y el modelo mediano promedia 46,7 %. La puntuación es una precisión en la que las respuestas poco frecuentes cuentan tanto como las comunes. Las respuestas al azar promedian un 25 % en la tarea de gravedad.
La página muestra resultados de navegador para 50 de los 64 modelos. Algunos de los demás aceptan muy pocas opciones por pregunta o una entrada demasiado corta para las páginas del navegador. El modelo mediano completó 22 tareas (44 %) y el mejor, Drex Max, completó 43 (86 %).
AIM-AI-Bias cuenta la proporción de respuestas sin sesgo a preguntas de opción múltiple sobre personas. 7 de los 64 modelos responden sin sesgo al menos el 90 % de las veces, con Solar Decide Flash en cabeza con un 97,6 %. El modelo mediano puntúa 75,1 % y Laya, 1,6 %.
El modelo mediano tarda 366 ms por decisión, y 59 de los 64 tardan menos de un segundo. Laya es el más rápido, con 30 ms, pero su puntuación en el índice es 5. Entre los modelos que puntúan por encima de 50, Shisa DE-1 es el más rápido, con 65 ms.
El modelo mediano cuesta $0,039 por 1.000 decisiones. Span-02, Decider Flash V1.2, Joey 1 y Laya cuestan $0,007 tras el redondeo, el precio más bajo. De ellos, solo Span-02 puntúa por encima de 50 en el índice. Los modelos alojados usan precios de API, y los autoalojados usan el coste de alquilar una GPU A100.
Los 45 modelos con ventana de contexto publicada van de 512 tokens (Laya) a 1.050.000 (GPT-6 Luna Decisions). La mediana es de 131.072 tokens. La ventana de contexto es la mayor cantidad de entrada que un modelo lee de una vez, contada en tokens, que son fragmentos de palabras.
AIM System One Index Methodology
El AIM System One Index combina las puntuaciones de cada modelo en AIM-Decision Browser, AIM-Decision Classification y AIM-AI-Bias.
Cada puntuación se convierte en un z-score, su distancia a la media del benchmark en desviaciones estándar, medida frente a los modelos que tienen las tres puntuaciones. El índice es 50 + 10 × la media de los z-scores de un modelo: 50 es un modelo medio y cada 10 puntos es una desviación estándar. Una puntuación que falta se omite; la clasificación la muestra como un guion.
La latencia y el coste se muestran como referencia y no cuentan para el índice.
El coste y la latencia por decisión proceden de AIM-Decision Classification. El coste es el precio de API para los modelos alojados y el tiempo de alquiler de A100 con la GPU a plena carga para los autoalojados.
Benchmarks que decidimos no usar
Excluimos estos benchmarks públicos de nuestro índice porque los proveedores entrenan sus modelos con ellos: BANKING77, CLINC150, ContractNLI, Amazon ESCI, RAGTruth, SGD / SGD-X (Schema-Guided Dialogue), Typed Decisions, GoEmotions, When2Call.
Benchmarks utilizados
AIMultiple
AIM-Decision Browser50 tareas de navegador, un intento cada una. Su tasa de éxito cuenta para el índice.AIMultiple
AIM-Decision Classification1.655 preguntas de decisión única en cuatro tareas: gravedad de avisos de seguridad, clase de retirada de la FDA, tema de artículo y comprobación de si una tarea de navegador está hecha. Su puntuación cuenta para el índice.AIMultiple
AIM-AI-BiasPreguntas de opción múltiple sobre sesgo, cada una planteada con la opción «cannot be determined» en todas las posiciones. Su puntuación, la proporción de respuestas sin sesgo promediada sobre esas posiciones, cuenta para el índice. Las primeras versiones de GLiDE, Nimble 9B y los dos modelos Tev1 se probaron solo con esa opción en último lugar.Descargar todos los datos
Resultados sin procesar de 181 puntos de datos de los benchmarks de AIMultiple en los que se basa este índice. Descárguelos como un archivo ZIP que contiene 3 archivos CSV y un README.
Última actualización: 3 de noviembre de 2026
Descargar¿Quieres los datos granulares que hay detrás? Únete a Premium
Registro de cambios
19 actualizaciones- v1.2
2 modelos entraron en el índice: d1.1, Joey 1.
- v1.2
3 modelos entraron en el índice: Drex Max, GLiDE v1.2, SubQ Snap 1.1.
- v1.2
Celeris 1.1 Decision entró en el índice.
- v1.2
6 modelos entraron en el índice: Classify-1, d3-flash, d3-mini, Decider Flash V1.2, Decider V1.2 y 1 más.
- v1.2
2 modelos entraron en el índice: d1-ultra, Jev 1.14.
- v1.2
7 modelos entraron en el índice: APUS Reflex 35B-A3B, Decision-1.0-Lux-9B, MATILDA JEV v1.5, NeoHorse-Jev-4B, Nimble 9B v2 y 2 más.
- v1.2
12 modelos entraron en el índice: d1-3B, d3, Decision-2.0-Vega-27B, Decision 4B v1.6, GEV-26B-Decide y 7 más.
- v1.2
2 modelos entraron en el índice: Drex v2.0, SubQ Snap.
- v1.2
3 modelos entraron en el índice: Clef Omni, Drex v1.5, Microsoft-Decision-1.
- v1.2
5 modelos entraron en el índice: d1, Decider V1.1 27B, GPT-6 Luna Decisions, Mercury Decide, Solar Decide Flash.