Premium
Servicios
Premium
Modelos de IASystem OneSystem One

AIM System One Index

v1.2

Los modelos System One, también llamados modelos de decisión, devuelven en una sola pasada una decisión tipada con una probabilidad para cada opción, en lugar de generar texto token a token. Cómo funciona el AIM System One Index

Respan
Span-02 añadido

El modelo más reciente en los benchmarks de System One es Span-02.

Ver registro de cambios
Mejor modelo
AutoJev-27B
AIM System One Index 60
Modelo más rápido
Laya
30 ms por decisión
Modelo API más barato
Decider Flash V1.2
0.007 $ por 1.000 decisiones
AIM System One Index frente a tiempo por decisión
*AIM System One Index, tal como se explica en Cómo funciona el AIM System One Index. Tiempo: media por pregunta de AIM-Decision Classification.
AIM System One Index

Clasificación de modelos System One

Modelos System One clasificados por el AIM System One Index.

#
Modelo
Índice
AIM-AI-Bias (%)
AIM-Decision Browser (%)
AIM-Decision Classification (%)
AIM-Decision Browser tiempo (s)
Coste por 1.000 decisiones ($)
Latencia por decisión (ms)
Ventana de contexto (tokens)
1
AutoJev-27B
AutoJev-27B
60
94.86848.46.90.11223262,144
2
d1-ultra
d1-ultra
60
80.17452.140.026597-
3
decider-12b
decider-12b
60
93.83254.43.10.06127262,144
4
GLiDE
GLiDE
59
907248.346.80.47915,68640,000
5
Solar Decide Flash
Solar Decide Flash
2 de 3 benchmarks
59
97.6-46.2-0.0461,132524,288
6
Solar Decide
Solar Decide
2 de 3 benchmarks
58
97.2-46-0.0467,231524,288
7
Jev 1.14
Jev 1.14
57
87.56248.13.20.039634-
8
GLiDE v2
GLiDE v2
57
78.17249.160.096473-
9
Shisa DE-1
Shisa DE-1
2 de 3 benchmarks
57
83.9-48.9-0.02165262,144
10
Shisa DE-2
Shisa DE-2
56
884449.817.20.2551,138262,144
Página 1 de 6

Costo$0.110 / 1k
Latencia223 ms
Contexto262k
AIM-AI-Bias (%)
94.8
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.4

Costo$0.026 / 1k
Latencia597 ms
Contexto-
AIM-AI-Bias (%)
80.1
AIM-Decision Browser (%)
74
AIM-Decision Classification (%)
52.1

Costo$0.060 / 1k
Latencia127 ms
Contexto262k
AIM-AI-Bias (%)
93.8
AIM-Decision Browser (%)
32
AIM-Decision Classification (%)
54.4

Costo$0.479 / 1k
Latencia15,686 ms
Contexto40k
AIM-AI-Bias (%)
90
AIM-Decision Browser (%)
72
AIM-Decision Classification (%)
48.3

Costo$0.046 / 1k
Latencia1,132 ms
Contexto524k
AIM-AI-Bias (%)
97.6
AIM-Decision Classification (%)
46.2

Costo$0.046 / 1k
Latencia7,231 ms
Contexto524k
AIM-AI-Bias (%)
97.2
AIM-Decision Classification (%)
46

Costo$0.039 / 1k
Latencia634 ms
Contexto-
AIM-AI-Bias (%)
87.5
AIM-Decision Browser (%)
62
AIM-Decision Classification (%)
48.1

Costo$0.096 / 1k
Latencia473 ms
Contexto-
AIM-AI-Bias (%)
78.1
AIM-Decision Browser (%)
72
AIM-Decision Classification (%)
49.1

Costo$0.021 / 1k
Latencia65 ms
Contexto262k
AIM-AI-Bias (%)
83.9
AIM-Decision Classification (%)
48.9

Costo$0.255 / 1k
Latencia1,138 ms
Contexto262k
AIM-AI-Bias (%)
88
AIM-Decision Browser (%)
44
AIM-Decision Classification (%)
49.8
Página 1 de 6

Coste por 1.000 decisiones

Coste de AIM-Decision Classification de cada modelo System One, en una API alojada o autoalojado.

Coste por 1.000 decisiones
*Hosted API: precio de lista por los tokens de entrada que informó cada API; modelos de OpenRouter según lo facturado, Mercury Decide al precio de su ruta de pago. Self-hosted: alquiler de A100 a 1,673 $ por hora con la GPU a plena carga, con el código de cada fabricante. Las primeras versiones de Ollama de Nimble 9B y de los modelos Tev1 conservan una medición anterior con hasta 16 solicitudes en paralelo.

Benchmarks individuales

AIM-Decision Browser

Tareas completadas de 50 en las mismas tareas de navegador.

Tareas de navegador completadas de 50
*Un intento por tarea.

AIM-Decision Classification

1.655 preguntas de decisión única en cuatro tareas: puntuación frente al coste por 1.000 decisiones.

Puntuación vs coste y latencia
*Puntuación: media de las dos tareas principales. Coste por 1.000 decisiones: precio o factura de API para los modelos alojados, tiempo de alquiler de A100 con la GPU a plena carga para los autoalojados. Latencia: segundos medios por decisión.

Cómo funciona el AIM System One Index

El AIM System One Index combina las puntuaciones de cada modelo en AIM-Decision Browser, AIM-Decision Classification y AIM-AI-Bias.

Cada puntuación se convierte en un z-score, su distancia a la media del benchmark en desviaciones estándar, medida frente a los modelos que tienen las tres puntuaciones. El índice es 50 + 10 × la media de los z-scores de un modelo: 50 es un modelo medio y cada 10 puntos es una desviación estándar. Una puntuación que falta se omite; la clasificación muestra cuántas de las tres puntuaciones tiene un modelo.

La latencia y el coste se muestran como referencia y no cuentan para el índice.

El coste y la latencia por decisión proceden de AIM-Decision Classification. El coste es el precio de API para los modelos alojados y el tiempo de alquiler de A100 con la GPU a plena carga para los autoalojados.

Benchmarks utilizados

AIMultiple
AIM-Decision Browser50 tareas de navegador, un intento cada una. Su tasa de éxito cuenta para el índice.
AIMultiple
AIM-Decision Classification1.655 preguntas de decisión única en cuatro tareas: gravedad de avisos de seguridad, clase de retirada de la FDA, tema de artículo y comprobación de si una tarea de navegador está hecha. Su puntuación cuenta para el índice.
AIMultiple
AIM-AI-BiasPreguntas de opción múltiple sobre sesgo, cada una planteada con la opción «cannot be determined» en todas las posiciones. Su puntuación, la proporción de respuestas sin sesgo promediada sobre esas posiciones, cuenta para el índice. Las primeras versiones de GLiDE, Nimble 9B y los dos modelos Tev1 se probaron solo con esa opción en último lugar.

Registro de cambios

16 actualizaciones
  1. v1.2

    5 modelos entraron en el índice: d3-flash, d3-mini, Decider Flash V1.2, Decider V1.2, Span-02.

  2. v1.2

    2 modelos entraron en el índice: d1-ultra, Jev 1.14.

  3. v1.2

    7 modelos entraron en el índice: APUS Reflex 35B-A3B, Decision-1.0-Lux-9B, MATILDA JEV v1.5, NeoHorse-Jev-4B, Nimble 9B v2 y 2 más.

  4. v1.2

    12 modelos entraron en el índice: d1-3B, d3, Decision-2.0-Vega-27B, Decision 4B v1.6, GEV-26B-Decide y 7 más.

  5. v1.2

    2 modelos entraron en el índice: Drex v2.0, SubQ Snap.

  6. v1.2

    3 modelos entraron en el índice: Clef-Omni, Drex v1.5, Microsoft-Decision-1.

  7. v1.2

    5 modelos entraron en el índice: d1, GPT-6 Luna Decisions, Mercury Decide, pplx-decider-v1.1-27b, Solar Decide Flash.

  8. v1.2

    AIM System One Index: Los resultados de AIM-Decision Classification cuentan ahora para el índice. Versión actualizada a v1.2.

  9. v1.2

    AIM System One Index: El índice es ahora la puntuación z media de sus benchmarks con sus datos más recientes, mostrada como 50 + 10 × z.

  10. v1.1

    AIM System One Index: Los resultados de sesgo de IA cuentan ahora para el índice. Versión actualizada a v1.1.

Explorar AIM System One Index

Filtros
Categoría
  • 1
Tipo
  • 1
  • 0
  • 0
  • 0