Span-02 adicionado
O modelo mais recente nos benchmarks System One é Span-02.
AIM System One Index
v1.2Os modelos System One, também chamados modelos de decisão, devolvem numa única passagem uma decisão tipada com uma probabilidade para cada opção, em vez de gerar texto token a token. Como funciona o AIM System One Index
Melhor modelo
AutoJev-27B
AIM System One Index 60
Modelo mais rápido
Laya
30 ms por decisão
Modelo API mais barato
Decider Flash V1.2
US$ 0.007 por 1.000 decisões
AIM System One Index e tempo por decisão
*AIM System One Index, conforme explicado em Como funciona o AIM System One Index. Tempo: média por pergunta do AIM-Decision Classification.
AIM System One Index
Classificação dos modelos System One
Modelos System One classificados pelo AIM System One Index.
# | Modelo | Índice | AIM-AI-Bias (%) | AIM-Decision Browser (%) | AIM-Decision Classification (%) | AIM-Decision Browser tempo (s) | Custo por 1.000 decisões ($) | Latência por decisão (ms) | Janela de contexto (tokens) |
|---|---|---|---|---|---|---|---|---|---|
| 1 | AutoJev-27B | 60 | 94.8 | 68 | 48.4 | 6.9 | 0.11 | 223 | 262,144 |
| 2 |  d1-ultra | 60 | 80.1 | 74 | 52.1 | 4 | 0.026 | 597 | - |
| 3 |  decider-12b | 60 | 93.8 | 32 | 54.4 | 3.1 | 0.06 | 127 | 262,144 |
| 4 |  GLiDE | 59 | 90 | 72 | 48.3 | 46.8 | 0.479 | 15,686 | 40,000 |
| 5 |  Solar Decide Flash 2 de 3 benchmarks | 59 | 97.6 | - | 46.2 | - | 0.046 | 1,132 | 524,288 |
| 6 | Solar Decide 2 de 3 benchmarks | 58 | 97.2 | - | 46 | - | 0.046 | 7,231 | 524,288 |
| 7 |  Jev 1.14 | 57 | 87.5 | 62 | 48.1 | 3.2 | 0.039 | 634 | - |
| 8 | GLiDE v2 | 57 | 78.1 | 72 | 49.1 | 6 | 0.096 | 473 | - |
| 9 |  Shisa DE-1 2 de 3 benchmarks | 57 | 83.9 | - | 48.9 | - | 0.021 | 65 | 262,144 |
| 10 | Shisa DE-2 | 56 | 88 | 44 | 49.8 | 17.2 | 0.255 | 1,138 | 262,144 |
Página 1 de 6
Custo$0.110 / 1k
Latência223 ms
Contexto262k
AIM-AI-Bias (%)
94.8
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.4
Custo$0.026 / 1k
Latência597 ms
Contexto-
AIM-AI-Bias (%)
80.1
AIM-Decision Browser (%)
74
AIM-Decision Classification (%)
52.1
Custo$0.060 / 1k
Latência127 ms
Contexto262k
AIM-AI-Bias (%)
93.8
AIM-Decision Browser (%)
32
AIM-Decision Classification (%)
54.4
Custo$0.479 / 1k
Latência15,686 ms
Contexto40k
AIM-AI-Bias (%)
90
AIM-Decision Browser (%)
72
AIM-Decision Classification (%)
48.3
Custo$0.046 / 1k
Latência1,132 ms
Contexto524k
AIM-AI-Bias (%)
97.6
AIM-Decision Classification (%)
46.2
Custo$0.046 / 1k
Latência7,231 ms
Contexto524k
AIM-AI-Bias (%)
97.2
AIM-Decision Classification (%)
46
Custo$0.039 / 1k
Latência634 ms
Contexto-
AIM-AI-Bias (%)
87.5
AIM-Decision Browser (%)
62
AIM-Decision Classification (%)
48.1
Custo$0.096 / 1k
Latência473 ms
Contexto-
AIM-AI-Bias (%)
78.1
AIM-Decision Browser (%)
72
AIM-Decision Classification (%)
49.1
Custo$0.021 / 1k
Latência65 ms
Contexto262k
AIM-AI-Bias (%)
83.9
AIM-Decision Classification (%)
48.9
Custo$0.255 / 1k
Latência1,138 ms
Contexto262k
AIM-AI-Bias (%)
88
AIM-Decision Browser (%)
44
AIM-Decision Classification (%)
49.8
Página 1 de 6
Custo por 1.000 decisões
Custo do AIM-Decision Classification de cada modelo System One, em API hospedada ou auto-hospedado.
Custo por 1.000 decisões
*Hosted API: preço de tabela vezes os tokens de entrada informados por cada API; modelos do OpenRouter conforme faturado, Mercury Decide pelo preço da sua rota paga. Self-hosted: aluguel de A100 a US$ 1,673 por hora com a GPU em carga total, usando o código de cada fabricante. As primeiras versões Ollama do Nimble 9B e dos modelos Tev1 mantêm uma medição anterior com até 16 requisições paralelas.
Benchmarks individuais
Tarefas concluídas de 50 nas mesmas tarefas de navegador.
Tarefas de navegador concluídas de 50
*Uma tentativa por tarefa.
1.655 perguntas de decisão única em quatro tarefas: pontuação versus custo por 1.000 decisões.
Pontuação vs custo e latência
*Pontuação: média das duas tarefas principais. Custo por 1.000 decisões: preço ou fatura de API para modelos hospedados, tempo de aluguel de A100 com a GPU em carga total para os auto-hospedados. Latência: segundos médios por decisão.
Como funciona o AIM System One Index
O AIM System One Index combina as pontuações de cada modelo em AIM-Decision Browser, AIM-Decision Classification e AIM-AI-Bias.
Cada pontuação vira um z-score, a sua distância da média do benchmark em desvios-padrão, medida em relação aos modelos que têm as três pontuações. O índice é 50 + 10 × a média dos z-scores de um modelo: 50 é um modelo médio e cada 10 pontos equivalem a um desvio-padrão. Uma pontuação ausente é ignorada; o ranking mostra quantas das três pontuações um modelo tem.
A latência e o custo são exibidos como referência e não contam para o índice.
Custo e latência por decisão vêm do AIM-Decision Classification. O custo é o preço de API para modelos hospedados e o tempo de aluguel de A100 com a GPU em carga total para os auto-hospedados.
Benchmarks utilizados
AIMultiple
AIM-Decision Browser50 tarefas de navegador, uma tentativa cada. A taxa de sucesso conta para o índice.AIMultiple
AIM-Decision Classification1.655 perguntas de decisão única em quatro tarefas: gravidade de avisos de segurança, classe de recall da FDA, tema de artigo e verificação de tarefa de navegador concluída. Sua pontuação conta para o índice.AIMultiple
AIM-AI-BiasPerguntas de múltipla escolha sobre viés, cada uma feita com a opção “cannot be determined” em todas as posições. Sua pontuação, a parcela de respostas sem viés calculada como média dessas posições, conta para o índice. As primeiras versões de GLiDE, Nimble 9B e dos dois modelos Tev1 foram testadas apenas com essa opção em último lugar.Registro de alterações
16 atualizações- v1.2
5 modelos entraram no índice: d3-flash, d3-mini, Decider Flash V1.2, Decider V1.2, Span-02.
- v1.2
2 modelos entraram no índice: d1-ultra, Jev 1.14.
- v1.2
7 modelos entraram no índice: APUS Reflex 35B-A3B, Decision-1.0-Lux-9B, MATILDA JEV v1.5, NeoHorse-Jev-4B, Nimble 9B v2 e mais 2.
- v1.2
12 modelos entraram no índice: d1-3B, d3, Decision-2.0-Vega-27B, Decision 4B v1.6, GEV-26B-Decide e mais 7.
- v1.2
2 modelos entraram no índice: Drex v2.0, SubQ Snap.
- v1.2
3 modelos entraram no índice: Clef-Omni, Drex v1.5, Microsoft-Decision-1.
- v1.2
5 modelos entraram no índice: d1, GPT-6 Luna Decisions, Mercury Decide, pplx-decider-v1.1-27b, Solar Decide Flash.
- v1.2
AIM System One Index: Os resultados de AIM-Decision Classification agora contam para o índice. Versão atualizada para v1.2.
- v1.2
AIM System One Index: O índice é agora o z-score médio dos seus benchmarks nos dados mais recentes, mostrado como 50 + 10 × z.
- v1.1
AIM System One Index: Os resultados de viés de IA agora contam para o índice. Versão atualizada para v1.1.