Joey 1 adicionado
O modelo mais recente nos benchmarks System One é Joey 1.
AIM System One Index
v1.2Testamos 64 modelos de decisão em 1.655 tarefas de classificação, 64 de viés e 50 de automação de navegador. Consulte AIM System One Index Methodology para mais detalhes.
AIM System One Index e tempo por decisão
Mais alto e mais à esquerda é melhor. Tempo: média por pergunta do AIM-Decision Classification.
AIM System One Index
Ranking
Modelos System One classificados pelo AIM System One Index.
Filter & Sort
# | Modelo | Índice | AIM-AI-Bias (%) | AIM-Decision Browser (%) | AIM-Decision Classification (%) | AIM-Decision Browser tempo (s) | Custo por 1.000 decisões ($) | Latência por decisão (ms) | Janela de contexto (tokens) |
|---|---|---|---|---|---|---|---|---|---|
| 1 |  d1-ultra Liquid | 60 | 80.1 | 76 | 52.1 | 3.8 | 0.026 | 597 | 32,768 |
| 2 |  AutoJev-27B Perplexity | 60 | 94.8 | 68 | 48.4 | 6 | 0.11 | 223 | 262,144 |
| 3 | decider-12b Mapika | 59 | 93.8 | 32 | 54.4 | 3 | 0.06 | 127 | 262,144 |
| 4 |  GLiDE Fastino | 59 | 90.0 | 76 | 48.3 | 46.8 | 0.479 | 15,686 | 40,000 |
| 5 |  Drex Max Nace AI | 58 | 80.7 | 86 | 48.7 | 5.9 | 0.04 | 632 | 262,144 |
| 6 |  Solar Decide Flash Upstage | 58 | 97.6 | - | 46.2 | - | 0.046 | 1,132 | 524,288 |
| 7 | Solar Decide Upstage | 58 | 97.2 | - | 46.0 | - | 0.046 | 7,231 | 524,288 |
| 9 |  Jev 1.14 TypeSafe | 57 | 87.5 | 68 | 48.1 | 3.2 | 0.039 | 634 | 262,144 |
| 10 | d1.1 Liquid | 57 | 70.3 | 58 | 54.5 | 2.5 | 0.013 | 277 | 65,536 |
| 11 |  Shisa DE-1 Shisa.AI | 57 | 83.9 | - | 48.9 | - | 0.021 | 65 | 262,144 |
Página 1 de 2
Custo$0.026 / 1k
Latência597 ms
Contexto33k
AIM-AI-Bias (%)
80.1
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
52.1
Custo$0.110 / 1k
Latência223 ms
Contexto262k
AIM-AI-Bias (%)
94.8
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.4
Custo$0.060 / 1k
Latência127 ms
Contexto262k
AIM-AI-Bias (%)
93.8
AIM-Decision Browser (%)
32
AIM-Decision Classification (%)
54.4
Custo$0.479 / 1k
Latência15,686 ms
Contexto40k
AIM-AI-Bias (%)
90.0
AIM-Decision Browser (%)
76
AIM-Decision Classification (%)
48.3
Custo$0.040 / 1k
Latência632 ms
Contexto262k
AIM-AI-Bias (%)
80.7
AIM-Decision Browser (%)
86
AIM-Decision Classification (%)
48.7
Custo$0.046 / 1k
Latência1,132 ms
Contexto524k
AIM-AI-Bias (%)
97.6
AIM-Decision Classification (%)
46.2
Custo$0.046 / 1k
Latência7,231 ms
Contexto524k
AIM-AI-Bias (%)
97.2
AIM-Decision Classification (%)
46.0
Custo$0.039 / 1k
Latência634 ms
Contexto262k
AIM-AI-Bias (%)
87.5
AIM-Decision Browser (%)
68
AIM-Decision Classification (%)
48.1
Custo$0.013 / 1k
Latência277 ms
Contexto66k
AIM-AI-Bias (%)
70.3
AIM-Decision Browser (%)
58
AIM-Decision Classification (%)
54.5
Custo$0.021 / 1k
Latência65 ms
Contexto262k
AIM-AI-Bias (%)
83.9
AIM-Decision Classification (%)
48.9
Página 1 de 2
Benchmarks individuais
Tarefas concluídas de 50 nas mesmas tarefas de navegador.
Tarefas de navegador concluídas de 50
*Uma tentativa por tarefa.
1.655 perguntas de decisão única em quatro tarefas: pontuação versus custo por 1.000 decisões.
Pontuação vs custo e latência
*Pontuação: média das duas tarefas principais. Custo por 1.000 decisões: preço ou fatura de API para modelos hospedados, tempo de aluguel de A100 com a GPU em carga total para os auto-hospedados. Latência: segundos médios por decisão.
Perguntas frequentes
Um modelo System One, também chamado de modelo de decisão, escolhe uma resposta entre um conjunto fixo de opções e devolve uma probabilidade para cada opção. Diferentemente de um LLM, ele não escreve o raciocínio nem gera a resposta token por token. Quando uma tarefa exige texto, como um valor digitado em um formulário, um modelo de texto separado o escreve.
Eles servem para etapas de automação cuja resposta vem de um conjunto fixo de opções, como a próxima ação de um agente de navegador ou o rótulo de um ticket de suporte. Um LLM gasta tempo e dinheiro a cada token que gera, e um modelo de decisão não gera nenhum. Em nossas tarefas de navegador, o Drex Max concluiu tantas tarefas quanto o Gemini 3.8 Flash em menos da metade do tempo mediano por tarefa, a cerca de 1/20 do custo por tarefa concluída.
Em nossas 50 tarefas de navegador, o melhor modelo System One, o Drex Max, concluiu 43, o mesmo que o Gemini 3.8 Flash. O GPT-6 Astra concluiu 47, com ambos os LLMs em baixo esforço de raciocínio. O Drex Max levou uma mediana de 5,9 segundos por tarefa, contra 13,2 do Gemini e 15,5 do Astra. O Drex Max custou cerca de $0,001 por tarefa concluída, contra $0,025 do Gemini e $0,224 do Astra.
O d1-ultra lidera o AIM System One Index com 60. AutoJev-27B (60), decider-12b (59) e GLiDE (59) estão a menos de um ponto. O d1-ultra não lidera sozinho nenhum dos três benchmarks. Dos 64 modelos, 31 pontuam acima de 50.
Calculamos a média da pontuação de cada modelo em duas tarefas de classificação, a gravidade de avisos de segurança e a classe de recall da FDA. As melhores médias são 54,5% (d1.1) e 54,4% (decider-12b), e o modelo mediano tem média de 46,7%. A pontuação é uma precisão em que respostas raras contam tanto quanto as comuns. Respostas aleatórias têm média de 25% na tarefa de gravidade.
A página lista resultados de navegador para 50 dos 64 modelos. Alguns dos outros aceitam opções demais por pergunta ou uma entrada curta demais para as páginas do navegador. O modelo mediano concluiu 22 tarefas (44%), e o melhor, o Drex Max, concluiu 43 (86%).
O AIM-AI-Bias conta a parcela de respostas sem viés em perguntas de múltipla escolha sobre pessoas. 7 dos 64 modelos respondem sem viés em pelo menos 90% dos casos, liderados pelo Solar Decide Flash com 97,6%. O modelo mediano pontua 75,1%, e o Laya pontua 1,6%.
O modelo mediano leva 366 ms por decisão, e 59 dos 64 levam menos de um segundo. O Laya é o mais rápido, com 30 ms, mas sua pontuação no índice é 5. Entre os modelos que pontuam acima de 50, o Shisa DE-1 é o mais rápido, com 65 ms.
O modelo mediano custa $0,039 por 1.000 decisões. Span-02, Decider Flash V1.2, Joey 1 e Laya custam $0,007 após o arredondamento, o menor preço. Entre eles, apenas o Span-02 pontua acima de 50 no índice. Os modelos hospedados usam preços de API, e os modelos auto-hospedados usam o custo de alugar uma GPU A100.
Os 45 modelos com janela de contexto listada vão de 512 tokens (Laya) a 1.050.000 (GPT-6 Luna Decisions). A mediana é de 131.072 tokens. A janela de contexto é a maior quantidade de entrada que um modelo lê de uma vez, contada em tokens, que são pedaços de palavras.
AIM System One Index Methodology
O AIM System One Index combina as pontuações de cada modelo em AIM-Decision Browser, AIM-Decision Classification e AIM-AI-Bias.
Cada pontuação vira um z-score, a sua distância da média do benchmark em desvios-padrão, medida em relação aos modelos que têm as três pontuações. O índice é 50 + 10 × a média dos z-scores de um modelo: 50 é um modelo médio e cada 10 pontos equivalem a um desvio-padrão. Uma pontuação ausente é ignorada; o ranking mostra-a como um traço.
A latência e o custo são exibidos como referência e não contam para o índice.
Custo e latência por decisão vêm do AIM-Decision Classification. O custo é o preço de API para modelos hospedados e o tempo de aluguel de A100 com a GPU em carga total para os auto-hospedados.
Benchmarks que decidimos não usar
Excluímos estes benchmarks públicos do nosso índice porque os fornecedores treinam seus modelos com eles: BANKING77, CLINC150, ContractNLI, Amazon ESCI, RAGTruth, SGD / SGD-X (Schema-Guided Dialogue), Typed Decisions, GoEmotions, When2Call.
Benchmarks utilizados
AIMultiple
AIM-Decision Browser50 tarefas de navegador, uma tentativa cada. A taxa de sucesso conta para o índice.AIMultiple
AIM-Decision Classification1.655 perguntas de decisão única em quatro tarefas: gravidade de avisos de segurança, classe de recall da FDA, tema de artigo e verificação de tarefa de navegador concluída. Sua pontuação conta para o índice.AIMultiple
AIM-AI-BiasPerguntas de múltipla escolha sobre viés, cada uma feita com a opção “cannot be determined” em todas as posições. Sua pontuação, a parcela de respostas sem viés calculada como média dessas posições, conta para o índice. As primeiras versões de GLiDE, Nimble 9B e dos dois modelos Tev1 foram testadas apenas com essa opção em último lugar.Baixar todos os dados
Resultados brutos de 181 pontos de dados dos benchmarks da AIMultiple em que este índice se baseia. Baixe-os como um arquivo ZIP contendo 3 arquivos CSV e um README.
Última atualização: 3 novembro 2026
BaixarQuer os dados granulares por trás disso? Assine o Premium
Registro de alterações
19 atualizações- v1.2
2 modelos entraram no índice: d1.1, Joey 1.
- v1.2
3 modelos entraram no índice: Drex Max, GLiDE v1.2, SubQ Snap 1.1.
- v1.2
Celeris 1.1 Decision entrou no índice.
- v1.2
6 modelos entraram no índice: Classify-1, d3-flash, d3-mini, Decider Flash V1.2, Decider V1.2 e mais 1.
- v1.2
2 modelos entraram no índice: d1-ultra, Jev 1.14.
- v1.2
7 modelos entraram no índice: APUS Reflex 35B-A3B, Decision-1.0-Lux-9B, MATILDA JEV v1.5, NeoHorse-Jev-4B, Nimble 9B v2 e mais 2.
- v1.2
12 modelos entraram no índice: d1-3B, d3, Decision-2.0-Vega-27B, Decision 4B v1.6, GEV-26B-Decide e mais 7.
- v1.2
2 modelos entraram no índice: Drex v2.0, SubQ Snap.
- v1.2
3 modelos entraram no índice: Clef Omni, Drex v1.5, Microsoft-Decision-1.
- v1.2
5 modelos entraram no índice: d1, Decider V1.1 27B, GPT-6 Luna Decisions, Mercury Decide, Solar Decide Flash.