AIM-Decision: Jev versus Kev versus LLMs
Models de decisão, também chamados models do Sistema Um,1 pontuam um conjunto fixo de opções em vez de gerar texto token por token. Testamos 22 models de decisão em 1.655 perguntas de classificação, como avaliar uma falha de segurança ou um recall de produto, e executamos 19 deles em 50 tarefas de navegador.
Resultados do benchmark de classificação
- decider-12b pontuou 46.4 em falhas de segurança e 62.4 em recalls, a $0,06 por 1.000 decisões. Nenhum model de decisão pontuou significativamente mais alto em nenhuma das tarefas.
- Jev 1.13 custou $0,039 por 1.000 decisões e pontuou 47.9, cerca de um ponto abaixo de Kev-9B e Nimble 9B, que custaram cerca de 7 e 9 vezes mais.
- Eikos-27B, com 27 bilhões de parâmetros, custou $0,075 por 1.000 decisões. Tev1 4B, com 4 bilhões, custou $0.34.
- GLiDE pontuou 46.5 em falhas de segurança contra o decider-12b, que teve 46.4, mas levou 15,7 segundos por decisão contra 0.13 e custou $0,48 por 1.000 decisões. Clef obteve média de 51.0 a $0,17 através da Cloudflare com sua API.
Taxas de sucesso da automação de navegador
Uma tentativa por tarefa; os LLMs foram executados na configuração de baixo esforço de raciocínio da sua API.
- Solar Decide, Nimble 9B e os dois models Tev1 não foram classificados: seus serviços aceitam no máximo 26 opções por pergunta, e 17 das 50 tarefas abrem em uma página com mais. Laya também não foi classificado, porque seus limites de entrada rejeitaram solicitações que os outros models receberam integralmente.
- Kev-27B concluiu 40 tarefas, duas a menos que Gemini 3.8 Flash e sete a menos que GPT-6 Astra, a um custo estimado de $0,006 por tarefa concluída contra $0,026 para Gemini e $0,226 para Astra.
- Os models de decisão juntos concluíram 44 das 50 tarefas, incluindo duas das três que a Astra falhou.
- decider-12b, primeiro na classificação, concluiu 16 tarefas de navegador; Kev-27B, que pontuou abaixo do Jev na classificação, concluiu 40.
Veja 10 tarefas de exemplo e o resultado de cada model em Hugging Face, e como executamos o benchmark em metodologia.
Models de decisão versus LLMs em tarefas de navegador
A maioria dos LLMs escreve sua resposta um token por vez, e cada token custa computação e tempo. Na maioria das etapas do navegador, o agente apenas escolhe uma operação e um controle na página.
Um model de decisão lê a página e as opções, pontua cada opção e devolve a mais provável. Ele retorna uma probabilidade para cada opção em vez de texto gerado, de modo que uma etapa não precisa de uma saída longa. Se os models de decisão se tornarem suficientemente precisos, a mesma automação poderá rodar muito mais rápido e por uma fração do custo de LLM.
Os models de decisão, como os servimos, retornam pontuações de opções e nenhum texto, então um model de texto separado, Mercury 2.5,2 escreve os valores digitados nos campos do formulário. Nós o chamamos de assistente de texto, e ele estava disponível para todos os models.
Executamos todos os models no runtime open-source jev-ultrafast do browser-use,3 que foi criado para o Jev 1.13 da TypeSafe.4 O GPT-6 Astra serve como referência de LLM de ponta e o Gemini 3.8 Flash como um de baixo custo. Todos os models estão listados na metodologia.
Cinco models na mesma tarefa
Na Wikipedia, todos os models exceto Laya digitaram na caixa de busca, o assistente de texto escreveu “Ada Lovelace” e o model escolheu a sugestão correta. Jev chegou ao artigo em 8,1 segundos, Gemini em 11.0, Astra em 18.9 e Kev-9B em 43.8. Laya declarou a tarefa concluída na página principal sem executar nenhuma ação.
A tarefa de filtro exige dois menus suspensos e um botão de busca. Jev, Gemini e Astra deram os mesmos quatro passos e terminaram em 4.6, 10.7 e 20,3 segundos. Laya clicou no logo do site e declarou a tarefa concluída. Kev-9B falhou nesta tarefa no benchmark e, na demonstração, ainda estava clicando após 11 minutos, por isso ficou de fora deste trecho.
As legendas mostram a operação e o alvo escolhidos por cada model e, para os models de decisão, a probabilidade dessa operação. Os clipes vêm de uma execução de demonstração separada em velocidade 1×, não do benchmark pontuado, e cada página final foi verificada com o avaliador do benchmark.
Como os models falharam
Jev e Kev-9B juntos concluíram 26 tarefas distintas. Ambos concluíram as duas tarefas da Wikipedia e a tarefa de menu suspenso do Web Scraper, assim como os dois LLMs. No Books to Scrape, onde cada tarefa vai de uma lista de categorias para uma página de produto, Jev não concluiu nenhuma das seis e Kev-9B concluiu três. Kev-27B, Eikos-27B e AutoJev-27B concluíram todas as seis.
- Jev declarou a tarefa bloqueada em 24 de suas 33 falhas, 16 vezes antes de executar qualquer ação.
- Kev-9B teve uma mediana de 9.5 ações em tarefas com falha, contra 3 nas tarefas que concluiu. Dez tentativas atingiram o limite de ações ou de chamadas de decisão, e outras cinco foram interrompidas depois que três ações seguidas deixaram a página inalterada.
- Kev-4B, do desenvolvedor do Kev-9B, declarou a tarefa bloqueada em sua primeira decisão em 29 das 50 tarefas.
- Kev-27B, Eikos-27B e GLiDE falharam sete tarefas em comum. Declararam quatro delas bloqueadas, duas buscas de produto no ScrapeMe e duas tarefas do Web Scraper, e nenhum dos três concluiu o formulário de caixa de seleção ou o da calculadora.
- GPT-6 Astra falhou 3 tarefas. Marcou uma tarefa de categoria do ScrapeMe como bloqueada, continuou digitando no mesmo campo da calculadora até ser interrompido e, na tarefa de formulário T02, o assistente de texto não retornou nenhum valor válido depois que a Astra preencheu e enviou o formulário.
- Gemini 3.8 Flash falhou 8, incluindo o mesmo final T02. Quatro falhas chegaram à página correta, mas não concluíram, duas foram interrompidas pelo nosso mecanismo de proteção de custo quando OpenRouter não informou uma taxa, e uma atingiu o limite de ações.
Por que alguns models pontuaram 0/50
GLiNER2.5-Decide
GLiNER2.5-Decide da Fastino5 declarou todas as 50 tarefas concluídas cedo demais, 49 delas em sua primeira decisão. Nas 37 tarefas que compartilham uma página inicial com outra tarefa, suas probabilidades de operação não diferiram mais de 6 pontos entre objetivos.
A Fastino descreve o GLiNER2.5-Decide como um classificador para decisões como roteamento de tickets, intenção, urgência e se um agente terminou, e afirma que o model não raciocina. O model foi criado para entradas de até 512 tokens, mas aceita entradas mais longas. Nossas solicitações do primeiro passo tinham uma mediana de 1.915 tokens.
CLM-v0.1-8B
CLM-v0.1-8B da Contrastive-LM6 escolheu aguardar em 2.199 de suas 2.288 decisões de operação, por isso 36 tentativas esgotaram o limite de ações. Nas mesmas páginas iniciais, suas probabilidades diferiram no máximo 13 pontos entre objetivos.
A Contrastive-LM afirma que o CLM-v0.1-8B, sem fine-tuning, tem desempenho equivalente ao Jev em tarefas de uso de computador, jogos e chamada de ferramentas, e que aceita o formato de solicitação do Jev sem alterações.7 Enviamos solicitações nesse formato.
Velocidade e sucesso
Kev-27B, Eikos-27B e AutoJev-27B concluíram de 68% a 80% das tarefas com mediana de cerca de 7 segundos por tentativa, mais rápido que Gemini com 12,7 segundos e Astra com 17.4. decider-4b, decider-12b e Jev levaram de 2.5 a 4,2 segundos por tentativa e declararam de 19 a 24 tarefas bloqueadas.
GLiDE concluiu 72% com mediana de 46,8 segundos por tentativa, o mais lento de todos os models, e 3 de suas tentativas atingiram o limite de 900 segundos.
GLiNER2.5-Decide (0,2 segundos) declarou 49 de 50 tarefas concluídas em sua primeira decisão, e Kev-4B declarou 29 tarefas bloqueadas na sua primeira.
Kev-9B teve uma mediana de 38,3 segundos por tentativa, cinco vezes Kev-27B. Cada decisão do Kev-9B levou uma mediana de 3,7 segundos de tempo de servidor, contra cerca de 1 segundo para uma chamada completa à API do Jev. A sobrecarga de solicitação adicionou cerca de meio segundo.
Kev-9B teve média de 26 decisões por tentativa, contra cerca de 4 para o Jev, e 90% delas ocorreram em tentativas com falha.
Custo
Custo da automação de navegador
† Estimativa: custo A100 por token de entrada do teste de produtividade de classificação, multiplicado pelos tokens de entrada do navegador, mais as taxas do assistente de texto. Método em metodologia.
‡ O valor mais alto adiciona 17 solicitações que falharam sem informar tokens, contadas com 120.000 tokens de entrada cada; Fastino pode não cobrar por elas.
Astra, Gemini e Jev usaram cada um de 3.150 a 3.470 tokens de entrada por decisão. O preço de entrada da Astra é cerca de 240 vezes o do Jev.89
Com baixo raciocínio, a Astra produziu 6.599 tokens de saída em 307 decisões, contra 968.376 tokens de entrada. O preço de saída do Jev é $0.
No preço de entrada do Jev, os 968.376 tokens de entrada de decisão da Astra teriam custado cerca de $0,04 em vez de $9.68. Kev-27B ficou a sete tarefas da Astra por um valor estimado de $0,25 nas 50 tarefas, contra $10,63 da Astra.
Nessas estimativas, todos os models de decisão da tabela que concluíram uma tarefa, exceto Kev-9B, custaram menos por tarefa concluída do que Gemini. Nenhum custou menos que o Jev.
- Kev-9B custou cerca de 3 vezes Gemini e 46 vezes o Jev por tarefa concluída. Seu custo estimado de A100 foi de cerca de $0,47 por milhão de tokens de entrada, 11 vezes o preço da API do Jev, e tomou 1.321 decisões contra 185 do Jev.
- O Kev-4B teve um custo estimado de GPU por token de cerca de 6.5 vezes o preço da OpenRouter.
O tempo de A100 que alugamos para a execução do Kev-9B, 3.32 horas incluindo configuração e tempo ocioso, totalizou cerca de $5.31. Uma taxa do Jev e duas taxas do Gemini não foram registradas e estão faltando na tabela.
Custo de classificação
Os models hospedados têm preços de tabela de API, exceto o Solar Decide pelas taxas cobradas. Os models locais são precificados por 1.000 decisões na maior produtividade que medimos em uma A100 alugada.
Uma A100 alugada custa cerca de $40 por dia, ocupada ou ociosa. Na taxa que registramos, $40 compram cerca de um milhão de decisões do Jev.
Adicionar como fonte preferencialTreinamento de models de decisão
Fizemos fine-tuning do Kev-9B e da Laya em decisões que o GLM-5.3-Flash, o model de rotulagem, tomou em tarefas de navegador de oito sites fora do benchmark. Depois executamos as 50 tarefas novamente. Cada model fine-tuned é comparado com sua versão original, executada no mesmo dia e hardware.
O Kev fine-tuned e as duas Laya versões estão no Hugging Face.
O p vem de um teste pareado nas mesmas 50 tarefas (McNemar exato), e p abaixo de 0.05 conta como significativo. O Kev original concluiu 21 tarefas nesta comparação, uma a mais do que nos resultados acima. Um dos 12 ganhos do Kev, C02, foi um timeout do navegador na execução original, e não uma falha do model. Sem ele, o Kev ganhou 11 tarefas e perdeu 1 (p = 0.006).
- O Kev fine-tuned ganhou tarefas em seis dos nove sites, três em cada um no Quotes to Scrape e no Scrape This Site. Seus resultados no Web Scraper, na Wikipedia e nos formulários TestPages não mudaram.
- O Kev fine-tuned terminou 5 tentativas bloqueadas contra 12 e atingiu o limite de ações 6 vezes contra 11. Declarou uma tarefa inacabada como concluída 7 vezes, contra 4.
- Em 41 tarefas dos sites de treinamento que ficaram fora do treinamento, o Kev concluiu 21 contra 13 antes. Em 101 decisões individuais de 19 dessas tarefas, escolheu a operação do model de rotulagem 94% das vezes, contra 62% antes.
- O primeiro fine-tune do Laya escolheu a operação do model de rotulagem em 75% das 88 decisões que conseguiu ler, contra 19% para o Laya original. Declarou tarefa concluída em uma página que ainda precisava de ação 2 vezes em vez de 53.
- No benchmark, o primeiro fine-tune do Laya declarou uma tarefa inacabada como concluída 36 vezes, uma vez antes de executar qualquer ação. O Laya original fez isso 32 vezes, 17 delas antes de qualquer ação.
Casos de uso de models de decisão
- Verificar o sinal de conclusão de um agente. Na última página que um agente de navegador viu antes de declarar a tarefa concluída, 13 dos 22 models de decisão pontuaram acima de 90 ao distinguir concluído de não concluído, e AutoJev-27B, Clef e Kev-27B pontuaram 99.5. Não testamos verificações em páginas anteriores de uma execução.
- Triagem com rótulos fixos, como classificar avisos de segurança ou recalls. decider-12b superou respostas aleatórias por 21 pontos em severidade e 29 em recalls. Em tópicos de artigos, um classificador por palavras-chave treinado em 28.595 artigos rotulados pontuou 70.4, e nenhum model de decisão pontuou significativamente mais alto; o mesmo tipo de classificador ficou perto do aleatório em severidade e recalls.
- Escolher cada ação na automação de navegador. O melhor model de decisão, Kev-27B, concluiu 40 de 50 tarefas, contra 42 e 47 dos dois LLMs. O fine-tuning do Kev-9B em 606 decisões de outros sites o elevou de 21 para 32.
Nas duas principais tarefas de classificação, os models de decisão locais custaram estimados $0,014 a $0,36 por 1.000 decisões em uma GPU alugada e tiveram média inferior a um segundo por decisão. Nas tarefas de navegador, o preço de entrada do Jev foi cerca de 1/240 do GPT-6 Astra.
Cada resposta também vem com uma probabilidade por opção, que um aplicativo poderia usar para encaminhar casos incertos a um LLM. Não testamos o quanto essas probabilidades correspondem à precisão real. Dezessete dos 22 models rodaram em uma única GPU alugada; Jev, Solar Decide, GLiDE, Clef e Clef-Flash são APIs hospedadas.
Metodologia
Benchmark de automação de navegador
Todos os models usaram o mesmo runtime de navegador jev-ultrafast. A cada etapa, ele transformava a página atual em texto da página mais uma lista numerada de controles visíveis. O model escolhia uma operação, como clicar, digitar, selecionar, concluído ou bloqueado, e um alvo dessa lista. O runtime executava a ação e relia a página.
Os models de decisão classificam as opções fornecidas e não retornam texto. Quando qualquer model escolhia digitar, o assistente de texto escrevia o valor no campo do formulário. Cada tentativa começava em uma nova sessão do navegador.
GPT-6 Astra, Gemini 3.8 Flash, Jev, Kev-9B e Laya rodaram em 22 de setembro de 2026, com o navegador em um Mac e Kev-9B em uma GPU A100 alugada.
GLiNER2.5-Decide e CLM-v0.1-8B rodaram em 25 de setembro em GPUs RTX 4090 alugadas com Chrome no Linux. Kev-4B rodou em 29 de setembro em uma GPU RTX A6000 alugada. Solar Decide rodou em 30 de setembro via OpenRouter no mesmo Mac, e Nimble 9B e os dois models Tev1 rodaram no mesmo dia via Ollama 0.35.0 em uma GPU RTX A6000 alugada com Chrome no Linux.
GLiDE, Clef e Clef-Flash rodaram em 2 de outubro pelas APIs de seus provedores no mesmo Mac, com Chrome 154 em vez de 153. Kev-27B, AutoJev-27B, Eikos-27B, Eikos-4B, decider-4b e decider-12b rodaram em 2 e 3 de outubro em GPUs A100 alugadas com Chrome no Linux.
Nenhuma solicitação foi encurtada para caber em um model. O Solar Decide, via sua API, e o Ollama aceitam de 2 a 26 opções por pergunta. Uma solicitação fora desses limites encerrava a tentativa, assim como solicitações grandes demais faziam para Laya. O Ollama aceita descrições de opções apenas como texto, então opções estruturadas foram enviadas como texto JSON compacto. Tev1 vem com contexto de 2.050 tokens; nós o elevamos para 8.194, a configuração do próprio Nimble, para que as páginas não fossem cortadas.
O serviço da Cloudflare lê apenas os primeiros 2.048 tokens do texto da página para Clef e Clef-Flash. Não enviamos páginas mais longas, o que encerrou uma tentativa para cada model.
Clef, Clef-Flash, decider e Eikos exigem pelo menos duas opções por pergunta. Uma pergunta com uma opção, como o único campo de texto de uma página, era enviada com essa opção duas vezes, e a resposta era mapeada de volta para ela.
Executamos Kev-9B com o código de referência do produtor em precisão total de 32 bits. Dois pacotes de kernel opcionais que aceleram seu model base não foram instalados, então o model recorreu aos kernels de referência mais lentos. Não testamos uma configuração de GPU mais rápida.
O próprio código do CLM transforma cada solicitação em texto. O GLiNER recebeu o mesmo texto, com o objetivo e as regras de cada pergunta como seu prompt. Kev-4B também é servido na OpenRouter pela SiliconFlow com precisão de 8 bits.10 Executado por ela a partir do Mac em 29 de setembro, Kev-4B concluiu 6 tarefas.
Models de navegador
Raciocínio baixo é uma configuração de esforço definida pelo provedor. As 307 decisões da Astra incluíram 791 tokens de raciocínio relatados. Kev-9B11 e Kev-4B12 vêm do mesmo desenvolvedor, e Nimble 9B é da Bespoke Labs.13 O GLiDE vem da Fastino, desenvolvedora do GLiNER2.5-Decide,14 e Clef e Clef-Flash da Cloudflare.15
Dataset
As 50 tarefas cobrem nove sites: oito sites de prática criados para scraping e testes, além da Wikipedia. As tarefas incluem navegação por catálogo, busca, ordenação, paginação, opções de produto, formulários e consultas de artigos. Cada tarefa começa a partir de uma URL fixa e declara o estado final em uma frase, por exemplo “Mude para Ficção Científica, encontre Duna (Duna #1), abra os detalhes do produto e pare.”
Antes de os models rodarem, uma execução programada concluiu todas as 50 tarefas usando apenas as ações suportadas pelo runtime. Cada tarefa é solucionável sem senhas, CAPTCHAs ou a tecla Enter.
Tarefas de exemplo
Dez das 50 tarefas estão publicadas no Hugging Face com as instruções, URL inicial, condições de aprovação e o resultado de cada model. As outras 40 são retidas para execuções posteriores.
Avaliação
Uma tarefa passava quando o model a declarava concluída dentro dos limites e uma verificação separada da página final confirmava todas as condições: uma URL final aceita, os fatos da tarefa visíveis na página, mais de 100 caracteres de texto da página e uma página totalmente carregada.
Cada tentativa tinha 900 segundos, 60 ações do navegador e 120 chamadas de decisão. Erros de API contavam como falhas. O tempo vai da primeira página carregada até a verificação final.
Os models não podiam ver o status de carregamento da página que a verificação exigia. Jev no B05 e Gemini no M04 chegaram ao conteúdo correto, mas falharam apenas nessa verificação, e contam como falhas.
Custo
O custo de API cobre as chamadas de decisão e o assistente de texto, para todas as 50 tentativas por model. A OpenRouter informou as taxas de GPT-6 Astra, Gemini e Mercury. O custo do Jev é o de seus tokens relatados ao preço de tabela em 22 de setembro de 2026: $0,042 por milhão de tokens de entrada e nenhuma cobrança pela saída.4 GLiDE, Clef e Clef-Flash também são precificados pelos preços de tabela.
As execuções de navegador auto-hospedadas usaram uma A100, A6000, RTX 4090 ou um Mac. Nós precificamos todas elas na A100 do teste de custo de classificação, a $1,673 por hora: o custo por token de entrada de cada model nesse cenário, vezes seus tokens de entrada do navegador, mais as taxas do assistente de texto.
Ambas as cargas de trabalho são quase totalmente de entrada, porque esses models retornam pontuações de opções ou poucos tokens. A estimativa supõe que o custo cresce proporcionalmente aos tokens de entrada. As entradas do navegador tiveram em média de 2 a 12 vezes o comprimento das perguntas de classificação do mesmo model, e não passamos as páginas do navegador pelo teste de produtividade.
Fine-tuning
As 327 tarefas, 286 para treinamento e 41 separadas, vêm de oito sites que não estão no benchmark, incluindo Demo Web Shop, Automation Exercise e Project Gutenberg. Cada tarefa foi verificada em um navegador: sua página inicial falha no avaliador e, quando a tarefa termina em uma URL diferente, essa página passa.
O GLM-5.3-Flash, um model de pesos abertos sob a licença MIT,16 tentou 300 das tarefas no runtime do benchmark com raciocínio baixo. Erros do provedor o impediram nas outras 27. Não usamos GPT-6 Astra nem Gemini para isso, porque os termos da OpenAI e da Google proíbem usar sua saída para construir models concorrentes.1718
As 184 execuções de treinamento bem-sucedidas geraram 606 registros de decisão. Uma execução contava como bem-sucedida quando o avaliador a aprovava, ou quando chegava à página de produto correta pela busca do site e falhava apenas na verificação exata de URL, como 11 execuções em todas as tarefas fizeram.
O teste de decisão única repete 103 decisões gravadas de 19 tarefas separadas e conta com que frequência um model escolhe a operação do model de rotulagem. O Kev conseguiu ler 101 delas. Laya conseguiu ler 88 quando recebia apenas as perguntas que cada etapa exige, e 34 na solicitação completa que o benchmark envia. Nessas 34, a Laya original concordou 29% das vezes, o primeiro fine-tune 71% e o segundo 41%.
Ambos os models partiram dos pesos originais que avaliamos no benchmark e usaram as receitas de treinamento de seus produtores com os limites de entrada do benchmark. O Kev também treinou por duas épocas em vez de uma, sem os registros de replay do produtor. Cada execução de treinamento levou menos de 20 minutos em uma H100 GPU.
O primeiro fine-tune da Laya usou os mesmos 606 registros, pulando os longos demais para a Laya. O segundo manteve apenas os 292 que cabiam na solicitação completa que o benchmark envia e adicionou 102 das próprias execuções da Laya, em que o GLM-5.3-Flash assumia depois que a Laya declarava uma tarefa concluída ou bloqueada. O Kev não teve segunda rodada.
O par do Kev e o primeiro par da Laya rodaram em uma H100 alugada na França, com Chrome no Linux. O segundo par da Laya rodou no Mac do benchmark principal. Todos os pares usaram as 50 tarefas, o runtime, os limites e o avaliador do benchmark principal, com uma tentativa por tarefa.
Benchmark de classificação
Cada item é uma decisão com um conjunto fixo de opções. Os itens vêm de registros publicados de julho a setembro de 2026 e de instantâneos não publicados de páginas finais de nossas próprias execuções de navegador. Não se pode descartar sobreposição de treinamento.
As três primeiras tarefas pedem que um model reproduza uma decisão registrada por uma instituição, apenas a partir do texto. GitHub e a FDA podem ter usado evidências que o texto não contém. Os níveis de severidade do GitHub são os quatro níveis do CVSS, o sistema padrão de pontuação de vulnerabilidades.19
Todos os models receberam as mesmas instruções e definições de opções para uma tarefa: as definições de classe da FDA, as faixas de severidade do GitHub, as descrições de categoria do arXiv. A ordem das opções foi embaralhada por item e foi a mesma para todos os models. Severidade de falha de segurança e nível de perigo do recall são as tarefas principais, fixadas antes de qualquer execução; tópicos de artigos e a verificação de tarefa concluída são complementares.
A pontuação é a acurácia balanceada: a taxa de sucesso dentro de cada resposta possível, calculada em média entre as respostas.
Um model que sempre dá a resposta mais comum pontua 25 em severidade, 33 em recall e 5 em tópicos de artigos. A pontuação do gráfico é a média das duas tarefas principais, onde essa resposta pontua cerca de 29. Os intervalos são intervalos bootstrap de 95% que reamostram itens relacionados juntos: avisos para o mesmo pacote, recalls do mesmo evento de recall, páginas da mesma tarefa de navegador.
Dois LLMs, Qwen 3.8 Max e Claude Opus 5.5, rotularam uma amostra de 350 itens de teste, 100 por tarefa e 50 páginas de navegador, sem ver a resposta registrada.
Eles concordaram entre si em 62 de 100 avisos, 69 de 100 recalls, 84 de 100 artigos e 49 de 50 páginas de navegador. Onde discordaram do registro em avisos e recalls, ficaram em sua maioria um nível de distância, em direção aos níveis intermediários. Eles corresponderam à severidade do GitHub em 55 e 56 de 100 avisos.
Ambos os juízes deram a mesma resposta, diferente do registro, em 54 itens. Verificamos os 53 registros do GitHub, da FDA e do arXiv com a fonte ao vivo, e todos corresponderam, então nenhum rótulo mudou.
A única página de navegador foi rotulada como concluída porque o avaliador contou pelo menos 40 avaliações na página completa, enquanto o instantâneo que os models veem mostra cerca de nove. Nós a removemos e os outros 48 itens de verificação de tarefa cuja resposta dependia de contar 10 ou mais itens, o que deixa 155.
Os custos locais valem para a configuração que testamos naquela GPU; outra configuração de servidor ou GPU os alteraria. Entre a execução pontuada e a execução de custo, CLM-v0.1-8B mudou 3,7% de suas respostas, Shisa DE-1 2,2% e Tev1 0.8B 1,2%, de modo que seus custos vêm de uma configuração que não reproduziu exatamente suas pontuações. Os outros 14 models locais mudaram menos de 1%.
Exceções à execução de cada model conforme lançado:
- Laya rodou com contexto de 8.192 tokens em vez dos 512 lançados (1.024 para typed-decisions), e Tev1 com 8.194 em vez de 2.050, como em nossas execuções de navegador.
- Onde o próprio código da Laya teria cortado uma opção ou entrada longa, nosso conector rejeitava a solicitação, e uma rejeição conta como resposta errada. Toda solicitação de tópico de artigo foi rejeitada porque as descrições de tópico são mais longas que os 48 tokens que a Laya lê por opção.
- O contexto do encoder do CLM foi elevado de 2.048 para 16.384 tokens; o GLiNER rodou além de sua entrada documentada de 512 tokens. A Shisa usou contexto de 32.768 tokens para caber na memória da GPU.
- Não conseguimos executar Decision-1.0-Lux-9B: seu runtime roda esse model apenas em AMD (ROCm) GPUs, e usamos uma NVIDIA GPU.
- A Together AI não havia publicado uma licença para os pesos do Tev1 até 30 de setembro de 2026.
- O serviço da Cloudflare lê apenas os primeiros 2.048 tokens do texto do item para Clef e Clef-Flash, embora os models aceitem 65.536. Os 12 itens mais longos, 9 em severidade e 3 em recalls, contam como respostas erradas.
Limitações
Cada model tentou cada tarefa de navegador uma vez, então uma diferença de algumas tarefas entre dois models não mostra qual é melhor.
As 50 tarefas vêm de nove sites, e tarefas no mesmo site compartilham layouts de página. Os models rodaram em sites ao vivo, que podem mudar entre as execuções.
O formato de etapa, uma lista de operações mais listas de alvos, foi criado primeiro para o Jev. Todos os models receberam o mesmo formato. Não testamos se outro formato alteraria os resultados. Laya rodou com limites de entrada acima das configurações lançadas para que páginas longas não fossem cortadas.
No benchmark de classificação, cada model respondeu cada item uma vez. As respostas do GitHub e da FDA são as decisões registradas dessas instituições, que podem se basear em evidências que o aviso ou o texto do recall não contém.
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk},
title = {{AIM-Decision: Jev versus Kev versus LLMs}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/decision-models}},
note = {AIMultiple. Acessado em 5 outubro 2026}
}Resultados e carimbos de data/hora de 257 pontos de dados. Baixe os dados resumidos exibidos nos gráficos e tabelas deste artigo como um arquivo ZIP contendo 10 arquivos CSV e um README.
Quer os dados granulares por trás disso? Assine o Premium
Links de referência
A seguir, leia
Os 5 Principais Serviços de Inteligência de Ameaças Cibernéticas em Benchmark
Melhores Ferramentas de Gerenciamento de Vulnerabilidades
Soluções de segurança de e-mail: Acronis Email Security & Sophos
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.