Premium
Serviços
Premium

LLM Roteador Benchmark: 8 roteadores em 523 tarefas de banco de dados agênticas

Berkay Yıla
Berkay Yıla
atualizado em 18 nov. 2026

Testamos 8 LLM roteadores em 523 tarefas de banco de dados agênticas e comparamos cada um com models individuais em precisão e custo.

Resultados do benchmark de roteadores agênticos

Select routers and models
*Large dots: routers. Small dots: single models.
NameSeries$ per 1,000 questions, router fees included (log scale)Score (%)ScoreCostPoolLabel
Fireworks Nexus AutoFireworks Nexus Auto1.9335.9535.9%1.9Router's own, open modelsFireworks Nexus Auto
Not DiamondNot Diamond50.5250.8650.9%50.519 modelsNot Diamond
NVIDIA Switchyard (Sol + Luna)NVIDIA Switchyard (Sol + Luna)16.656.2156.2%16.6GPT-6.1 Sol + GPT-6 LunaNVIDIA Switchyard (Sol + Luna)
OpenRouter AutoOpenRouter Auto1.9728.6828.7%2.0Router's ownOpenRouter Auto
OpenRouter Auto CodeOpenRouter Auto Code24.6252.7752.8%24.6Router's ownOpenRouter Auto Code
Sakana Fugu MaxSakana Fugu Max29.9627.3427.3%30.0Router's ownSakana Fugu Max
TypeSafe JevTypeSafe Jev2.0929.4529.4%2.1Router's ownTypeSafe Jev
Unbiased Pareto 26.10Unbiased Pareto 26.1013.1844.1744.2%13.2Router's ownUnbiased Pareto 26.10
Claude Fable 5Anthropic150.3460.0460.0%150.3single modelClaude Fable 5
Claude Fable 5.1Anthropic718.9662.9162.9%719.0single modelClaude Fable 5.1
Claude Fable 5.2Anthropic109.4385.2885.3%109.4single modelClaude Fable 5.2
Claude Haiku 5.5Anthropic1.9226.226.2%1.9single modelClaude Haiku 5.5
Claude Opus 4.8Anthropic148.8350.6750.7%148.8single modelClaude Opus 4.8
Claude Opus 5Anthropic77.860.9961.0%77.8single modelClaude Opus 5
Claude Opus 5.5Anthropic236.5584.8984.9%236.5single modelClaude Opus 5.5
Claude Sonnet 5Anthropic76.6434.4234.4%76.6single modelClaude Sonnet 5
Claude Sonnet 5.5Anthropic53.8170.3670.4%53.8single modelClaude Sonnet 5.5
Command A PlusCohere9.1930.2130.2%9.2single modelCommand A Plus
DeepSeek V4 FlashDeepSeek2.9130.430.4%2.9single modelDeepSeek V4 Flash
DeepSeek V4 Flash 0731DeepSeek1.6633.8433.8%1.7single modelDeepSeek V4 Flash 0731
DeepSeek V4 ProDeepSeek11.2835.3735.4%11.3single modelDeepSeek V4 Pro
DeepSeek V4 Pro 0813DeepSeek13.9540.9240.9%13.9single modelDeepSeek V4 Pro 0813
DeepSeek V4.1 FlashDeepSeek4.2530.7830.8%4.2single modelDeepSeek V4.1 Flash
DeepSeek V4.1 Flash 1017DeepSeek2.0520.6520.7%2.0single modelDeepSeek V4.1 Flash 1017
Gemini 3 Flash PreviewGoogle9.3759.6659.7%9.4single modelGemini 3 Flash Preview
Gemini 3.1 Flash LiteGoogle6.9542.0742.1%6.9single modelGemini 3.1 Flash Lite
Gemini 3.1 Pro PreviewGoogle90.0460.4260.4%90.0single modelGemini 3.1 Pro Preview
Gemini 3.5 Flash LiteGoogle8.5248.7648.8%8.5single modelGemini 3.5 Flash Lite
Gemini 3.6 FlashGoogle27.3858.8958.9%27.4single modelGemini 3.6 Flash
Gemini 3.7 FlashGoogle25.0869.4169.4%25.1single modelGemini 3.7 Flash
Gemini 3.8 FlashGoogle32.6765.3965.4%32.7single modelGemini 3.8 Flash
Gemini 4 ArgonGoogle48.4477.8277.8%48.4single modelGemini 4 Argon
Gemini 4 CarbonGoogle75.6777.2577.2%75.7single modelGemini 4 Carbon
GLM 4.7Zhipu AI10.8425.0525.0%10.8single modelGLM 4.7
GLM 5.1Zhipu AI12.838.4338.4%12.8single modelGLM 5.1
GLM 5.2Zhipu AI6.7139.239.2%6.7single modelGLM 5.2
GLM 5.3Zhipu AI24.2738.6238.6%24.3single modelGLM 5.3
GLM 5.3 FlashZhipu AI4.2236.1436.1%4.2single modelGLM 5.3 Flash
GLM 5.3 PrimeZhipu AI69.8635.1835.2%69.9single modelGLM 5.3 Prime
GPT-5.2OpenAI29.9731.9331.9%30.0single modelGPT-5.2
GPT-5.4 MiniOpenAI7.0324.2824.3%7.0single modelGPT-5.4 Mini
GPT-5.4 NanoOpenAI2.8521.0321.0%2.8single modelGPT-5.4 Nano
GPT-5.5OpenAI75.5244.9344.9%75.5single modelGPT-5.5
GPT-5.6 LunaOpenAI13.8733.4633.5%13.9single modelGPT-5.6 Luna
GPT-5.6 SolOpenAI60.8349.949.9%60.8single modelGPT-5.6 Sol
GPT-5.6 TerraOpenAI30.7139.3939.4%30.7single modelGPT-5.6 Terra
GPT-6 LunaOpenAI1.3438.8138.8%1.3single modelGPT-6 Luna
GPT-6 Luna ProOpenAI3.9138.2438.2%3.9single modelGPT-6 Luna Pro
GPT-6 SolOpenAI21.8350.4850.5%21.8single modelGPT-6 Sol
GPT-6 Sol ProOpenAI59.1150.6750.7%59.1single modelGPT-6 Sol Pro
GPT-6.1 Sol (reference)OpenAI15.4561.1961.2%15.4single model, run with the routersGPT-6.1 Sol (reference)
GPT-6.1 Sol (text-to-SQL)OpenAI15.9161.3861.4%15.9single modelGPT-6.1 Sol (text-to-SQL)
GPT-6.1 Sol ProOpenAI44.1259.8559.8%44.1single modelGPT-6.1 Sol Pro
GPT-6.1 TerraOpenAI8.7653.5453.5%8.8single modelGPT-6.1 Terra
GPT-OSS 120BOpenAI0.59719.8919.9%0.6single modelGPT-OSS 120B
Grok 4.3xAI16.1341.6841.7%16.1single modelGrok 4.3
Grok 4.5xAI26.2448.5748.6%26.2single modelGrok 4.5
Grok 4.6xAI41.7858.3258.3%41.8single modelGrok 4.6
Grok 4.7xAI37.148.3748.4%37.1single modelGrok 4.7
HY4 PreviewTencent12.7845.1245.1%12.8single modelHY4 Preview
Kimi K2.6Moonshot AI19.1343.7943.8%19.1single modelKimi K2.6
Kimi K3Moonshot AI48.2445.3245.3%48.2single modelKimi K3
Kimi K3.1 ProMoonshot AI3249.1449.1%32.0single modelKimi K3.1 Pro
Llama 4 MaverickMeta6.128.1128.1%6.1single modelLlama 4 Maverick
MiMo V2.6 ProXiaomi4.9338.8138.8%4.9single modelMiMo V2.6 Pro
MiniMax M2.5MiniMax3.4529.4529.4%3.5single modelMiniMax M2.5
MiniMax M3MiniMax4.8534.0334.0%4.9single modelMiniMax M3
MiniMax M3.1 FlashMiniMax2.7133.8433.8%2.7single modelMiniMax M3.1 Flash
Mistral Large 4.0Mistral AI18.6526.7726.8%18.7single modelMistral Large 4.0
Mistral Small 2603Mistral AI1.7423.3323.3%1.7single modelMistral Small 2603
Muse EmberMeta2.9937.4837.5%3.0single modelMuse Ember
Muse Glimmer 30BMeta6.431.1731.2%6.4single modelMuse Glimmer 30B
Muse Spark 1.1Meta27.7739.0139.0%27.8single modelMuse Spark 1.1
Muse Spark 1.2Meta39.5645.8945.9%39.6single modelMuse Spark 1.2
Muse Spark 1.3Meta38.6743.9844.0%38.7single modelMuse Spark 1.3
Muse Spark OpenMeta27.141.8741.9%27.1single modelMuse Spark Open
Muse WonderMeta94.2854.4954.5%94.3single modelMuse Wonder
Nemotron 3 Ultra 550B A55BNVIDIA25.2831.9331.9%25.3single modelNemotron 3 Ultra 550B A55B
Qwen3.5 27BAlibaba12.4937.2837.3%12.5single modelQwen3.5 27B
Qwen3.6 27BAlibaba19.4847.847.8%19.5single modelQwen3.6 27B
Qwen3.6 FlashAlibaba8.6934.2334.2%8.7single modelQwen3.6 Flash
Qwen3.7 PlusAlibaba8.8839.7739.8%8.9single modelQwen3.7 Plus
Qwen3.8 2.4T A95BAlibaba32.2848.7648.8%32.3single modelQwen3.8 2.4T A95B
Qwen3.8 27BAlibaba14.2543.443.4%14.2single modelQwen3.8 27B
Qwen3.8 FlashAlibaba2.541.6841.7%2.5single modelQwen3.8 Flash
Qwen3.8 MaxAlibaba30.5446.2746.3%30.5single modelQwen3.8 Max
Qwen3.8 Max 0902Alibaba31.5236.3336.3%31.5single modelQwen3.8 Max 0902
Qwen3.8 Max PrimeAlibaba62.9134.9935.0%62.9single modelQwen3.8 Max Prime
Solar Pro4Upstage2.1423.3323.3%2.1single modelSolar Pro4
Tencent HY3Tencent2.0543.2143.2%2.1single modelTencent HY3

Para cada um dos 8 roteadores, pelo menos um model individual que executamos pontuou tão alto ou mais alto e custou o mesmo ou menos por pergunta. No gráfico, a área verde marca resultados que custaram menos que GPT-6.1 Sol e pontuaram acima de 50%.

Para cada pergunta, o agente primeiro escolhe um dos 11 bancos de dados e depois escreve consultas SQL contra ele. Ele pode chamar um model até 10 vezes por pergunta, e o roteador escolhe o model para cada chamada. Um pool é o conjunto de models do qual um roteador pode escolher.

Pontuações por roteador

LabelLabel shortCI lowCI highScore (%)
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)57.1765.3961.19
NVIDIA Switchyard (Sol + Luna)Switchyard51.8260.4256.21
OpenRouter Auto CodeAuto Code48.3756.9852.77
Not Diamond (19 models)Not Diamond46.4655.0750.86
Unbiased Pareto 26.10Unbiased Pareto39.9648.3744.17
Fireworks Nexus AutoNexus Auto31.7440.1535.95
TypeSafe JevTypeSafe Jev25.6233.2729.45
OpenRouter AutoOpenRouter Auto24.8632.728.68
Sakana Fugu MaxFugu Max23.5231.3627.34

Todos os 8 roteadores pontuaram claramente abaixo do GPT-6.1 Sol. O Switchyard chegou mais perto, 5.0 pontos abaixo. Seu intervalo de 95% se sobrepõe ao do Sol, mas o teste nas mesmas perguntas separa os dois (ver Estatísticas).

Cada roteador contra seu model mais usado

Router score vs its most used model's score
LabelLabel shortRouter scoreAlone scoreMain model nameMain model shortMain model shareRouterMost used model
OpenRouter AutoOpenRouter Auto28.7%26.2%Claude Haiku 5.5Haiku 5.599%28.6826.2
TypeSafe JevTypeSafe Jev29.4%26.2%Claude Haiku 5.5Haiku 5.598%29.4526.2
Fireworks Nexus AutoNexus Auto35.9%36.1%GLM 5.3 FlashGLM 5.3 Flash99%35.9536.14
Not Diamond (19 models)Not Diamond50.9%49.9%GPT-5.6 SolGPT-5.6 Sol100%50.8649.9
OpenRouter Auto CodeAuto Code52.8%61.2%GPT-6.1 SolGPT-6.1 Sol71%52.7761.19
NVIDIA Switchyard (Sol + Luna)Switchyard56.2%61.2%GPT-6.1 SolGPT-6.1 Sol75%56.2161.19

Dos seis roteadores que nomeiam seu model, quatro pontuaram dentro de 3.3 pontos de seu model mais usado. O Switchyard dividiu suas chamadas entre GPT-6.1 Sol e GPT-6 Luna, e o Auto Code entre GPT-6.1 Sol e GLM 5.3. Eles pontuaram 5.0 e 8.4 pontos abaixo do Sol.

Os roteadores não compartilharam um pool, então essas lacunas refletem tanto o roteador quanto os models que ele podia escolher. A seção de pool compartilhado compara três roteadores com os mesmos dois models. Definimos os pools para Switchyard e Not Diamond (ver Roteadores e pools).

Tempo por pergunta

Median seconds per question
LabelLabel shortSec labelSeconds
OpenRouter AutoOpenRouter Auto8.8 s8.8
TypeSafe JevTypeSafe Jev9.0 s8.96
OpenRouter Auto CodeAuto Code10.4 s10.42
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)10.7 s10.69
Fireworks Nexus AutoNexus Auto10.8 s10.81
Unbiased Pareto 26.10Unbiased Pareto12.7 s12.68
Sakana Fugu MaxFugu Max13.3 s13.28
NVIDIA Switchyard (Sol + Luna)Switchyard15.4 s15.44
Not Diamond (19 models)Not Diamond17.3 s17.28

Not Diamond com 19 models e o Switchyard foram os roteadores mais lentos. Eles levaram 17.3 e 15,4 segundos por pergunta na mediana. O GPT-6.1 Sol levou 10,7 segundos. O OpenRouter Auto e Jev foram os mais rápidos, com 8.8 e 9,0 segundos. Ambos enviaram quase todas as chamadas para Claude Haiku 5.5.

As chamadas do Auto Code para o GPT-6.1 Sol rodaram no nível de prioridade. Elas geraram em 1,5 segundos na mediana, contra 1,8 segundos para o GPT-6.1 Sol sem roteador. O roteamento através do Auto Code adicionou cerca de 0,2 segundos por chamada. Por pergunta, os dois levaram quase o mesmo tempo, 10.4 e 10,7 segundos na mediana.

Custos e taxas dos roteadores

Cost per 1,000 questions
LabelLabel shortTotalPer correctBilledComputed from list prices
Fireworks Nexus AutoNexus Auto$1.9$5.4—1.93
OpenRouter AutoOpenRouter Auto$2.0$6.91.97—
TypeSafe JevTypeSafe Jev$2.1$7.12.09—
Unbiased Pareto 26.10Unbiased Pareto$13.2$29.813.18—
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)$15.4$25.215.45—
NVIDIA Switchyard (Sol + Luna)Switchyard$16.6$29.516.6—
OpenRouter Auto CodeAuto Code$24.6$46.624.62—
Sakana Fugu MaxFugu Max$30.0$109.629.96—
Not Diamond (19 models)Not Diamond$50.5$99.343.766.76

O custo de um roteador é a fatura do model mais qualquer taxa de juiz ou de seleção. Se uma tentativa falhou e a pergunta foi executada novamente, contamos apenas a tentativa final. No gráfico, as partes listradas são calculadas a partir das tabelas de preços e o restante vem das faturas.

O Fireworks Nexus Auto custou menos por resposta correta, $5,4 por 1.000 respostas corretas a preços de tabela. Entre os roteadores com custo faturado, o OpenRouter Auto custou menos, $6.9.

Alguns roteadores custaram mais do que seu model mais usado. O custo extra veio do juiz do Switchyard, da taxa de seleção da Not Diamond e do nível de prioridade nas chamadas do Auto Code para o GPT-6.1 Sol. Em cada caso, o roteador não pontuou claramente acima de seu model mais usado.

Custo contra models individuais

Quatro roteadores custaram mais do que o GPT-6.1 Sol, que pontuou 61,2% por $15,4 por 1.000 perguntas. Todos os quatro pontuaram menos:

  • Not Diamond com 19 models: 50,9% por $50.5. A maior parte disso veio de suas chamadas ao GPT-5.6 Sol, e sua taxa de seleção adicionou $6,8 (ver Taxas e níveis de preço).
  • Sakana Fugu Max: 27,3%, a menor pontuação dos 8 roteadores, por $30.0. Ele não nomeia seu model. Fez 6.8 chamadas de model por pergunta, contra 5.5 do GPT-6.1 Sol. Sua chamada média custou cerca de 1.6 vezes uma chamada do GPT-6.1 Sol.
  • OpenRouter Auto Code: 52,8% por $24.6. Enviou 71% das chamadas para o GPT-6.1 Sol, e quase todas elas rodaram no nível de prioridade da OpenAI (ver Taxas e níveis de preço).
  • NVIDIA Switchyard: 56,2% por $16.6. Suas chamadas para GPT-6.1 Sol e GPT-6 Luna custaram $13,7, menos do que os $15,4 do Sol. Seu model de juiz adicionou $2,9 (ver Taxas e níveis de preço).

Nenhum dos três roteadores mais baratos pontuou acima do GPT-6 Luna, que pontuou 38,8% por $1,3 a cada 1.000 perguntas. O OpenRouter Auto e o TypeSafe Jev pontuaram cerca de 10 pontos a menos, 28,7% e 29,4%, por $2,0 e $2.1. O Fireworks Nexus Auto pontuou 35,9% por $1,9, sem diferença clara em relação ao Luna.

Taxas e níveis de preço

  • Para escolher um model para cada chamada, o Switchyard primeiro verifica os resultados das ferramentas até aquele momento. Erros e falhas repetidas apontam para o model mais forte. Quando os resultados das ferramentas não definem a escolha, como na primeira chamada de uma pergunta, um pequeno model de juiz, Gemini 3.5 Flash Lite, lê a pergunta e escolhe o model.1 Cada chamada do juiz é faturada como uma chamada normal de model. No pool compartilhado, o juiz adicionou $3,2 por 1.000 perguntas.
  • A Not Diamond cobra uma taxa por cada escolha de model. Contamos cada escolha a $0,001, o preço em sua lista de preços.2 No pool compartilhado, a taxa chegou a $6,3 por 1.000 perguntas, 40% do total de $15,8 da Not Diamond.
  • Auto Code obteve o nível de prioridade da OpenAI em quase todas as suas chamadas ao GPT-6.1 Sol. Pagou 2.04 vezes o preço por chamada do GPT-6.1 Sol. A OpenRouter diz que o nível de prioridade de um model fechado serve apenas quando uma solicitação o pede ou fixa o provedor,3 mas nossas solicitações não fizeram nenhum dos dois. Sem o nível, o Auto Code teria custado cerca de $13 por 1.000 perguntas em vez de $24.6.

Com 19 models, as chamadas da Not Diamond para o GPT-5.6 Sol custaram $43,8 por 1.000 perguntas, contra $60,8 para o GPT-5.6 Sol em nosso benchmark de texto para SQL. Um desconto de cache pode explicar a lacuna. A Not Diamond obteve o preço em cache em 69,5% de seus tokens de entrada. Nossa execução de texto para SQL não registrou o uso de cache, então não podemos confirmar isso.

Escolha e troca de model

Which models answered the calls
LabelLabel shortClaude Haiku 5.5DeepSeek V4.1 FlashGLM 5.3GLM 5.3 FlashGPT-5.6 SolGPT-6 LunaGPT-6.1 SolOther
OpenRouter AutoOpenRouter Auto98.631.37——————
TypeSafe JevTypeSafe Jev98.291.030.3206———0.14250.2138
Fireworks Nexus AutoNexus Auto——1.1598.85————
Not Diamond (19 models)Not Diamond, 19 models————100———
OpenRouter Auto CodeAuto Code——29.43———70.57—
NVIDIA Switchyard (Sol + Luna)Switchyard, Sol + Luna—————25.0274.98—

Das 9 execuções de roteador nas configurações padrão que nomeiam o model, cinco enviaram pelo menos 98% de suas chamadas para um único model. Foram eles OpenRouter Auto em seu próprio pool, Jev, Nexus Auto e Not Diamond em ambos os pools.

A lista de 19 models da Not Diamond também incluía Gemini 3 Flash Preview, que pontuou 59,7% por $9,4 a cada 1.000 perguntas. Nenhuma das escolhas da Not Diamond foi para o Gemini 3 Flash Preview. Todas as chamadas foram para o GPT-5.6 Sol, que pontuou 49,9%.

Troca dentro de uma pergunta

Nas configurações padrão, apenas o Switchyard trocou de models dentro de mais de 5% das perguntas. Ele fez isso em 308 de 523 perguntas com GPT-6.1 Sol e GPT-6 Luna, e em 35 no pool compartilhado.

Cada pergunta foi executada como uma sessão de roteador, com a mesma chave de sessão em cada chamada. Os docs do OpenRouter no Switchyard docs e no Pareto docs recomendam isso para agentes. Uma chave de sessão não impede um roteador de trocar de models. A maioria dos roteadores pode escolher um model para cada chamada. Os docs do OpenRouter no Auto docs dizem que uma troca custa mais, porque o novo model precisa reconstruir o prompt cache. Portanto, o Auto troca apenas quando vale a pena. Os docs da Fireworks no Nexus Auto docs dizem que ele escolhe um model para cada nova mensagem do usuário e o mantém para as chamadas de ferramentas dessa mensagem. Nosso agente envia uma mensagem de usuário com a pergunta e uma segunda que solicita a resposta final. Todas as 9 trocas do Nexus Auto vieram nessa segunda mensagem.

Comparação com mistura aleatória

Comparamos o Switchyard em ambos os pools e o Auto Code com uma mistura aleatória. A mistura aleatória responde a cada pergunta com um model, escolhido aleatoriamente nas proporções de chamadas do roteador. Sua pontuação esperada vem de nossas execuções de model individual.

O Switchyard com Sol e Luna pontuou 56,2%, contra 55,7% de sua mistura aleatória. O Switchyard no pool compartilhado pontuou 55,1% contra 52,4%. O Auto Code pontuou 52,8% contra 54,7%. Nenhum dos três roteadores se saiu claramente melhor ou pior do que sua mistura aleatória.

Três roteadores com um pool

Same two models, three routers
LabelLabel shortCost labelSame two models, three routers
Not Diamond, cost settingNot Diamond, cost$12.859.66
Gemini 3 Flash Preview (no router)Gemini (no router)$9.459.66
Not Diamond, default settingNot Diamond, default$15.859.27
NVIDIA SwitchyardSwitchyard$11.255.07
OpenRouter AutoOpenRouter Auto$3.432.89
DeepSeek V4 Flash (no router)DeepSeek (no router)$2.930.4

Para separar os models do roteamento, demos a três roteadores os mesmos dois models. O Gemini 3 Flash Preview é o forte, e o DeepSeek V4 Flash é o barato.

Resultados do pool compartilhado

Nas configurações padrão, nenhum roteador mostrou diferença clara em relação ao seu model mais usado, e nenhum pontuou acima do Gemini 3 Flash Preview.

A Not Diamond pontuou 1.9 pontos abaixo do GPT-6.1 Sol, e o Switchyard 6.1 pontos abaixo. Nosso teste não confirmou essas lacunas.

  • Na configuração padrão, a Not Diamond enviou 100% das chamadas para o Gemini 3 Flash Preview. Pontuou 59,3% contra 59,7% do Gemini 3 Flash Preview. Custou $15,8 por 1.000 perguntas contra $9.4.
  • Com a configuração de custo, a Not Diamond enviou 62% das chamadas para o DeepSeek V4 Flash. Ainda assim deu cada resposta final com o Gemini 3 Flash Preview. Pontuou 59,7%, o mesmo que o Gemini 3 Flash Preview, por $12,8 contra $9.4. Sua taxa de seleção, $7,5, foi mais do que o custo de suas chamadas de model.
  • O Switchyard enviou 75% das chamadas para o Gemini 3 Flash Preview e pontuou 55,1%, sem diferença clara em relação à Not Diamond.
  • O Auto enviou 97% das chamadas para o DeepSeek V4 Flash e pontuou 32,9%, próximo dos 30,4% do DeepSeek V4 Flash.

Adequação do model e limite de chamadas

Não encontramos nenhum sinal claro de que algum roteador tenha escolhido o model adequado à pergunta neste pool. Há 170 perguntas que o Gemini 3 Flash Preview resolve e o DeepSeek V4 Flash erra, e 17 em que ocorre o inverso. Cada roteador enviou uma proporção semelhante de suas chamadas para o DeepSeek V4 Flash em ambos os conjuntos, com no máximo 10 pontos de diferença. O conjunto de 17 é pequeno demais para mostrar uma diferença pequena.

O Auto atingiu o limite de 10 chamadas com mais frequência, em 37,3% das perguntas, contra 18,9% do Switchyard e 16,8% da Not Diamond.

O OpenRouter Auto também levou mais tempo neste pool, 17,5 segundos por pergunta na mediana. A Not Diamond levou 9,0 segundos com os mesmos dois models.

Deixe nossa equipe automatizar um dos seus processos de negócio com agentes de IA, gratuitamente.
Automatizar um processo

Cada roteador em resumo

Not Diamond

O roteador padrão da Not Diamond vem pré-treinado, então você não precisa treiná-lo antes de usar. Você também pode treinar um roteador personalizado com seus próprios dados.4 A Not Diamond não chama o model. Ela retorna o nome do model que escolhe, e seu próprio código então chama esse model. Os outros roteadores fazem a chamada por si mesmos. Por padrão, a Not Diamond escolhe pela qualidade. Uma configuração de compensação em cada solicitação pode fazê-la priorizar custo ou latência.5 Usamos o roteador padrão e executamos sua configuração de custo uma vez, no pool compartilhado.

NVIDIA Switchyard

O Switchyard roda na OpenRouter. Você lista até três models, e ele escolhe entre o mais barato e o mais caro deles. Ele não adiciona nenhuma taxa de roteamento própria.1

OpenRouter Auto

O OpenRouter Auto escolhe um model e um esforço de raciocínio para cada solicitação e não adiciona taxa.6 Uma lista em `allowed_models` é um limite rígido, e uma faixa de custo baixa, média ou alta define a política. Os docs dizem que o padrão custa mais do que o Auto antigo e sugerem a faixa baixa para manter os custos mais próximos dele. Em nosso teste, a faixa baixa pontuou 28,3% contra 28,7% do padrão, com os mesmos $2,0 por 1.000 perguntas, sem diferença clara.

OpenRouter Auto Code

O Auto Code roda no mesmo mecanismo do Auto, com uma política ajustada para agentes de codificação, e não adiciona taxa.7 Ele prefere mudar o esforço de raciocínio em vez de trocar de models, para manter o prompt cache. Trata `allowed_models` como um limite rígido. Quando demos a ele o pool compartilhado, todas as solicitações falharam com um erro que dizia que nenhum model medido atendeu à solicitação.

TypeSafe Jev

O Jev escolhe um model e um esforço de raciocínio para cada solicitação, e cada solicitação é faturada pelo preço do model para o qual vai.8 Uma lista de models é apenas uma preferência, e somente `excluded_models` bloqueia um model.9 Sua pontuação não mostrou diferença clara em relação ao OpenRouter Auto. Em 14 de novembro de 2026, a página de benchmark de roteadores da OpenRouter diz que o Auto agora é alimentado pelo Jev.10

Fireworks Nexus Auto

O Nexus Auto é um roteador da Fireworks, chamado com o id de model auto. Ele não aceita lista de models. Com uma chave da Fireworks, ele escolhe entre os models abertos da Fireworks.11

Unbiased Pareto 26.10

A OpenRouter lista o Unbiased Pareto 26.10 a $0,80 por milhão de tokens de entrada e $3,20 por milhão de tokens de saída.12 Ele não aceita lista de models, e a página não diz como escolhe um model nem quais models usa. Suas respostas nomeiam apenas o roteador. Pontuou 44,2% por $13,2 a cada 1.000 perguntas, abaixo e mais caro do que o Gemini 3 Flash Preview.

Sakana Fugu Max

A Sakana diz que o Fugu Max roda seu maior pool de models. O pool é fixo, e a Sakana não lista todos os seus membros. Ele custa $2 por milhão de tokens de entrada e $6 por milhão de tokens de saída, mais $0,007 para cada chamada interna de ferramenta web.13

Metodologia do benchmark de roteadores agênticos

Todos os roteadores receberam o mesmo agente, prompt, ferramentas e ordem de perguntas. Um proxy local registrou o model, tokens, custo e duração de cada chamada.

Configuração do benchmark de roteador LLM. O agente seleciona um banco de dados e escreve SQL. O roteador escolhe um model para cada chamada e um proxy local registra isso. A resposta é pontuada em relação ao resultado de referência.

Usamos 523 perguntas do nosso benchmark de texto para SQL, que se baseia no BIRD, um dataset público de texto para SQL. O agente não é informado sobre qual dos 11 bancos de dados usar, e os nomes dos bancos de dados são substituídos por aliases. Uma pergunta conta como correta quando o agente escolhe o banco de dados certo e sua consulta retorna o resultado de referência. Um erro conta como falha. Cada solicitação pode levar até 600 segundos.

Chamamos seis roteadores através da OpenRouter com os ids openrouter/auto, openrouter/auto-code, typesafe/jev-router, nvidia/switchyard, unbiased/pareto-26.10 e sakana/fugu-max. A Not Diamond rodou através de sua modelSelect API, e chamamos cada model escolhido por ela através da OpenRouter. O Fireworks Nexus Auto rodou através da Fireworks API. Também executamos o GPT-6.1 Sol sem roteador na mesma configuração. As outras pontuações de model individual vêm do nosso benchmark de texto para SQL nas mesmas 523 perguntas.

O tempo é a mediana de segundos por pergunta, medida do nosso lado ao longo de todas as etapas do agente. Cada roteador e pool rodou uma vez, de 13 a 16 de novembro de 2026. Todas as perguntas terminaram sem erro.

Roteadores e pools

Incluímos roteadores que tinham uma API pública no momento da execução e aceitavam chamadas de ferramentas. O OpenRouter Auto e o Auto Code rodaram após 6 de novembro de 2026, quando a OpenRouter reconstruiu o Auto e lançou o Auto Code.14

Seis roteadores rodaram em seu próprio pool com os padrões do fornecedor. Definimos o pool para o Switchyard e para a Not Diamond. Sem uma lista de models, o Switchyard escolhe dois dos 20 models com maior gasto na OpenRouter nos últimos sete dias, então o par muda com o tempo. Para manter o par fixo, demos a ele o GPT-6.1 Sol e o GPT-6 Luna. A Not Diamond exige uma lista de models. Demos a ela 19 models que ela suporta e que também testamos em nosso benchmark de texto para SQL.

Para comparar o roteamento com os mesmos models, executamos Not Diamond, NVIDIA Switchyard e OpenRouter Auto em um pool compartilhado. Essas execuções não são classificadas.

Um roteador só poderia participar se mantivesse uma lista de models que demos a ele. A Not Diamond não suporta o GPT-6.1 Sol nem o GPT-6 Luna, o par que o Switchyard usou acima. Então escolhemos o Gemini 3 Flash Preview e o DeepSeek V4 Flash, um model forte e um barato compatíveis com ela.15 O Switchyard e o OpenRouter Auto usaram a mesma lista. Os outros cinco roteadores não puderam ser restringidos a essa lista (ver Cada roteador em resumo).

Também testamos o OpenRouter Pareto Code, mas não o classificamos. O usuário escolhe uma das três faixas. Dentro de uma faixa, ele envia chamadas para o model disponível mais barato e não adapta sua escolha a cada turno.

Em 13 de novembro, a faixa padrão do Pareto Code continha um model, o Claude Fable 5.2. Na faixa Medium que escolhemos, o Pareto Code enviou todas as 3.083 chamadas para o Kimi K3 e pontuou 43,0% por $28,4 a cada 1.000 perguntas.

Estatísticas

Os colchetes no gráfico de pontuações mostram um intervalo de confiança de 95%, calculado com um bootstrap sobre as 523 perguntas. Ele mostra o quanto uma pontuação depende de quais perguntas foram escolhidas.

Para comparar dois resultados nas mesmas perguntas, usamos um teste exato de McNemar. Ele conta apenas as perguntas que um resultado acertou e o outro errou. Como fizemos muitas comparações, ajustamos os resultados com o método de Holm a um nível de 5%. Quando o teste não separa dois resultados, dizemos que não há diferença clara.

Por exemplo, o Switchyard no pool compartilhado ficou 6.1 pontos abaixo do GPT-6.1 Sol, sem diferença clara. Com Sol e Luna, ficou 5.0 pontos abaixo, e essa lacuna é clara. No pool compartilhado, o Switchyard e o Sol divergiram em 146 perguntas, nas quais um acertou e o outro errou. Com Sol e Luna, divergiram em apenas 44. Quando mais perguntas divergem, uma lacuna precisa ser maior antes de a chamarmos de clara.

As comparações de roteadores com o GPT-6.1 Sol usam sua execução de 61,2% na mesma configuração dos roteadores. As misturas aleatórias e outras comparações de model individual usam a execução de 61,4% do Sol do nosso benchmark de texto para SQL. No primeiro gráfico, ela é rotulada como GPT-6.1 Sol (texto para SQL). Não há diferença clara entre as duas execuções.

Limitações

  • Uma execução por roteador e pool. Nas duas execuções do GPT-6.1 Sol, 33 perguntas estavam certas em uma execução e erradas na outra.
  • Um tipo de tarefa, com até 10 chamadas de model por pergunta. Tarefas de agente mais longas podem dar outros resultados.
  • As escolhas de models mudam com a data. Reexecutamos 17 perguntas no OpenRouter Auto, no Auto Code e no Jev em 17 de novembro, quatro dias após o início de suas execuções. Os roteadores escolheram dois models que não tínhamos visto nessas execuções. O Auto Code enviou 63% de suas chamadas para um deles.
  • O limite de 10 chamadas atingiu o Sakana Fugu Max em 16,1% das perguntas. Mesmo que tivesse respondido todas elas corretamente, ainda pontuaria abaixo do GPT-6.1 Sol.
  • Pools diferentes dos três que definimos podem dar outros resultados.
  • A taxa de seleção da Not Diamond usa $0,001 por escolha, a tarifa em sua página de preços antiga. Sua página atual cobra $0,05 por milhão de tokens roteados.
  • As perguntas vêm dos conjuntos públicos do BIRD, então os models podem tê-las visto no treinamento.
Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.
GoogleAdicionar como fonte preferencial

Perguntas frequentes

Um roteador LLM fica entre uma aplicação e um conjunto de models e escolhe um model para cada solicitação. O objetivo é enviar o trabalho fácil para um model barato e o trabalho difícil para um forte. Em um agente, uma pergunta envolve várias chamadas, então um roteador pode escolher outro model para cada chamada.

Dos 8 roteadores, o NVIDIA Switchyard pontuou mais alto, 56,2%. O OpenRouter Auto Code pontuou 52,8% e a Not Diamond com 19 models pontuou 50,9%. Não há diferença clara entre o Switchyard e o Auto Code, nem entre o Auto Code e a Not Diamond.

No pool compartilhado, a Not Diamond pontuou 59,3%, a maior pontuação de qualquer roteador em sua configuração padrão. O Switchyard pontuou 55,1% nesse pool, sem diferença clara em relação à Not Diamond.

Não neste teste. Cada um dos 8 roteadores pontuou claramente abaixo do GPT-6.1 Sol.

No pool compartilhado, a Not Diamond ficou 1.9 pontos abaixo do GPT-6.1 Sol e o Switchyard 6.1 pontos abaixo. Nosso teste não confirmou essas lacunas.

O Fireworks Nexus Auto teve o menor custo, $1,9 por 1.000 perguntas, calculado a partir das tabelas de preços. O OpenRouter Auto custou $2,0 e o TypeSafe Jev $2.1. Cada um enviou quase todas as chamadas para um model barato: Claude Haiku 5.5 para o OpenRouter Auto e o TypeSafe Jev, e GLM 5.3 Flash para o Nexus Auto.

A Not Diamond pontuou 59,3% no pool compartilhado e 50,9% com 19 models. O OpenRouter Auto pontuou 32,9% no pool compartilhado e 28,7% em seu próprio pool. O Switchyard pontuou 56,2% com GPT-6.1 Sol e GPT-6 Luna e 55,1% no pool compartilhado, uma lacuna de 1.1 pontos sem diferença clara.

Leitura adicional

Cite esta pesquisa

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

Berkay Yıla (2026) - "LLM Roteador Benchmark: 8 roteadores em 523 tarefas de banco de dados agênticas". Publicado on-line em AIMultiple.com. Acessado em 18 novembro 2026, em: https://aimultiple.com/llm-router [Recurso on-line]

Yıla, B. (2026, 18 novembro). LLM Roteador Benchmark: 8 roteadores em 523 tarefas de banco de dados agênticas. AIMultiple. https://aimultiple.com/llm-router

@misc{yila2026,
  author = {Yıla, Berkay},
  title  = {{LLM Roteador Benchmark: 8 roteadores em 523 tarefas de banco de dados agênticas}},
  year   = {2026},
  month  = nov,
  howpublished    = {\url{https://aimultiple.com/llm-router}},
  note   = {AIMultiple. Acessado em 18 novembro 2026}
}
Baixar todos os dados

Resultados e carimbos de data/hora de 135 pontos de dados. Baixe os dados resumidos exibidos nos gráficos e tabelas deste artigo como um arquivo ZIP contendo 7 arquivos CSV.

Última atualização: 19 novembro 2026
Baixar

Quer os dados granulares por trás disso? Assine o Premium

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

0/450