Premium
Servicios
Premium

LLM Benchmark de enrutadores: 8 enrutadores en 523 tareas de base de datos con agentes

Berkay Yıla
Berkay Yıla
actualizado el 18 de nov. de 2026

Probamos 8 LLM enrutadores en 523 tareas de base de datos con agentes y comparamos cada uno con modelos individuales en precisión y coste.

Resultados del benchmark de enrutadores con agentes

Select routers and models
*Large dots: routers. Small dots: single models.
NameSeries$ per 1,000 questions, router fees included (log scale)Score (%)ScoreCostPoolLabel
Fireworks Nexus AutoFireworks Nexus Auto1.9335.9535.9%1.9Router's own, open modelsFireworks Nexus Auto
Not DiamondNot Diamond50.5250.8650.9%50.519 modelsNot Diamond
NVIDIA Switchyard (Sol + Luna)NVIDIA Switchyard (Sol + Luna)16.656.2156.2%16.6GPT-6.1 Sol + GPT-6 LunaNVIDIA Switchyard (Sol + Luna)
OpenRouter AutoOpenRouter Auto1.9728.6828.7%2.0Router's ownOpenRouter Auto
OpenRouter Auto CodeOpenRouter Auto Code24.6252.7752.8%24.6Router's ownOpenRouter Auto Code
Sakana Fugu MaxSakana Fugu Max29.9627.3427.3%30.0Router's ownSakana Fugu Max
TypeSafe JevTypeSafe Jev2.0929.4529.4%2.1Router's ownTypeSafe Jev
Unbiased Pareto 26.10Unbiased Pareto 26.1013.1844.1744.2%13.2Router's ownUnbiased Pareto 26.10
Claude Fable 5Anthropic150.3460.0460.0%150.3single modelClaude Fable 5
Claude Fable 5.1Anthropic718.9662.9162.9%719.0single modelClaude Fable 5.1
Claude Fable 5.2Anthropic109.4385.2885.3%109.4single modelClaude Fable 5.2
Claude Haiku 5.5Anthropic1.9226.226.2%1.9single modelClaude Haiku 5.5
Claude Opus 4.8Anthropic148.8350.6750.7%148.8single modelClaude Opus 4.8
Claude Opus 5Anthropic77.860.9961.0%77.8single modelClaude Opus 5
Claude Opus 5.5Anthropic236.5584.8984.9%236.5single modelClaude Opus 5.5
Claude Sonnet 5Anthropic76.6434.4234.4%76.6single modelClaude Sonnet 5
Claude Sonnet 5.5Anthropic53.8170.3670.4%53.8single modelClaude Sonnet 5.5
Command A PlusCohere9.1930.2130.2%9.2single modelCommand A Plus
DeepSeek V4 FlashDeepSeek2.9130.430.4%2.9single modelDeepSeek V4 Flash
DeepSeek V4 Flash 0731DeepSeek1.6633.8433.8%1.7single modelDeepSeek V4 Flash 0731
DeepSeek V4 ProDeepSeek11.2835.3735.4%11.3single modelDeepSeek V4 Pro
DeepSeek V4 Pro 0813DeepSeek13.9540.9240.9%13.9single modelDeepSeek V4 Pro 0813
DeepSeek V4.1 FlashDeepSeek4.2530.7830.8%4.2single modelDeepSeek V4.1 Flash
DeepSeek V4.1 Flash 1017DeepSeek2.0520.6520.7%2.0single modelDeepSeek V4.1 Flash 1017
Gemini 3 Flash PreviewGoogle9.3759.6659.7%9.4single modelGemini 3 Flash Preview
Gemini 3.1 Flash LiteGoogle6.9542.0742.1%6.9single modelGemini 3.1 Flash Lite
Gemini 3.1 Pro PreviewGoogle90.0460.4260.4%90.0single modelGemini 3.1 Pro Preview
Gemini 3.5 Flash LiteGoogle8.5248.7648.8%8.5single modelGemini 3.5 Flash Lite
Gemini 3.6 FlashGoogle27.3858.8958.9%27.4single modelGemini 3.6 Flash
Gemini 3.7 FlashGoogle25.0869.4169.4%25.1single modelGemini 3.7 Flash
Gemini 3.8 FlashGoogle32.6765.3965.4%32.7single modelGemini 3.8 Flash
Gemini 4 ArgonGoogle48.4477.8277.8%48.4single modelGemini 4 Argon
Gemini 4 CarbonGoogle75.6777.2577.2%75.7single modelGemini 4 Carbon
GLM 4.7Zhipu AI10.8425.0525.0%10.8single modelGLM 4.7
GLM 5.1Zhipu AI12.838.4338.4%12.8single modelGLM 5.1
GLM 5.2Zhipu AI6.7139.239.2%6.7single modelGLM 5.2
GLM 5.3Zhipu AI24.2738.6238.6%24.3single modelGLM 5.3
GLM 5.3 FlashZhipu AI4.2236.1436.1%4.2single modelGLM 5.3 Flash
GLM 5.3 PrimeZhipu AI69.8635.1835.2%69.9single modelGLM 5.3 Prime
GPT-5.2OpenAI29.9731.9331.9%30.0single modelGPT-5.2
GPT-5.4 MiniOpenAI7.0324.2824.3%7.0single modelGPT-5.4 Mini
GPT-5.4 NanoOpenAI2.8521.0321.0%2.8single modelGPT-5.4 Nano
GPT-5.5OpenAI75.5244.9344.9%75.5single modelGPT-5.5
GPT-5.6 LunaOpenAI13.8733.4633.5%13.9single modelGPT-5.6 Luna
GPT-5.6 SolOpenAI60.8349.949.9%60.8single modelGPT-5.6 Sol
GPT-5.6 TerraOpenAI30.7139.3939.4%30.7single modelGPT-5.6 Terra
GPT-6 LunaOpenAI1.3438.8138.8%1.3single modelGPT-6 Luna
GPT-6 Luna ProOpenAI3.9138.2438.2%3.9single modelGPT-6 Luna Pro
GPT-6 SolOpenAI21.8350.4850.5%21.8single modelGPT-6 Sol
GPT-6 Sol ProOpenAI59.1150.6750.7%59.1single modelGPT-6 Sol Pro
GPT-6.1 Sol (reference)OpenAI15.4561.1961.2%15.4single model, run with the routersGPT-6.1 Sol (reference)
GPT-6.1 Sol (text-to-SQL)OpenAI15.9161.3861.4%15.9single modelGPT-6.1 Sol (text-to-SQL)
GPT-6.1 Sol ProOpenAI44.1259.8559.8%44.1single modelGPT-6.1 Sol Pro
GPT-6.1 TerraOpenAI8.7653.5453.5%8.8single modelGPT-6.1 Terra
GPT-OSS 120BOpenAI0.59719.8919.9%0.6single modelGPT-OSS 120B
Grok 4.3xAI16.1341.6841.7%16.1single modelGrok 4.3
Grok 4.5xAI26.2448.5748.6%26.2single modelGrok 4.5
Grok 4.6xAI41.7858.3258.3%41.8single modelGrok 4.6
Grok 4.7xAI37.148.3748.4%37.1single modelGrok 4.7
HY4 PreviewTencent12.7845.1245.1%12.8single modelHY4 Preview
Kimi K2.6Moonshot AI19.1343.7943.8%19.1single modelKimi K2.6
Kimi K3Moonshot AI48.2445.3245.3%48.2single modelKimi K3
Kimi K3.1 ProMoonshot AI3249.1449.1%32.0single modelKimi K3.1 Pro
Llama 4 MaverickMeta6.128.1128.1%6.1single modelLlama 4 Maverick
MiMo V2.6 ProXiaomi4.9338.8138.8%4.9single modelMiMo V2.6 Pro
MiniMax M2.5MiniMax3.4529.4529.4%3.5single modelMiniMax M2.5
MiniMax M3MiniMax4.8534.0334.0%4.9single modelMiniMax M3
MiniMax M3.1 FlashMiniMax2.7133.8433.8%2.7single modelMiniMax M3.1 Flash
Mistral Large 4.0Mistral AI18.6526.7726.8%18.7single modelMistral Large 4.0
Mistral Small 2603Mistral AI1.7423.3323.3%1.7single modelMistral Small 2603
Muse EmberMeta2.9937.4837.5%3.0single modelMuse Ember
Muse Glimmer 30BMeta6.431.1731.2%6.4single modelMuse Glimmer 30B
Muse Spark 1.1Meta27.7739.0139.0%27.8single modelMuse Spark 1.1
Muse Spark 1.2Meta39.5645.8945.9%39.6single modelMuse Spark 1.2
Muse Spark 1.3Meta38.6743.9844.0%38.7single modelMuse Spark 1.3
Muse Spark OpenMeta27.141.8741.9%27.1single modelMuse Spark Open
Muse WonderMeta94.2854.4954.5%94.3single modelMuse Wonder
Nemotron 3 Ultra 550B A55BNVIDIA25.2831.9331.9%25.3single modelNemotron 3 Ultra 550B A55B
Qwen3.5 27BAlibaba12.4937.2837.3%12.5single modelQwen3.5 27B
Qwen3.6 27BAlibaba19.4847.847.8%19.5single modelQwen3.6 27B
Qwen3.6 FlashAlibaba8.6934.2334.2%8.7single modelQwen3.6 Flash
Qwen3.7 PlusAlibaba8.8839.7739.8%8.9single modelQwen3.7 Plus
Qwen3.8 2.4T A95BAlibaba32.2848.7648.8%32.3single modelQwen3.8 2.4T A95B
Qwen3.8 27BAlibaba14.2543.443.4%14.2single modelQwen3.8 27B
Qwen3.8 FlashAlibaba2.541.6841.7%2.5single modelQwen3.8 Flash
Qwen3.8 MaxAlibaba30.5446.2746.3%30.5single modelQwen3.8 Max
Qwen3.8 Max 0902Alibaba31.5236.3336.3%31.5single modelQwen3.8 Max 0902
Qwen3.8 Max PrimeAlibaba62.9134.9935.0%62.9single modelQwen3.8 Max Prime
Solar Pro4Upstage2.1423.3323.3%2.1single modelSolar Pro4
Tencent HY3Tencent2.0543.2143.2%2.1single modelTencent HY3

Para cada uno de los 8 enrutadores, al menos un modelo individual que ejecutamos obtuvo una puntuación igual o superior y costó lo mismo o menos por pregunta. En el gráfico, el área verde marca los resultados que costaron menos que GPT-6.1 Sol y obtuvieron una puntuación superior al 50 %.

Para cada pregunta, el agente primero elige una de las 11 bases de datos y luego escribe consultas SQL contra ella. Puede llamar a un modelo hasta 10 veces por pregunta, y el enrutador elige el modelo para cada llamada. Un conjunto es el conjunto de modelos entre los que un enrutador puede elegir.

Puntuaciones por enrutador

LabelLabel shortCI lowCI highScore (%)
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)57.1765.3961.19
NVIDIA Switchyard (Sol + Luna)Switchyard51.8260.4256.21
OpenRouter Auto CodeAuto Code48.3756.9852.77
Not Diamond (19 models)Not Diamond46.4655.0750.86
Unbiased Pareto 26.10Unbiased Pareto39.9648.3744.17
Fireworks Nexus AutoNexus Auto31.7440.1535.95
TypeSafe JevTypeSafe Jev25.6233.2729.45
OpenRouter AutoOpenRouter Auto24.8632.728.68
Sakana Fugu MaxFugu Max23.5231.3627.34

Los 8 enrutadores obtuvieron una puntuación claramente inferior a GPT-6.1 Sol. Switchyard quedó más cerca, 5.0 puntos por debajo. Su intervalo del 95 % se solapa con el de Sol, pero la prueba sobre las mismas preguntas separa a los dos (véase Estadísticas).

Cada enrutador frente a su modelo más utilizado

Router score vs its most used model's score
LabelLabel shortRouter scoreAlone scoreMain model nameMain model shortMain model shareRouterMost used model
OpenRouter AutoOpenRouter Auto28.7%26.2%Claude Haiku 5.5Haiku 5.599%28.6826.2
TypeSafe JevTypeSafe Jev29.4%26.2%Claude Haiku 5.5Haiku 5.598%29.4526.2
Fireworks Nexus AutoNexus Auto35.9%36.1%GLM 5.3 FlashGLM 5.3 Flash99%35.9536.14
Not Diamond (19 models)Not Diamond50.9%49.9%GPT-5.6 SolGPT-5.6 Sol100%50.8649.9
OpenRouter Auto CodeAuto Code52.8%61.2%GPT-6.1 SolGPT-6.1 Sol71%52.7761.19
NVIDIA Switchyard (Sol + Luna)Switchyard56.2%61.2%GPT-6.1 SolGPT-6.1 Sol75%56.2161.19

De los seis enrutadores que indican su modelo, cuatro obtuvieron una puntuación dentro de 3.3 puntos de su modelo más utilizado. Switchyard repartió sus llamadas entre GPT-6.1 Sol y GPT-6 Luna, y Auto Code entre GPT-6.1 Sol y GLM 5.3. Obtuvieron 5.0 y 8.4 puntos por debajo de Sol.

Los enrutadores no compartían un mismo conjunto, por lo que estas diferencias reflejan tanto al enrutador como a los modelos que podía elegir. La sección del conjunto compartido compara tres enrutadores con los mismos dos modelos. Nosotros establecimos los conjuntos para Switchyard y Not Diamond (véase Enrutadores y conjuntos).

Tiempo por pregunta

Median seconds per question
LabelLabel shortSec labelSeconds
OpenRouter AutoOpenRouter Auto8.8 s8.8
TypeSafe JevTypeSafe Jev9.0 s8.96
OpenRouter Auto CodeAuto Code10.4 s10.42
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)10.7 s10.69
Fireworks Nexus AutoNexus Auto10.8 s10.81
Unbiased Pareto 26.10Unbiased Pareto12.7 s12.68
Sakana Fugu MaxFugu Max13.3 s13.28
NVIDIA Switchyard (Sol + Luna)Switchyard15.4 s15.44
Not Diamond (19 models)Not Diamond17.3 s17.28

Not Diamond con 19 modelos y Switchyard fueron los enrutadores más lentos. Tardaron 17.3 y 15,4 segundos por pregunta en la mediana. GPT-6.1 Sol tardó 10,7 segundos. OpenRouter Auto y Jev fueron los más rápidos, con 8.8 y 9,0 segundos. Ambos enviaron casi todas las llamadas a Claude Haiku 5.5.

Las llamadas de Auto Code a GPT-6.1 Sol se ejecutaron en el nivel prioritario. Generaron en 1,5 segundos en la mediana, frente a 1,8 segundos para GPT-6.1 Sol sin un enrutador. El enrutamiento a través de Auto Code añadió unos 0,2 segundos por llamada. Por pregunta, los dos tardaron aproximadamente lo mismo, 10.4 y 10,7 segundos en la mediana.

Costes y tarifas de los enrutadores

Cost per 1,000 questions
LabelLabel shortTotalPer correctBilledComputed from list prices
Fireworks Nexus AutoNexus Auto$1.9$5.4—1.93
OpenRouter AutoOpenRouter Auto$2.0$6.91.97—
TypeSafe JevTypeSafe Jev$2.1$7.12.09—
Unbiased Pareto 26.10Unbiased Pareto$13.2$29.813.18—
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)$15.4$25.215.45—
NVIDIA Switchyard (Sol + Luna)Switchyard$16.6$29.516.6—
OpenRouter Auto CodeAuto Code$24.6$46.624.62—
Sakana Fugu MaxFugu Max$30.0$109.629.96—
Not Diamond (19 models)Not Diamond$50.5$99.343.766.76

El coste de un enrutador es la factura del modelo más cualquier comisión de juez o de selección. Si un intento falló y la pregunta se ejecutó de nuevo, contamos solo el intento final. En el gráfico, las partes rayadas se calculan a partir de listas de precios y el resto procede de facturas.

Fireworks Nexus Auto costó lo mínimo por respuesta correcta, $5,4 por 1.000 respuestas correctas a precios de lista. Entre los enrutadores con coste facturado, OpenRouter Auto costó lo mínimo, $6.9.

Algunos enrutadores costaron más que su modelo más utilizado. El coste adicional provino del juez de Switchyard, de la comisión de selección de Not Diamond y del nivel prioritario en las llamadas de Auto Code a GPT-6.1 Sol. En cada caso, el enrutador no obtuvo una puntuación claramente superior a la de su modelo más utilizado.

Coste frente a modelos individuales

Cuatro enrutadores costaron más que GPT-6.1 Sol, que obtuvo una puntuación del 61,2 % por $15,4 por 1.000 preguntas. Los cuatro obtuvieron una puntuación inferior:

  • Not Diamond con 19 modelos: 50,9 % por $50.5. La mayor parte correspondió a sus llamadas a GPT-5.6 Sol, y su comisión de selección añadió $6,8 (véase Tarifas y niveles de precios).
  • Sakana Fugu Max: 27,3 %, la puntuación más baja de los 8 enrutadores, por $30.0. No indica su modelo. Realizó 6.8 llamadas de modelo por pregunta, frente a 5.5 para GPT-6.1 Sol. Su llamada media costó unas 1.6 veces una llamada a GPT-6.1 Sol.
  • OpenRouter Auto Code: 52,8 % por $24.6. Envió el 71 % de las llamadas a GPT-6.1 Sol, y casi todas se ejecutaron en el nivel prioritario de OpenAI (véase Tarifas y niveles de precios).
  • NVIDIA Switchyard: 56,2 % por $16.6. Sus llamadas a GPT-6.1 Sol y GPT-6 Luna costaron $13,7, menos que los $15,4 de Sol. Su modelo juez añadió $2,9 (véase Tarifas y niveles de precios).

Ninguno de los tres enrutadores más baratos obtuvo una puntuación superior a GPT-6 Luna, que obtuvo un 38,8 % por $1,3 por 1.000 preguntas. OpenRouter Auto y TypeSafe Jev obtuvieron unos 10 puntos menos, 28,7 % y 29,4 %, por $2,0 y $2.1. Fireworks Nexus Auto obtuvo un 35,9 % por $1,9, sin una diferencia clara con Luna.

Tarifas y niveles de precios

  • Para elegir un modelo en cada llamada, Switchyard primero comprueba los resultados de las herramientas hasta el momento. Los errores y los fallos repetidos apuntan al modelo más potente. Cuando los resultados de las herramientas no deciden la elección, como en la primera llamada de una pregunta, un pequeño modelo juez, Gemini 3.5 Flash Lite, lee la pregunta y elige el modelo.1 Cada llamada al juez se factura como una llamada de modelo normal. En el conjunto compartido, el juez añadió $3,2 por 1.000 preguntas.
  • Not Diamond cobra una comisión por cada selección de modelo. Contamos cada selección a $0,001, el precio de su lista de precios.2 En el conjunto compartido, la comisión ascendió a $6,3 por 1.000 preguntas, el 40 % del total de $15,8 de Not Diamond.
  • Auto Code obtuvo el nivel prioritario de OpenAI en casi todas sus llamadas a GPT-6.1 Sol. Pagó 2.04 veces el precio por llamada de GPT-6.1 Sol. OpenRouter indica que el nivel prioritario de un modelo cerrado solo se utiliza cuando una solicitud lo pide o fija el proveedor,3 pero nuestras solicitudes no hicieron ninguna de las dos cosas. Sin el nivel, Auto Code habría costado unos $13 por 1.000 preguntas en lugar de $24.6.

Con 19 modelos, las llamadas de Not Diamond a GPT-5.6 Sol costaron $43,8 por 1.000 preguntas, frente a $60,8 para GPT-5.6 Sol en nuestro benchmark de texto a SQL. Un descuento por caché puede explicar la diferencia. Not Diamond obtuvo el precio en caché en el 69,5 % de sus tokens de entrada. Nuestra ejecución de texto a SQL no registró el uso de caché, por lo que no podemos confirmarlo.

Elección y cambio de modelo

Which models answered the calls
LabelLabel shortClaude Haiku 5.5DeepSeek V4.1 FlashGLM 5.3GLM 5.3 FlashGPT-5.6 SolGPT-6 LunaGPT-6.1 SolOther
OpenRouter AutoOpenRouter Auto98.631.37——————
TypeSafe JevTypeSafe Jev98.291.030.3206———0.14250.2138
Fireworks Nexus AutoNexus Auto——1.1598.85————
Not Diamond (19 models)Not Diamond, 19 models————100———
OpenRouter Auto CodeAuto Code——29.43———70.57—
NVIDIA Switchyard (Sol + Luna)Switchyard, Sol + Luna—————25.0274.98—

De las 9 ejecuciones de enrutadores con configuración predeterminada que indican el modelo, cinco enviaron al menos el 98 % de sus llamadas a un solo modelo. Fueron OpenRouter Auto en su propio conjunto, Jev, Nexus Auto y Not Diamond en ambos conjuntos.

La lista de 19 modelos de Not Diamond también incluía Gemini 3 Flash Preview, que obtuvo un 59,7 % por $9,4 por 1.000 preguntas. Ninguna de las selecciones de Not Diamond fue a Gemini 3 Flash Preview. Todas las llamadas fueron a GPT-5.6 Sol, que obtuvo un 49,9 %.

Cambio dentro de una pregunta

Con la configuración predeterminada, solo Switchyard cambió de modelo en más del 5 % de las preguntas. Lo hizo en 308 de 523 preguntas con GPT-6.1 Sol y GPT-6 Luna, y en 35 en el conjunto compartido.

Cada pregunta se ejecutó como una sesión de enrutador, con la misma clave de sesión en cada llamada. Los documentos de Switchyard de OpenRouter y los documentos de Pareto recomiendan esto para agentes. Una clave de sesión no impide que un enrutador cambie de modelo. La mayoría de los enrutadores pueden elegir un modelo para cada llamada. Los documentos de Auto de OpenRouter dicen que un cambio cuesta más, porque el nuevo modelo debe reconstruir la caché del prompt. Por eso Auto cambia solo cuando merece la pena. Los documentos de Nexus Auto de Fireworks dicen que elige un modelo para cada nuevo mensaje del usuario y lo mantiene para las llamadas a herramientas de ese mensaje. Nuestro agente envía un mensaje de usuario con la pregunta y un segundo que pide la respuesta final. Los 9 cambios de Nexus Auto se produjeron en ese segundo mensaje.

Comparación con mezcla aleatoria

Comparamos Switchyard en ambos conjuntos y Auto Code con una mezcla aleatoria. La mezcla aleatoria responde cada pregunta con un modelo, elegido al azar según las proporciones de llamadas del enrutador. Su puntuación esperada procede de nuestras ejecuciones de modelos individuales.

Switchyard con Sol y Luna obtuvo un 56,2 %, frente al 55,7 % de su mezcla aleatoria. Switchyard en el conjunto compartido obtuvo un 55,1 % frente a 52,4 %. Auto Code obtuvo un 52,8 % frente a 54,7 %. Ninguno de los tres enrutadores lo hizo claramente mejor o peor que su mezcla aleatoria.

Tres enrutadores con un mismo conjunto

Same two models, three routers
LabelLabel shortCost labelSame two models, three routers
Not Diamond, cost settingNot Diamond, cost$12.859.66
Gemini 3 Flash Preview (no router)Gemini (no router)$9.459.66
Not Diamond, default settingNot Diamond, default$15.859.27
NVIDIA SwitchyardSwitchyard$11.255.07
OpenRouter AutoOpenRouter Auto$3.432.89
DeepSeek V4 Flash (no router)DeepSeek (no router)$2.930.4

Para separar los modelos del enrutamiento, dimos a tres enrutadores los mismos dos modelos. Gemini 3 Flash Preview es el potente, y DeepSeek V4 Flash es el barato.

Resultados del conjunto compartido

Con la configuración predeterminada, ningún enrutador mostró una diferencia clara respecto a su modelo más utilizado, y ninguno obtuvo una puntuación superior a Gemini 3 Flash Preview.

Not Diamond obtuvo 1.9 puntos por debajo de GPT-6.1 Sol, y Switchyard 6.1 puntos por debajo. Nuestra prueba no confirmó estas diferencias.

  • Con su configuración predeterminada, Not Diamond envió el 100 % de las llamadas a Gemini 3 Flash Preview. Obtuvo un 59,3 % frente al 59,7 % de Gemini 3 Flash Preview. Costó $15,8 por 1.000 preguntas frente a $9.4.
  • Con su configuración de coste, Not Diamond envió el 62 % de las llamadas a DeepSeek V4 Flash. Aun así, dio cada respuesta final con Gemini 3 Flash Preview. Obtuvo un 59,7 %, igual que Gemini 3 Flash Preview, por $12,8 frente a $9.4. Su comisión de selección, $7,5, fue mayor que el coste de sus llamadas de modelo.
  • Switchyard envió el 75 % de las llamadas a Gemini 3 Flash Preview y obtuvo un 55,1 %, sin una diferencia clara con Not Diamond.
  • Auto envió el 97 % de las llamadas a DeepSeek V4 Flash y obtuvo un 32,9 %, cerca del 30,4 % de DeepSeek V4 Flash.

Adecuación del modelo y límite de llamadas

No encontramos ninguna señal clara de que algún enrutador eligiera el modelo para adaptarse a la pregunta en este conjunto. Hay 170 preguntas que Gemini 3 Flash Preview resuelve y DeepSeek V4 Flash falla, y 17 donde ocurre lo contrario. Cada enrutador envió una proporción similar de sus llamadas a DeepSeek V4 Flash en ambos conjuntos, con una diferencia máxima de 10 puntos. El conjunto de 17 es demasiado pequeño para mostrar una diferencia pequeña.

Auto alcanzó el límite de 10 llamadas con mayor frecuencia, en el 37,3 % de las preguntas, frente al 18,9 % de Switchyard y el 16,8 % de Not Diamond.

OpenRouter Auto también fue el que más tardó en este conjunto, 17,5 segundos por pregunta en la mediana. Not Diamond tardó 9,0 segundos con los mismos dos modelos.

Deja que nuestro equipo automatice uno de tus procesos de negocio con agentes de IA, sin coste alguno.
Automatizar un proceso

Cada enrutador en resumen

Not Diamond

El enrutador predeterminado de Not Diamond viene preentrenado, por lo que no hay que entrenarlo antes de usarlo. También se puede entrenar un enrutador personalizado con tus propios datos.4 Not Diamond no llama al modelo. Devuelve el nombre del modelo que elige, y tu propio código llama después a ese modelo. Los demás enrutadores realizan la llamada ellos mismos. De forma predeterminada, Not Diamond elige por calidad. Una configuración de compensación en cada solicitud puede hacer que prefiera el coste o la latencia en su lugar.5 Usamos el enrutador predeterminado y ejecutamos su configuración de coste una vez, en el conjunto compartido.

NVIDIA Switchyard

Switchyard se ejecuta en OpenRouter. Indicas hasta tres modelos, y elige entre el más barato y el más caro de ellos. No añade ninguna comisión de enrutamiento propia.1

OpenRouter Auto

OpenRouter Auto elige un modelo y un nivel de razonamiento para cada solicitud y no añade ninguna comisión.6 Una lista en `allowed_models` es un límite estricto, y un nivel de coste bajo, medio o alto define la política. La documentación dice que la opción predeterminada cuesta más que el Auto antiguo y sugiere el nivel bajo para mantener los costes más cercanos a él. En nuestra prueba, el nivel bajo obtuvo un 28,3 % frente al 28,7 % de la opción predeterminada, al mismo coste de $2,0 por 1.000 preguntas, sin una diferencia clara.

OpenRouter Auto Code

Auto Code se ejecuta en el mismo motor que Auto, con una política ajustada para agentes de programación, y no añade ninguna comisión.7 Prefiere cambiar el nivel de razonamiento antes que cambiar de modelo, para mantener la caché del prompt. Trata `allowed_models` como un límite estricto. Cuando le dimos el conjunto compartido, todas las solicitudes fallaron con un error que decía que ningún modelo medido cumplía la solicitud.

TypeSafe Jev

Jev elige un modelo y un nivel de razonamiento para cada solicitud, y cada solicitud se factura al precio del modelo al que va.8 Una lista de modelos es solo una preferencia, y solo `excluded_models` bloquea un modelo.9 Su puntuación no mostró una diferencia clara con OpenRouter Auto. A fecha de 14 de noviembre de 2026, la página de benchmark de enrutadores de OpenRouter dice que Auto ahora funciona con Jev.10

Fireworks Nexus Auto

Nexus Auto es un enrutador de Fireworks, llamado con el id de modelo auto. No admite una lista de modelos. Con una clave de Fireworks, elige entre los modelos abiertos de Fireworks.11

Unbiased Pareto 26.10

OpenRouter lista Unbiased Pareto 26.10 a $0,80 por millón de tokens de entrada y $3,20 por millón de tokens de salida.12 No admite una lista de modelos, y la página no dice cómo elige un modelo ni qué modelos utiliza. Sus respuestas solo nombran al enrutador. Obtuvo un 44,2 % por $13,2 por 1.000 preguntas, más bajo y más caro que Gemini 3 Flash Preview.

Sakana Fugu Max

Sakana dice que Fugu Max ejecuta su mayor conjunto de modelos. El conjunto es fijo, y Sakana no enumera todos sus miembros. Cuesta $2 por millón de tokens de entrada y $6 por millón de tokens de salida, más $0,007 por cada llamada interna a herramientas web.13

Metodología del benchmark de enrutadores con agentes

Todos los enrutadores recibieron el mismo agente, prompt, herramientas y orden de preguntas. Un proxy local registró el modelo, los tokens, el coste y la duración de cada llamada.

Configuración del benchmark de enrutadores LLM. El agente selecciona una base de datos y escribe SQL. El enrutador elige un modelo para cada llamada y un proxy local lo registra. La respuesta se puntúa frente al resultado de referencia.

Usamos 523 preguntas de nuestro benchmark de texto a SQL, que se basa en BIRD, un conjunto de datos público de texto a SQL. Al agente no se le dice cuál de las 11 bases de datos debe usar, y los nombres de las bases de datos se sustituyen por alias. Una pregunta se considera correcta cuando el agente elige la base de datos correcta y su consulta devuelve el resultado de referencia. Un error cuenta como un fallo. Cada solicitud puede tardar hasta 600 segundos.

Llamamos a seis enrutadores a través de OpenRouter con los ids openrouter/auto, openrouter/auto-code, typesafe/jev-router, nvidia/switchyard, unbiased/pareto-26.10 y sakana/fugu-max. Not Diamond se ejecutó a través de su API modelSelect, y llamamos a cada modelo que eligió a través de OpenRouter. Fireworks Nexus Auto se ejecutó a través de la API de Fireworks. También ejecutamos GPT-6.1 Sol sin enrutador con la misma configuración. Las demás puntuaciones de modelos individuales proceden de nuestro benchmark de texto a SQL sobre las mismas 523 preguntas.

El tiempo es la mediana de segundos por pregunta, medido por nuestra parte a lo largo de todos los pasos del agente. Cada enrutador y conjunto se ejecutó una vez, del 13 al 16 de noviembre de 2026. Todas las preguntas terminaron sin errores.

Enrutadores y conjuntos

Incluimos enrutadores que tenían una API pública en el momento de la ejecución y aceptaban llamadas a herramientas. OpenRouter Auto y Auto Code se ejecutaron después del 6 de noviembre de 2026, cuando OpenRouter reconstruyó Auto y lanzó Auto Code.14

Seis enrutadores se ejecutaron con su propio conjunto y con los valores predeterminados del proveedor. Nosotros establecimos el conjunto para Switchyard y Not Diamond. Sin una lista de modelos, Switchyard toma dos de los 20 modelos con mayor gasto en OpenRouter durante los últimos siete días, por lo que la pareja cambia con el tiempo. Para mantener la pareja fija, le dimos GPT-6.1 Sol y GPT-6 Luna. Not Diamond requiere una lista de modelos. Le dimos 19 modelos que admite y que también probamos en nuestro benchmark de texto a SQL.

Para comparar el enrutamiento con los mismos modelos, ejecutamos Not Diamond, NVIDIA Switchyard y OpenRouter Auto en un conjunto compartido. Estas ejecuciones no están clasificadas.

Un enrutador solo podía participar si se ajustaba a la lista de modelos que le dimos. Not Diamond no admite GPT-6.1 Sol ni GPT-6 Luna, la pareja que Switchyard utilizó anteriormente. Así que elegimos Gemini 3 Flash Preview y DeepSeek V4 Flash, un modelo potente y uno barato que admite.15 Switchyard y OpenRouter Auto tomaron la misma lista. Los otros cinco enrutadores no pudieron mantenerse en esta lista (véase Cada enrutador en resumen).

También probamos OpenRouter Pareto Code, pero no lo clasificamos. El usuario elige uno de los tres niveles. Dentro de un nivel, envía las llamadas al modelo disponible más barato y no adapta su elección a cada turno.

El 13 de noviembre, el nivel predeterminado de Pareto Code incluía un modelo, Claude Fable 5.2. En el nivel medio que elegimos, Pareto Code envió las 3.083 llamadas a Kimi K3 y obtuvo un 43,0 % por $28,4 por 1.000 preguntas.

Estadísticas

Los corchetes del gráfico de puntuaciones muestran un intervalo de confianza del 95 %, calculado con bootstrap sobre las 523 preguntas. Muestra cuánto depende una puntuación de qué preguntas se eligieron.

Para comparar dos resultados en las mismas preguntas, utilizamos una prueba exacta de McNemar. Cuenta solo las preguntas que un resultado acertó y el otro falló. Como hicimos muchas comparaciones, ajustamos los resultados con el método de Holm a un nivel del 5 %. Cuando la prueba no separa dos resultados, decimos que no hay una diferencia clara.

Por ejemplo, Switchyard en el conjunto compartido quedó 6.1 puntos por debajo de GPT-6.1 Sol, sin una diferencia clara. Con Sol y Luna, quedó 5.0 puntos por debajo, y esa diferencia es clara. En el conjunto compartido, Switchyard y Sol discreparon en 146 preguntas, donde uno acertó y el otro falló. Con Sol y Luna, discreparon en solo 44. Cuando más preguntas discrepan, una diferencia debe ser mayor antes de llamarla clara.

Las comparaciones de enrutadores con GPT-6.1 Sol usan su ejecución del 61,2 % con la misma configuración que los enrutadores. Las mezclas aleatorias y otras comparaciones de modelos individuales usan la ejecución del 61,4 % de Sol de nuestro benchmark de texto a SQL. En el primer gráfico está etiquetado como GPT-6.1 Sol (texto a SQL). No hay una diferencia clara entre las dos ejecuciones.

Limitaciones

  • Una ejecución por enrutador y conjunto. En las dos ejecuciones de GPT-6.1 Sol, 33 preguntas fueron correctas en una ejecución y erróneas en la otra.
  • Un tipo de tarea, con hasta 10 llamadas de modelo por pregunta. Las tareas de agente más largas pueden dar otros resultados.
  • Las elecciones de modelo cambian con la fecha. Volvimos a ejecutar 17 preguntas en OpenRouter Auto, Auto Code y Jev el 17 de noviembre, cuatro días después de que comenzaran sus ejecuciones. Los enrutadores eligieron dos modelos que no habíamos visto en esas ejecuciones. Auto Code envió el 63 % de sus llamadas a uno de ellos.
  • El límite de 10 llamadas afectó a Sakana Fugu Max en el 16,1 % de las preguntas. Incluso si hubiera respondido correctamente todas esas, seguiría puntuando por debajo de GPT-6.1 Sol.
  • Conjuntos distintos de los tres que establecimos pueden dar otros resultados.
  • La comisión de selección de Not Diamond utiliza $0,001 por selección, la tarifa de su antigua página de precios. Su página actual cobra $0,05 por millón de tokens enrutados.
  • Las preguntas proceden de los conjuntos públicos de BIRD, por lo que los modelos pueden haberlas visto durante el entrenamiento.
No te pierdas nuestros análisis comparativos e insights basados en datos. El botón abre Google; seleccionar AIMultiple confirma que deseas ver AIMultiple con más frecuencia en los resultados de búsqueda de Google.
GoogleAñadir como fuente preferida

Preguntas frecuentes

Un enrutador de LLM se sitúa entre una aplicación y un conjunto de modelos y elige un modelo para cada solicitud. El objetivo es enviar el trabajo fácil a un modelo barato y el trabajo difícil a uno potente. En un agente, una pregunta requiere varias llamadas, por lo que un enrutador puede elegir otro modelo para cada llamada.

De los 8 enrutadores, NVIDIA Switchyard obtuvo la puntuación más alta, 56,2 %. OpenRouter Auto Code obtuvo 52,8 % y Not Diamond con 19 modelos obtuvo 50,9 %. No hay una diferencia clara entre Switchyard y Auto Code, ni entre Auto Code y Not Diamond.

En el conjunto compartido, Not Diamond obtuvo 59,3 %, la puntuación más alta de cualquier enrutador con su configuración predeterminada. Switchyard obtuvo 55,1 % en ese conjunto, sin una diferencia clara con Not Diamond.

No en esta prueba. Cada uno de los 8 enrutadores obtuvo una puntuación claramente inferior a GPT-6.1 Sol.

En el conjunto compartido, Not Diamond quedó 1.9 puntos por debajo de GPT-6.1 Sol y Switchyard 6.1 puntos por debajo. Nuestra prueba no confirmó estas diferencias.

Fireworks Nexus Auto tuvo el coste más bajo, $1,9 por 1.000 preguntas, calculado a partir de los precios de lista. OpenRouter Auto costó $2,0 y TypeSafe Jev $2.1. Cada uno envió casi todas las llamadas a un modelo barato: Claude Haiku 5.5 para OpenRouter Auto y TypeSafe Jev, y GLM 5.3 Flash para Nexus Auto.

Not Diamond obtuvo 59,3 % en el conjunto compartido y 50,9 % con 19 modelos. OpenRouter Auto obtuvo 32,9 % en el conjunto compartido y 28,7 % en su propio conjunto. Switchyard obtuvo 56,2 % con GPT-6.1 Sol y GPT-6 Luna y 55,1 % en el conjunto compartido, una diferencia de 1.1 puntos sin una diferencia clara.

Lecturas adicionales

Cita esta investigación

Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.

Berkay Yıla (2026) - "LLM Benchmark de enrutadores: 8 enrutadores en 523 tareas de base de datos con agentes". Publicado en línea en AIMultiple.com. Recuperado el 18 de noviembre de 2026, de: https://aimultiple.com/llm-router [Recurso en línea]

Yıla, B. (2026, 18 de noviembre). LLM Benchmark de enrutadores: 8 enrutadores en 523 tareas de base de datos con agentes. AIMultiple. https://aimultiple.com/llm-router

@misc{yila2026,
  author = {Yıla, Berkay},
  title  = {{LLM Benchmark de enrutadores: 8 enrutadores en 523 tareas de base de datos con agentes}},
  year   = {2026},
  month  = nov,
  howpublished    = {\url{https://aimultiple.com/llm-router}},
  note   = {AIMultiple. Recuperado el 18 de noviembre de 2026}
}
Descargar todos los datos

Resultados y marcas de tiempo de 135 puntos de datos. Descargue los datos resumidos que se muestran en los gráficos y las tablas de este artículo como un archivo ZIP que contiene 7 archivos CSV.

Última actualización: 19 de noviembre de 2026
Descargar

¿Quieres los datos granulares que hay detrás? Únete a Premium

Sé el primero en comentar

Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.

0/450