Premium
Services
Premium

LLM Routeur Benchmark: 8 routeurs sur 523 tâches de base de données agentiques

Berkay Yıla
Berkay Yıla
mis à jour le 18 nov. 2026

Nous avons testé 8 routeurs LLM sur 523 tâches de base de données agentiques et comparé chacun à des modèles seuls en précision et en coût.

Résultats du benchmark des routeurs agentiques

Select routers and models
*Large dots: routers. Small dots: single models.
NameSeries$ per 1,000 questions, router fees included (log scale)Score (%)ScoreCostPoolLabel
Fireworks Nexus AutoFireworks Nexus Auto1.9335.9535.9%1.9Router's own, open modelsFireworks Nexus Auto
Not DiamondNot Diamond50.5250.8650.9%50.519 modelsNot Diamond
NVIDIA Switchyard (Sol + Luna)NVIDIA Switchyard (Sol + Luna)16.656.2156.2%16.6GPT-6.1 Sol + GPT-6 LunaNVIDIA Switchyard (Sol + Luna)
OpenRouter AutoOpenRouter Auto1.9728.6828.7%2.0Router's ownOpenRouter Auto
OpenRouter Auto CodeOpenRouter Auto Code24.6252.7752.8%24.6Router's ownOpenRouter Auto Code
Sakana Fugu MaxSakana Fugu Max29.9627.3427.3%30.0Router's ownSakana Fugu Max
TypeSafe JevTypeSafe Jev2.0929.4529.4%2.1Router's ownTypeSafe Jev
Unbiased Pareto 26.10Unbiased Pareto 26.1013.1844.1744.2%13.2Router's ownUnbiased Pareto 26.10
Claude Fable 5Anthropic150.3460.0460.0%150.3single modelClaude Fable 5
Claude Fable 5.1Anthropic718.9662.9162.9%719.0single modelClaude Fable 5.1
Claude Fable 5.2Anthropic109.4385.2885.3%109.4single modelClaude Fable 5.2
Claude Haiku 5.5Anthropic1.9226.226.2%1.9single modelClaude Haiku 5.5
Claude Opus 4.8Anthropic148.8350.6750.7%148.8single modelClaude Opus 4.8
Claude Opus 5Anthropic77.860.9961.0%77.8single modelClaude Opus 5
Claude Opus 5.5Anthropic236.5584.8984.9%236.5single modelClaude Opus 5.5
Claude Sonnet 5Anthropic76.6434.4234.4%76.6single modelClaude Sonnet 5
Claude Sonnet 5.5Anthropic53.8170.3670.4%53.8single modelClaude Sonnet 5.5
Command A PlusCohere9.1930.2130.2%9.2single modelCommand A Plus
DeepSeek V4 FlashDeepSeek2.9130.430.4%2.9single modelDeepSeek V4 Flash
DeepSeek V4 Flash 0731DeepSeek1.6633.8433.8%1.7single modelDeepSeek V4 Flash 0731
DeepSeek V4 ProDeepSeek11.2835.3735.4%11.3single modelDeepSeek V4 Pro
DeepSeek V4 Pro 0813DeepSeek13.9540.9240.9%13.9single modelDeepSeek V4 Pro 0813
DeepSeek V4.1 FlashDeepSeek4.2530.7830.8%4.2single modelDeepSeek V4.1 Flash
DeepSeek V4.1 Flash 1017DeepSeek2.0520.6520.7%2.0single modelDeepSeek V4.1 Flash 1017
Gemini 3 Flash PreviewGoogle9.3759.6659.7%9.4single modelGemini 3 Flash Preview
Gemini 3.1 Flash LiteGoogle6.9542.0742.1%6.9single modelGemini 3.1 Flash Lite
Gemini 3.1 Pro PreviewGoogle90.0460.4260.4%90.0single modelGemini 3.1 Pro Preview
Gemini 3.5 Flash LiteGoogle8.5248.7648.8%8.5single modelGemini 3.5 Flash Lite
Gemini 3.6 FlashGoogle27.3858.8958.9%27.4single modelGemini 3.6 Flash
Gemini 3.7 FlashGoogle25.0869.4169.4%25.1single modelGemini 3.7 Flash
Gemini 3.8 FlashGoogle32.6765.3965.4%32.7single modelGemini 3.8 Flash
Gemini 4 ArgonGoogle48.4477.8277.8%48.4single modelGemini 4 Argon
Gemini 4 CarbonGoogle75.6777.2577.2%75.7single modelGemini 4 Carbon
GLM 4.7Zhipu AI10.8425.0525.0%10.8single modelGLM 4.7
GLM 5.1Zhipu AI12.838.4338.4%12.8single modelGLM 5.1
GLM 5.2Zhipu AI6.7139.239.2%6.7single modelGLM 5.2
GLM 5.3Zhipu AI24.2738.6238.6%24.3single modelGLM 5.3
GLM 5.3 FlashZhipu AI4.2236.1436.1%4.2single modelGLM 5.3 Flash
GLM 5.3 PrimeZhipu AI69.8635.1835.2%69.9single modelGLM 5.3 Prime
GPT-5.2OpenAI29.9731.9331.9%30.0single modelGPT-5.2
GPT-5.4 MiniOpenAI7.0324.2824.3%7.0single modelGPT-5.4 Mini
GPT-5.4 NanoOpenAI2.8521.0321.0%2.8single modelGPT-5.4 Nano
GPT-5.5OpenAI75.5244.9344.9%75.5single modelGPT-5.5
GPT-5.6 LunaOpenAI13.8733.4633.5%13.9single modelGPT-5.6 Luna
GPT-5.6 SolOpenAI60.8349.949.9%60.8single modelGPT-5.6 Sol
GPT-5.6 TerraOpenAI30.7139.3939.4%30.7single modelGPT-5.6 Terra
GPT-6 LunaOpenAI1.3438.8138.8%1.3single modelGPT-6 Luna
GPT-6 Luna ProOpenAI3.9138.2438.2%3.9single modelGPT-6 Luna Pro
GPT-6 SolOpenAI21.8350.4850.5%21.8single modelGPT-6 Sol
GPT-6 Sol ProOpenAI59.1150.6750.7%59.1single modelGPT-6 Sol Pro
GPT-6.1 Sol (reference)OpenAI15.4561.1961.2%15.4single model, run with the routersGPT-6.1 Sol (reference)
GPT-6.1 Sol (text-to-SQL)OpenAI15.9161.3861.4%15.9single modelGPT-6.1 Sol (text-to-SQL)
GPT-6.1 Sol ProOpenAI44.1259.8559.8%44.1single modelGPT-6.1 Sol Pro
GPT-6.1 TerraOpenAI8.7653.5453.5%8.8single modelGPT-6.1 Terra
GPT-OSS 120BOpenAI0.59719.8919.9%0.6single modelGPT-OSS 120B
Grok 4.3xAI16.1341.6841.7%16.1single modelGrok 4.3
Grok 4.5xAI26.2448.5748.6%26.2single modelGrok 4.5
Grok 4.6xAI41.7858.3258.3%41.8single modelGrok 4.6
Grok 4.7xAI37.148.3748.4%37.1single modelGrok 4.7
HY4 PreviewTencent12.7845.1245.1%12.8single modelHY4 Preview
Kimi K2.6Moonshot AI19.1343.7943.8%19.1single modelKimi K2.6
Kimi K3Moonshot AI48.2445.3245.3%48.2single modelKimi K3
Kimi K3.1 ProMoonshot AI3249.1449.1%32.0single modelKimi K3.1 Pro
Llama 4 MaverickMeta6.128.1128.1%6.1single modelLlama 4 Maverick
MiMo V2.6 ProXiaomi4.9338.8138.8%4.9single modelMiMo V2.6 Pro
MiniMax M2.5MiniMax3.4529.4529.4%3.5single modelMiniMax M2.5
MiniMax M3MiniMax4.8534.0334.0%4.9single modelMiniMax M3
MiniMax M3.1 FlashMiniMax2.7133.8433.8%2.7single modelMiniMax M3.1 Flash
Mistral Large 4.0Mistral AI18.6526.7726.8%18.7single modelMistral Large 4.0
Mistral Small 2603Mistral AI1.7423.3323.3%1.7single modelMistral Small 2603
Muse EmberMeta2.9937.4837.5%3.0single modelMuse Ember
Muse Glimmer 30BMeta6.431.1731.2%6.4single modelMuse Glimmer 30B
Muse Spark 1.1Meta27.7739.0139.0%27.8single modelMuse Spark 1.1
Muse Spark 1.2Meta39.5645.8945.9%39.6single modelMuse Spark 1.2
Muse Spark 1.3Meta38.6743.9844.0%38.7single modelMuse Spark 1.3
Muse Spark OpenMeta27.141.8741.9%27.1single modelMuse Spark Open
Muse WonderMeta94.2854.4954.5%94.3single modelMuse Wonder
Nemotron 3 Ultra 550B A55BNVIDIA25.2831.9331.9%25.3single modelNemotron 3 Ultra 550B A55B
Qwen3.5 27BAlibaba12.4937.2837.3%12.5single modelQwen3.5 27B
Qwen3.6 27BAlibaba19.4847.847.8%19.5single modelQwen3.6 27B
Qwen3.6 FlashAlibaba8.6934.2334.2%8.7single modelQwen3.6 Flash
Qwen3.7 PlusAlibaba8.8839.7739.8%8.9single modelQwen3.7 Plus
Qwen3.8 2.4T A95BAlibaba32.2848.7648.8%32.3single modelQwen3.8 2.4T A95B
Qwen3.8 27BAlibaba14.2543.443.4%14.2single modelQwen3.8 27B
Qwen3.8 FlashAlibaba2.541.6841.7%2.5single modelQwen3.8 Flash
Qwen3.8 MaxAlibaba30.5446.2746.3%30.5single modelQwen3.8 Max
Qwen3.8 Max 0902Alibaba31.5236.3336.3%31.5single modelQwen3.8 Max 0902
Qwen3.8 Max PrimeAlibaba62.9134.9935.0%62.9single modelQwen3.8 Max Prime
Solar Pro4Upstage2.1423.3323.3%2.1single modelSolar Pro4
Tencent HY3Tencent2.0543.2143.2%2.1single modelTencent HY3

Pour chacun des 8 routeurs, au moins un modèle seul que nous avons exécuté a obtenu un score aussi élevé ou plus élevé et a coûté autant ou moins par question. Dans le graphique, la zone verte indique les résultats qui coûtent moins que GPT-6.1 Sol et qui ont obtenu un score supérieur à 50 %.

Pour chaque question, l’agent choisit d’abord l’une des 11 bases de données, puis écrit des requêtes SQL contre elle. Il peut appeler un modèle jusqu’à 10 fois par question, et le routeur choisit le modèle pour chaque appel. Un pool est l’ensemble des modèles parmi lesquels un routeur peut choisir.

Scores par routeur

LabelLabel shortCI lowCI highScore (%)
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)57.1765.3961.19
NVIDIA Switchyard (Sol + Luna)Switchyard51.8260.4256.21
OpenRouter Auto CodeAuto Code48.3756.9852.77
Not Diamond (19 models)Not Diamond46.4655.0750.86
Unbiased Pareto 26.10Unbiased Pareto39.9648.3744.17
Fireworks Nexus AutoNexus Auto31.7440.1535.95
TypeSafe JevTypeSafe Jev25.6233.2729.45
OpenRouter AutoOpenRouter Auto24.8632.728.68
Sakana Fugu MaxFugu Max23.5231.3627.34

Les 8 routeurs ont obtenu un score clairement inférieur à GPT-6.1 Sol. Switchyard s’en rapproche le plus, à 5.0 points en dessous. Son intervalle à 95 % chevauche celui de Sol, mais le test sur les mêmes questions distingue les deux (voir Statistiques).

Chaque routeur face à son modèle plus utilisé

Router score vs its most used model's score
LabelLabel shortRouter scoreAlone scoreMain model nameMain model shortMain model shareRouterMost used model
OpenRouter AutoOpenRouter Auto28.7%26.2%Claude Haiku 5.5Haiku 5.599%28.6826.2
TypeSafe JevTypeSafe Jev29.4%26.2%Claude Haiku 5.5Haiku 5.598%29.4526.2
Fireworks Nexus AutoNexus Auto35.9%36.1%GLM 5.3 FlashGLM 5.3 Flash99%35.9536.14
Not Diamond (19 models)Not Diamond50.9%49.9%GPT-5.6 SolGPT-5.6 Sol100%50.8649.9
OpenRouter Auto CodeAuto Code52.8%61.2%GPT-6.1 SolGPT-6.1 Sol71%52.7761.19
NVIDIA Switchyard (Sol + Luna)Switchyard56.2%61.2%GPT-6.1 SolGPT-6.1 Sol75%56.2161.19

Parmi les six routeurs qui indiquent leur modèle, quatre ont obtenu un score à moins de 3.3 points de leur modèle plus utilisé. Switchyard a réparti ses appels entre GPT-6.1 Sol et GPT-6 Luna, et Auto Code entre GPT-6.1 Sol et GLM 5.3. Ils ont obtenu respectivement 5.0 et 8.4 points de moins que Sol.

Les routeurs ne partageaient pas le même pool, donc ces écarts reflètent à la fois le routeur et les modèles qu’il pouvait choisir. La section sur le pool partagé compare trois routeurs sur les deux mêmes modèles. Nous avons défini les pools pour Switchyard et Not Diamond (voir Routeurs et pools).

Temps par question

Median seconds per question
LabelLabel shortSec labelSeconds
OpenRouter AutoOpenRouter Auto8.8 s8.8
TypeSafe JevTypeSafe Jev9.0 s8.96
OpenRouter Auto CodeAuto Code10.4 s10.42
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)10.7 s10.69
Fireworks Nexus AutoNexus Auto10.8 s10.81
Unbiased Pareto 26.10Unbiased Pareto12.7 s12.68
Sakana Fugu MaxFugu Max13.3 s13.28
NVIDIA Switchyard (Sol + Luna)Switchyard15.4 s15.44
Not Diamond (19 models)Not Diamond17.3 s17.28

Not Diamond avec 19 modèles et Switchyard ont été les routeurs les plus lents. Ils ont mis 17.3 et 15,4 secondes par question en médiane. GPT-6.1 Sol a mis 10,7 secondes. OpenRouter Auto et Jev ont été les plus rapides, avec 8.8 et 9,0 secondes. Tous deux ont envoyé presque chaque appel à Claude Haiku 5.5.

Les appels d’Auto Code vers GPT-6.1 Sol ont été exécutés sur le niveau prioritaire. Ils ont généré en 1,5 seconde en médiane, contre 1,8 seconde pour GPT-6.1 Sol sans routeur. Le routage via Auto Code a ajouté environ 0,2 seconde par appel. Par question, les deux ont mis à peu près le même temps, 10.4 et 10,7 secondes en médiane.

Coûts et frais des routeurs

Cost per 1,000 questions
LabelLabel shortTotalPer correctBilledComputed from list prices
Fireworks Nexus AutoNexus Auto$1.9$5.4—1.93
OpenRouter AutoOpenRouter Auto$2.0$6.91.97—
TypeSafe JevTypeSafe Jev$2.1$7.12.09—
Unbiased Pareto 26.10Unbiased Pareto$13.2$29.813.18—
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)$15.4$25.215.45—
NVIDIA Switchyard (Sol + Luna)Switchyard$16.6$29.516.6—
OpenRouter Auto CodeAuto Code$24.6$46.624.62—
Sakana Fugu MaxFugu Max$30.0$109.629.96—
Not Diamond (19 models)Not Diamond$50.5$99.343.766.76

Le coût d’un routeur est la facture des modèles plus tout frais de juge ou de sélection. Si une tentative a échoué et que la question a été relancée, nous ne comptons que la dernière tentative. Dans le graphique, les parties rayées sont calculées à partir des grilles tarifaires et le reste provient des factures.

Fireworks Nexus Auto a coûté le moins cher par réponse correcte, 5,4 $ pour 1 000 réponses correctes aux prix catalogue. Parmi les routeurs avec un coût facturé, OpenRouter Auto a coûté le moins cher, 6,9 $.

Certains routeurs ont coûté plus cher que leur modèle plus utilisé. Le surcoût est venu du juge de Switchyard, des frais de sélection de Not Diamond et du niveau prioritaire sur les appels de Auto Code vers GPT-6.1 Sol. Dans chaque cas, le routeur n’a pas obtenu un score clairement supérieur à celui de son modèle plus utilisé.

Coût par rapport aux modèles seuls

Quatre routeurs ont coûté plus cher que GPT-6.1 Sol, qui a obtenu 61,2 % pour 15,4 $ par 1 000 questions. Tous les quatre ont obtenu un score inférieur :

  • Not Diamond avec 19 modèles : 50,9 % pour 50,5 $. L’essentiel de ce coût venait de ses appels GPT-5.6 Sol, et ses frais de sélection ont ajouté 6,8 $ (voir Frais et niveaux de prix).
  • Sakana Fugu Max : 27,3 %, le score le plus bas des 8 routeurs, pour 30,0 $. Il n’indique pas son modèle. Il a effectué 6.8 appels de modèle par question, contre 5.5 pour GPT-6.1 Sol. Son appel moyen a coûté environ 1.6 fois un appel GPT-6.1 Sol.
  • OpenRouter Auto Code : 52,8 % pour 24,6 $. Il a envoyé 71 % des appels à GPT-6.1 Sol, et presque tous ceux-ci ont été exécutés sur le niveau prioritaire de OpenAI (voir Frais et niveaux de prix).
  • NVIDIA Switchyard : 56,2 % pour 16,6 $. Ses appels vers GPT-6.1 Sol et GPT-6 Luna ont coûté 13,7 $, moins que les 15,4 $ de Sol. Son modèle juge a ajouté 2,9 $ (voir Frais et niveaux de prix).

Aucun des trois routeurs les moins chers n’a obtenu un score supérieur à GPT-6 Luna, qui a obtenu 38,8 % pour 1,3 $ par 1 000 questions. OpenRouter Auto et TypeSafe Jev ont obtenu environ 10 points de moins, 28,7 % et 29,4 %, pour 2,0 $ et 2,1 $. Fireworks Nexus Auto a obtenu 35,9 % pour 1,9 $, sans différence claire par rapport à Luna.

Frais et niveaux de prix

  • Pour choisir un modèle à chaque appel, Switchyard vérifie d’abord les résultats des outils obtenus jusque-là. Les erreurs et les échecs répétés orientent vers le modèle plus fort. Lorsque les résultats des outils ne permettent pas de trancher, comme lors du premier appel d’une question, un petit modèle juge, Gemini 3.5 Flash Lite, lit la question et choisit le modèle.1 Chaque appel de juge est facturé comme un appel de modèle normal. Sur le pool partagé, le juge a ajouté 3,2 $ par 1 000 questions.
  • Not Diamond facture des frais pour chaque choix de modèle. Nous avons compté chaque choix à 0,001 $, le prix indiqué sur sa grille tarifaire.2 Sur le pool partagé, les frais ont atteint 6,3 $ par 1 000 questions, soit 40 % du total de 15,8 $ de Not Diamond.
  • Auto Code a obtenu le niveau prioritaire d’OpenAI sur presque tous ses appels GPT-6.1 Sol. Il a payé 2.04 fois le prix par appel de GPT-6.1 Sol. OpenRouter indique que le niveau prioritaire d’un modèle fermé ne sert que lorsqu’une requête le demande ou épingle le fournisseur,3 mais nos requêtes n’ont fait ni l’un ni l’autre. Sans ce niveau, Auto Code aurait coûté environ 13 $ par 1 000 questions au lieu de 24,6 $.

Avec 19 modèles, les appels GPT-5.6 Sol de Not Diamond ont coûté 43,8 $ par 1 000 questions, contre 60,8 $ pour GPT-5.6 Sol dans notre benchmark text-to-SQL. Une remise de cache peut expliquer l’écart. Not Diamond a obtenu le prix de cache sur 69,5 % de ses tokens d’entrée. Notre exécution text-to-SQL n’a pas enregistré l’utilisation du cache, nous ne pouvons donc pas le confirmer.

Choix des modèles et changement de modèle

Which models answered the calls
LabelLabel shortClaude Haiku 5.5DeepSeek V4.1 FlashGLM 5.3GLM 5.3 FlashGPT-5.6 SolGPT-6 LunaGPT-6.1 SolOther
OpenRouter AutoOpenRouter Auto98.631.37——————
TypeSafe JevTypeSafe Jev98.291.030.3206———0.14250.2138
Fireworks Nexus AutoNexus Auto——1.1598.85————
Not Diamond (19 models)Not Diamond, 19 models————100———
OpenRouter Auto CodeAuto Code——29.43———70.57—
NVIDIA Switchyard (Sol + Luna)Switchyard, Sol + Luna—————25.0274.98—

Sur les 9 exécutions de routeurs avec réglages par défaut qui indiquent le modèle, cinq ont envoyé au moins 98 % de leurs appels à un seul modèle. Il s’agissait de OpenRouter Auto sur son propre pool, de Jev, de Nexus Auto et de Not Diamond sur les deux pools.

La liste de 19 modèles de Not Diamond contenait aussi Gemini 3 Flash Preview, qui a obtenu 59,7 % pour 9,4 $ par 1 000 questions. Aucun des choix de Not Diamond n’est allé vers Gemini 3 Flash Preview. Tous les appels sont allés à GPT-5.6 Sol, qui a obtenu 49,9 %.

Changement de modèle au sein d’une question

Aux réglages par défaut, seul Switchyard a changé de modèle dans plus de 5 % des questions. Il l’a fait dans 308 des 523 questions avec GPT-6.1 Sol et GPT-6 Luna, et dans 35 questions sur le pool partagé.

Chaque question a été exécutée comme une seule session de routeur, avec la même clé de session à chaque appel. OpenRouter recommande la Switchyard documentation et la Pareto documentation pour les agents. Une clé de session n’empêche pas un routeur de changer de modèle. La plupart des routeurs peuvent choisir un modèle à chaque appel. OpenRouter a indiqué dans la documentation Auto qu’un changement coûte plus cher, car le nouveau modèle doit reconstruire le cache de prompt. Auto ne change donc que lorsque cela en vaut la peine. Fireworks a indiqué dans la documentation Nexus Auto qu’elle choisit un modèle pour chaque nouveau message utilisateur et le conserve pour les appels d’outils de ce message. Notre agent envoie un message utilisateur avec la question et un second qui demande la réponse finale. Les 9 changements de Nexus Auto ont eu lieu à ce second message.

Comparaison avec un mélange aléatoire

Nous avons comparé Switchyard sur les deux pools et Auto Code avec un mélange aléatoire. Le mélange aléatoire répond à chaque question avec un seul modèle, choisi au hasard selon la part d’appels du routeur. Son score attendu provient de nos exécutions de modèles seuls.

Switchyard avec Sol et Luna a obtenu 56,2 %, contre 55,7 % pour son mélange aléatoire. Switchyard sur le pool partagé a obtenu 55,1 % contre 52,4 %. Auto Code a obtenu 52,8 % contre 54,7 %. Aucun des trois routeurs n’a fait clairement mieux ni moins bien que son mélange aléatoire.

Trois routeurs avec un seul pool

Same two models, three routers
LabelLabel shortCost labelSame two models, three routers
Not Diamond, cost settingNot Diamond, cost$12.859.66
Gemini 3 Flash Preview (no router)Gemini (no router)$9.459.66
Not Diamond, default settingNot Diamond, default$15.859.27
NVIDIA SwitchyardSwitchyard$11.255.07
OpenRouter AutoOpenRouter Auto$3.432.89
DeepSeek V4 Flash (no router)DeepSeek (no router)$2.930.4

Pour séparer les modèles du routage, nous avons donné aux trois routeurs les deux mêmes modèles. Gemini 3 Flash Preview est le modèle fort, et DeepSeek V4 Flash est le modèle bon marché.

Résultats du pool partagé

Aux réglages par défaut, aucun routeur n’a montré une différence claire par rapport à son modèle plus utilisé, et aucun n’a obtenu un score supérieur à Gemini 3 Flash Preview.

Not Diamond a obtenu 1.9 point de moins que GPT-6.1 Sol, et Switchyard 6.1 points de moins. Notre test n’a pas confirmé ces écarts.

  • À son réglage par défaut, Not Diamond a envoyé 100 % des appels à Gemini 3 Flash Preview. Il a obtenu 59,3 % contre 59,7 % pour Gemini 3 Flash Preview. Il a coûté 15,8 $ par 1 000 questions contre 9,4 $.
  • Avec son réglage de coût, Not Diamond a envoyé 62 % des appels à DeepSeek V4 Flash. Il a tout de même donné chaque réponse finale avec Gemini 3 Flash Preview. Il a obtenu 59,7 %, soit le même score que Gemini 3 Flash Preview, pour 12,8 $ contre 9,4 $. Ses frais de sélection, 7,5 $, ont été supérieurs au coût de ses appels de modèle.
  • Switchyard a envoyé 75 % des appels à Gemini 3 Flash Preview et a obtenu 55,1 %, sans différence claire par rapport à Not Diamond.
  • Auto a envoyé 97 % des appels à DeepSeek V4 Flash et a obtenu 32,9 %, proche des 30,4 % de DeepSeek V4 Flash.

Adéquation du modèle et limite d’appels

Nous n’avons trouvé aucun signe clair qu’un routeur ait choisi le modèle adapté à la question sur ce pool. Il y a 170 questions que Gemini 3 Flash Preview résout et que DeepSeek V4 Flash manque, et 17 où l’inverse se produit. Chaque routeur a envoyé une part similaire de ses appels à DeepSeek V4 Flash dans les deux ensembles, avec au plus 10 points d’écart. L’ensemble de 17 est trop petit pour montrer une petite différence.

Auto a atteint la limite de 10 appels le plus souvent, sur 37,3 % des questions, contre 18,9 % pour Switchyard et 16,8 % pour Not Diamond.

OpenRouter Auto a aussi été le plus long sur ce pool, avec 17,5 secondes par question en médiane. Not Diamond a mis 9,0 secondes sur les deux mêmes modèles.

Laissez notre équipe automatiser l'un de vos processus métier avec des agents IA, gratuitement.
Automatiser un processus

Chaque routeur en bref

Not Diamond

Le routeur par défaut de Not Diamond est pré-entraîné, vous n’avez donc pas besoin de l’entraîner avant de l’utiliser. Vous pouvez aussi entraîner un routeur personnalisé sur vos propres données.4 Not Diamond n’appelle pas le modèle. Il renvoie le nom du modèle qu’il choisit, puis votre propre code appelle ce modèle. Les autres routeurs effectuent eux-mêmes l’appel. Par défaut, Not Diamond choisit pour la qualité. Un paramètre de compromis sur chaque requête peut lui faire privilégier plutôt le coût ou la latence.5 Nous avons utilisé le routeur par défaut et exécuté une fois son réglage de coût, sur le pool partagé.

NVIDIA Switchyard

Switchyard fonctionne sur OpenRouter. Vous listez jusqu’à trois modèles, et il choisit entre le moins cher et le plus cher d’entre eux. Il n’ajoute aucun frais de routage propre.1

OpenRouter Auto

OpenRouter Auto choisit un modèle et un niveau de raisonnement pour chaque requête et n’ajoute aucun frais.6 Une liste dans `allowed_models` constitue une limite stricte, et un niveau de coût low, medium ou high définit la politique. La documentation indique que le réglage par défaut coûte plus cher que l’ancien Auto et suggère le niveau low pour maintenir des coûts plus proches de celui-ci. Lors de notre test, le niveau low a obtenu 28,3 % contre 28,7 % pour le réglage par défaut, pour le même coût de 2,0 $ par 1 000 questions, sans différence claire.

OpenRouter Auto Code

Auto Code fonctionne sur le même moteur qu’Auto, avec une politique adaptée aux agents de codage, et n’ajoute aucun frais.7 Il préfère modifier le niveau de raisonnement plutôt que de changer de modèle, afin de conserver le cache de prompt. Il traite `allowed_models` comme une limite stricte. Lorsque nous lui avons donné le pool partagé, chaque requête a échoué avec une erreur indiquant qu’aucun modèle mesuré ne satisfaisait la requête.

TypeSafe Jev

Jev choisit un modèle et un niveau de raisonnement pour chaque requête, et chaque requête est facturée au prix du modèle vers lequel elle est envoyée.8 Une liste de modèles n’est qu’une préférence, et seul `excluded_models` bloque un modèle.9 Son score n’a montré aucune différence claire par rapport à OpenRouter Auto. Au 14 novembre 2026, la page du benchmark de routeurs d’OpenRouter indique qu’Auto est désormais propulsé par Jev.10

Fireworks Nexus Auto

Nexus Auto est un routeur Fireworks, appelé avec l’identifiant de modèle auto. Il n’accepte aucune liste de modèles. Avec une clé Fireworks, il choisit parmi les modèles ouverts Fireworks.11

Unbiased Pareto 26.10

OpenRouter répertorie Unbiased Pareto 26.10 à 0,80 $ par million de tokens d’entrée et 3,20 $ par million de tokens de sortie.12 Il n’accepte aucune liste de modèles, et la page n’indique pas comment il choisit un modèle ni quels modèles il utilise. Ses réponses ne mentionnent que le routeur. Il a obtenu 44,2 % pour 13,2 $ par 1 000 questions, un score inférieur et un coût plus élevé que Gemini 3 Flash Preview.

Sakana Fugu Max

Sakana indique que Fugu Max fonctionne avec son plus grand pool de modèles. Le pool est fixe, et Sakana n’en répertorie pas tous les membres. Il coûte 2 $ par million de tokens d’entrée et 6 $ par million de tokens de sortie, plus 0,007 $ pour chaque appel d’outil web interne.13

Méthodologie du benchmark des routeurs agentiques

Chaque routeur a reçu le même agent, le même prompt, les mêmes outils et le même ordre de questions. Un proxy local a enregistré le modèle, les tokens, le coût et la durée de chaque appel.

Configuration du benchmark de routeurs LLM. L’agent sélectionne une base de données et écrit du SQL. Le routeur choisit un modèle pour chaque appel et un proxy local l’enregistre. La réponse est notée par rapport au résultat de référence.

Nous avons utilisé 523 questions de notre benchmark text-to-SQL, qui s’appuie sur BIRD, un jeu de données public text-to-SQL. L’agent ne sait pas laquelle des 11 bases de données utiliser, et les noms des bases de données sont remplacés par des alias. Une question est considérée comme correcte lorsque l’agent choisit la bonne base de données et que sa requête renvoie le résultat de référence. Une erreur est comptée comme un échec. Chaque requête peut durer jusqu’à 600 secondes.

Nous avons appelé six routeurs via OpenRouter avec les identifiants openrouter/auto, openrouter/auto-code, typesafe/jev-router, nvidia/switchyard, unbiased/pareto-26.10 et sakana/fugu-max. Not Diamond a fonctionné via son API modelSelect, et nous avons appelé chaque modèle qu’il choisissait via OpenRouter. Fireworks Nexus Auto a fonctionné via l’API Fireworks. Nous avons également exécuté GPT-6.1 Sol sans routeur dans la même configuration. Les scores des autres modèles seuls proviennent de notre benchmark text-to-SQL sur les mêmes 523 questions.

Le temps est la médiane des secondes par question, mesurée de notre côté sur toutes les étapes de l’agent. Chaque routeur et chaque pool ont été exécutés une seule fois, du 13 au 16 novembre 2026. Chaque question s’est terminée sans erreur.

Routeurs et pools

Nous avons inclus les routeurs qui disposaient d’une API publique au moment de l’exécution et qui acceptaient les appels d’outils. OpenRouter Auto et Auto Code ont été exécutés après le 6 novembre 2026, lorsque OpenRouter a reconstruit Auto et lancé Auto Code.14

Six routeurs ont été exécutés sur leur propre pool avec les réglages par défaut du fournisseur. Nous avons défini le pool pour Switchyard et Not Diamond. Sans liste de modèles, Switchyard prend deux des 20 modèles ayant les dépenses les plus élevées sur OpenRouter au cours des sept derniers jours, de sorte que la paire change au fil du temps. Pour que la paire reste fixe, nous lui avons donné GPT-6.1 Sol et GPT-6 Luna. Not Diamond exige une liste de modèles. Nous lui avons donné 19 modèles qu’il prend en charge et que nous avons également testés dans notre benchmark text-to-SQL.

Pour comparer le routage sur les mêmes modèles, nous avons exécuté Not Diamond, NVIDIA Switchyard et OpenRouter Auto sur un pool partagé. Ces exécutions ne sont pas classées.

Un routeur ne pouvait participer que s’il respectait la liste de modèles que nous lui avions donnée. Not Diamond ne prend pas en charge GPT-6.1 Sol ni GPT-6 Luna, la paire utilisée plus haut par Switchyard. Nous avons donc choisi Gemini 3 Flash Preview et DeepSeek V4 Flash, un modèle fort et un modèle bon marché qu’il prend en charge.15 Switchyard et OpenRouter Auto ont accepté la même liste. Les cinq autres routeurs n’ont pas pu être contraints à cette liste (voir Chaque routeur en bref).

Nous avons également testé OpenRouter Pareto Code, mais ne l’avons pas classé. L’utilisateur choisit l’un des trois niveaux. Au sein d’un niveau, il envoie les appels au modèle disponible le moins cher et n’adapte pas son choix à chaque tour.

Le 13 novembre, le niveau par défaut de Pareto Code ne contenait qu’un seul modèle, Claude Fable 5.2. Au niveau Medium que nous avons choisi, Pareto Code a envoyé les 3 083 appels à Kimi K3 et a obtenu 43,0 % pour 28,4 $ par 1 000 questions.

Statistiques

Les crochets dans le graphique des scores montrent un intervalle de confiance à 95 %, calculé par bootstrap sur les 523 questions. Cela montre à quel point un score dépend des questions choisies.

Pour comparer deux résultats sur les mêmes questions, nous avons utilisé un test exact de McNemar. Il ne compte que les questions pour lesquelles un résultat était correct et l’autre incorrect. Comme nous avons effectué de nombreuses comparaisons, nous avons ajusté les résultats avec la méthode de Holm à un niveau de 5 %. Lorsque le test ne distingue pas deux résultats, nous disons qu’il n’y a pas de différence claire.

Par exemple, Switchyard sur le pool partagé était 6.1 points en dessous de GPT-6.1 Sol, sans différence claire. Avec Sol et Luna, il était 5.0 points en dessous, et cet écart est clair. Sur le pool partagé, Switchyard et Sol se sont départagés sur 146 questions, où l’un était correct et l’autre incorrect. Avec Sol et Luna, ils ne se sont départagés que sur 44 questions. Lorsque davantage de questions se départagent, un écart doit être plus grand avant que nous le considérions comme clair.

Les comparaisons de routeurs avec GPT-6.1 Sol utilisent son exécution à 61,2 % dans la même configuration que les routeurs. Les mélanges aléatoires et les autres comparaisons de modèles seuls utilisent l’exécution de Sol à 61,4 % issue de notre benchmark text-to-SQL. Dans le premier graphique, elle est étiquetée GPT-6.1 Sol (text-to-SQL). Il n’y a pas de différence claire entre les deux exécutions.

Limitations

  • Une seule exécution par routeur et par pool. Au cours des deux exécutions de GPT-6.1 Sol, 33 questions étaient correctes dans une exécution et incorrectes dans l’autre.
  • Un seul type de tâche, avec jusqu’à 10 appels de modèle par question. Des tâches d’agent plus longues peuvent donner d’autres résultats.
  • Les choix de modèles changent avec la date. Nous avons réexécuté 17 questions sur OpenRouter Auto, Auto Code et Jev le 17 novembre, quatre jours après le début de leurs exécutions. Les routeurs ont choisi deux modèles que nous n’avions pas vus lors de ces exécutions. Auto Code a envoyé 63 % de ses appels à l’un d’eux.
  • La limite de 10 appels a touché Sakana Fugu Max sur 16,1 % des questions. Même s’il avait répondu correctement à toutes ces questions, il aurait tout de même obtenu un score inférieur à GPT-6.1 Sol.
  • Les pools autres que les trois que nous avons définis peuvent donner d’autres résultats.
  • Les frais de sélection de Not Diamond utilisent 0,001 $ par choix, le tarif figurant sur son ancienne page de prix. Sa page actuelle facture plutôt 0,05 $ par million de tokens routés.
  • Les questions proviennent des ensembles publics de BIRD, de sorte que les modèles ont peut-être vues lors de l’entraînement.
Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.
GoogleAjouter comme source préférée

FAQ

Un LLM routeur se situe entre une application et un ensemble de modèles et choisit un modèle pour chaque requête. L’objectif est d’envoyer le travail facile à un modèle bon marché et le travail difficile à un modèle fort. Dans un agent, une question entraîne plusieurs appels, de sorte qu’un routeur peut choisir un autre modèle à chaque appel.

Parmi les 8 routeurs, NVIDIA Switchyard a obtenu le score le plus élevé, 56,2 %. OpenRouter Auto Code a obtenu 52,8 % et Not Diamond avec 19 modèles a obtenu 50,9 %. Il n’y a pas de différence claire entre Switchyard et Auto Code, ni entre Auto Code et Not Diamond.

Sur le pool partagé, Not Diamond a obtenu 59,3 %, le score le plus élevé de tous les routeurs à son réglage par défaut. Switchyard a obtenu 55,1 % sur ce pool, sans différence claire par rapport à Not Diamond.

Pas dans ce test. Chacun des 8 routeurs a obtenu un score clairement inférieur à GPT-6.1 Sol.

Sur le pool partagé, Not Diamond était 1.9 point en dessous de GPT-6.1 Sol et Switchyard 6.1 points en dessous. Notre test n’a pas confirmé ces écarts.

Fireworks Nexus Auto a eu le coût le plus bas, 1,9 $ par 1 000 questions, calculé à partir des prix catalogue. OpenRouter Auto a coûté 2,0 $ et TypeSafe Jev 2,1 $. Chacun a envoyé presque chaque appel à un seul modèle bon marché : Claude Haiku 5.5 pour OpenRouter Auto et TypeSafe Jev, et GLM 5.3 Flash pour Nexus Auto.

Not Diamond a obtenu 59,3 % sur le pool partagé et 50,9 % avec 19 modèles. OpenRouter Auto a obtenu 32,9 % sur le pool partagé et 28,7 % sur son propre pool. Switchyard a obtenu 56,2 % avec GPT-6.1 Sol et GPT-6 Luna et 55,1 % sur le pool partagé, soit un écart de 1.1 point sans différence claire.

Lectures complémentaires

Citer cette recherche

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

Berkay Yıla (2026) - "LLM Routeur Benchmark: 8 routeurs sur 523 tâches de base de données agentiques". Publié en ligne sur AIMultiple.com. Consulté le 18 novembre 2026, à : https://aimultiple.com/llm-router [Ressource en ligne]

Yıla, B. (2026, 18 novembre). LLM Routeur Benchmark: 8 routeurs sur 523 tâches de base de données agentiques. AIMultiple. https://aimultiple.com/llm-router

@misc{yila2026,
  author = {Yıla, Berkay},
  title  = {{LLM Routeur Benchmark: 8 routeurs sur 523 tâches de base de données agentiques}},
  year   = {2026},
  month  = nov,
  howpublished    = {\url{https://aimultiple.com/llm-router}},
  note   = {AIMultiple. Consulté le 18 novembre 2026}
}
Télécharger toutes les données

Résultats et horodatages de 135 points de données. Téléchargez les données de synthèse présentées dans les graphiques et les tableaux de cet article sous forme de fichier ZIP contenant 7 fichiers CSV.

Dernière mise à jour : 19 novembre 2026
Télécharger

Vous voulez les données détaillées derrière ? Rejoindre Premium

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

0/450