Premium
Dienstleistungen
Premium

LLM-Router-Benchmark: 8 Router bei 523 agentischen Datenbankaufgaben

Berkay Yıla
Berkay Yıla
aktualisiert am 18. Nov. 2026

Wir haben 8 LLM-Router bei 523 agentischen Datenbankaufgaben getestet und jeden mit einzelnen Modellen hinsichtlich Genauigkeit und Kosten verglichen.

Ergebnisse des agentischen Router-Benchmarks

Select routers and models
*Large dots: routers. Small dots: single models.
NameSeries$ per 1,000 questions, router fees included (log scale)Score (%)ScoreCostPoolLabel
Fireworks Nexus AutoFireworks Nexus Auto1.9335.9535.9%1.9Router's own, open modelsFireworks Nexus Auto
Not DiamondNot Diamond50.5250.8650.9%50.519 modelsNot Diamond
NVIDIA Switchyard (Sol + Luna)NVIDIA Switchyard (Sol + Luna)16.656.2156.2%16.6GPT-6.1 Sol + GPT-6 LunaNVIDIA Switchyard (Sol + Luna)
OpenRouter AutoOpenRouter Auto1.9728.6828.7%2.0Router's ownOpenRouter Auto
OpenRouter Auto CodeOpenRouter Auto Code24.6252.7752.8%24.6Router's ownOpenRouter Auto Code
Sakana Fugu MaxSakana Fugu Max29.9627.3427.3%30.0Router's ownSakana Fugu Max
TypeSafe JevTypeSafe Jev2.0929.4529.4%2.1Router's ownTypeSafe Jev
Unbiased Pareto 26.10Unbiased Pareto 26.1013.1844.1744.2%13.2Router's ownUnbiased Pareto 26.10
Claude Fable 5Anthropic150.3460.0460.0%150.3single modelClaude Fable 5
Claude Fable 5.1Anthropic718.9662.9162.9%719.0single modelClaude Fable 5.1
Claude Fable 5.2Anthropic109.4385.2885.3%109.4single modelClaude Fable 5.2
Claude Haiku 5.5Anthropic1.9226.226.2%1.9single modelClaude Haiku 5.5
Claude Opus 4.8Anthropic148.8350.6750.7%148.8single modelClaude Opus 4.8
Claude Opus 5Anthropic77.860.9961.0%77.8single modelClaude Opus 5
Claude Opus 5.5Anthropic236.5584.8984.9%236.5single modelClaude Opus 5.5
Claude Sonnet 5Anthropic76.6434.4234.4%76.6single modelClaude Sonnet 5
Claude Sonnet 5.5Anthropic53.8170.3670.4%53.8single modelClaude Sonnet 5.5
Command A PlusCohere9.1930.2130.2%9.2single modelCommand A Plus
DeepSeek V4 FlashDeepSeek2.9130.430.4%2.9single modelDeepSeek V4 Flash
DeepSeek V4 Flash 0731DeepSeek1.6633.8433.8%1.7single modelDeepSeek V4 Flash 0731
DeepSeek V4 ProDeepSeek11.2835.3735.4%11.3single modelDeepSeek V4 Pro
DeepSeek V4 Pro 0813DeepSeek13.9540.9240.9%13.9single modelDeepSeek V4 Pro 0813
DeepSeek V4.1 FlashDeepSeek4.2530.7830.8%4.2single modelDeepSeek V4.1 Flash
DeepSeek V4.1 Flash 1017DeepSeek2.0520.6520.7%2.0single modelDeepSeek V4.1 Flash 1017
Gemini 3 Flash PreviewGoogle9.3759.6659.7%9.4single modelGemini 3 Flash Preview
Gemini 3.1 Flash LiteGoogle6.9542.0742.1%6.9single modelGemini 3.1 Flash Lite
Gemini 3.1 Pro PreviewGoogle90.0460.4260.4%90.0single modelGemini 3.1 Pro Preview
Gemini 3.5 Flash LiteGoogle8.5248.7648.8%8.5single modelGemini 3.5 Flash Lite
Gemini 3.6 FlashGoogle27.3858.8958.9%27.4single modelGemini 3.6 Flash
Gemini 3.7 FlashGoogle25.0869.4169.4%25.1single modelGemini 3.7 Flash
Gemini 3.8 FlashGoogle32.6765.3965.4%32.7single modelGemini 3.8 Flash
Gemini 4 ArgonGoogle48.4477.8277.8%48.4single modelGemini 4 Argon
Gemini 4 CarbonGoogle75.6777.2577.2%75.7single modelGemini 4 Carbon
GLM 4.7Zhipu AI10.8425.0525.0%10.8single modelGLM 4.7
GLM 5.1Zhipu AI12.838.4338.4%12.8single modelGLM 5.1
GLM 5.2Zhipu AI6.7139.239.2%6.7single modelGLM 5.2
GLM 5.3Zhipu AI24.2738.6238.6%24.3single modelGLM 5.3
GLM 5.3 FlashZhipu AI4.2236.1436.1%4.2single modelGLM 5.3 Flash
GLM 5.3 PrimeZhipu AI69.8635.1835.2%69.9single modelGLM 5.3 Prime
GPT-5.2OpenAI29.9731.9331.9%30.0single modelGPT-5.2
GPT-5.4 MiniOpenAI7.0324.2824.3%7.0single modelGPT-5.4 Mini
GPT-5.4 NanoOpenAI2.8521.0321.0%2.8single modelGPT-5.4 Nano
GPT-5.5OpenAI75.5244.9344.9%75.5single modelGPT-5.5
GPT-5.6 LunaOpenAI13.8733.4633.5%13.9single modelGPT-5.6 Luna
GPT-5.6 SolOpenAI60.8349.949.9%60.8single modelGPT-5.6 Sol
GPT-5.6 TerraOpenAI30.7139.3939.4%30.7single modelGPT-5.6 Terra
GPT-6 LunaOpenAI1.3438.8138.8%1.3single modelGPT-6 Luna
GPT-6 Luna ProOpenAI3.9138.2438.2%3.9single modelGPT-6 Luna Pro
GPT-6 SolOpenAI21.8350.4850.5%21.8single modelGPT-6 Sol
GPT-6 Sol ProOpenAI59.1150.6750.7%59.1single modelGPT-6 Sol Pro
GPT-6.1 Sol (reference)OpenAI15.4561.1961.2%15.4single model, run with the routersGPT-6.1 Sol (reference)
GPT-6.1 Sol (text-to-SQL)OpenAI15.9161.3861.4%15.9single modelGPT-6.1 Sol (text-to-SQL)
GPT-6.1 Sol ProOpenAI44.1259.8559.8%44.1single modelGPT-6.1 Sol Pro
GPT-6.1 TerraOpenAI8.7653.5453.5%8.8single modelGPT-6.1 Terra
GPT-OSS 120BOpenAI0.59719.8919.9%0.6single modelGPT-OSS 120B
Grok 4.3xAI16.1341.6841.7%16.1single modelGrok 4.3
Grok 4.5xAI26.2448.5748.6%26.2single modelGrok 4.5
Grok 4.6xAI41.7858.3258.3%41.8single modelGrok 4.6
Grok 4.7xAI37.148.3748.4%37.1single modelGrok 4.7
HY4 PreviewTencent12.7845.1245.1%12.8single modelHY4 Preview
Kimi K2.6Moonshot AI19.1343.7943.8%19.1single modelKimi K2.6
Kimi K3Moonshot AI48.2445.3245.3%48.2single modelKimi K3
Kimi K3.1 ProMoonshot AI3249.1449.1%32.0single modelKimi K3.1 Pro
Llama 4 MaverickMeta6.128.1128.1%6.1single modelLlama 4 Maverick
MiMo V2.6 ProXiaomi4.9338.8138.8%4.9single modelMiMo V2.6 Pro
MiniMax M2.5MiniMax3.4529.4529.4%3.5single modelMiniMax M2.5
MiniMax M3MiniMax4.8534.0334.0%4.9single modelMiniMax M3
MiniMax M3.1 FlashMiniMax2.7133.8433.8%2.7single modelMiniMax M3.1 Flash
Mistral Large 4.0Mistral AI18.6526.7726.8%18.7single modelMistral Large 4.0
Mistral Small 2603Mistral AI1.7423.3323.3%1.7single modelMistral Small 2603
Muse EmberMeta2.9937.4837.5%3.0single modelMuse Ember
Muse Glimmer 30BMeta6.431.1731.2%6.4single modelMuse Glimmer 30B
Muse Spark 1.1Meta27.7739.0139.0%27.8single modelMuse Spark 1.1
Muse Spark 1.2Meta39.5645.8945.9%39.6single modelMuse Spark 1.2
Muse Spark 1.3Meta38.6743.9844.0%38.7single modelMuse Spark 1.3
Muse Spark OpenMeta27.141.8741.9%27.1single modelMuse Spark Open
Muse WonderMeta94.2854.4954.5%94.3single modelMuse Wonder
Nemotron 3 Ultra 550B A55BNVIDIA25.2831.9331.9%25.3single modelNemotron 3 Ultra 550B A55B
Qwen3.5 27BAlibaba12.4937.2837.3%12.5single modelQwen3.5 27B
Qwen3.6 27BAlibaba19.4847.847.8%19.5single modelQwen3.6 27B
Qwen3.6 FlashAlibaba8.6934.2334.2%8.7single modelQwen3.6 Flash
Qwen3.7 PlusAlibaba8.8839.7739.8%8.9single modelQwen3.7 Plus
Qwen3.8 2.4T A95BAlibaba32.2848.7648.8%32.3single modelQwen3.8 2.4T A95B
Qwen3.8 27BAlibaba14.2543.443.4%14.2single modelQwen3.8 27B
Qwen3.8 FlashAlibaba2.541.6841.7%2.5single modelQwen3.8 Flash
Qwen3.8 MaxAlibaba30.5446.2746.3%30.5single modelQwen3.8 Max
Qwen3.8 Max 0902Alibaba31.5236.3336.3%31.5single modelQwen3.8 Max 0902
Qwen3.8 Max PrimeAlibaba62.9134.9935.0%62.9single modelQwen3.8 Max Prime
Solar Pro4Upstage2.1423.3323.3%2.1single modelSolar Pro4
Tencent HY3Tencent2.0543.2143.2%2.1single modelTencent HY3

Für jeden der 8 Router erzielte mindestens ein von uns ausgeführtes einzelnes Modell eine gleich hohe oder höhere Punktzahl und kostete pro Frage gleich viel oder weniger. Im Diagramm markiert der grüne Bereich Ergebnisse, die weniger als GPT-6.1 Sol kosten und über 50 % liegen.

Für jede Frage wählt der Agent zuerst eine von 11 Datenbanken aus und schreibt dann SQL-Abfragen dagegen. Er kann ein Modell bis zu 10 Mal pro Frage aufrufen, und der Router wählt das Modell für jeden Aufruf. Ein Pool ist die Menge von Modellen, aus denen ein Router wählen kann.

Punktzahlen nach Router

LabelLabel shortCI lowCI highScore (%)
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)57.1765.3961.19
NVIDIA Switchyard (Sol + Luna)Switchyard51.8260.4256.21
OpenRouter Auto CodeAuto Code48.3756.9852.77
Not Diamond (19 models)Not Diamond46.4655.0750.86
Unbiased Pareto 26.10Unbiased Pareto39.9648.3744.17
Fireworks Nexus AutoNexus Auto31.7440.1535.95
TypeSafe JevTypeSafe Jev25.6233.2729.45
OpenRouter AutoOpenRouter Auto24.8632.728.68
Sakana Fugu MaxFugu Max23.5231.3627.34

Alle 8 Router schnitten deutlich schlechter ab als GPT-6.1 Sol. Switchyard kam am nächsten, 5.0 Punkte darunter. Sein 95 %-Intervall überschneidet sich mit dem von Sol, aber der Test bei denselben Fragen trennt die beiden (siehe Statistik).

Jeder Router im Vergleich zu seinem meistgenutzten Modell

Router score vs its most used model's score
LabelLabel shortRouter scoreAlone scoreMain model nameMain model shortMain model shareRouterMost used model
OpenRouter AutoOpenRouter Auto28.7%26.2%Claude Haiku 5.5Haiku 5.599%28.6826.2
TypeSafe JevTypeSafe Jev29.4%26.2%Claude Haiku 5.5Haiku 5.598%29.4526.2
Fireworks Nexus AutoNexus Auto35.9%36.1%GLM 5.3 FlashGLM 5.3 Flash99%35.9536.14
Not Diamond (19 models)Not Diamond50.9%49.9%GPT-5.6 SolGPT-5.6 Sol100%50.8649.9
OpenRouter Auto CodeAuto Code52.8%61.2%GPT-6.1 SolGPT-6.1 Sol71%52.7761.19
NVIDIA Switchyard (Sol + Luna)Switchyard56.2%61.2%GPT-6.1 SolGPT-6.1 Sol75%56.2161.19

Von den sechs Routern, die ihr Modell benennen, lagen vier innerhalb von 3.3 Punkten ihres meistgenutzten Modells. Switchyard teilte seine Aufrufe zwischen GPT-6.1 Sol und GPT-6 Luna auf, und Automatisch Code zwischen GPT-6.1 Sol und GLM 5.3. Sie lagen 5.0 und 8.4 Punkte unter Sol.

Die Router hatten keinen gemeinsamen Pool, daher spiegeln diese Abstände sowohl den Router als auch die Modelle wider, aus denen er wählen konnte. Der Abschnitt Gemeinsamer Pool vergleicht drei Router mit denselben zwei Modellen. Wir haben die Pools für Switchyard und Not Diamond festgelegt (siehe Router und Pools).

Zeit pro Frage

Median seconds per question
LabelLabel shortSec labelSeconds
OpenRouter AutoOpenRouter Auto8.8 s8.8
TypeSafe JevTypeSafe Jev9.0 s8.96
OpenRouter Auto CodeAuto Code10.4 s10.42
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)10.7 s10.69
Fireworks Nexus AutoNexus Auto10.8 s10.81
Unbiased Pareto 26.10Unbiased Pareto12.7 s12.68
Sakana Fugu MaxFugu Max13.3 s13.28
NVIDIA Switchyard (Sol + Luna)Switchyard15.4 s15.44
Not Diamond (19 models)Not Diamond17.3 s17.28

Not Diamond mit 19 Modellen und Switchyard waren die langsamsten Router. Sie benötigten im Median 17.3 bzw. 15,4 Sekunden pro Frage. GPT-6.1 Sol benötigte 10,7 Sekunden. OpenRouter Automatisch und Jev waren mit 8.8 und 9,0 Sekunden am schnellsten. Beide schickten fast jeden Aufruf an Claude Haiku 5.5.

Bei Automatisch Code liefen die GPT-6.1 Sol-Aufrufe auf der Prioritätsstufe. Sie wurden im Median in 1,5 Sekunden generiert, gegenüber 1,8 Sekunden für GPT-6.1 Sol ohne Router. Das Routing über Automatisch Code fügte etwa 0,2 Sekunden pro Aufruf hinzu. Pro Frage benötigten die beiden etwa gleich lange, 10.4 und 10,7 Sekunden im Median.

Kosten und Gebühren der Router

Cost per 1,000 questions
LabelLabel shortTotalPer correctBilledComputed from list prices
Fireworks Nexus AutoNexus Auto$1.9$5.4—1.93
OpenRouter AutoOpenRouter Auto$2.0$6.91.97—
TypeSafe JevTypeSafe Jev$2.1$7.12.09—
Unbiased Pareto 26.10Unbiased Pareto$13.2$29.813.18—
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)$15.4$25.215.45—
NVIDIA Switchyard (Sol + Luna)Switchyard$16.6$29.516.6—
OpenRouter Auto CodeAuto Code$24.6$46.624.62—
Sakana Fugu MaxFugu Max$30.0$109.629.96—
Not Diamond (19 models)Not Diamond$50.5$99.343.766.76

Die Kosten eines Routers sind die Modellrechnung plus eventuelle Judge- oder Auswahlgebühren. Wenn ein Versuch fehlschlug und die Frage erneut ausgeführt wurde, zählen wir nur den letzten Versuch. Im Diagramm sind gestreifte Teile aus Preislisten berechnet, der Rest stammt aus Rechnungen.

Fireworks Nexus Automatisch kostete am wenigsten pro richtiger Antwort, 5,4 $ pro 1.000 richtige Antworten zu Listenpreisen. Unter Routern mit abgerechneten Kosten kostete OpenRouter Automatisch mit 6,9 $ am wenigsten.

Einige Router kosteten mehr als ihr meistgenutztes Modell. Die Mehrkosten stammten vom Judge von Switchyard, von der Auswahlgebühr von Not Diamond und von der Prioritätsstufe von Automatisch Code für dessen GPT-6.1 Sol-Aufrufe. In jedem Fall schnitt der Router nicht klar besser ab als sein meistgenutztes Modell.

Kosten im Vergleich zu einzelnen Modellen

Vier Router kosteten mehr als GPT-6.1 Sol, das 61,2 % für 15,4 $ pro 1.000 Fragen erzielte. Alle vier schnitten schlechter ab:

  • Not Diamond mit 19 Modellen: 50,9 % für 50,5 $. Der größte Teil davon entfiel auf seine GPT-5.6 Sol-Aufrufe, und seine Auswahlgebühr fügte 6,8 $ hinzu (siehe Gebühren und Preisstufen).
  • Sakana Fugu Max: 27,3 %, die niedrigste Punktzahl der 8 Router, für 30,0 $. Es benennt sein Modell nicht. Es führte 6.8 Modellaufrufe pro Frage aus, gegenüber 5.5 bei GPT-6.1 Sol. Sein durchschnittlicher Aufruf kostete etwa das 1.6-Fache eines GPT-6.1 Sol-Aufrufs.
  • OpenRouter Automatisch Code: 52,8 % für 24,6 $. Es schickte 71 % der Aufrufe an GPT-6.1 Sol, und fast alle davon liefen auf der Prioritätsstufe von OpenAI (siehe Gebühren und Preisstufen).
  • NVIDIA Switchyard: 56,2 % für 16,6 $. Seine Aufrufe an GPT-6.1 Sol und GPT-6 Luna kosteten 13,7 $, weniger als Sols 15,4 $. Sein Judge-Modell fügte 2,9 $ hinzu (siehe Gebühren und Preisstufen).

Keiner der drei günstigsten Router schnitt besser ab als GPT-6 Luna, das 38,8 % für 1,3 $ pro 1.000 Fragen erzielte. OpenRouter Automatisch und TypeSafe Jev lagen etwa 10 Punkte darunter, 28,7 % und 29,4 %, für 2,0 $ und 2,1 $. Fireworks Nexus Automatisch erzielte 35,9 % für 1,9 $, ohne klaren Unterschied zu Luna.

Gebühren und Preisstufen

  • Um für jeden Aufruf ein Modell zu wählen, prüft Switchyard zuerst die bisherigen Tool-Ergebnisse. Fehler und wiederholte Misserfolge deuten auf das stärkere Modell hin. Wenn die Tool-Ergebnisse die Wahl nicht klären, wie beim ersten Aufruf einer Frage, liest ein kleines Judge-Modell, Gemini 3.5 Flash Lite, die Frage und wählt das Modell.1 Jeder Judge-Aufruf wird als normaler Modellaufruf abgerechnet. Auf dem gemeinsam genutzten Pool fügte der Judge 3,2 $ pro 1.000 Fragen hinzu.
  • Not Diamond berechnet eine Gebühr für jede Modellwahl. Wir haben jede Wahl mit 0,001 $ gezählt, dem Preis auf seiner Preisliste.2 Auf dem gemeinsam genutzten Pool belief sich die Gebühr auf 6,3 $ pro 1.000 Fragen, 40 % der Gesamtsumme von 15,8 $ bei Not Diamond.
  • Automatisch Code bekam die Prioritätsstufe von OpenAI auf fast allen seinen GPT-6.1 Sol-Aufrufen. Es zahlte das 2.04-Fache des Preises pro Aufruf von GPT-6.1 Sol. OpenRouter sagt, dass die Prioritätsstufe eines geschlossenen Modells nur dann greift, wenn eine Anfrage dies verlangt oder den Anbieter festlegt,3 aber unsere Anfragen taten beides nicht. Ohne die Stufe hätte Automatisch Code etwa 13 $ pro 1.000 Fragen gekostet statt 24,6 $.

Mit 19 Modellen kosteten die GPT-5.6 Sol-Aufrufe von Not Diamond 43,8 $ pro 1.000 Fragen, gegenüber 60,8 $ für GPT-5.6 Sol in unserem Text-zu-SQL-Benchmark. Ein Cache-Rabatt könnte den Unterschied erklären. Not Diamond erhielt den Cache-Preis bei 69,5 % seiner Eingabe-Tokens. Unser Text-zu-SQL-Lauf hat die Cache-Nutzung nicht aufgezeichnet, daher können wir dies nicht bestätigen.

Modellwahl und Modellwechsel

Which models answered the calls
LabelLabel shortClaude Haiku 5.5DeepSeek V4.1 FlashGLM 5.3GLM 5.3 FlashGPT-5.6 SolGPT-6 LunaGPT-6.1 SolOther
OpenRouter AutoOpenRouter Auto98.631.37——————
TypeSafe JevTypeSafe Jev98.291.030.3206———0.14250.2138
Fireworks Nexus AutoNexus Auto——1.1598.85————
Not Diamond (19 models)Not Diamond, 19 models————100———
OpenRouter Auto CodeAuto Code——29.43———70.57—
NVIDIA Switchyard (Sol + Luna)Switchyard, Sol + Luna—————25.0274.98—

Von den 9 Router-Läufen mit Standardeinstellungen, die das Modell benennen, schickten fünf mindestens 98 % ihrer Aufrufe an ein einziges Modell. Dies waren OpenRouter Automatisch mit seinem eigenen Pool, Jev, Nexus Automatisch und Not Diamond auf beiden Pools.

Die Liste der 19 Modelle von Not Diamond enthielt auch Gemini 3 Flash Preview, das 59,7 % für 9,4 $ pro 1.000 Fragen erzielte. Keine der Auswahlen von Not Diamond ging an Gemini 3 Flash Preview. Jeder Aufruf ging an GPT-5.6 Sol, das 49,9 % erzielte.

Modellwechsel innerhalb einer Frage

Bei Standardeinstellungen wechselte nur Switchyard innerhalb von mehr als 5 % der Fragen das Modell. Dies tat es in 308 von 523 Fragen mit GPT-6.1 Sol und GPT-6 Luna sowie in 35 Fragen im gemeinsamen Pool.

Jede Frage lief als eine Router-Sitzung, mit demselben Sitzungsschlüssel bei jedem Aufruf. Die OpenRouter-Dokumentation zu Switchyard und Pareto empfiehlt dies für Agenten. Ein Sitzungsschlüssel hindert einen Router nicht daran, Modelle zu wechseln. Die meisten Router können für jeden Aufruf ein Modell wählen. Die OpenRouter-Dokumentation zu Automatisch sagt, dass ein Wechsel mehr kostet, weil das neue Modell den Prompt-Cache neu aufbauen muss. Daher wechselt Automatisch nur, wenn es sich lohnt. Die Fireworks-Dokumentation zu Nexus Automatisch sagt, dass es für jede neue Benutzernachricht ein Modell wählt und es für die Tool-Aufrufe dieser Nachricht beibehält. Unser Agent sendet eine Benutzernachricht mit der Frage und eine zweite, die nach der endgültigen Antwort fragt. Alle 9 Nexus-Automatisch-Wechsel erfolgten bei dieser zweiten Nachricht.

Vergleich mit zufälliger Mischung

Wir haben Switchyard in beiden Pools und Automatisch Code mit einer zufälligen Mischung verglichen. Die zufällige Mischung beantwortet jede Frage mit einem Modell, das zufällig gemäß den Aufrufanteilen des Routers ausgewählt wird. Ihre erwartete Punktzahl stammt aus unseren Einzelmodell-Läufen.

Switchyard mit Sol und Luna erzielte 56,2 %, gegenüber 55,7 % für seine zufällige Mischung. Switchyard im gemeinsamen Pool erzielte 55,1 % gegenüber 52,4 %. Automatisch Code erzielte 52,8 % gegenüber 54,7 %. Keiner der drei Router schnitt klar besser oder schlechter ab als seine zufällige Mischung.

Drei Router mit einem Pool

Same two models, three routers
LabelLabel shortCost labelSame two models, three routers
Not Diamond, cost settingNot Diamond, cost$12.859.66
Gemini 3 Flash Preview (no router)Gemini (no router)$9.459.66
Not Diamond, default settingNot Diamond, default$15.859.27
NVIDIA SwitchyardSwitchyard$11.255.07
OpenRouter AutoOpenRouter Auto$3.432.89
DeepSeek V4 Flash (no router)DeepSeek (no router)$2.930.4

Um die Modelle vom Routing zu trennen, gaben wir drei Routern dieselben zwei Modelle. Gemini 3 Flash Preview ist das starke, und DeepSeek V4 Flash ist das günstige.

Ergebnisse im gemeinsamen Pool

Bei Standardeinstellungen zeigte kein Router einen klaren Unterschied zu seinem meistgenutzten Modell, und keiner erzielte mehr als Gemini 3 Flash Preview.

Not Diamond lag 1.9 Punkte unter GPT-6.1 Sol und Switchyard 6.1 Punkte darunter. Unser Test hat diese Abstände nicht bestätigt.

  • Bei seiner Standardeinstellung schickte Not Diamond 100 % der Aufrufe an Gemini 3 Flash Preview. Es erzielte 59,3 % gegenüber 59,7 % für Gemini 3 Flash Preview. Es kostete 15,8 $ pro 1.000 Fragen gegenüber 9,4 $.
  • Mit seiner Kosteneinstellung schickte Not Diamond 62 % der Aufrufe an DeepSeek V4 Flash. Es gab weiterhin jede endgültige Antwort mit Gemini 3 Flash Preview. Es erzielte 59,7 %, genauso wie Gemini 3 Flash Preview, für 12,8 $ gegenüber 9,4 $. Seine Auswahlgebühr, 7,5 $, war höher als die Kosten seiner Modellaufrufe.
  • Switchyard schickte 75 % der Aufrufe an Gemini 3 Flash Preview und erzielte 55,1 %, ohne klaren Unterschied zu Not Diamond.
  • Automatisch schickte 97 % der Aufrufe an DeepSeek V4 Flash und erzielte 32,9 %, nahe an den 30,4 % von DeepSeek V4 Flash.

Modelleignung und Aufruflimit

Wir fanden kein klares Anzeichen dafür, dass ein Router in diesem Pool das zur Frage passende Modell wählte. Es gibt 170 Fragen, die Gemini 3 Flash Preview löst und DeepSeek V4 Flash verfehlt, und 17, bei denen es umgekehrt ist. Jeder Router schickte in beiden Gruppen einen ähnlichen Anteil seiner Aufrufe an DeepSeek V4 Flash, höchstens 10 Punkte auseinander. Die Gruppe von 17 ist zu klein, um einen kleinen Unterschied zu zeigen.

Automatisch erreichte das Limit von 10 Aufrufen am häufigsten, bei 37,3 % der Fragen, gegenüber 18,9 % bei Switchyard und 16,8 % bei Not Diamond.

OpenRouter Automatisch brauchte in diesem Pool außerdem am längsten, 17,5 Sekunden pro Frage im Median. Not Diamond benötigte 9,0 Sekunden mit denselben zwei Modellen.

Lassen Sie unser Team einen Ihrer Geschäftsprozesse kostenlos mit KI-Agenten automatisieren.
Einen Prozess automatisieren

Jeder Router im Kurzporträt

Not Diamond

Der Standard-Router von Not Diamond wird vortrainiert geliefert, Sie müssen ihn also vor der Verwendung nicht trainieren. Sie können auch einen benutzerdefinierten Router mit Ihren eigenen Daten trainieren.4 Not Diamond ruft das Modell nicht auf. Es gibt den Namen des gewählten Modells zurück, und Ihr eigener Code ruft dieses Modell dann auf. Die anderen Router führen den Aufruf selbst aus. Standardmäßig wählt Not Diamond nach Qualität. Eine Trade-off-Einstellung bei jeder Anfrage kann stattdessen Kosten oder Latenz bevorzugen.5 Wir verwendeten den Standard-Router und führten seine Kosteneinstellung einmal im gemeinsamen Pool aus.

NVIDIA Switchyard

Switchyard läuft auf OpenRouter. Sie listen bis zu drei Modelle auf, und es wählt zwischen dem günstigsten und dem teuersten davon. Es fügt keine eigene Routing-Gebühr hinzu.1

OpenRouter Automatisch

OpenRouter Automatisch wählt für jede Anfrage ein Modell und einen Reasoning-Aufwand und erhebt keine Gebühr.6 Eine Liste in `allowed_models` ist ein hartes Limit, und eine Kostenstufe von niedrig, mittel oder hoch legt die Richtlinie fest. Die Dokumentation besagt, dass der Standard mehr kostet als das alte Automatisch, und empfiehlt die niedrige Stufe, um die Kosten näher daran zu halten. In unserem Test erzielte die niedrige Stufe 28,3 % gegenüber 28,7 % beim Standard, bei denselben 2,0 $ pro 1.000 Fragen, ohne klaren Unterschied.

OpenRouter Automatisch Code

Automatisch Code läuft auf derselben Engine wie Automatisch, mit einer für Coding-Agenten abgestimmten Richtlinie, und erhebt keine Gebühr.7 Es zieht es vor, den Reasoning-Aufwand zu ändern statt die Modelle zu wechseln, um den Prompt-Cache zu erhalten. Es behandelt `allowed_models` als hartes Limit. Als wir ihm den gemeinsamen Pool gaben, schlug jede Anfrage mit einem Fehler fehl, der besagte, dass kein gemessenes Modell die Anfrage erfüllte.

TypeSafe Jev

Jev wählt für jede Anfrage ein Modell und einen Reasoning-Aufwand, und jede Anfrage wird zum Preis des Modells abgerechnet, an das sie geht.8 Eine Modellliste ist nur eine Präferenz, und nur `excluded_models` blockiert ein Modell.9 Seine Punktzahl zeigte keinen klaren Unterschied zu OpenRouter Automatisch. Stand 14. November 2026 besagt die Router-Benchmark-Seite von OpenRouter, dass Automatisch nun von Jev betrieben wird.10

Fireworks Nexus Automatisch

Nexus Automatisch ist ein Fireworks-Router, der mit der Modell-ID automatisch aufgerufen wird. Es benötigt keine Modellliste. Mit einem Fireworks-Schlüssel wählt es zwischen offenen Fireworks-Modellen.11

Unbiased Pareto 26.10

OpenRouter führt Unbiased Pareto 26.10 mit 0,80 $ pro Million Eingabe-Tokens und 3,20 $ pro Million Ausgabe-Tokens.12 Es benötigt keine Modellliste, und die Seite sagt nicht, wie es ein Modell auswählt oder welche Modelle es verwendet. Seine Antworten nennen nur den Router. Es erzielte 44,2 % für 13,2 $ pro 1.000 Fragen, niedriger und teurer als Gemini 3 Flash Preview.

Sakana Fugu Max

Sakana sagt, Fugu Max führe seinen größten Pool von Modellen aus. Der Pool ist festgelegt, und Sakana listet nicht alle seine Mitglieder auf. Es kostet 2 $ pro Million Eingabe-Tokens und 6 $ pro Million Ausgabe-Tokens sowie 0,007 $ für jeden internen Web-Tool-Aufruf.13

Methodik des agentischen Router-Benchmarks

Jeder Router erhielt denselben Agenten, Prompt, dieselben Tools und dieselbe Fragenreihenfolge. Ein lokaler Proxy zeichnete Modell, Tokens, Kosten und Dauer jedes Aufrufs auf.

LLM-Router-Benchmark-Aufbau. Der Agent wählt eine Datenbank aus und schreibt SQL. Der Router wählt ein Modell für jeden Aufruf, und ein lokaler Proxy zeichnet es auf. Die Antwort wird mit dem Referenzergebnis bewertet.

Wir verwendeten 523 Fragen aus unserem Text-zu-SQL-Benchmark, der auf BIRD basiert, einem öffentlichen Text-zu-SQL-Datensatz. Dem Agenten wird nicht mitgeteilt, welche der 11 Datenbanken er verwenden soll, und Datenbanknamen werden durch Aliasse ersetzt. Eine Frage gilt als richtig, wenn der Agent die richtige Datenbank wählt und seine Abfrage das Referenzergebnis zurückgibt. Ein Fehler gilt als Misserfolg. Jede Anfrage kann bis zu 600 Sekunden dauern.

Wir riefen sechs Router über OpenRouter mit den IDs openrouter/automatisch, openrouter/automatisch-code, typesafe/jev-router, nvidia/switchyard, unbiased/pareto-26.10 und sakana/fugu-max auf. Not Diamond lief über seine modelSelect-API, und wir riefen jedes von ihm gewählte Modell über OpenRouter auf. Fireworks Nexus Automatisch lief über die Fireworks-API. Außerdem führten wir GPT-6.1 Sol ohne Router durch denselben Aufbau aus. Die übrigen Punktzahlen einzelner Modelle stammen aus unserem Text-zu-SQL-Benchmark mit denselben 523 Fragen.

Die Zeit ist der Median der Sekunden pro Frage, gemessen auf unserer Seite über alle Agentenschritte. Jeder Router und Pool lief einmal, vom 13 bis zum 16. November 2026. Jede Frage wurde ohne Fehler abgeschlossen.

Router und Pools

Wir berücksichtigten Router, die zum Zeitpunkt des Laufs eine öffentliche API hatten und Tool-Aufrufe akzeptierten. OpenRouter Automatisch und Automatisch Code liefen nach dem 6. November 2026, als OpenRouter Automatisch überarbeitete und Automatisch Code einführte.14

Sechs Router liefen mit ihrem eigenen Pool und den Voreinstellungen des Anbieters. Wir legten den Pool für Switchyard und Not Diamond fest. Ohne Modellliste nimmt Switchyard zwei der 20 Modelle mit den höchsten Ausgaben auf OpenRouter in den vergangenen sieben Tagen, sodass sich das Paar im Laufe der Zeit ändert. Um das Paar fest zu halten, gaben wir ihm GPT-6.1 Sol und GPT-6 Luna. Not Diamond benötigt eine Modellliste. Wir gaben ihm 19 Modelle, die es unterstützt und die wir auch in unserem Text-zu-SQL-Benchmark getestet haben.

Um das Routing mit denselben Modellen zu vergleichen, führten wir Not Diamond, NVIDIA Switchyard und OpenRouter Automatisch mit einem gemeinsamen Pool aus. Diese Läufe werden nicht in eine Rangfolge eingeordnet.

Ein Router konnte nur teilnehmen, wenn er sich an eine von uns vorgegebene Modellliste hielt. Not Diamond unterstützt weder GPT-6.1 Sol noch GPT-6 Luna, das Paar, das Switchyard oben verwendete. Also wählten wir Gemini 3 Flash Preview und DeepSeek V4 Flash, ein starkes und ein günstiges Modell, das es unterstützt.15 Switchyard und OpenRouter Automatisch übernahmen dieselbe Liste. Die anderen fünf Router konnten nicht auf diese Liste festgelegt werden (siehe Jeder Router im Kurzporträt).

Wir testeten auch OpenRouter Pareto Code, stuften ihn aber nicht ein. Der Nutzer wählt eine von drei Stufen. Innerhalb einer Stufe sendet es Aufrufe an das günstigste verfügbare Modell und passt seine Wahl nicht an jede Runde an.

Am 13. November enthielt die Standardstufe von Pareto Code ein Modell, Claude Fable 5.2. In der von uns gewählten mittleren Stufe schickte Pareto Code alle 3.083 Aufrufe an Kimi K3 und erzielte 43,0 % für 28,4 $ pro 1.000 Fragen.

Statistik

Die Klammern im Punktediagramm zeigen ein 95 %-Konfidenzintervall, berechnet mit einem Bootstrap über die 523 Fragen. Es zeigt, wie stark eine Punktzahl davon abhängt, welche Fragen ausgewählt wurden.

Um zwei Ergebnisse bei denselben Fragen zu vergleichen, verwendeten wir einen exakten McNemar-Test. Er zählt nur die Fragen, die ein Ergebnis richtig und das andere falsch hatte. Da wir viele Vergleiche anstellten, korrigierten wir die Ergebnisse mit der Holm-Methode auf einem 5 %-Niveau. Wenn der Test zwei Ergebnisse nicht trennt, sagen wir, dass kein klarer Unterschied besteht.

Zum Beispiel lag Switchyard im gemeinsamen Pool 6.1 Punkte unter GPT-6.1 Sol, ohne klaren Unterschied. Mit Sol und Luna lag es 5.0 Punkte darunter, und dieser Abstand ist klar. Im gemeinsamen Pool unterschieden sich Switchyard und Sol bei 146 Fragen, bei denen eine richtig und die andere falsch war. Mit Sol und Luna unterschieden sie sich nur bei 44. Je mehr Fragen sich unterscheiden, desto größer muss ein Abstand sein, bevor wir ihn als klar bezeichnen.

Vergleiche der Router mit GPT-6.1 Sol verwenden dessen Lauf mit 61,2 % durch denselben Aufbau wie die Router. Die zufälligen Mischungen und andere Vergleiche mit einzelnen Modellen verwenden Sols Lauf mit 61,4 % aus unserem Text-zu-SQL-Benchmark. Im ersten Diagramm ist er als GPT-6.1 Sol (Text-zu-SQL) beschriftet. Es gibt keinen klaren Unterschied zwischen den beiden Läufen.

Einschränkungen

  • Ein Lauf pro Router und Pool. In den beiden Läufen von GPT-6.1 Sol waren 33 Fragen in einem Lauf richtig und im anderen falsch.
  • Ein Aufgabentyp, mit bis zu 10 Modellaufrufen pro Frage. Längere Agentenaufgaben können zu anderen Ergebnissen führen.
  • Modellentscheidungen ändern sich mit dem Datum. Wir wiederholten 17 Fragen bei OpenRouter Automatisch, Automatisch Code und Jev am 17. November, vier Tage nach Beginn ihrer Läufe. Die Router wählten zwei Modelle, die wir in diesen Läufen nicht gesehen hatten. Automatisch Code schickte 63 % seiner Aufrufe an eines davon.
  • Das Limit von 10 Aufrufen traf Sakana Fugu Max bei 16,1 % der Fragen. Selbst wenn es all diese richtig beantwortet hätte, würde es immer noch unter GPT-6.1 Sol abschneiden.
  • Andere Pools als die drei von uns festgelegten können zu anderen Ergebnissen führen.
  • Die Auswahlgebühr von Not Diamond verwendet 0,001 $ pro Auswahl, den Satz auf seiner älteren Preisseite. Seine aktuelle Seite berechnet stattdessen 0,05 $ pro Million gerouteter Tokens.
  • Die Fragen stammen aus den öffentlichen Sets von BIRD, sodass Modelle sie möglicherweise im Training gesehen haben.
Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.
GoogleAls bevorzugte Quelle hinzufügen

FAQs

Ein LLM-Router sitzt zwischen einer Anwendung und einer Reihe von Modellen und wählt für jede Anfrage ein Modell aus. Ziel ist es, einfache Arbeit an ein günstiges Modell und schwere Arbeit an ein starkes Modell zu senden. Bei einem Agenten umfasst eine Frage mehrere Aufrufe, daher kann ein Router für jeden Aufruf ein anderes Modell wählen.

Von den 8 Routern schnitt NVIDIA Switchyard mit 56,2 % am besten ab. OpenRouter Automatisch Code erzielte 52,8 % und Not Diamond mit 19 Modellen erzielte 50,9 %. Es gibt keinen klaren Unterschied zwischen Switchyard und Automatisch Code oder zwischen Automatisch Code und Not Diamond.

Im gemeinsamen Pool erzielte Not Diamond 59,3 %, die höchste Punktzahl aller Router bei seiner Standardeinstellung. Switchyard erzielte in diesem Pool 55,1 %, ohne klaren Unterschied zu Not Diamond.

In diesem Test nicht. Jeder der 8 Router schnitt klar schlechter ab als GPT-6.1 Sol.

Im gemeinsamen Pool lag Not Diamond 1.9 Punkte unter GPT-6.1 Sol und Switchyard 6.1 Punkte darunter. Unser Test hat diese Abstände nicht bestätigt.

Fireworks Nexus Automatisch hatte die niedrigsten Kosten, 1,9 $ pro 1.000 Fragen, berechnet aus Listenpreisen. OpenRouter Automatisch kostete 2,0 $ und TypeSafe Jev 2,1 $. Jeder schickte fast jeden Aufruf an ein günstiges Modell: Claude Haiku 5.5 für OpenRouter Automatisch und TypeSafe Jev sowie GLM 5.3 Flash für Nexus Automatisch.

Not Diamond erzielte im gemeinsamen Pool 59,3 % und mit 19 Modellen 50,9 %. OpenRouter Automatisch erzielte im gemeinsamen Pool 32,9 % und mit seinem eigenen Pool 28,7 %. Switchyard erzielte mit GPT-6.1 Sol und GPT-6 Luna 56,2 % und im gemeinsamen Pool 55,1 %, ein Abstand von 1.1 Punkten ohne klaren Unterschied.

Weiterführende Informationen

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

Berkay Yıla (2026) - "LLM-Router-Benchmark: 8 Router bei 523 agentischen Datenbankaufgaben". Online veröffentlicht auf AIMultiple.com. Abgerufen am 18. November 2026, von: https://aimultiple.com/llm-router [Online-Ressource]

Yıla, B. (2026, 18. November). LLM-Router-Benchmark: 8 Router bei 523 agentischen Datenbankaufgaben. AIMultiple. https://aimultiple.com/llm-router

@misc{yila2026,
  author = {Yıla, Berkay},
  title  = {{LLM-Router-Benchmark: 8 Router bei 523 agentischen Datenbankaufgaben}},
  year   = {2026},
  month  = nov,
  howpublished    = {\url{https://aimultiple.com/llm-router}},
  note   = {AIMultiple. Abgerufen am 18. November 2026}
}
Alle Daten herunterladen

Ergebnisse und Zeitstempel von 135 Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 7 CSV-Dateien enthält.

Zuletzt aktualisiert: 19. November 2026
Herunterladen

Möchten Sie die granularen Daten dahinter? Premium beitreten

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

0/450