Premium
Hizmetler
Premium

LLM Router Karşılaştırması: 523 Ajan Veritabanı Görevinde 8 Router

Berkay Yıla
Berkay Yıla
Güncellenme tarihi: 18 Kas 2026

8 LLM router'ı 523 ajan veritabanı görevinde test ettik ve her birini doğruluk ve maliyet açısından tekli modellerle karşılaştırdık.

Ajan router kıyaslama sonuçları

Select routers and models
*Large dots: routers. Small dots: single models.
NameSeries$ per 1,000 questions, router fees included (log scale)Score (%)ScoreCostPoolLabel
Fireworks Nexus AutoFireworks Nexus Auto1.9335.9535.9%1.9Router's own, open modelsFireworks Nexus Auto
Not DiamondNot Diamond50.5250.8650.9%50.519 modelsNot Diamond
NVIDIA Switchyard (Sol + Luna)NVIDIA Switchyard (Sol + Luna)16.656.2156.2%16.6GPT-6.1 Sol + GPT-6 LunaNVIDIA Switchyard (Sol + Luna)
OpenRouter AutoOpenRouter Auto1.9728.6828.7%2.0Router's ownOpenRouter Auto
OpenRouter Auto CodeOpenRouter Auto Code24.6252.7752.8%24.6Router's ownOpenRouter Auto Code
Sakana Fugu MaxSakana Fugu Max29.9627.3427.3%30.0Router's ownSakana Fugu Max
TypeSafe JevTypeSafe Jev2.0929.4529.4%2.1Router's ownTypeSafe Jev
Unbiased Pareto 26.10Unbiased Pareto 26.1013.1844.1744.2%13.2Router's ownUnbiased Pareto 26.10
Claude Fable 5Anthropic150.3460.0460.0%150.3single modelClaude Fable 5
Claude Fable 5.1Anthropic718.9662.9162.9%719.0single modelClaude Fable 5.1
Claude Fable 5.2Anthropic109.4385.2885.3%109.4single modelClaude Fable 5.2
Claude Haiku 5.5Anthropic1.9226.226.2%1.9single modelClaude Haiku 5.5
Claude Opus 4.8Anthropic148.8350.6750.7%148.8single modelClaude Opus 4.8
Claude Opus 5Anthropic77.860.9961.0%77.8single modelClaude Opus 5
Claude Opus 5.5Anthropic236.5584.8984.9%236.5single modelClaude Opus 5.5
Claude Sonnet 5Anthropic76.6434.4234.4%76.6single modelClaude Sonnet 5
Claude Sonnet 5.5Anthropic53.8170.3670.4%53.8single modelClaude Sonnet 5.5
Command A PlusCohere9.1930.2130.2%9.2single modelCommand A Plus
DeepSeek V4 FlashDeepSeek2.9130.430.4%2.9single modelDeepSeek V4 Flash
DeepSeek V4 Flash 0731DeepSeek1.6633.8433.8%1.7single modelDeepSeek V4 Flash 0731
DeepSeek V4 ProDeepSeek11.2835.3735.4%11.3single modelDeepSeek V4 Pro
DeepSeek V4 Pro 0813DeepSeek13.9540.9240.9%13.9single modelDeepSeek V4 Pro 0813
DeepSeek V4.1 FlashDeepSeek4.2530.7830.8%4.2single modelDeepSeek V4.1 Flash
DeepSeek V4.1 Flash 1017DeepSeek2.0520.6520.7%2.0single modelDeepSeek V4.1 Flash 1017
Gemini 3 Flash PreviewGoogle9.3759.6659.7%9.4single modelGemini 3 Flash Preview
Gemini 3.1 Flash LiteGoogle6.9542.0742.1%6.9single modelGemini 3.1 Flash Lite
Gemini 3.1 Pro PreviewGoogle90.0460.4260.4%90.0single modelGemini 3.1 Pro Preview
Gemini 3.5 Flash LiteGoogle8.5248.7648.8%8.5single modelGemini 3.5 Flash Lite
Gemini 3.6 FlashGoogle27.3858.8958.9%27.4single modelGemini 3.6 Flash
Gemini 3.7 FlashGoogle25.0869.4169.4%25.1single modelGemini 3.7 Flash
Gemini 3.8 FlashGoogle32.6765.3965.4%32.7single modelGemini 3.8 Flash
Gemini 4 ArgonGoogle48.4477.8277.8%48.4single modelGemini 4 Argon
Gemini 4 CarbonGoogle75.6777.2577.2%75.7single modelGemini 4 Carbon
GLM 4.7Zhipu AI10.8425.0525.0%10.8single modelGLM 4.7
GLM 5.1Zhipu AI12.838.4338.4%12.8single modelGLM 5.1
GLM 5.2Zhipu AI6.7139.239.2%6.7single modelGLM 5.2
GLM 5.3Zhipu AI24.2738.6238.6%24.3single modelGLM 5.3
GLM 5.3 FlashZhipu AI4.2236.1436.1%4.2single modelGLM 5.3 Flash
GLM 5.3 PrimeZhipu AI69.8635.1835.2%69.9single modelGLM 5.3 Prime
GPT-5.2OpenAI29.9731.9331.9%30.0single modelGPT-5.2
GPT-5.4 MiniOpenAI7.0324.2824.3%7.0single modelGPT-5.4 Mini
GPT-5.4 NanoOpenAI2.8521.0321.0%2.8single modelGPT-5.4 Nano
GPT-5.5OpenAI75.5244.9344.9%75.5single modelGPT-5.5
GPT-5.6 LunaOpenAI13.8733.4633.5%13.9single modelGPT-5.6 Luna
GPT-5.6 SolOpenAI60.8349.949.9%60.8single modelGPT-5.6 Sol
GPT-5.6 TerraOpenAI30.7139.3939.4%30.7single modelGPT-5.6 Terra
GPT-6 LunaOpenAI1.3438.8138.8%1.3single modelGPT-6 Luna
GPT-6 Luna ProOpenAI3.9138.2438.2%3.9single modelGPT-6 Luna Pro
GPT-6 SolOpenAI21.8350.4850.5%21.8single modelGPT-6 Sol
GPT-6 Sol ProOpenAI59.1150.6750.7%59.1single modelGPT-6 Sol Pro
GPT-6.1 Sol (reference)OpenAI15.4561.1961.2%15.4single model, run with the routersGPT-6.1 Sol (reference)
GPT-6.1 Sol (text-to-SQL)OpenAI15.9161.3861.4%15.9single modelGPT-6.1 Sol (text-to-SQL)
GPT-6.1 Sol ProOpenAI44.1259.8559.8%44.1single modelGPT-6.1 Sol Pro
GPT-6.1 TerraOpenAI8.7653.5453.5%8.8single modelGPT-6.1 Terra
GPT-OSS 120BOpenAI0.59719.8919.9%0.6single modelGPT-OSS 120B
Grok 4.3xAI16.1341.6841.7%16.1single modelGrok 4.3
Grok 4.5xAI26.2448.5748.6%26.2single modelGrok 4.5
Grok 4.6xAI41.7858.3258.3%41.8single modelGrok 4.6
Grok 4.7xAI37.148.3748.4%37.1single modelGrok 4.7
HY4 PreviewTencent12.7845.1245.1%12.8single modelHY4 Preview
Kimi K2.6Moonshot AI19.1343.7943.8%19.1single modelKimi K2.6
Kimi K3Moonshot AI48.2445.3245.3%48.2single modelKimi K3
Kimi K3.1 ProMoonshot AI3249.1449.1%32.0single modelKimi K3.1 Pro
Llama 4 MaverickMeta6.128.1128.1%6.1single modelLlama 4 Maverick
MiMo V2.6 ProXiaomi4.9338.8138.8%4.9single modelMiMo V2.6 Pro
MiniMax M2.5MiniMax3.4529.4529.4%3.5single modelMiniMax M2.5
MiniMax M3MiniMax4.8534.0334.0%4.9single modelMiniMax M3
MiniMax M3.1 FlashMiniMax2.7133.8433.8%2.7single modelMiniMax M3.1 Flash
Mistral Large 4.0Mistral AI18.6526.7726.8%18.7single modelMistral Large 4.0
Mistral Small 2603Mistral AI1.7423.3323.3%1.7single modelMistral Small 2603
Muse EmberMeta2.9937.4837.5%3.0single modelMuse Ember
Muse Glimmer 30BMeta6.431.1731.2%6.4single modelMuse Glimmer 30B
Muse Spark 1.1Meta27.7739.0139.0%27.8single modelMuse Spark 1.1
Muse Spark 1.2Meta39.5645.8945.9%39.6single modelMuse Spark 1.2
Muse Spark 1.3Meta38.6743.9844.0%38.7single modelMuse Spark 1.3
Muse Spark OpenMeta27.141.8741.9%27.1single modelMuse Spark Open
Muse WonderMeta94.2854.4954.5%94.3single modelMuse Wonder
Nemotron 3 Ultra 550B A55BNVIDIA25.2831.9331.9%25.3single modelNemotron 3 Ultra 550B A55B
Qwen3.5 27BAlibaba12.4937.2837.3%12.5single modelQwen3.5 27B
Qwen3.6 27BAlibaba19.4847.847.8%19.5single modelQwen3.6 27B
Qwen3.6 FlashAlibaba8.6934.2334.2%8.7single modelQwen3.6 Flash
Qwen3.7 PlusAlibaba8.8839.7739.8%8.9single modelQwen3.7 Plus
Qwen3.8 2.4T A95BAlibaba32.2848.7648.8%32.3single modelQwen3.8 2.4T A95B
Qwen3.8 27BAlibaba14.2543.443.4%14.2single modelQwen3.8 27B
Qwen3.8 FlashAlibaba2.541.6841.7%2.5single modelQwen3.8 Flash
Qwen3.8 MaxAlibaba30.5446.2746.3%30.5single modelQwen3.8 Max
Qwen3.8 Max 0902Alibaba31.5236.3336.3%31.5single modelQwen3.8 Max 0902
Qwen3.8 Max PrimeAlibaba62.9134.9935.0%62.9single modelQwen3.8 Max Prime
Solar Pro4Upstage2.1423.3323.3%2.1single modelSolar Pro4
Tencent HY3Tencent2.0543.2143.2%2.1single modelTencent HY3

8 router'ın her biri için, çalıştırdığımız en az bir tekli model aynı veya daha yüksek puan aldı ve soru başına aynı veya daha az maliyete sahipti. Grafikte yeşil alan, GPT-6.1 Sol'dan daha düşük maliyetli ve %50 üzerinde puan alan sonuçları gösterir.

Her soru için ajan önce 11 veritabanından birini seçer ve ardından ona karşı SQL sorguları yazar. Soru başına en fazla 10 kez bir model çağırabilir ve router her çağrı için modeli seçer. Havuz, bir router'ın seçebileceği modeller kümesidir.

Router bazında puanlar

LabelLabel shortCI lowCI highScore (%)
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)57.1765.3961.19
NVIDIA Switchyard (Sol + Luna)Switchyard51.8260.4256.21
OpenRouter Auto CodeAuto Code48.3756.9852.77
Not Diamond (19 models)Not Diamond46.4655.0750.86
Unbiased Pareto 26.10Unbiased Pareto39.9648.3744.17
Fireworks Nexus AutoNexus Auto31.7440.1535.95
TypeSafe JevTypeSafe Jev25.6233.2729.45
OpenRouter AutoOpenRouter Auto24.8632.728.68
Sakana Fugu MaxFugu Max23.5231.3627.34

8 router'ın tümü GPT-6.1 Sol'dan açıkça daha düşük puan aldı. Switchyard en yakına geldi; 5.0 puan aşağıda. %95 güven aralığı Sol'inkiyle örtüşüyor, ancak aynı sorular üzerindeki test ikisini ayırıyor (bkz. İstatistikler).

Her router en çok kullandığı modele karşı

Router score vs its most used model's score
LabelLabel shortRouter scoreAlone scoreMain model nameMain model shortMain model shareRouterMost used model
OpenRouter AutoOpenRouter Auto28.7%26.2%Claude Haiku 5.5Haiku 5.599%28.6826.2
TypeSafe JevTypeSafe Jev29.4%26.2%Claude Haiku 5.5Haiku 5.598%29.4526.2
Fireworks Nexus AutoNexus Auto35.9%36.1%GLM 5.3 FlashGLM 5.3 Flash99%35.9536.14
Not Diamond (19 models)Not Diamond50.9%49.9%GPT-5.6 SolGPT-5.6 Sol100%50.8649.9
OpenRouter Auto CodeAuto Code52.8%61.2%GPT-6.1 SolGPT-6.1 Sol71%52.7761.19
NVIDIA Switchyard (Sol + Luna)Switchyard56.2%61.2%GPT-6.1 SolGPT-6.1 Sol75%56.2161.19

Modelinin adını veren altı router'dan dördü, en çok kullandıkları modelin 3.3 puan yakınında puan aldı. Switchyard çağrılarını GPT-6.1 Sol ile GPT-6 Luna arasında, Otomatik Code ise GPT-6.1 Sol ile GLM 5.3 arasında böldü. Sol'un 5.0 ve 8.4 puan altında puan aldılar.

Router'lar tek bir havuzu paylaşmadı; bu nedenle bu farklar hem router'ı hem de seçebileceği modelleri yansıtır. Ortak havuz bölümü, üç router'ı aynı iki model üzerinde karşılaştırır. Switchyard ve Not Diamond için havuzları biz belirledik (bkz. Router'lar ve havuzlar).

Soru başına süre

Median seconds per question
LabelLabel shortSec labelSeconds
OpenRouter AutoOpenRouter Auto8.8 s8.8
TypeSafe JevTypeSafe Jev9.0 s8.96
OpenRouter Auto CodeAuto Code10.4 s10.42
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)10.7 s10.69
Fireworks Nexus AutoNexus Auto10.8 s10.81
Unbiased Pareto 26.10Unbiased Pareto12.7 s12.68
Sakana Fugu MaxFugu Max13.3 s13.28
NVIDIA Switchyard (Sol + Luna)Switchyard15.4 s15.44
Not Diamond (19 models)Not Diamond17.3 s17.28

19 modelli Not Diamond ve Switchyard en yavaş router'lardı. Medyanda soru başına 17.3 ve 15,4 saniye sürdüler. GPT-6.1 Sol 10,7 saniye sürdü. OpenRouter Otomatik ve Jev, 8.8 ve 9,0 saniye ile en hızlıydı. Her ikisi de neredeyse tüm çağrıları Claude Haiku 5.5'e gönderdi.

Otomatik Code'un GPT-6.1 Sol çağrıları öncelikli katmanda çalıştı. Router olmadan GPT-6.1 Sol için 1,8 saniyeye karşılık medyanda 1,5 saniyede ürettiler. Otomatik Code üzerinden yönlendirme, çağrı başına yaklaşık 0,2 saniye ekledi. Soru başına ikisi de yaklaşık aynı süreyi aldı; medyanda 10.4 ve 10,7 saniye.

Router maliyetleri ve ücretleri

Cost per 1,000 questions
LabelLabel shortTotalPer correctBilledComputed from list prices
Fireworks Nexus AutoNexus Auto$1.9$5.4—1.93
OpenRouter AutoOpenRouter Auto$2.0$6.91.97—
TypeSafe JevTypeSafe Jev$2.1$7.12.09—
Unbiased Pareto 26.10Unbiased Pareto$13.2$29.813.18—
GPT-6.1 Sol (reference)GPT-6.1 Sol (ref.)$15.4$25.215.45—
NVIDIA Switchyard (Sol + Luna)Switchyard$16.6$29.516.6—
OpenRouter Auto CodeAuto Code$24.6$46.624.62—
Sakana Fugu MaxFugu Max$30.0$109.629.96—
Not Diamond (19 models)Not Diamond$50.5$99.343.766.76

Bir router'ın maliyeti model faturası artı varsa değerlendirici veya seçim ücretidir. Bir deneme başarısız olur ve soru yeniden çalışırsa yalnızca son denemeyi sayarız. Grafikte çizgili kısımlar fiyat listelerinden hesaplanmıştır, geri kalanı faturalardan gelir.

Doğru yanıt başına en düşük maliyeti Fireworks Nexus Otomatik gösterdi; liste fiyatlarıyla 1.000 doğru yanıt başına 5,4 $ oldu. Faturalanan maliyete sahip router'lar arasında en düşük maliyet OpenRouter Otomatik'da 6,9 $ oldu.

Bazı router'lar en çok kullandıkları modelden daha pahalıya mal oldu. Ek maliyet Switchyard'ın değerlendiricisinden, Not Diamond'ın seçim ücretinden ve Otomatik Code'un GPT-6.1 Sol çağrılarındaki öncelikli katmandan kaynaklandı. Her durumda router, en çok kullandığı modelden açıkça daha yüksek puan almadı.

Tekli modellere karşı maliyet

Dört router, GPT-6.1 Sol'dan daha pahalıya mal oldu. 1.000 soru başına 15,4 $ karşılığında %61,2 puan alan Sol'dan dördü de daha düşük puan aldı:

  • 19 modelli Not Diamond: 50,5 $ karşılığında %50,9. Bunun çoğu GPT-5.6 Sol çağrılarıydı ve seçim ücreti 6,8 $ ekledi (bkz. Ücretler ve fiyat katmanları).
  • Sakana Fugu Max: 30,0 $ karşılığında %27,3, 8 router arasındaki en düşük puan. Modelini adlandırmaz. Soru başına 6.8 model çağrısı yaptı; GPT-6.1 Sol için bu 5.5'tir. Ortalama çağrı maliyeti bir GPT-6.1 Sol çağrısının yaklaşık 1.6 katıydı.
  • OpenRouter Otomatik Code: 24,6 $ karşılığında %52,8. Çağrıların %71'ini GPT-6.1 Sol'a gönderdi ve bunların neredeyse tamamı OpenAI'ın öncelikli katmanında çalıştı (bkz. Ücretler ve fiyat katmanları).
  • NVIDIA Switchyard: 16,6 $ karşılığında %56,2. GPT-6.1 Sol ve GPT-6 Luna'ya yaptığı çağrılar 13,7 $ tuttu; bu, Sol'un 15,4 $'ından azdı. Değerlendirici modeli 2,9 $ ekledi (bkz. Ücretler ve fiyat katmanları).

En ucuz üç router'dan hiçbiri, 1.000 soru başına 1,3 $ karşılığında %38,8 puan alan GPT-6 Luna'dan daha yüksek puan almadı. OpenRouter Otomatik ve TypeSafe Jev yaklaşık 10 puan daha düşük, sırasıyla 2,0 $ ve 2,1 $ karşılığında %28,7 ve %29,4 puan aldı. Fireworks Nexus Otomatik 1,9 $ karşılığında %35,9 puan aldı ve Luna'dan belirgin bir farkı yoktu.

Ücretler ve fiyat katmanları

  • Her çağrı için model seçmek üzere Switchyard önce o ana kadarki araç sonuçlarını kontrol eder. Hatalar ve tekrarlanan başarısızlıklar daha güçlü modele işaret eder. Bir sorunun ilk çağrısında olduğu gibi araç sonuçları seçimi netleştirmediğinde, küçük bir değerlendirici model olan Gemini 3.5 Flash Lite soruyu okur ve modeli seçer.1 Her değerlendirici çağrısı normal bir model çağrısı olarak faturalandırılır. Ortak havuzda değerlendirici, 1.000 soru başına 3,2 $ ekledi.
  • Not Diamond her model seçimi için ücret alır. Her seçimi, fiyat listesindeki fiyat olan 0,001 $ üzerinden saydık.2 Ortak havuzda ücret, 1.000 soru başına 6,3 $ oldu; bu, Not Diamond'ın 15,8 $'lık toplamının %40'ıdır.
  • Otomatik Code, neredeyse tüm GPT-6.1 Sol çağrılarında OpenAI'ın öncelikli katmanını aldı. Çağrı başına GPT-6.1 Sol'un fiyatının 2.04 katını ödedi. OpenRouter, kapalı bir modelin öncelikli katmanının yalnızca bir istek bunu istediğinde veya sağlayıcıyı sabitlediğinde hizmet verdiğini söylüyor,3 ancak isteklerimiz bunların hiçbirini yapmadı. Bu katman olmasaydı, Otomatik Code 1.000 soru başına 24,6 $ yerine yaklaşık 13 $'a mal olurdu.

19 model ile Not Diamond'ın GPT-5.6 Sol çağrıları 1.000 soru başına 43,8 $ tuttu; buna karşılık metinden-SQL'e kıyaslama testimizde GPT-5.6 Sol 60,8 $ tuttu. Bu farkı bir önbellek indirimi açıklayabilir. Not Diamond, girdi token'larının %69,5'inde önbellekli fiyat üzerinden işlem gördü. Metinden-SQL'e çalışmamız önbellek kullanımını kaydetmediğinden bunu doğrulayamıyoruz.

Model seçimi ve geçiş

Which models answered the calls
LabelLabel shortClaude Haiku 5.5DeepSeek V4.1 FlashGLM 5.3GLM 5.3 FlashGPT-5.6 SolGPT-6 LunaGPT-6.1 SolOther
OpenRouter AutoOpenRouter Auto98.631.37——————
TypeSafe JevTypeSafe Jev98.291.030.3206———0.14250.2138
Fireworks Nexus AutoNexus Auto——1.1598.85————
Not Diamond (19 models)Not Diamond, 19 models————100———
OpenRouter Auto CodeAuto Code——29.43———70.57—
NVIDIA Switchyard (Sol + Luna)Switchyard, Sol + Luna—————25.0274.98—

Modeli adlandıran ve varsayılan ayarlarda çalışan 9 router çalışmasından beşi, çağrılarının en az %98'ini tek bir modele gönderdi. Bunlar kendi havuzunda OpenRouter Otomatik, Jev, Nexus Otomatik ve her iki havuzda Not Diamond'dı.

Not Diamond'ın 19 modellik listesinde, 1.000 soru başına 9,4 $ karşılığında %59,7 puan alan Gemini 3 Flash Preview da vardı. Not Diamond'ın seçimlerinin hiçbiri Gemini 3 Flash Preview'e gitmedi. Her çağrı, %49,9 puan alan GPT-5.6 Sol'a gitti.

Soru içinde model geçişi

Varsayılan ayarlarda yalnızca Switchyard, soruların %5'inden fazlasında model değiştirdi. GPT-6.1 Sol ve GPT-6 Luna ile 523 sorunun 308'inde, ortak havuzda ise 35 soruda bunu yaptı.

Her soru, her çağrıda aynı oturum anahtarıyla tek bir router oturumu olarak çalıştı. OpenRouter'ın Switchyard belgeleri ve Pareto belgeleri, ajanlar için bunu önerir. Oturum anahtarı, bir router'ın model değiştirmesini engellemez. Router'ların çoğu her çağrı için model seçebilir. OpenRouter'ın Otomatik belgeleri, yeni modelin prompt önbelleğini yeniden oluşturması gerektiği için geçişin daha maliyetli olduğunu söyler. Bu nedenle Otomatik yalnızca buna değdiğinde geçiş yapar. Fireworks'ün Nexus Otomatik belgeleri, her yeni kullanıcı mesajı için bir model seçtiğini ve o mesajın araç çağrıları için onu koruduğunu söyler. Ajanımız, soruyu içeren bir kullanıcı mesajı ve nihai yanıtı isteyen ikinci bir mesaj gönderir. Nexus Otomatik'nun 9 geçişinin tümü bu ikinci mesajda gerçekleşti.

Rastgele karışım karşılaştırması

Her iki havuzdaki Switchyard'ı ve Otomatik Code'u rastgele bir karışımla karşılaştırdık. Rastgele karışım, her soruyu router'ın çağrı paylarında rastgele seçilen tek bir modelle yanıtlar. Beklenen puanı, tekli model çalışmalarımızdan gelir.

Sol ve Luna ile Switchyard %56,2 puan aldı; rastgele karışımı %55,7 puan aldı. Ortak havuzdaki Switchyard, %52,4'e karşılık %55,1 puan aldı. Otomatik Code, %54,7'ye karşılık %52,8 puan aldı. Üç router'dan hiçbiri rastgele karışımından açıkça daha iyi veya daha kötü yapmadı.

Tek havuzlu üç router

Same two models, three routers
LabelLabel shortCost labelSame two models, three routers
Not Diamond, cost settingNot Diamond, cost$12.859.66
Gemini 3 Flash Preview (no router)Gemini (no router)$9.459.66
Not Diamond, default settingNot Diamond, default$15.859.27
NVIDIA SwitchyardSwitchyard$11.255.07
OpenRouter AutoOpenRouter Auto$3.432.89
DeepSeek V4 Flash (no router)DeepSeek (no router)$2.930.4

Modelleri yönlendirmeden ayırmak için üç router'a aynı iki modeli verdik. Gemini 3 Flash Preview güçlü olan, DeepSeek V4 Flash ise ucuz olan modeldir.

Ortak havuz sonuçları

Varsayılan ayarlarda hiçbir router, en çok kullandığı modelden açıkça farklı bir sonuç göstermedi ve hiçbiri Gemini 3 Flash Preview'in üzerinde puan almadı.

Not Diamond, GPT-6.1 Sol'dan 1.9 puan, Switchyard ise 6.1 puan daha düşük puan aldı. Testimiz bu farkları doğrulamadı.

  • Varsayılan ayarında Not Diamond, çağrıların %100'ini Gemini 3 Flash Preview'e gönderdi. Gemini 3 Flash Preview'in %59,7'sine karşılık %59,3 puan aldı. 1.000 soru başına 9,4 $'a karşılık 15,8 $'a mal oldu.
  • Maliyet ayarıyla Not Diamond, çağrıların %62'ini DeepSeek V4 Flash'a gönderdi. Yine de her nihai yanıtı Gemini 3 Flash Preview ile verdi. Gemini 3 Flash Preview ile aynı olan %59,7 puan aldı; 9,4 $'a karşılık 12,8 $ maliyetle. Seçim ücreti olan 7,5 $, model çağrılarının maliyetinden daha fazlaydı.
  • Switchyard, çağrıların %75'ini Gemini 3 Flash Preview'e gönderdi ve Not Diamond'dan açıkça farklı olmadan %55,1 puan aldı.
  • Otomatik, çağrıların %97'ini DeepSeek V4 Flash'a gönderdi ve DeepSeek V4 Flash'ın %30,4'ine yakın olan %32,9 puan aldı.

Model uyumu ve çağrı sınırı

Bu havuzda herhangi bir router'ın modele soruya uygun olarak seçtiğine dair net bir işaret bulamadık. Gemini 3 Flash Preview'in çözdüğü, DeepSeek V4 Flash'ın ise kaçırdığı 170 soru ve bunun tersinin geçerli olduğu 17 soru var. Her router, her iki kümede de DeepSeek V4 Flash'a çağrılarının benzer bir payını gönderdi; en fazla 10 puan farkla. 17 soruluk küme, küçük bir farkı göstermek için çok küçüktür.

Otomatik, 10 çağrı sınırına en sık ulaştı; soruların %37,3'inde buna karşılık Switchyard için %18,9 ve Not Diamond için %16,8.

OpenRouter Otomatik ayrıca bu havuzda en uzun süreyi aldı; medyanda soru başına 17,5 saniye. Not Diamond aynı iki model üzerinde 9,0 saniye sürdü.

Ekibimiz, iş süreçlerinizden birini yapay zeka ajanlarıyla ücretsiz olarak otomatikleştirsin.
Bir süreci otomatikleştir

Kısaca her router

Not Diamond

Not Diamond'ın varsayılan router'ı önceden eğitilmiş olarak gelir; bu nedenle kullanmadan önce eğitmeniz gerekmez. Kendi verilerinizle özel bir router da eğitebilirsiniz.4 Not Diamond modeli çağırmaz. Seçtiği modelin adını döndürür ve ardından kendi kodunuz o modeli çağırır. Diğer router'lar çağrıyı kendileri yapar. Varsayılan olarak Not Diamond kaliteye göre seçim yapar. Her istekteki bir denge ayarı, bunun yerine maliyet veya gecikmeyi tercih etmesini sağlayabilir.5 Varsayılan router'ı kullandık ve maliyet ayarını yalnızca ortak havuzda bir kez çalıştırdık.

NVIDIA Switchyard

Switchyard, OpenRouter üzerinde çalışır. En fazla üç model listelersiniz ve o, bunların en ucuzu ile en pahalısı arasında seçim yapar. Kendi adına yönlendirme ücreti eklemez.1

OpenRouter Otomatik

OpenRouter Otomatik, her istek için bir model ve bir muhakeme çabası seçer ve ücret eklemez.6 `allowed_models` içindeki bir liste sabit bir sınırdır ve düşük, orta veya yüksek maliyet katmanı politikayı belirler. Belgeler, varsayılanın eski Otomatik'dan daha pahalı olduğunu ve maliyetleri ona yakın tutmak için düşük katmanı önerdiğini söyler. Testimizde düşük katman, %28,7 varsayılana karşılık %28,3 puan aldı; aynı 1.000 soru başına 2,0 $ maliyetle ve açıkça bir fark olmadan.

OpenRouter Otomatik Code

Otomatik Code, Otomatik ile aynı motorda çalışır; kodlama ajanları için ayarlanmış bir politikaya sahiptir ve ücret eklemez.7 Prompt önbelleğini korumak için model değiştirmektense muhakeme çabasını değiştirmeyi tercih eder. `allowed_models`'i sabit bir sınır olarak ele alır. Ortak havuzu verdiğimizde, her istek ölçülen hiçbir modelin isteği karşılamadığını söyleyen bir hatayla başarısız oldu.

TypeSafe Jev

Jev, her istek için bir model ve bir muhakeme çabası seçer; her istek, gittiği modelin fiyatı üzerinden faturalandırılır.8 Model listesi yalnızca bir tercihtir ve yalnızca `excluded_models` bir modeli engeller.9 Puanı, OpenRouter Otomatik'dan açıkça bir fark göstermedi. 14 Kasım 2026 itibarıyla, OpenRouter'ın router kıyaslama sayfası Otomatik'nun artık Jev tarafından desteklendiğini söylüyor.10

Fireworks Nexus Otomatik

Nexus Otomatik, Fireworks router'ıdır ve otomatik model kimliği ile çağrılır. Model listesi almaz. Bir Fireworks anahtarıyla, Fireworks açık modelleri arasından seçim yapar.11

Unbiased Pareto 26.10

OpenRouter, Unbiased Pareto 26.10'u milyon girdi token'ı başına 0,80 $ ve milyon çıktı token'ı başına 3,20 $ olarak listeler.12 Model listesi almaz ve sayfa, nasıl model seçtiğini veya hangi modelleri kullandığını söylemez. Yanıtları yalnızca router'ı adlandırır. 1.000 soru başına 13,2 $ karşılığında %44,2 puan aldı; bu, Gemini 3 Flash Preview'den daha düşük ve daha pahalıdır.

Sakana Fugu Max

Sakana, Fugu Max'in en büyük model havuzunu çalıştırdığını söylüyor. Havuz sabittir ve Sakana tüm üyelerini listelemez. Milyon girdi token'ı başına 2 $ ve milyon çıktı token'ı başına 6 $, ayrıca her dahili web aracı çağrısı için 0,007 $ maliyeti vardır.13

Ajan router kıyaslama yöntemi

Her router aynı ajanı, prompt'u, araçları ve soru sırasını aldı. Yerel bir proxy, her çağrının modelini, token'larını, maliyetini ve süresini kaydetti.

LLM router kıyaslama kurulumu. Ajan bir veritabanı seçer ve SQL yazar. Router her çağrı için bir model seçer ve yerel bir proxy bunu kaydeder. Yanıt, referans sonuca göre puanlanır.

metinden-SQL'e kıyaslama testimizden 523 soru kullandık; bu test, herkese açık bir metinden-SQL'e veri kümesi olan BIRD'e dayanır. Ajana 11 veritabanından hangisini kullanacağı söylenmez ve veritabanı adları takma adlarla değiştirilir. Ajan doğru veritabanını seçtiğinde ve sorgusu referans sonucu döndürdüğünde bir soru doğru sayılır. Bir hata başarısızlık sayılır. Her istek en fazla 600 saniye sürebilir.

Altı router'ı OpenRouter üzerinden openrouter/otomatik, openrouter/otomatik-code, typesafe/jev-router, nvidia/switchyard, unbiased/pareto-26.10 ve sakana/fugu-max kimlikleriyle çağırdık. Not Diamond, modelSelect API'si üzerinden çalıştı ve seçtiği her modeli OpenRouter üzerinden çağırdık. Fireworks Nexus Otomatik, Fireworks API'si üzerinden çalıştı. Ayrıca GPT-6.1 Sol'u aynı kurulumda router olmadan çalıştırdık. Diğer tekli model puanları, aynı 523 soru üzerindeki metinden-SQL'e kıyaslama testimizden gelir.

Süre, tüm ajan adımları boyunca bizim tarafımızda ölçülen, soru başına medyan saniyedir. Her router ve havuz, 13 ile 16 Kasım 2026 arasında bir kez çalıştı. Her soru hatasız tamamlandı.

Router'lar ve havuzlar

Çalıştırma sırasında herkese açık bir API'ye sahip olan ve araç çağrılarını kabul eden router'ları dahil ettik. OpenRouter Otomatik ve Otomatik Code, OpenRouter'ın Otomatik'yu yeniden inşa edip Otomatik Code'u başlattığı 6 Kasım 2026'dan sonra çalıştı.14

Altı router, satıcı varsayılanlarıyla kendi havuzlarında çalıştı. Switchyard ve Not Diamond için havuzu biz belirledik. Model listesi olmadan Switchyard, son yedi günde OpenRouter'da en yüksek harcamaya sahip 20 modelden ikisini alır; bu nedenle çift zamanla değişir. Çifti sabit tutmak için ona GPT-6.1 Sol ve GPT-6 Luna'yı verdik. Not Diamond bir model listesi gerektirir. Ona, desteklediği ve metinden-SQL'e kıyaslama testimizde de test ettiğimiz 19 modeli verdik.

Aynı modeller üzerinde yönlendirmeyi karşılaştırmak için Not Diamond, NVIDIA Switchyard ve OpenRouter Otomatik'yu ortak bir havuzda çalıştırdık. Bu çalıştırmalar sıralanmamıştır.

Bir router, yalnızca verdiğimiz model listesine sadık kaldığında katılabilirdi. Not Diamond, yukarıda Switchyard'ın kullandığı GPT-6.1 Sol veya GPT-6 Luna çiftini desteklemez. Bu nedenle, desteklediği güçlü ve ucuz bir model çifti olan Gemini 3 Flash Preview ile DeepSeek V4 Flash'ı seçtik.15 Switchyard ve OpenRouter Otomatik aynı listeyi aldı. Diğer beş router bu listeye bağlı tutulamadı (bkz. Kısaca her router).

OpenRouter Pareto Code'u da test ettik ancak sıralamaya katmadık. Kullanıcı üç katmandan birini seçer. Bir katman içinde, çağrıları mevcut en ucuz modele gönderir ve seçimini her tura uyarlamaz.

13 Kasım'da Pareto Code'un varsayılan katmanı tek bir model içeriyordu: Claude Fable 5.2. Seçtiğimiz Orta katmanda, Pareto Code tüm 3.083 çağrıyı Kimi K3'e gönderdi ve 1.000 soru başına 28,4 $ karşılığında %43,0 puan aldı.

İstatistikler

Puan grafiğindeki parantezler, 523 soru üzerinde bootstrap ile hesaplanmış bir %95 güven aralığını gösterir. Bu, bir puanın hangi soruların seçildiğine ne kadar bağlı olduğunu gösterir.

Aynı sorular üzerindeki iki sonucu karşılaştırmak için kesin McNemar testi kullandık. Bu test yalnızca bir sonucun doğru, diğerinin yanlış yaptığı soruları sayar. Birçok karşılaştırma yaptığımız için sonuçları %5 düzeyinde Holm yöntemiyle düzelttik. Test iki sonucu ayırmadığında, açıkça bir fark olmadığını söyleriz.

Örneğin, ortak havuzdaki Switchyard, GPT-6.1 Sol'dan 6.1 puan daha düşüktü ve açıkça bir fark yoktu. Sol ve Luna ile 5.0 puan daha düşüktü ve bu fark açıktı. Ortak havuzda Switchyard ve Sol, birinin doğru diğerinin yanlış olduğu 146 soruda ayrıştı. Sol ve Luna ile yalnızca 44 soruda ayrıştılar. Daha fazla soru ayrıştığında, bir farkı açıkça adlandırmadan önce farkın daha büyük olması gerekir.

GPT-6.1 Sol ile yapılan router karşılaştırmaları, router'larla aynı kurulumdan geçen %61,2 çalışmasını kullanır. Rastgele karışımlar ve diğer tekli model karşılaştırmaları, metinden-SQL'e kıyaslama testimizden Sol'un %61,4 çalışmasını kullanır. İlk grafikte GPT-6.1 Sol (metinden-SQL'e) olarak etiketlenmiştir. İki çalıştırma arasında açıkça bir fark yoktur.

Sınırlamalar

  • Her router ve havuz için bir çalıştırma. GPT-6.1 Sol'un iki çalıştırmasında, 33 soru birinde doğru, diğerinde yanlıştı.
  • Soru başına en fazla 10 model çağrısı içeren tek bir görev türü. Daha uzun ajan görevleri farklı sonuçlar verebilir.
  • Model seçimleri tarihle değişir. Çalıştırmaları başladıktan dört gün sonra, 17 Kasım'da OpenRouter Otomatik, Otomatik Code ve Jev üzerinde 17 soruyu yeniden çalıştırdık. Router'lar, bu çalıştırmalarda görmediğimiz iki model seçti. Otomatik Code çağrılarının %63'ini bunlardan birine gönderdi.
  • 10 çağrı sınırı, soruların %16,1'inde Sakana Fugu Max'i vurdu. Bunların tümünü doğru yanıtlamış olsaydı bile yine de GPT-6.1 Sol'un altında puan alırdı.
  • Belirlediğimiz üç havuz dışındaki havuzlar farklı sonuçlar verebilir.
  • Not Diamond'ın seçim ücreti, eski fiyatlandırma sayfasındaki oran olan seçim başına 0,001 $ kullanır. Güncel sayfası bunun yerine yönlendirilen milyon token başına 0,05 $ ücretlendirir.
  • Sorular BIRD'ün herkese açık kümelerinden gelir; bu nedenle modeller bunları eğitimde görmüş olabilir.
Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.
GoogleTercih edilen kaynak olarak ekle

SSS'ler

Bir LLM router'ı, bir uygulama ile bir dizi model arasında yer alır ve her istek için bir model seçer. Amaç, kolay işleri ucuz bir modele, zor işleri güçlü bir modele göndermektir. Bir ajanda, bir soru birkaç çağrı gerektirir; bu nedenle bir router her çağrı için başka bir model seçebilir.

8 router arasında en yüksek puanı NVIDIA Switchyard aldı: %56,2. OpenRouter Otomatik Code %52,8, 19 modelli Not Diamond ise %50,9 puan aldı. Switchyard ile Otomatik Code arasında veya Otomatik Code ile Not Diamond arasında açıkça bir fark yoktur.

Ortak havuzda Not Diamond, varsayılan ayarında herhangi bir router'ın en yüksek puanı olan %59,3 puan aldı. Switchyard, bu havuzda %55,1 puan aldı ve Not Diamond'dan açıkça farklı değildi.

Bu testte hayır. 8 router'ın her biri GPT-6.1 Sol'dan açıkça daha düşük puan aldı.

Ortak havuzda Not Diamond, GPT-6.1 Sol'dan 1.9 puan, Switchyard ise 6.1 puan daha düşüktü. Testimiz bu farkları doğrulamadı.

Fireworks Nexus Otomatik, liste fiyatlarından hesaplanan en düşük maliyete sahipti: 1.000 soru başına 1,9 $. OpenRouter Otomatik 2,0 $ ve TypeSafe Jev 2,1 $ maliyete sahipti. Her biri neredeyse tüm çağrıları tek bir ucuz modele gönderdi: OpenRouter Otomatik ve TypeSafe Jev için Claude Haiku 5.5, Nexus Otomatik için GLM 5.3 Flash.

Not Diamond, ortak havuzda %59,3, 19 modelle ise %50,9 puan aldı. OpenRouter Otomatik, ortak havuzda %32,9, kendi havuzunda ise %28,7 puan aldı. Switchyard, GPT-6.1 Sol ve GPT-6 Luna ile %56,2, ortak havuzda ise %55,1 puan aldı; bu, açıkça fark olmayan 1.1 puanlık bir farktır.

İleri okuma

Bu araştırmayı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

Berkay Yıla (2026) - "LLM Router Karşılaştırması: 523 Ajan Veritabanı Görevinde 8 Router". AIMultiple.com adresinde çevrimiçi yayımlanmıştır. Erişim tarihi: 18 Kasım 2026, kaynak: https://aimultiple.com/llm-router [Çevrimiçi Kaynak]

Yıla, B. (2026, 18 Kasım). LLM Router Karşılaştırması: 523 Ajan Veritabanı Görevinde 8 Router. AIMultiple. https://aimultiple.com/llm-router

@misc{yila2026,
  author = {Yıla, Berkay},
  title  = {{LLM Router Karşılaştırması: 523 Ajan Veritabanı Görevinde 8 Router}},
  year   = {2026},
  month  = nov,
  howpublished    = {\url{https://aimultiple.com/llm-router}},
  note   = {AIMultiple. Erişim tarihi: 18 Kasım 2026}
}
Tüm verileri indir

135 veri noktasının sonuçları ve zaman damgaları. Bu makaledeki grafik ve tablolarda gösterilen özet verileri, 7 CSV dosyası içeren ZIP dosyası olarak indirin.

Son güncelleme: 19 Kasım 2026
İndir

Arkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

0/450