LLM Kullanım Senaryolarına Göre Gecikme Benchmark'ı

Gecikmeyi nasıl ölçtüğümüze ilişkin ayrıntıları burada bulabilirsiniz.

Modele göre uçtan uca yanıt süresi

LLM gecikme benchmark sonuçları

Akıl yürüten ve akıl yürütmeyen modelleri ayrı ayrı raporluyoruz. Akıl yürüten modeller ilk görünür yanıttan önce birkaç saniye düşünür; bu nedenle onları gecikme açısından doğrudan akıl yürütmeyen modellerle karşılaştırmak yanıltıcı olur. Bazı modeller ayrıca göreve göre davranış değiştirir: GPT-5.2 Soru-Cevap'ta akıl yürütmeden yanıt verir ancak kodlama prompt'larında akıl yürütür.

Kısa yanıt senaryosu (Soru-Cevap)

Kısa senaryoda önemli olan, tüm yanıt yalnızca bir veya iki cümle olduğundan ilk yanıt token'ının ne kadar hızlı göründüğüdür. Akıl yürütmeyen modeller düşük gecikmeli bölgede kümelenir:

• claude-opus-4-8: 0,75 saniye
• gpt-5-2: 0,8 saniye
• claude-haiku-4-5: 0,96 saniye
• claude-sonnet-5: 1,5 saniye
• claude-opus-4-7: 2 saniye

Akıl yürüten modeller burada bile ilk yanıt kelimesine daha yavaş ulaştı; çünkü önce düşünüyorlar:

• mimo-v2-5: 1,2 saniye
• minimax-m3: 2,4 saniye
• deepseek-v4-flash: 3,6 saniye
• gemini-3-1-pro-preview: 9 saniye
• hy3-preview: 14,6 saniye

Kısa sorularda düşünme adımı çoğunlukla ek yüktür çünkü yanıtın kendisi kısadır.

Uzun yanıt senaryosu (kod üretimi)

Uzun senaryoda ilk token gecikmesi daha az önemlidir ve akış hızıUzun senaryoda ilk token gecikmesi daha az önemlidir ve akış hızı ve toplam yanıt süresi devreye girer. claude-haiku-4-5 her ikisinde de öne geçti; yaklaşık 180 token/saniye hızında akış sağladı ve yaklaşık 5,5 saniyede tamamladı. Diğer akıl yürütmeyen modeller yaklaşık 10 ila 13 saniyede tamamladı: claude-sonnet-5 10 saniyede, claude-opus-4-8 10,8 saniyede ve claude-opus-4-7 12,7 saniyede.

Akıl yürüten modeller daha uzun toplam süreler üretti; çünkü düşünme ve uzun çıktı birbirine eklenir:

• gemini-3-1-pro-preview: 18,5 saniye
• hy3-preview: 23,1 saniye
• deepseek-v4-flash: 24,3 saniye
• minimax-m3: 28,1 saniye
• mimo-v2-5: 35 saniye

Bazıları başladıktan sonra hızlı akış sağlar (hy3-preview yaklaşık saniyede 200 token hızında çalışır), ancak baştaki düşünme toplamı yüksek tutar.

Çıktı uzunluğu açık bırakılmak yerine sınırlandırıldı; bu nedenle modeller ayrıntı düzeyi üzerinden karşılaştırılmaz: kısa yanıtlar için yaklaşık 128 token, uzun yanıtlar için 1.024 token. Akıl yürüten modellere düşünme token'larını tutmak için bu sınırın ötesinde ek bütçe verildi; bu nedenle uçtan uca süreleri düşünce yarıda kesilmiş bir yanıt yerine düşünme artı yanıtı yansıtır.

Kısa yanıtlar ve uzun yanıtlar

İki senaryo arasındaki fark ana çıkarımdır:

• Kısa senaryoda en hızlı modeller bir saniyenin altında yanıt verdi ve dağılım dardı.
• Uzun senaryoda akıl yürütmeyen modeller öne yakın kaldı (Haiku yaklaşık 5,5 saniye ile en hızlıydı); akıl yürüten modeller ise 18 ila 35 saniye ile belirgin şekilde geride kaldı.
• Akıl yürütmeyen grup içindeki sıralama da değişir: Haiku, kısa prompt'larda saniye altı başlangıç yapan birkaç modelden biriydi; ancak uzun çıktılarda akış hızı sayesinde açıkça öne geçer.

Gecikme 90th yüzdelik dilimde

Ana örüntü, kuyruğun akıl yürüten modellerde yalnızca ötelenmek yerine çarpılarak büyümesidir. Kodlama görevinde, MiniMax medyanda yaklaşık 13 saniyeden p90'da 42 saniyeye çıktı; Hunyuan ise yaklaşık 16 saniyeden 46 saniyeye çıktı. Ek süre düşünmedir ve düşünme uzunluğu istekten isteğe değişir; bu nedenle bu modeller yalnızca daha yavaş değil, aynı zamanda daha az öngörülebilirdir.

Birkaç nokta öne çıkıyor:

• MiMo, akıl yürüten modeller arasında istisnadır. Her istekte akıl yürütür ancak kısa düşünür; bu nedenle p90'ı 3,7 saniye civarında kaldı. Akıl yürütme kendi başına bir modeli öngörülemez yapmaz; düşünme miktarı yapar.
• GPT-5.2 yalnızca akıl yürüttüğü yerde kuyruk gösterir. Soru-Cevap'ta p90'ı 2 saniyenin altındaydı; ancak akıl yürütmeyi açtığı kodlamada p90'ı yaklaşık 11 saniyeye yükseldi.
• Akıl yürütmeyen modeller istikrarlı kaldı. Haiku 4.5 ve Opus 4.8 p90'ı yaklaşık 2 ila 2,5 saniye içinde tuttu. Uzun çıktılarda açılan Sonnet 5 bile (medyanda yaklaşık 4 saniyeden p90'da 8 saniyeye) akıl yürüten grubun çok altında kaldı.

Pratik nokta, medyanın bunu gizleyebileceğidir. MiniMax'in kodlamadaki medyanı yaklaşık 13 saniyedir; grubun en kötüsü değildir, ancak yaklaşık 42 saniyelik p90'ı Hunyuan ile eşleşir; bu nedenle kötü bir istekte ölçülen her şey kadar yavaştır.

LLM akıl yürütme ve hız üzerindeki etkisi

Akıl yürüten modeller ilk yanıt token'ını üretmek için daha uzun süre harcar; çünkü görünür yanıttan önce iç düşünce zinciri token'ları üretirler. Bu düşünme adımı, akıl yürütmeyen modeller için yaklaşık bir saniyeden birkaç saniyeye veya daha fazlasına çıkan ilk yanıta kadar geçen süreyi artıran şeydir.

Bir modelin akıl yürütüp yürütmediği her zaman sabit değildir. Her yanıtın döndürdüğü akıl yürütme token'larının sayısından istek başına akıl yürütmeyi tespit ettik ve ardından sonuçları göreve göre grupladık. Her modelin akıl yürüttüğü isteklerin payı:

GPT-5.2 bunu doğrudan gösterir: kısa Soru-Cevap prompt'larını akıl yürütmeden yanıtladı, ancak çoğu kodlama prompt'unda akıl yürüttü. Böyle hibrit bir model için “akıl yürütme” sabit bir etiket değildir; model göreve dayalı olarak karar verir ve gecikmesi bu kararla birlikte değişir. Bu nedenle GPT-5.2, Soru-Cevap'ta hızlı grupta yer alırken kodlamada geriye düşer.

Her modeli varsayılan durumunda ölçtük. Birçoğu istek üzerine akıl yürütebilen ancak düşünme kapalı olarak gelen hibritlerdir: Örneğin Claude Opus 4.8 genişletilmiş düşünmeyi destekler, ancak varsayılan olarak devre dışıdır; bu nedenle çalıştırmalarımızda hiç akıl yürütme token'ı üretmedi ve hızlı kaldı; diğer Claude modelleri de (Opus 4.7, Sonnet 5, Haiku 4.5) aynı şekilde hızlı kaldı.

Geri kalanlar neredeyse her istekte akıl yürüttü; bu nedenle ilk yanıta daha yavaş görünürler. Dolayısıyla burada “asla akıl yürütmez” ifadesi yeteneğin eksik olduğu değil, varsayılan olarak yapmadığı anlamına gelir. GPT-5.2 ise bu kararı kendi başına verdiği için öne çıkar; zor kodlama prompt'ları için akıl yürütmeyi açarken Soru-Cevap için kapalı bırakır.

LLM'ler için Endpoint'in gecikme üzerindeki etkisi

Barındırılan bir modelin gecikmesi yalnızca modelin kendisi değildir. Ayrıca sağlayıcının sunum yığınını, kuyruklamayı, ağ yolunu ve coğrafyayı da içerir. Listemiz bunu tek bir model serisi içinde gösterir. Avrupa'daki Google Vertex üzerinden sunulan Claude Opus 4.8 ilk token'ını yaklaşık 0,75 saniyede döndürürken; Claude Opus 4.7, Anthropic'in kendi API'si üzerinden sunulduğunda yaklaşık 2 saniye sürdü.

Bunlar farklı sürümlerdir; bu nedenle fark yalnızca endpoint'ten kaynaklanmaz, ancak bu durum iyi bilinen bir etkiyle örtüşür: aynı ağırlıklar, nerede ve nasıl sunulduklarına bağlı olarak birkaç kat daha hızlı veya daha yavaş olabilir. Ölçüm istemcimiz Avrupa'da çalıştığı için Avrupa Vertex endpoint'inin ağ yolu daha kısaydı; öne geçmesinin nedenlerinden biri de buydu.

Her model için sağlayıcıyı nasıl seçtiğimizi görmek için benchmark metodolojimizi okuyun.

Maksimum token sınırı ve akıl yürütme modelleri

Gecikmeyi adil ölçmek için sabit bir maksimum çıktı uzunluğu belirledik; böylece hiçbir model daha fazla yazdığı için ödüllendirilmez veya cezalandırılmaz. Bu sınır, tüm yanıt için token bütçesidir ve çoğu hatanın kaynağı da bu olmuştur:

• Akıl yürüten modeller, yanıt başlamadan önce bütçenin bir kısmını düşünmeye harcar.
• Zor kodlama prompt'larında bazıları çok ve öngörülemez şekilde düşünür (MiniMax tek bir prompt'ta yaklaşık 2.500 ila 3.700 düşünme token'ı kullandı).
• Düşünme tüm bütçeyi doldurduğunda yanıt için hiç token kalmaz ve yanıt boş döner.
• Bu durum kodlamada en çok MiniMax'i etkiledi; ilk geçiş isteklerinin yarısından azını tamamladı.

Çıkarım, maksimum token sınırının izlenmeye değer bir parametre olduğudur: çok düşük ayarlarsanız bir akıl yürütme modeli tümünü düşünmeye harcayıp bir yanıta asla ulaşamayabilir. Akıl yürüten modeller için bütçeyi artırdık, yanıt uzunluğunun üzerine düşünme alanı ekledik ve başarısız istekleri yeniden denedik. Çoğu boşluk doldu; ancak birkaçı, bir modelin düşünmesi daha büyük bütçeyi bile aştığında başarısız olmaya devam etti.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

LLM gecikme benchmark metodolojisi

11 dil modelini 1.320 istekle benchmark ettik ve her modelin ne kadar hızlı yanıt verdiğini ölçtük.

Modeller

OpenRouter üzerindeki en çok kullanılan beş modeli aldık ve üzerine altı güncel model daha ekledik:

• Varsayılan olarak akıl yürütmeyen: Claude Opus 4.8, Claude Opus 4.7, Claude Sonnet 5, Claude Haiku 4.5, GPT-5.2
• Varsayılan olarak akıl yürüten: DeepSeek V4 Flash, Xiaomi MiMo v2.5, MiniMax M3, Gemini 3.1 Pro, Tencent Hunyuan HY3, Claude Fable 5

Kullanım senaryoları ve örnek prompt'lar

Girdi ve çıktı uzunlukları sabit iki kullanım senaryosu kullandık; böylece sonuçlar bir prompt'un veya yanıtın ne kadar uzun olduğunu değil, hızı yansıtır:

• Kısa yanıt (Soru-Cevap): kısa girdi (yaklaşık 256 token), kısa çıktı (128 token ile sınırlı). Örnek: “Bir veritabanında birincil anahtarın amacı nedir?”
• Uzun yanıt (kod üretimi): kısa girdi (yaklaşık 512 token), uzun çıktı (1.024 token ile sınırlı). Örnek: “Python'da bir görüntü URL listesi alan ve bunları eşzamanlı olarak indiren çok iş parçacıklı bir URL indirici oluştur.”

Her kullanım senaryosunda 20 prompt kullanıldı ve her prompt model başına 3 kez gönderildi; böylece her model ve kullanım senaryosu için 60 ölçüm elde edildi. Medyanı (p50) ve p90'ı raporluyoruz.

Ne ölçtük

Her yanıtı akış olarak aldık; isteğin gönderildiği zamanı, ilk token'ın geldiği zamanı, ilk yanıt token'ının geldiği zamanı (herhangi bir düşünmeden sonra) ve son token'ın geldiği zamanı kaydettik. Bunlardan ilk token'a kadar geçen süreyi, ilk yanıt token'ına kadar geçen süreyi, token başına gecikmeyi, çıktı hızını ve uçtan uca süreyi türettik.

Akıl yürütme ve akıl yürütmeme

Her yanıt, akıl yürütme token'ı sayısını içeren bir kullanım özeti döndürür. Bunu her istek için okuduk ve modelin etiketine güvenmek yerine, sayı sıfırın üzerindeyken isteği akıl yürütme, sıfırken akıl yürütmeme olarak işaretledik. GPT-5.2'nin kodlamada akıl yürüttüğünü ancak Soru-Cevap'ta yürütmediğini böyle tespit ettik.

Sağlayıcıları nasıl seçtik

Aynı model farklı sağlayıcılar tarafından farklı hızlarda sunulur; bu nedenle isteklerin serbestçe yönlendirilmesine izin vermek yerine her modeli tek bir sağlayıcıya sabitledik. OpenRouter her sağlayıcının çalışma süresini, gecikmesini ve verimini listeler; seçim yapmak için bu değerleri kullandık. Çalışma süresi yaklaşık yüzde 98'in altında olan tüm sağlayıcıları eledik; ardından kalanlar arasından gecikme ve verime göre en hızlısını seçtik. Her istek için o sağlayıcıyı sabitledik ve sabitlemenin korunduğunu doğrulamak için her yanıtı gerçekten sunan sağlayıcıyı kaydettik. En hızlı sağlayıcılardan birkaçı hesabımızla erişilebilir değildi ve hız sınırı hataları döndürdü; bu nedenle güvenilir şekilde hizmet veren en hızlı sağlayıcıyı kullandık.

Sabitlenen sağlayıcılar şunlardı: Claude Opus 4.8 Google Vertex'te (Avrupa), Claude Opus 4.7 Anthropic'te, Claude Sonnet 5 ve GPT-5.2 Azure'da, Claude Fable 5 ve Claude Haiku 4.5 Amazon Bedrock'ta, DeepSeek V4 Flash Novita'da, MiMo v2.5 DeepInfra'da, MiniMax M3 Together'da, Gemini 3.1 Pro Google Vertex'te ve Hunyuan HY3 GMICloud'da.

Kontroller

• Tüm istekler tek bir istemci bölgesinden çalıştırıldı.
• Çıktı uzunluğu sınırlandırıldı (kısa için 128, uzun için 1.024); böylece ayrıntı düzeyi gecikmeyi bozmaz. Akıl yürüten modellere bu sınırın üzerine düşünme için ek bütçe verildi.
• Her prompt, prompt önbelleğe almayı engellemek için benzersiz bir metin bloğuyla başladı ve hiçbir girdi token'ının önbellekten gelmediğini doğruladık.
• Tüm token sayıları tek bir tokenizer kullanır; böylece hız modeller arasında karşılaştırılabilir.

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Şipi, Nazlı},
  title  = {{LLM Kullanım Senaryolarına Göre Gecikme Benchmark'ı}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/llm-latency-benchmark}},
  note   = {AIMultiple. Erişim tarihi: 6 Ağustos 2026}
}

Değişiklik günlüğü

5 güncelleme

Tümü5Genel4Metodoloji1

20262025

1. 12 Ağu

   Gecikme kıyaslamasında yaklaşık gecikme aralıkları, modele özgü kesin zamanlama değerleriyle değiştirildi.

2. 8 Tem

   Karşılaştırılan model listesi, 11 güncel akıl yürütme ve akıl yürütmeyen modelle değiştirildi.

3. 22 Oca

   Genişletilmiş "LLM gecikme karşılaştırma sonuçları" bölümü, ayrıntılı İlk Token Gecikmesi ve Token Başına Gecikme karşılaştırma sonuçları ile.

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple bünyesinde baş analisttir. Cem'in AIMultiple'daki çalışmaları; Business Insider, Forbes, Morning Brew ve Washington Post gibi önde gelen küresel yayınlar, Deloitte ve HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslarüstü kuruluşlar tarafından alıntılanmıştır. [1], [2], [3], [4], [5] Kariyeri boyunca Cem; teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yaptı. On yılı aşkın süre boyunca McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararlarında danışmanlık yaptı. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayımladı. CEO'ya rapor verirken bir telekom şirketinin teknoloji stratejisini ve satın alma süreçlerini yönetti. Ayrıca 2 yıl içinde 0'dan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetti. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınları tarafından ele alındı. Cem, uluslararası teknoloji konferanslarında düzenli olarak konuşma yapmaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisi olarak mezun oldu ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Araştıran

Nazlı Şipi

Yapay Zeka Araştırmacısı

Takip Et

Nazlı, AIMultiple'da veri analistidir. Çeşitli sektörlerde veri analizi alanında önceki deneyime sahiptir; bu sektörlerde karmaşık dataset'leri uygulanabilir içgörülere dönüştürme üzerine çalışmıştır.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder