LLM Gecikme Süresi Benchmark by Use Cases
En iyi 11 büyük dil modelini toplamda 1,320 istekle karşılaştırdık, akıl yürüten ve non-akıl yürüten modelleri ayırarak ve ilk token gecikme süresi, token başına gecikme süresi ve toplam yanıt süresini ölçtük.
LLM gecikme süresi benchmark
Gecikme süresini nasıl ölçtüğümüze dair ayrıntıları burada bulabilirsiniz.
Modele göre uçtan uca yanıt süresi
LLM gecikme süresi benchmark sonuçları
Akıl yürüten ve akıl yürütmeyen modelleri ayrı ayrı raporladık. Akıl yürüten modeller ilk görünür yanıttan önce birkaç saniye düşündüğü için, onları doğrudan akıl yürütmeyen modellerle gecikme süresi açısından karşılaştırmak yanıltıcı olur. Bazı modeller davranışlarını göreve göre de değiştiriyor: GPT-5.2 Q&A'ya akıl yürütmeden yanıt verirken, kodlama istemlerinde akıl yürütüyor.
Kısa yanıt durumu (Q&A)
Kısa durumda önemli olan ilk yanıt token'ının ne kadar hızlı göründüğüdür, çünkü tüm yanıt yalnızca bir iki cümledir. Akıl yürütmeyen modeller düşük gecikme bölgesinde kümeleniyor:
- claude-opus-4-8: 0.75 saniye
- gpt-5-2: 0.8 saniye
- claude-haiku-4-5: 0.96 saniye
- claude-sonnet-5: 1.5 saniye
- claude-opus-4-7: 2 saniye
Akıl yürüten modeller burada bile ilk yanıt kelimesine daha yavaş ulaştı, çünkü önce düşünüyorlar:
- mimo-v2-5: 1.2 saniye
- minimax-m3: 2.4 saniye
- deepseek-v4-flash: 3.6 saniye
- gemini-3-1-pro-preview: 9 saniye
- hy3-preview: 14.6 saniye
Kısa sorularda düşünme adımı çoğunlukla fazladan yük oluşturuyor, çünkü yanıtın kendisi kısa.
Uzun yanıt durumu (kod üretimi)
Uzun durumda ilk token gecikmesi daha az önemlidir ve akış spUzun durumda ilk token gecikmesi daha az önemlidir ve akış hızı ve toplam yanıt süresi devreye girer. claude-haiku-4-5, yaklaşık saniyede 180 token hızında akış yaparak ve yaklaşık 5.5 saniyede tamamlayarak her ikisinde de lider oldu. Diğer akıl yürütmeyen modeller yaklaşık 10 ila 13 saniyede tamamladı: claude-sonnet-5 10 saniyede, claude-opus-4-8 10.8 saniyede ve claude-opus-4-7 12.7 saniyede.
Akıl yürüten modeller, düşünme ve uzun çıktı bir araya geldiği için daha uzun toplam süreler üretti:
- gemini-3-1-pro-preview: 18.5 saniye
- hy3-preview: 23.1 saniye
- deepseek-v4-flash: 24.3 saniye
- minimax-m3: 28.1 saniye
- mimo-v2-5: 35 saniye
Bazıları bir kez başladıktan sonra hızlı akış yapıyor (hy3-preview yaklaşık saniyede 200 token hızında çalışıyor), ancak başlangıçtaki düşünme süresi toplamı yüksek tutuyor.
Çıktı uzunluğu açık bırakılmak yerine sınırlandırıldı, böylece modeller kelime bolluğu açısından karşılaştırılmaz: kısa yanıtlar için yaklaşık 128 token ve uzun yanıtlar için 1,024 token. Akıl yürütme modellerine düşünme token'larını tutabilmeleri için bu sınırın üzerinde ek bütçe verildi, bu nedenle uçtan uca süreleri düşünce artı yanıtı yansıtır, düşünce ortasında kesilmiş bir yanıtı değil.
Kısa yanıtlara karşı uzun yanıtlar
İki durum arasındaki karşıtlık ana çıkarımdır:
- Kısa durumda en hızlı modeller bir saniyenin altında yanıt verdi ve dağılım dardı.
- Uzun durumda akıl yürütmeyen modeller en önde kaldı (Haiku yaklaşık 5.5 saniye ile en hızlı), akıl yürüten modeller ise 18 ila 35 saniye ile oldukça geride kaldı.
- Akıl yürütmeyen grup içindeki sıralama da değişir: Haiku kısa istemlerde saniyeden kısa başlayan birkaç modelden biriydi, ancak akış hızı sayesinde uzun çıktılarda belirgin şekilde öne çıkıyor.
90th yüzdelikte gecikme süresi
Ana model, kuyruğun akıl yürütme modelleri için yalnızca kaymaktan ziyade çoğalmasıdır. Kodlama görevinde MiniMax medyanda yaklaşık 13 saniyeden p90'da yaklaşık 42 saniyeye çıktı ve Hunyuan yaklaşık 16 saniyeden 46 saniyeye yükseldi. Geçen ek süre düşünmedir ve düşünme uzunluğu isteğe göre değişir, bu nedenle bu modeller yalnızca daha yavaş değil, aynı zamanda daha az öngörülebilirdir.
Birkaç nokta öne çıkıyor:
- MiMo akıl yürütme modelleri arasında istisnadır. Her istekte akıl yürütür ancak kısa düşünür, bu nedenle p90'ı yaklaşık 3.7 saniye civarında kaldı. Akıl yürütmenin kendisi bir modeli öngörülemez yapmaz; düşünme miktarı yapar.
- GPT-5.2 yalnızca akıl yürüttüğü durumda bir kuyruk gösterir. Q&A'da p90'ı 2 saniyenin altındaydı, ancak akıl yürütmeyi açtığı kodlamada p90'ı yaklaşık 11 saniyeye yükseldi.
- Akıl yürütmeyen modeller dağılımı dar kaldı. Haiku 4.5 ve Opus 4.8 p90'ı yaklaşık 2 ila 2.5 saniye içinde tuttu. Uzun çıktılarda genişleyen Sonnet 5 bile (medyanda yaklaşık 4 saniyeden p90'da 8 saniyeye), akıl yürüten grubun oldukça altında kaldı.
Pratik nokta şu ki medyan bunu gizleyebilir. MiniMax'in kodlama üzerindeki medyanı yaklaşık 13 saniye, gruptaki en kötü olmasa da, yaklaşık 42 saniyelik p90'ı Hunyuan'a eşitleniyor, yani kötü bir istekte ölçülen her şey kadar yavaş oluyor.
LLM akıl yürütme ve hıza etkisi
Akıl yürütme modelleri, görünür yanıttan önce iç zincirleme düşünce token'ları ürettikleri için ilk yanıt token'ını üretmeleri daha uzun sürer. Bu düşünme adımı, akıl yürütmeyen modellerde yaklaşık bir saniyeden, birkaç saniyeye veya daha fazlasına çıkararak ilk yanıta kadar geçen süreyi artırır.
Bir modelin akıl yürütüp yürütmediği her zaman sabit değildir. Her istek için her yanıtın döndürdüğü akıl yürütme token'larının sayısına göre akıl yürütme tespit ettik, ardından sonuçları göreve göre gruplandırdık. Her modelin akıl yürüttüğü isteklerin payı:
GPT-5.2 bunu doğrudan gösteriyor: kısa Q&A istemlerine akıl yürütmeden yanıt verdi, ancak çoğu kodlama isteminde akıl yürüttü. Böyle bir hibrit model için, "akıl yürütme" sabit bir etiket değildir; model göreve göre karar verir ve gecikme süresi bu kararla birlikte değişir. Bu nedenle GPT-5.2 Q&A'da hızlı grupta yer alırken kodlamada geriye düşer.
Her modeli varsayılan durumunda ölçtük. Birçoğu isteğe bağlı akıl yürütebilen ancak düşünme kapalı olarak sunulan hibritlerdir: Claude Opus 4.8, örneğin, genişletilmiş düşünmeyi destekler, ancak varsayılan olarak devre dışıdır, bu nedenle çalışmalarımızda hiç akıl yürütme token'ı üretmedi ve diğer Claude modelleri gibi (Opus 4.7, Sonnet 5, Haiku 4.5) hızlı kaldı.
Geri kalanı neredeyse her istekte akıl yürüttü, bu nedenle ilk yanıta daha yavaş görünüyorlar. Dolayısıyla burada "hiç akıl yürütmez", varsayılan olarak değil, yeteneğin eksik olduğu anlamına gelmez. GPT-5.2 bu seçimi kendi başına yaptığı için öne çıkıyor, zor kodlama istemleri için akıl yürütmeyi açarken Q&A için kapalı bırakıyor.
Tercih edilen kaynak olarak ekleEndpoint'in LLM'ler için gecikme süresi üzerindeki etkisi
Barındırılan bir modelin gecikme süresi yalnızca modelin kendisinden ibaret değildir. Sağlayıcının sunum yığınını, kuyruklamayı, ağ yolunu ve coğrafyayı da içerir. Listemiz bunu tek bir model satırında gösteriyor. Claude Opus 4.8, Avrupa'daki Google Vertex üzerinden sunulduğunda ilk token'ını yaklaşık 0.75 saniyede döndürürken, Claude Opus 4.7, Anthropic'in kendi API'si üzerinden sunulduğunda yaklaşık 2 saniye sürdü.
Bunlar farklı sürümler, bu nedenle fark tamamen endpoint'ten kaynaklanmaz, ancak bu model iyi bilinen bir etkiyle örtüşür: aynı ağırlıklar, nerede ve nasıl sunulduklarına bağlı olarak birkaç kat daha hızlı veya daha yavaş olabilir. Ölçüm istemcimiz Avrupa'da çalıştı, bu nedenle Avrupa'daki Vertex endpoint'inin ağ yolu daha kısaydı, bu da onun öne çıkmasının bir nedenidir.
Her model için sağlayıcıyı nasıl seçtiğimizi görmek için benchmark metodolojimizi okuyun.
Maksimum token limiti ve akıl yürütme modelleri
Gecikme süresini adil ölçmek için, hiçbir modelin daha fazla yazdığı için ödüllendirilmemesi veya cezalandırılmaması için sabit bir maksimum çıktı uzunluğu belirledik. Bu sınır, tüm yanıt için token bütçesidir ve başarısızlıkların çoğu buradan kaynaklandı:
- Akıl yürütme modelleri bütçenin bir kısmını yanıt başlamadan önce düşünmeye harcar.
- Zor kodlama istemlerinde bazıları çok ve öngörülemez şekilde düşünür (MiniMax tek bir istemde yaklaşık 2,500 ila 3,700 düşünme token'ı kullandı).
- Düşünme tüm bütçeyi doldurduğunda, yanıt için hiç token kalmaz ve yanıt boş döner.
- Bu en çok MiniMax'i kodlamada etkiledi, ilk geçişte isteklerinin yarısından azını tamamladı.
Çıkarılacak ders, maksimum token limitinin dikkate değer bir parametre olduğudur: çok düşük ayarlanırsa, bir akıl yürütme modeli tümünü düşünmeye harcayabilir ve hiçbir zaman bir yanıta ulaşamaz. Akıl yürütme modelleri için bütçeyi yükselttik, yanıt uzunluğunun üzerine düşünme alanı verdik ve başarısız istekleri tekrar denedik. Çoğu boşluk doldu, ancak birkaç modelin düşünmesi daha büyük bütçeyi bile aştığında bazıları hâlâ başarısız oldu.
LLM gecikme süresi benchmark metodolojisi
Her bir modelin ne kadar hızlı yanıt verdiğini ölçerek 11 dil modelini 1,320 istekle karşılaştırdık.
Modeller
OpenRouter'da en çok kullanılan beş modeli aldık ve üzerine altı güncel model daha ekledik:
- Varsayılan olarak akıl yürütmeyenler: Claude Opus 4.8, Claude Opus 4.7, Claude Sonnet 5, Claude Haiku 4.5, GPT-5.2
- Varsayılan olarak akıl yürütenler: DeepSeek V4 Flash, Xiaomi MiMo v2.5, MiniMax M3, Gemini 3.1 Pro, Tencent Hunyuan HY3, Claude Fable 5
Kullanım durumları ve örnek prompt'lar
Girdi ve çıktı uzunlukları sabitlenmiş iki kullanım durumu kullandık, böylece sonuçlar hızı yansıtır, bir prompt'lar veya yanıtın ne kadar uzun olduğunu değil:
- Kısa yanıt (Q&A): kısa girdi (yaklaşık 256 token), kısa çıktı (en fazla 128 token). Örnek: “Bir veritabanında birincil anahtarın amacı nedir?”
- Uzun yanıt (kod üretimi): kısa girdi (yaklaşık 512 token), uzun çıktı (en fazla 1,024 token). Örnek: “Bir liste girişli URL'ler alan ve bunları eşzamanlı olarak indiren Python'da çok iş parçacıklı bir URL indirici oluşturun.”
Her kullanım durumu 20 prompt'lar kullandı ve her prompt'lar model başına 3 kez gönderilerek, her kullanım durumu için model başına 60 ölçüm elde edildi. Medyanı (p50) ve p90'ı raporladık.
Ne ölçtük
Her yanıtı akış olarak aldık ve isteğin gönderilme zamanını, ilk token'ın geldiği zamanı, ilk yanıt token'ının (tüm düşünmelerden sonra) geldiği zamanı ve son token'ın geldiği zamanı kaydettik. Bunlardan ilk token'a kadar geçen süreyi, ilk yanıt token'ına kadar geçen süreyi, token başına gecikme süresini ve çıktı hızını ve uçtan uca süreyi türettik.
Akıl yürütme ve akıl yürütmeme
Her yanıt, bir akıl yürütme token sayısı içeren bir kullanım özeti döndürür. Bunu her istek için okuduk ve modelin etiketine güvenmek yerine, sayım sıfırın üzerinde olduğunda isteği akıl yürütüyor, sıfır olduğunda akıl yürütmüyor olarak işaretledik. GPT-5.2'nin kodlamada akıl yürüttüğünü ancak Q&A'da yürütmediğini böyle keşfettik.
Sağlayıcıları nasıl seçtik
Aynı model farklı sağlayıcılar tarafından farklı hızlarda sunulur, bu nedenle her modeli, isteklerin serbestçe yönlenmesine izin vermek yerine tek bir sağlayıcıya sabitledik. OpenRouter, her sağlayıcının çalışma süresini, gecikme süresini ve çıktı hızını listeler ve biz bu rakamları seçim yapmak için kullandık. Yaklaşık 98 yüzde çalışma süresinin altındaki sağlayıcıları eledik, ardından gecikme ve çıktı hızına göre kalanlar arasından en hızlısını seçtik. Her istek için o sağlayıcıyı sabitledik ve sabitlemenin korunduğunu doğrulamak için her yanıtı gerçekten sunan sağlayıcıyı günlüğe kaydettik. En hızlı sağlayıcılardan bazılarına hesabımızla erişilemedi ve hız sınırı hataları döndürdü, bu nedenle güvenilir şekilde hizmet veren en hızlı sağlayıcıyı kullandık.
Sabitlenen sağlayıcılar şunlardı: Claude Opus 4.8 Google Vertex (Avrupa) üzerinde, Claude Opus 4.7 Anthropic üzerinde, Claude Sonnet 5 ve GPT-5.2 Azure üzerinde, Claude Fable 5 ve Claude Haiku 4.5 Amazon Bedrock üzerinde, DeepSeek V4 Flash Novita üzerinde, MiMo v2.5 DeepInfra üzerinde, MiniMax M3 Together üzerinde, Gemini 3.1 Pro Google Vertex üzerinde ve Hunyuan HY3 GMICloud üzerinde.
Kontroller
- Tüm istekler tek bir istemci bölgesinden yapıldı.
- Çıktı uzunluğu sınırlandırıldı (kısa için 128, uzun için 1,024), böylece kelime bolluğu gecikme süresini bozmasın. Akıl yürütme modellerine bu sınırın üzerinde düşünme için ek bütçe verildi.
- Her prompt'lar, prompt'lar önbelleğini yenmek için benzersiz bir metin bloğuyla başladı ve hiçbir girdi token'ının önbellekten gelmediğini doğruladık.
- Tüm token sayımları, modeller arasında hızın karşılaştırılabilir olması için tek bir tokenizer kullanır.
Bu benchmarkı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Şipi, Nazlı},
title = {{LLM Gecikme Süresi Benchmark by Use Cases}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/llm-latency-benchmark}},
note = {AIMultiple. Erişim tarihi: 8 Temmuz 2026}
}
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.