LLM Kullanım Durumlarına Göre Gecikme Kıyaslaması

Gecikmeyi nasıl ölçtüğümüze ilişkin ayrıntıları burada bulabilirsiniz.

Modele göre uçtan uca yanıt süresi

LLM gecikme kıyaslama sonuçları

Akıl yürüten ve yürütmeyen modelleri ayrı ayrı raporluyoruz. Akıl yürüten modeller ilk görünür yanıt öncesinde birkaç saniye düşünür; bu yüzden onları gecikme açısından doğrudan akıl yürütmeyen modellerle karşılaştırmak yanıltıcı olur. Bazı modeller göreve göre davranış da değiştirir: GPT-5.2 soru-cevapta akıl yürütmeden yanıt verir, ancak kodlama prompt'larında akıl yürütür.

Kısa yanıt senaryosu (soru-cevap)

Kısa senaryoda önemli olan, ilk yanıt token'ının ne kadar hızlı göründüğüdür; çünkü tüm yanıt yalnızca bir veya iki cümledir. Akıl yürütmeyen modeller düşük gecikme bölgesinde kümelendi:

• claude-opus-4-8: 0,75 saniye
• gpt-5-2: 0,8 saniye
• claude-haiku-4-5: 0,96 saniye
• claude-sonnet-5: 1,5 saniye
• claude-opus-4-7: 2 saniye

Akıl yürüten modeller burada bile ilk yanıt kelimesine daha yavaş ulaştı; çünkü önce düşünüyorlar:

• mimo-v2-5: 1,2 saniye
• minimax-m3: 2,4 saniye
• deepseek-v4-flash: 3,6 saniye
• gemini-3-1-pro-preview: 9 saniye
• hy3-preview: 14,6 saniye

Kısa sorularda düşünme adımı çoğunlukla ek yüktür; çünkü yanıtın kendisi kısadır.

Uzun yanıt senaryosu (kod üretimi)

Uzun senaryoda ilk token gecikmesi daha az önemlidir; akış hızı ve toplam yanıt süresi devreye girer. claude-haiku-4-5 her ikisinde de öne geçti; saniyede yaklaşık 180 token aktı ve yaklaşık 5,5 saniyede tamamladı. Diğer akıl yürütmeyen modeller yaklaşık 10 ila 13 saniyede tamamladı: claude-sonnet-5 10 saniyede, claude-opus-4-8 10,8 saniyede ve claude-opus-4-7 12,7 saniyede.

Akıl yürüten modeller daha uzun toplam süreler üretti; çünkü düşünme ve uzun çıktı toplanıyor:

• gemini-3-1-pro-preview: 18,5 saniye
• hy3-preview: 23,1 saniye
• deepseek-v4-flash: 24,3 saniye
• minimax-m3: 28,1 saniye
• mimo-v2-5: 35 saniye

Bazıları başladıktan sonra hızlı akış sağlıyor (hy3-preview saniyede yaklaşık 200 token hızında çalışıyor), ancak başlangıçtaki düşünme toplam süreyi yüksek tutuyor.

Çıktı uzunluğu açık bırakılmak yerine sınırlandırıldı; bu nedenle modeller ayrıntı düzeyine göre karşılaştırılmadı: kısa yanıtlar için yaklaşık 128 token, uzun yanıtlar için 1.024 token. Akıl yürüten modellere düşünme token'larını tutmaları için bu sınırın üzerinde ek bütçe verildi; bu yüzden uçtan uca süreleri, yanıtın düşünce ortasında kesilmesi yerine düşünme artı yanıtı yansıtır.

Kısa yanıtlar ve uzun yanıtlar karşılaştırması

İki senaryo arasındaki zıtlık ana çıkarımdır:

• Kısa senaryoda en hızlı modeller bir saniyenin altında yanıt verdi ve dağılım dardı.
• Uzun senaryoda akıl yürütmeyen modeller öne yakın kaldı (Haiku en hızlı, yaklaşık 5,5 saniye), akıl yürüten modeller ise 18 ila 35 saniye ile belirgin şekilde geride kaldı.
• Akıl yürütmeyen grup içindeki sıralama da değişiyor: Haiku kısa prompt'larda saniye altı başlangıç yapan birkaç modelden biriydi; ancak akış hızı sayesinde uzun çıktılarda açık ara öne geçiyor.

90th yüzdelik dilimde gecikme

Ana model şu: kuyruk, akıl yürüten modellerde yalnızca kaymak yerine katlanıyor. Kodlama görevinde, MiniMax medyanda yaklaşık 13 saniyeden p90'da 42 saniyeye, Hunyuan ise yaklaşık 16 saniyeden 46 saniyeye çıktı. Ek süre düşünmeden kaynaklanıyor ve düşünme uzunluğu istekten isteğe değişiyor; bu nedenle bu modeller yalnızca daha yavaş değil, aynı zamanda daha az öngörülebilir.

Birkaç nokta öne çıkıyor:

• MiMo, akıl yürüten modeller arasında istisnadır. Her istekte akıl yürütür ancak kısa düşünür; bu nedenle p90'ı 3,7 saniyeye yakın kaldı. Akıl yürütme tek başına bir modeli öngörülemez yapmaz; asıl önemli olan düşünme miktarıdır.
• GPT-5.2 yalnızca akıl yürüttüğü yerde kuyruk gösterir. Soru-cevapta p90'ı 2 saniyenin altındaydı; ancak akıl yürütmeyi açtığı kodlamada p90'ı yaklaşık 11 saniyeye yükseldi.
• Akıl yürütmeyen modeller dar kaldı. Haiku 4.5 ve Opus 4.8, p90'ı yaklaşık 2 ila 2,5 saniye arasında tuttu. Uzun çıktılarda açılan Sonnet 5 bile (medyanda yaklaşık 4 saniyeden p90'da 8 saniyeye) akıl yürüten grubun çok altında kaldı.

Pratik nokta, medyanın bunu gizleyebileceğidir. MiniMax'in kodlamadaki medyanı yaklaşık 13 saniye olup gruptaki en kötü değer değildir; ancak yaklaşık 42 saniyelik p90'ı Hunyuan ile eşleşir; bu nedenle kötü bir istekte ölçülen her şey kadar yavaştır.

LLM akıl yürütme ve hız üzerindeki etkisi

Akıl yürüten modeller, görünür yanıttan önce dahili düşünce zinciri token'ları ürettikleri için ilk yanıt token'ını daha geç üretir. Bu düşünme adımı, ilk yanıt süresini akıl yürütmeyen modellerde yaklaşık bir saniyeden birkaç saniyeye veya daha fazlasına çıkarır.

Bir modelin akıl yürütüp yürütmediği her zaman sabit değildir. Her yanıtın döndürdüğü akıl yürütme token'larının sayısından istek başına akıl yürütmeyi tespit ettik; ardından sonuçları göreve göre grupladık. Her modelin akıl yürüttüğü isteklerin oranı:

GPT-5.2 bunu doğrudan gösteriyor: kısa soru-cevap prompt'larına akıl yürütmeden yanıt verdi; ancak çoğu kodlama prompt'unda akıl yürüttü. Bunun gibi hibrit bir model için “akıl yürütme” sabit bir etiket değildir; model göreve göre karar verir ve gecikmesi bu kararla değişir. Bu nedenle GPT-5.2 soru-cevapta hızlı grupta yer alır ancak kodlamada geriye düşer.

Her modeli varsayılan durumunda ölçtük. Birkaçı isteğe bağlı akıl yürütebilen, ancak düşünme kapalı olarak gelen hibrit modellerdir: örneğin Claude Opus 4.8 genişletilmiş düşünmeyi destekler, ancak varsayılan olarak kapalıdır; bu nedenle çalıştırmalarımızda hiç akıl yürütme token'ı üretmedi ve hızlı kaldı. Diğer Claude modelleri de öyle (Opus 4.7, Sonnet 5, Haiku 4.5).

Geri kalanlar neredeyse her istekte akıl yürüttü; bu nedenle ilk yanıtta daha yavaş görünüyorlar. Dolayısıyla burada “hiç akıl yürütmüyor” ifadesi, varsayılan olarak akıl yürütmediği anlamına gelir; yeteneğin eksik olduğu anlamına gelmez. GPT-5.2 öne çıkıyor; çünkü bu seçimi kendi yaptı: daha zor kodlama prompt'ları için akıl yürütmeyi açarken soru-cevap için kapalı bıraktı.

LLM'ler için endpoint'in gecikmeye etkisi

Barındırılan bir modelin gecikmesi yalnızca modelden kaynaklanmaz. Aynı zamanda sağlayıcının sunum altyapısını, kuyruklamayı, ağ yolunu ve coğrafyayı da içerir. Listemiz bunu tek bir model hattı içinde gösteriyor. Claude Opus 4.8, Avrupa'da Google Vertex üzerinden sunuldu ve ilk token'ı yaklaşık 0,75 saniyede döndü; Anthropic'in kendi API'si üzerinden sunulan Claude Opus 4.7 ise yaklaşık 2 saniye sürdü.

Bunlar farklı sürümlerdir; bu nedenle fark yalnızca endpoint'ten kaynaklanmaz; ancak bu örüntü iyi bilinen bir etkiyle örtüşür: aynı ağırlıklar nerede ve nasıl sunulduklarına bağlı olarak birkaç kat daha hızlı veya yavaş olabilir. Ölçüm istemcimiz Avrupa'da çalıştığı için Avrupa Vertex endpoint'i daha kısa ağ yoluna sahipti; bu da öne çıkmasının nedenlerinden biri.

Her model için sağlayıcıyı nasıl seçtiğimizi görmek için kıyaslama metodolojimizi okuyun.

Maksimum token limiti ve akıl yürüten modeller

Gecikmeyi adil ölçmek için sabit bir maksimum çıktı uzunluğu belirledik; böylece hiçbir model daha fazla yazdığı için ödüllendirilmez veya cezalandırılmaz. Bu üst sınır, tüm yanıt için token bütçesidir ve hataların çoğu buradan kaynaklandı:

• Akıl yürüten modeller, yanıt başlamadan önce bütçenin bir kısmını düşünmeye harcar.
• Zor kodlama prompt'larında bazıları çok ve öngörülemez şekilde düşünür (MiniMax tek bir prompt'ta yaklaşık 2.500 ila 3.700 düşünme token'ı kullandı).
• Düşünme tüm bütçeyi doldurduğunda yanıt için hiç token kalmaz ve yanıt boş döner.
• Bu, kodlamada en çok MiniMax'i etkiledi; ilk geçişte isteklerinin yarısından azını tamamlayabildi.

Çıkarım şu: maksimum token limiti izlenmeye değer bir parametredir; çok düşük ayarlarsanız akıl yürüten bir model tüm bütçeyi düşünerek harcayabilir ve yanıta hiç ulaşamaz. Akıl yürüten modeller için bütçeyi artırdık, yanıt uzunluğuna ek olarak düşünme alanı tanıdık ve başarısız istekleri yeniden denedik. Birkaçı hâlâ başarısız olsa da çoğu boşluk kapandı; çünkü bazı modellerin düşünmesi daha büyük bütçeyi bile aştı.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

LLM gecikme kıyaslama metodolojisi

Her modelin ne kadar hızlı yanıt verdiğini ölçmek için 11 dil modelini 1.320 istekle kıyasladık.

Modeller

OpenRouter'daki en çok kullanılan beş modeli aldık ve üzerine altı güncel model daha ekledik:

• Varsayılan olarak akıl yürütmeyen: Claude Opus 4.8, Claude Opus 4.7, Claude Sonnet 5, Claude Haiku 4.5, GPT-5.2
• Varsayılan olarak akıl yürüten: DeepSeek V4 Flash, Xiaomi MiMo v2.5, MiniMax M3, Gemini 3.1 Pro, Tencent Hunyuan HY3, Claude Fable 5

Kullanım durumları ve örnek prompt'lar

Sabit giriş ve çıktı uzunluklarına sahip iki kullanım durumu kullandık; böylece sonuçlar, bir prompt veya yanıtın ne kadar uzun olduğunu değil hızı yansıtır:

• Kısa yanıt (soru-cevap): kısa giriş (yaklaşık 256 token), kısa çıktı (128 token ile sınırlı). Örnek: “Bir veritabanında birincil anahtarın amacı nedir?”
• Uzun yanıt (kod üretimi): kısa giriş (yaklaşık 512 token), uzun çıktı (1.024 token ile sınırlı). Örnek: “Python'da, bir resim URL'leri listesini alıp bunları eşzamanlı olarak indiren çok iş parçacıklı bir URL indirici oluşturun.”

Her kullanım durumu 20 prompt kullandı ve her prompt model başına 3 kez gönderildi; böylece her kullanım durumunda model başına 60 ölçüm elde edildi. Medyanı (p50) ve p90'ı raporluyoruz.

Ölçtüklerimiz

Her yanıtı akış olarak aldık ve isteğin ne zaman gönderildiğini, ilk token'ın ne zaman geldiğini, ilk yanıt token'ının ne zaman geldiğini (varsa düşünmeden sonra) ve son token'ın ne zaman geldiğini kaydettik. Bunlardan ilk token süresini, ilk yanıt token süresini, token başına gecikmeyi ve çıktı hızını, ayrıca uçtan uca süreyi türettik.

Akıl yürütme ve akıl yürütmeme karşılaştırması

Her yanıt, akıl yürütme token sayısını içeren bir kullanım özeti döndürür. Her istek için bunu okuduk; model etiketine güvenmek yerine sayı sıfırın üzerindeyse isteği akıl yürütüyor, sıfırsa akıl yürütmüyor olarak işaretledik. GPT-5.2'nin kodlamada akıl yürüttüğünü ancak soru-cevapta yürütmediğini böyle tespit ettik.

Sağlayıcıları nasıl seçtik

Aynı model farklı sağlayıcılar tarafından farklı hızlarda sunulur; bu nedenle isteklerin serbestçe yönlendirilmesine izin vermek yerine her modeli tek bir sağlayıcıya sabitledik. OpenRouter her sağlayıcının çalışma süresini, gecikmesini ve verimini listeler; biz de seçim için bu değerleri kullandık. Yaklaşık 98 yüzde çalışma süresinin altındaki tüm sağlayıcıları eledik; ardından geri kalanlar arasından gecikme ve verime göre en hızlısını seçtik. Her istek için o sağlayıcıyı sabitledik ve sabitlemenin korunduğunu doğrulamak için her yanıtı gerçekten sunan sağlayıcıyı kaydettik. En hızlı sağlayıcılardan birkaçı hesabımızla erişilebilir değildi ve hız limiti hataları döndürdü; bu yüzden güvenilir şekilde hizmet veren en hızlı sağlayıcıyı kullandık.

Sabitlenen sağlayıcılar şunlardı: Claude Opus 4.8 Google Vertex (Avrupa) üzerinde, Claude Opus 4.7 Anthropic üzerinde, Claude Sonnet 5 ve GPT-5.2 Azure üzerinde, Claude Fable 5 ve Claude Haiku 4.5 Amazon Bedrock üzerinde, DeepSeek V4 Flash Novita üzerinde, MiMo v2.5 DeepInfra üzerinde, MiniMax M3 Together üzerinde, Gemini 3.1 Pro Google Vertex üzerinde ve Hunyuan HY3 GMICloud üzerinde.

Kontroller

• Tüm istekler tek bir istemci bölgesinden çalıştırıldı.
• Çıktı uzunluğu sınırlandırıldı (kısa için 128, uzun için 1.024); böylece ayrıntı düzeyi gecikmeyi bozmaz. Akıl yürüten modellere bu sınırın üzerine düşünme için ek bütçe verildi.
• Her prompt, prompt önbelleğini devre dışı bırakmak için benzersiz bir metin bloğuyla başladı ve hiçbir giriş token'ının önbellekten gelmediğini doğruladık.
• Tüm token sayıları tek bir tokenizer kullanır; böylece hız modeller arasında karşılaştırılabilir.

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Şipi, Nazlı},
  title  = {{LLM Kullanım Durumlarına Göre Gecikme Kıyaslaması}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/llm-latency-benchmark}},
  note   = {AIMultiple. Erişim tarihi: 6 Ağustos 2026}
}

Değişiklik günlüğü

5 güncelleme

Tümü5Genel4Metodoloji1

20262025

1. 12 Ağu

   Gecikme kıyaslamasında yaklaşık gecikme aralıkları, modele özgü kesin zamanlama değerleriyle değiştirildi.

2. 8 Tem

   Karşılaştırılan model listesi, 11 güncel akıl yürütme ve akıl yürütmeyen modelle değiştirildi.

3. 22 Oca

   Genişletilmiş "LLM gecikme karşılaştırma sonuçları" bölümü, ayrıntılı İlk Token Gecikmesi ve Token Başına Gecikme karşılaştırma sonuçları ile.

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple bünyesinde baş analisttir. Cem'in AIMultiple'daki çalışmaları; Business Insider, Forbes, Morning Brew ve Washington Post gibi önde gelen küresel yayınlar, Deloitte ve HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslarüstü kuruluşlar tarafından alıntılanmıştır. [1], [2], [3], [4], [5] Kariyeri boyunca Cem; teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yaptı. On yılı aşkın süre boyunca McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararlarında danışmanlık yaptı. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayımladı. CEO'ya rapor verirken bir telekom şirketinin teknoloji stratejisini ve satın alma süreçlerini yönetti. Ayrıca 2 yıl içinde 0'dan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetti. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınları tarafından ele alındı. Cem, uluslararası teknoloji konferanslarında düzenli olarak konuşma yapmaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisi olarak mezun oldu ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Araştıran

Nazlı Şipi

Yapay Zeka Araştırmacısı

Takip Et

Nazlı, AIMultiple'da veri analistidir. Çeşitli sektörlerde veri analizi alanında önceki deneyime sahiptir; bu sektörlerde karmaşık dataset'leri uygulanabilir içgörülere dönüştürme üzerine çalışmıştır.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder