GPU Eşzamanlılık Benchmark'ı: H100 vs H200 vs B200 vs MI300X

Sedat Dogan

ile

Ekrem Sarı

Güncellenme tarihi: 12 Mar 2026

Bakınız etik normlar

Bu Benchmarkı Kaynak Göster

Son 20 yılımı sistem düzeyinde hesaplama performansı optimizasyonuna odaklanarak geçirdim. Eşzamanlılık ölçekleme analizi için en son NVIDIA GPU'larını, NVIDIA'nın H100, H200 ve B200'ünü ve AMD'nin MI300X'ini benchmarkladık. vLLM framework'ü ve gpt-oss-20b model kullanarak, bu GPU'ların 1'den 512'ye kadar eşzamanlı istekleri nasıl yönettiğini test ettik. Sistem çıktı verimliliğini, sorgu başına çıktı hızını ve uçtan uca gecikmeyi ölçerek, AI iş yükleri için GPU performansını anlamaya yardımcı olacak bulgularımızı paylaşıyoruz.

Eşzamanlılık benchmark sonuçları

Sistem çıktı verimliliği vs eşzamanlılık

Loading Chart

Bu grafik, her eşzamanlılık seviyesinde sistem tarafından saniyede üretilen toplam çıktı token sayısını göstermektedir.

Sorgu başına çıktı hızı vs eşzamanlılık

Bu metrik, sistem meşgul hale geldikçe tek bir sorgunun ne kadar hızlı işlendiğini (saniyede token cinsinden) gösterir. 1.000 token'lık bir çıktı için uçtan uca gecikmeye dayanarak hesaplanır.

Uçtan uca gecikme vs eşzamanlılık

Bu grafik, farklı eşzamanlılık seviyelerinde bir isteğin baştan sona tamamlanması için geçen ortalama süreyi (milisaniye cinsinden) göstermektedir.

Saniye başına ve dolar başına token vs Eşzamanlılık

Bu grafik, her GPU'nun saatlik kiralama başına harcanan her dolar için saniyede kaç token ürettiğini ölçerek maliyet etkinliğini değerlendirir. Bu metrik, özellikle bütçe odaklı dağıtımlar için her donanım seçeneğinin yatırım getirisini anlamak için çok önemlidir.

Not: Fiyatlandırma, Mart 2026 itibarıyla Runpod bulut platformundan gelen talep üzerine saatlik ücretlere dayanmaktadır. Fiyatlar değişime tabidir ve kullanılabilirliğe ve örnek türüne göre farklılık gösterebilir.

eşzamanlılık benchmark metodolojimiz hakkında daha fazla bilgi edinebilirsiniz.

Eşzamanlılık nedir?

Eşzamanlılık, bir GPU'nun aynı anda birden fazla isteği işleme yeteneğine, büyük dil modeli çıkarımı gibi AI iş yükleri için kilit bir faktöre atıfta bulunur. Performans değerlendirmemizde, eşzamanlılık seviyeleri, test çalışmaları sırasında GPU'ya gönderilen eşzamanlı istek sayısını (1'den 512'ye) temsil eder. Daha yüksek eşzamanlılık, performansı düşürmeden paralel görevleri yönetme konusunda GPU'nun kapasitesini test eder, verimliliği ve gecikmeyi dengeler.

Eşzamanlılığı anlamak, kullanıcıların değişen talep veya toplu işleme ihtiyaçları için doğru GPU'yu belirlemelerine yardımcı olur. Grafik testleri veya GPU benchmark paketleri çalıştırıldığında, eşzamanlılık performansı GPU'lar arasında önemli ölçüde farklılık gösterebilir, bu da tüketiciler ve alıcılar için farklı sistem yapılandırmaları ve fiyat noktaları across test sonuçlarını karşılaştırmayı zorunlu kılar.

vLLM nedir?

vLLM, büyük dil modeli (LLM) çıkarımı ve sunumu için hızlı ve kullanımı kolay açık kaynaklı bir kütüphanedir ve katkıda bulunan bir topluluk tarafından desteklenmektedir. Hem bulut hem de kendi kendine barındırılan LLM dağıtımlarını belleği yöneterek, eşzamanlı istekleri işleyerek ve gpt-oss-20b gibi modelleri verimli bir şekilde sunarak yönetir. Kendi kendine barındırılan LLM'ler için vLLM, bellek yönetimi için PagedAttention¹ gibi özelliklerle, sürekli toplu işleme ve hem NVIDIA hem de AMD GPU desteği ile dağıtımı basitleştirir, yerel donanımda birden fazla eşzamanlı isteği etkinleştirir.

Google Arama'da daha fazla kıyaslamamızı ve veri odaklı içgörülerimizi görün.

Tercih edilen kaynak olarak ekle

Eşzamanlılık benchmark metodolojisi

AI çıkarımı iş yükleri için eşzamanlılık ölçekleme yeteneklerini değerlendirmek amacıyla hem NVIDIA hem de AMD'den en son yüksek performanslı GPU mimarilerini test ettik. Benchmarkımız, vLLM aracılığıyla değişen eşzamanlı yük koşulları altında OpenAI gpt-oss-20b model çalıştırarak NVIDIA H100, H200 ve B200 GPU'larını AMD'nin MI300X'i ile birlikte test etti. Verimlilik metrikleri, gecikme dağılımları ve kaynak kullanım desenlerinin ölçülmesi yoluyla, bu analiz AI çıkarımı dağıtımları için içgörüler sağlamayı amaçlamaktadır.

Test altyapısı

Testlerimizi Runpod'un bulut altyapısında, NVIDIA'nın en gelişmiş GPU mimarilerini ve vLLM framework'ünü kullanarak dağıttık.

GPU platformu: Runpod bulut altyapısı (H100, H200, B200 ve MI300X)
Model: vLLM framework üzerinden OpenAI GPT-OSS-20B

Yazılım ortamı

NVIDIA GPU'ları (H100, H200, B200):

RunPod şablonu: runpod/pytorch:1.0.2-cu1281-torch280-ubuntu2404
vLLM kurulumu: vllm[flashinfer]==0.11.0

AMD GPU (MI300X):

Docker imajı: rocm/vllm-dev:open-mi300-08052025

vLLM sunucu yapılandırması

Her donanım mimarisi için performansı optimize etmek amacıyla farklı vLLM ayarları kullanıldı.

NVIDIA H100, H200 ve B200 GPU'ları için, sunucu aşağıdaki komutla başlatıldı:

1vllm serve openai/gpt-oss-20b \
2    --host 0.0.0.0 \
3    --port 8000 \
4    --api-key test-key \
5    --max-model-len 8192 \
6    --max-num-seqs 512 \
7    --gpu-memory-utilization 0.9

AMD MI300X GPU için, mimari için özel ayarlarla ROCm-optimizasyonlu bir vLLM yapısı kullanıldı:

1vllm serve openai/gpt-oss-20b \
2    --host 0.0.0.0 \
3    --port 8000 \
4    --api-key test-key \
5    --dtype auto \
6    --max-num-seqs 512 \
7    --max-num-batched-tokens 16384 \
8    --compilation-config '{"full_cuda_graph": true}' \
9    --trust-remote-code

Not: Bu benchmark, vLLM v0.11.0 kullanılarak gerçekleştirildi. Erken 2025'te yayınlanan vLLM v1.0, farklı verimlilik sonuçları üretebilecek mimari değişiklikler getiriyor.

Benchmark yapılandırması

Her GPU, tutarlı sonuçlar sağlamak amacıyla standartlaştırılmış parametrelerle 9 farklı eşzamanlılık seviyesinde test edildi.

Eşzamanlılık seviyeleri: 1, 4, 8, 16, 32, 64, 128, 256, 512 eşzamanlı istek
Test süresi: 30 saniyelik ramp-up/soğuma ile 180 saniyelik ölçüm aşaması
İstek boyutu: İstek başına 1.000 giriş/çıktı token

Sonuç doğrulaması hakkında not: Son metrikleri kaydetmeden önce, her GPU için optimal yapılandırmayı belirlemek amacıyla sayısız test çalıştırdık. Belirlendikten sonra, benchmark istikrarı doğrulamak için üç kez art arda çalıştırıldı. Verimlilik sonuçları bu çalıştırmalar boyunca tutarlıydı, varyans %0,1'in altındaydı. Bu analizde bildirilen rakamlar, bu üç art arda çalıştırmanın sonuncusuna dayanmaktadır.

Temel metrikler

GPU yeteneklerinin yük altında kapsamlı bir görünümünü sağlamak amacıyla performansı birden fazla boyutta takip ettik.

Verimlilik: Sistem çıktı tokenları/saniye, başarılı istekler/saniye ve bireysel istek token oluşturma hızı
Gecikme: İlk Token'a Zaman (TTFT), P50/P95/P99 yüzdeliklerle uçtan uca gecikme, istek başına ortalama gecikme
Güvenilirlik: Başarı oranı yüzdesi, zaman aşımı ve diğer hata sınıflandırması

Yazılım yığını değerlendirmeleri

Performans yalnızca donanımın bir fonksiyonu değildir. vLLM gibi framework'ler, NVIDIA'nın CUDA ekosistemi için AMD'nin ROCm'ine kıyasla daha olgun, son derece optimize edilmiş desteğe sahiptir. MI300X sonuçlarında gözlemlenen performans farkları, kısmen donanımın teorik potansiyelinden ziyade yazılım optimizasyonunun mevcut durumunu yansıtıyor olabilir.

Yeni nesil donanım yol haritası

Bu benchmark'ta test edilen B200, H200, H100 ve MI300X GPU'ları, mevcut AI çıkarımı donanım neslini temsil ediyor. Hem NVIDIA hem de AMD, 2026 ve ötesinde altyapı yatırımları planlayan ekipler için ilgili bir bağlam olan haleflerini duyurdu.

NVIDIA tarafında, Jensen Huang, CES 2026'da Vera Rubin NVL72 platformunun tam üretime girdiğini ve ilk sistemlerin 2026'nın ikinci yarısında gönderilmesi bekleniyor.² NVIDIA'ya göre, Rubin GPU yaklaşık 50 PFLOP FP4 çıkarım performansı sunuyor, burada benchmarklanan B200 gibi Blackwell tabanlı sistemlerin yaklaşık beş katı.³

AMD tarafında, CDNA 5 mimarisine dayalı Instinct MI400, 2026 için planlanıyor ve MI350 hesaplama performansını yaklaşık iki katına çıkarırken 432 GB HBM4 bellek tanıtması bekleniyor.⁴ AMD ayrıca, Meta'nın 2026'nın ikinci yarısında sevkiyata başlayarak 6 gigavat kapasiteye kadar özel MI450 tabanlı Instinct sunucularını dağıtacağını duyurdu.⁵ Oracle ayrıca, 2026'nın 3. çeyreğinde yaklaşık 50.000 MI450 serisi GPU ile güçlendirilen halka açık bir AI süper kümesi sunacak.⁶

Yakın vadeli dağıtımlar için bu benchmark'taki GPU'ları değerlendiren ekipler için, B200 ve MI300X şu anda mevcut en yüksek performanslı seçenekler olmaya devam ediyor. Daha uzun planlama ufukları için, 2026 yol haritası her iki tedarikçiden de verimlilik ve maliyet etkinliğinde önemli bir adım değişikliğini işaret ediyor.

Sonuç

B200, verimlilikte liderlik ediyor ve toplu çıkarım için iyi ölçekleniyor. MI300X, düşük eşzamanlılıkta en hızlı yanıt sürelerini sunuyor, bu da chatbot'lar gibi gerçek zamanlı uygulamalar için daha uygun hale getiriyor. H100 ve H200 ortada yer alıyor, her iki boyutta da öne çıkmadan genel amaçlı iş yüklerini kapsıyor.

Temel takas tüm donanımda geçerlidir: daha yüksek eşzamanlılık sistem verimliliğini artırır ancak istek başına gecikmeyi yükseltir. İş yükünüzün hacmi mi yoksa yanıt süresini mi önceliklendirdiğine bağlı olarak seçin.

Daha fazla okuma

Şunlar gibi diğer AI donanım araştırmalarını keşfedin:

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

Sedat Dogan and Ekrem Sarı (2026) - "GPU Eşzamanlılık Benchmark'ı: H100 vs H200 vs B200 vs MI300X". AIMultiple.com adresinde çevrimiçi yayımlanmıştır. Erişim tarihi: 12 Mart 2026, kaynak: https://aimultiple.com/gpu-benchmark [Çevrimiçi Kaynak]

Dogan, S., & Sarı, E. (2026, 12 Mart). GPU Eşzamanlılık Benchmark'ı: H100 vs H200 vs B200 vs MI300X. AIMultiple. https://aimultiple.com/gpu-benchmark

@misc{dogan2026,
  author = {Dogan, Sedat and Sarı, Ekrem},
  title  = {{GPU Eşzamanlılık Benchmark'ı: H100 vs H200 vs B200 vs MI300X}},
  year   = {2026},
  month  = mar,
  howpublished    = {\url{https://aimultiple.com/gpu-benchmark}},
  note   = {AIMultiple. Erişim tarihi: 12 Mart 2026}
}

Referans Linkleri

https://arxiv.org/pdf/2309.06180

Nvidia CEO confirms Vera Rubin NVL72 is now in production — Jensen Huang uses CES keynote to announce the milestone | Tom's Hardware

Tom's Hardware

Nvidia CEO confirms Vera Rubin NVL72 is now in production — Jensen Huang uses CES keynote to announce the milestone | Tom's Hardware

Tom's Hardware

AMD and its Partners Share their Vision for AI Everywhere, for Everyone at CES 2026

Advanced Micro Devices (AMD)

AMD and Meta Announce Expanded Strategic Partnership to Deploy 6 Gigawatts of AMD GPUs

Advanced Micro Devices (AMD)

Oracle and AMD Expand Partnership to Help Customers Achieve Next-Generation AI Scale | Oracle Middle East Regional

Sedat Dogan

CTO

Takip Et

Sedat, yazılım geliştirme, web veri toplama ve siber güvenlik alanlarında deneyime sahip bir teknoloji ve bilgi güvenliği lideridir. Sedat: - Programlama dilleri ve sunucu mimarileri konusunda geniş uzmanlığa sahip, 20 yıllık beyaz şapkalı hacker ve geliştirme uzmanı deneyimine sahiptir. - Ödeme altyapısı gibi yüksek trafikli ve kritik öneme sahip teknoloji operasyonlarına sahip şirketlerin üst düzey yöneticilerine ve yönetim kurulu üyelerine danışmanlık yapmaktadır. - Teknik uzmanlığının yanı sıra kapsamlı iş zekasına da sahiptir.

Tam Profili Görüntüle

Araştıran

Ekrem Sarı

Yapay Zeka Araştırmacısı

Takip Et

Ekrem, AIMultiple'da yapay zeka araştırmacısı olarak çalışmakta olup, akıllı otomasyon, GPU'lar, yapay zeka ajanları ve RAG çerçeveleri üzerine yoğunlaşmaktadır.

Tam Profili Görüntüle