Çoklu-GPU Benchmark: B200 vs H200 vs H100 vs MI300X

Yirmi yılı aşkın süredir, hesaplama performansını optimize etmek işimin temel taşlarından biri olmuştur. NVIDIA'nın B200, H200, H100 ve AMD'nin MI300X GPU'larının Büyük Dil Modeli (LLM) inference için ne kadar iyi ölçeklendiğini değerlendirmek üzere benchmark yaptık. vLLM framework'ü ve meta-llama/Llama-3.1-8B-Instruct model'i ile 1, 2, 4 ve 8 GPU üzerinde testler yaptık.

Her GPU mimarisinin paralelleştirilmiş, hesaplama yoğun iş yüklerini nasıl ele aldığını göstermek için işlem hacmini ve ölçekleme verimliliğini analiz ettik.

Çoklu-GPU benchmark sonuçları

Toplam işlem hacmi vs. GPU sayısı

• Toplam işlem hacmi (token/saniye): Bu metrik, tüm çoklu-GPU sisteminin ham işlem gücünü temsil eder. Saniyede işlenen toplam girdi ve çıktı token sayısını ölçer; bu da doymuş, çevrimdışı bir iş yükü altında maksimum performansın en önemli göstergesidir.

Puanı nasıl hesapladığımızı anlamak için çoklu-GPU benchmark metodolojimize bakın.

Önemli performans içgörüleri:

Performans analizi: NVIDIA H200, tüm test edilen konfigürasyonlarda en yüksek işlem hacmini sunar; 9-%10 oranında H100'e göre performans iyileştirmesi sağlar. Sistem, çift GPU konfigürasyonlarında %99,8 ölçekleme verimliliği elde ederek neredeyse optimum kaynak kullanımına işaret eder.

AMD MI300X performans özellikleri: AMD MI300X, tek GPU başına saniyede 18.752 token işlem hacmi elde eder; bu da H200'ün performansının yaklaşık %74'üne karşılık gelir. Sistem, iki GPU ve dört GPU konfigürasyonları için sırasıyla %95 ve %81 ölçekleme verimliliği sağlar.

Ortalama inference gecikmesi vs. GPU sayısı

• Ortalama inference gecikmesi (milisaniye): Bu metrik, tek bir isteğin baştan sona işlenmesi için geçen ortalama süreyi ölçer. Daha düşük gecikme, son kullanıcılar için daha hızlı ve daha duyarlı bir deneyim anlamına gelir.

Önemli performans içgörüleri:

Gecikme performans analizi: NVIDIA B200, değerlendirilen tüm konfigürasyonlarda en düşük gecikme ölçümlerini sergiler; 2.40ms değerine sekiz-GPU uygulamasında ulaşır. Bu performans özellikleri, minimum yanıt süreleri gerektiren gerçek zamanlı etkileşimli sistemler gibi uygulamalar için uygun olduğunu gösterir; burada alt-3ms gecikme bir tasarım gereksinimidir.

Ölçekleme verimliliği gözlemleri: Analiz, tüm platformlarda GPU sayısı arttıkça gecikme azalımında azalan getiriler olduğunu ortaya koymaktadır. En büyük gecikme azalması, tekli konfigürasyondan çift GPU konfigürasyonuna geçiş sırasında meydana gelir (platformlar genelinde yaklaşık %50). 4'ten fazla GPU içeren konfigürasyonlar giderek daha küçük gecikme iyileştirmeleri gösterir.

H200 ve H100 karşılaştırmalı analizi: H200, tüm ölçeklerde 5-%8 oranında H100'e kıyasla daha düşük gecikme gösterir; mutlak fark, daha yüksek GPU sayılarında azalır (sekiz GPU'da 2.81ms karşı 2.86ms, 0.05ms fark). Bu marjinal performans farkı, %41'lik fiyat farkıyla karşılaştırıldığında, H100'ün gecikme hassasiyeti olan dağıtımlar için daha uygun maliyet-performans özellikleri sunabileceğini düşündürür.

AMD MI300X gecikme özellikleri: MI300X, test edilen konfigürasyonlarda H200'e kıyasla 37-%75 daha yüksek gecikme değerleri gösterir; bu durum, vLLM ROCm ile CUDA uygulamaları arasındaki mevcut yazılım yığını olgunluk farklarına bağlanabilir. Sekiz GPU ölçeğinde MI300X, 4.20ms gecikme elde eder; bu değer, NVIDIA platformlarına kıyasla performans farkına rağmen çok sayıda üretim uygulaması için kabul edilebilir parametreler içinde kalır.

Performans ve fiyat: Maliyet verimliliği analizi

Ham performans metrikleri kritik olsa da, herhangi bir kuruluş için nihai karar maliyet verimliliğine dayanır. Her platform için yatırım getirisini (ROI) analiz etmek amacıyla, işlem hacmi sonuçlarımızı test sırasında RunPod'un talep üzerine saatlik fiyatlandırmasıyla eşleştirdik. Bu, hangi kurulumun en düşük maliyetle en fazla hesaplama gücü sunduğunu ortaya koyan bir “dolar başına performans” puanı hesaplamamızı sağlar.

Not: Tüm fiyatlandırma bilgileri, benchmark sırasında (Eylül 2025) RunPod Cloud platformunda mevcut olan talep üzerine ücretleri yansıtır ve değişiklik gösterebilir. Maliyetler karşılaştırmalı analiz için sunulmuştur; depolama veya ağ ücretlerini içermez.

Dolar başına işlem hacmini nasıl hesapladık

Bu grafiği oluşturmak için ham performans verilerimizi saatlik maliyetlerle karşılaştırdık. Hesaplama formülü şöyledir:

• Veri Hazırlığı: Sonuç tablomuzdaki her veri noktası için, ilgili GPU konfigürasyonunun saatlik maliyetini aldık (ör. 4x H100 maliyeti $10,76).
• Hesaplama: Daha sonra, throughput_per_dollar değerini hesaplamak için formülü uyguladık. Örneğin, H100 1x GPU ile $2,69/saat maliyetle saniyede 23.243 token işlem hacmi sağladı; bu da dolar başına 8.642 token/s'lik bir puanla sonuçlandı.

Bu verimlilik puanı, karar verme aracı sağlar ve tartışmayı “hangisi en hızlı?” sorusundan “iş yükümüz için en akıllı yatırım hangisi?” sorusuna taşır.

Çoklu-GPU ölçekleme nedir?

Çoklu-GPU ölçekleme, tek bir büyük görevi birden çok GPU'ya dağıtarak sistemin performansını artırma yeteneğini ifade eder. LLM inference için bu, modelin bağımsız kopyalarının her bir GPU'da çalıştığı ve bir yük dengeleyicinin gelen istekleri tüm örneklere dağıttığı veri paralelliği ile sağlanabilir.

İdeal olarak, iki GPU kullanmak, tek bir GPU'nun iki katı performans sağlar (2x hızlanma). Ancak gerçekte performans kazanımları, CPU ve sistem darboğazları, ana sistemin birden çok eşzamanlı süreci yönetmek için harcadığı süre, bellek bant genişliği kısıtları ve kaynak çekişmesi nedeniyle sınırlıdır. Benchmark'ımız, her platformun bu sistem düzeyindeki kısıtları ne kadar verimli yönettiğini ölçer; bu, küçük ve orta ölçekli model'ler için uygun maliyetli, yüksek performanslı AI inference sunucuları oluşturmak açısından kritik bir faktördür.

Çoklu-GPU ölçekleme testlerindeki zorluklar nelerdir?

Çoklu-GPU sistemlerini benchmark etmek, performansı önemli ölçüde etkileyebilecek benzersiz zorluklar doğurur.

İletişim yükü ve ara bağlantı darboğazları

Bir model birden çok GPU'ya bölündüğünde, NVIDIA'nın NVLink'i veya AMD'nin Infinity Fabric'i gibi ara bağlantı kritik bir performans darboğazı haline gelir. GPU'lar arası iletişimin verimliliği ölçeklemeyi doğrudan etkiler. Başka bir GPU'dan veri beklemek için harcanan süre, hesaplamayı paralelleştirerek kazanılan süreyi aşarsa performans kazanımları azalır. Bu etki, her bir GPU'nun hesaplama kapasitesini tam olarak doyuracak kadar büyük olmayan model'lerde özellikle belirgindir.

Yazılım ekosistemi olgunluğu

Performans yalnızca donanımın bir fonksiyonu değildir. Sürücüler, iletişim kütüphaneleri (NVIDIA için NCCL ve AMD için RCCL gibi) ve inference motoru (vLLM) dahil olmak üzere yazılım yığını çok önemli bir rol oynar. Bir platformun performansının, yazılım desteğinin olgunluğuna derinden bağlı olduğunu keşfettik. NVIDIA'nın CUDA'sı gibi yerleşik bir ekosistem, yıllarca süren fine-tuning ve optimizasyondan faydalanır; bu da güçlü donanımlarda bile AMD'nin ROCm'si gibi daha yeni entegrasyonlara kıyasla üstün ölçekleme verimliliğine yol açabilir.

Platforma özgü optimizasyonlar

Testlerimizin ortaya koyduğu gibi, optimum performansa ulaşmak çoğu zaman platforma özgü yapılandırmalar gerektirir. Genel, “herkese uyan tek tip” bir yaklaşım yanıltıcı derecede düşük performansa yol açabilir. Doğru Docker image'ı, ortam değişkenleri (ör. özel AMD kernel'lerini etkinleştirmek) ve hatta model veri tipleri (ör. Blackwell için bfloat16), donanımın gerçek potansiyelini ortaya çıkarmak için gereklidir. Bu, adil “elma ile elma” karşılaştırmalarını önemli bir teknik zorluk haline getirir.

Çoklu-GPU benchmark metodolojisi

En yeni yüksek performanslı GPU mimarilerini hem NVIDIA hem de AMD'den test ederek ölçekleme yeteneklerini değerlendirdik. Benchmark'ımız, standart meta-llama/Llama-3.1-8B-Instruct¹ modelini ve vLLM² inference motorunu kullanarak tekli ve çoklu-GPU (1x, 2x, 4x, 8x) konfigürasyonlarının performansını ölçtü.

Test ortamı ve süreci

• Platform: Tüm benchmark'lar RunPod Cloud üzerinde çalıştırıldı; bu, tutarlı donanım erişimi sağladı.
• Inference motoru: Standart motor olarak vLLM (vllm bench throughput aracı) kullanıldı.
• Model: meta-llama/Llama-3.1-8B-Instruct.
• Dataset: Konuşmaya dayalı bir iş yükünü simüle etmek için ShareGPT Vicuna dataset'i (25.000 prompt) kullanıldı.
• Strateji: Veri paralelliği; her çoklu-GPU testi, her bir GPU üzerinde bağımsız bir vLLM örneği çalıştırdı. Toplam prompt yükü, örnekler arasında eşit olarak dağıtıldı ve bunlar, yük dengeli bir üretim ortamını simüle etmek için eşzamanlı olarak yürütüldü. Bu yaklaşım, GPU'lar arası iletişimi (NVLink/PCIe) bir darboğaz olarak ortadan kaldırır ve performans sınırlayıcılarını ana sisteme (CPU, RAM) kaydırır.
• Otomasyon: Ortam kurulumu, test yürütme, kaynak izleme (nvidia-smi, rocm-smi) ve sonuçların toplanmasını otomatikleştirmek için özel Bash script'leri kullanıldı.

Platforma özgü yapılandırmalar

Optimum performansa ulaşmak, her mimari için özel olarak uyarlanmış yapılandırmalar gerektirdi.

NVIDIA platformları (H100, H200, B200)

• Temel image: runpod/pytorch:2.8.0-py3.11-cuda12.8.1.
• vLLM kurulumu:
  • H100/H200 (Hopper): pip install vllm ile standart kurulum.
  • B200 (Blackwell): vLLM, yeni mimari için yerel destek sağlamak ve “no kernel image” hatalarını çözmek amacıyla kaynak koddan derlendi (pip install -e .).
• Anahtar parametreler:

• Kritik ortam değişkeni:

AMD platformu (MI300X)

• Temel image: rocm/vllm:rocm6.4.1_vllm_0.10.1_20250909
• vLLM kurulumu: Optimize edilmiş sürüm image içinde yer aldığından kurulum gerekmedi.
• Anahtar parametreler ve optimizasyonlar: Kapsamlı ayarlama, maksimum işlem hacmine ulaşmak için aşağıdaki varsayılan olmayan ayarların kritik olduğunu gösterdi:

• AMD'ye özgü ortam değişkenleri:

• Cihaz görünürlüğü: Örnekleri belirli GPU'lara atamak için CUDA'nın eşdeğeri yerine ROCR_VISIBLE_DEVICES kullanıldı.

Benchmark yürütme aşamaları

Her benchmark çalıştırması, doğru ve tekrarlanabilir sonuçlar sağlamak için üç aşamalı bir yürütme protokolü izledi:

Aşama 1: Isınma

Her çoklu-GPU konfigürasyon testinden önce, soğuk başlangıç etkilerini ortadan kaldırmak için özel bir ısınma aşaması gerçekleştirdik:

• Süre: 100 prompt, GPU 0 üzerinde işlendi
• Amaç: Model yükleme, KV cache başlatma ve CUDA/ROCm kernel derlemesi
• Çıktı: Atıldı (ölçümlere dahil edilmedi)
• Platforma özgü davranış:
  • NVIDIA (CUDA): Kernel derlemesi ve CUDA graph optimizasyonu (~30-60 saniye)
  • AMD (ROCm): Kernel derlemesi ve isteğe bağlı TunableOp ayarlaması (PYTORCH_TUNABLEOP_ENABLED ayarına göre değişir)

Aşama 2: GPU izleme başlatma

Benchmark yürütülmesiyle eşzamanlı olarak, her GPU için özel izleme süreçleri başlattık:

• Örnekleme hızı: 1 saniye aralıklarla
• Toplanan metrikler: GPU kullanımı, bellek kullanımı, sıcaklık, güç tüketimi
• Araçlar: nvidia-smi (NVIDIA) veya rocm-smi (AMD)
• Çıktı: Post-analiz için CSV log'ları

Aşama 3: Paralel benchmark yürütme

Isınma tamamlandıktan sonra, tüm GPU örnekleri eşzamanlı olarak başlatıldı:

• Her GPU, 25.000 toplam prompt yükünün eşit payını işledi
• Tüm örnekler, üretim yük dengelemeyi simüle etmek için aynı saniye içinde başlatıldı
• Toplam işlem hacmi, tüm GPU çıktılarının toplamı olarak ölçülür
• Yürütme süresi, ilk örneğin başlangıcından son örneğin tamamlanmasına kadar ölçülür

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Testten elde edilen gerçek dünya performans etkisi

Testlerimiz, küçük yapılandırma hatalarının önemli, yanıltıcı performans sonuçlarına yol açabileceğini ortaya koydu. Aşağıdaki tablo, platforma özgü yanlış yapılandırmaların etkisini göstermektedir:

Daha fazla okuma

Diğer AI donanım araştırmalarını keşfedin, örneğin:

• En İyi 30 Bulut GPU Sağlayıcısı ve GPU'ları
• GPU Eşzamanlılık Benchmark'ı
• En İyi 25+ AI Çip Üreticisi: NVIDIA ve Rakipleri

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dogan2026,
  author = {Dogan, Sedat and Sarı, Ekrem},
  title  = {{Çoklu-GPU Benchmark: B200 vs H200 vs H100 vs MI300X}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/multi-gpu}},
  note   = {AIMultiple. Erişim tarihi: 30 Haziran 2026}
}

Değişiklik günlüğü

2 güncelleme

2025

1. 8 Eki

   Çoklu GPU karşılaştırma sonuçları bölümündeki Veri Kümesi güncellendi.

2. 6 Eki

   Total throughput vs. GPU count' bölümünden 'Saniyedeki istekler' metriği kaldırıldı.

Referans Linkleri

1.

meta-llama/Llama-3.1-8B-Instruct · Hugging Face

2.

vLLM easy, fast, and cheap LLM serving for everyone

Sedat Dogan

CTO

Takip Et

Sedat, yazılım geliştirme, ağ altyapısı ve siber güvenlik alanlarında 20 yıllık deneyime sahip bir teknoloji ve bilgi güvenliği lideridir. Sedat:
- Programlama dilleri ve sunucu mimarileri konusunda kapsamlı uzmanlığa sahip, 20 yıllık deneyime sahip bir beyaz şapkalı hacker ve geliştirme gurusudur.
- Erken aşama teknoloji şirketlerine yatırım yapan bir VC'de ve 125.000 işletmeye hizmet veren bölgesel bir dijital ödeme platformu olan Ödeal'da yönetim kurulu danışmanıdır.
- Yedi ulusal seçimin teknoloji altyapısını ve siber güvenliğini yönetmiş ve Twitter dahil küresel teknoloji liderleri tarafından siber güvenlik Onur Listesi'nde tanınmıştır.

Tam Profili Görüntüle

Araştıran

Ekrem Sarı

Yapay Zeka Araştırmacısı

Takip Et

Ekrem, AIMultiple'da Yapay Zeka Araştırmacısı ve Veri Bilimcidir. Yapay zeka ve LLM sistemleri için uygulamalı benchmark'lar tasarlar ve yürütür.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder