Çoklu-GPU Benchmark: B200 vs H200 vs H100 vs MI300X

Yirmi yılı aşkın süredir, hesaplama performansını optimize etmek çalışmalarımın temel taşı olmuştur. Büyük Dil Modeli (LLM) çıkarımı için ne kadar iyi ölçeklendiklerini değerlendirmek amacıyla NVIDIA'nın B200, H200, H100 ve AMD'nin MI300X'ini test ettik. meta-llama/Llama-3.1-8B-Instruct modeli ile vLLM framework'ünü kullanarak 1, 2, 4 ve 8 GPU üzerinde testler gerçekleştirdik.

Her bir GPU mimarisinin paralelleştirilmiş, hesaplama yoğun iş yüklerini nasıl ele aldığını göstermek için verimliliği ve ölçeklenme verimliliğini analiz ettik.

Çoklu-GPU benchmark sonuçları

Toplam throughput vs. GPU sayısı

• Toplam throughput (token/saniye): Bu metrik, tüm çoklu-GPU sisteminin ham işlem gücünü temsil eder. Saniyede işlenen toplam giriş ve çıkış token sayısını ölçer, bu da doymuş, çevrimdışı bir iş yükü altında maksimum performansın en önemli göstergesidir.

Puanın nasıl hesaplandığımızı anlamak için çoklu-GPU benchmark metodolojimiz'e bakın.

Temel performans içgörüler:

Performans analizi: NVIDIA H200, tüm test edilen konfigürasyonlarda en yüksek throughput'u sunar ve H100'e göre %9-10'luk performans iyileştirmeleri sağlar. Sistem, ikili-GPU konfigürasyonlarında %99.8 ölçeklenme verimliliği elde ederek, neredeyse optimal kaynak kullanımını gösterir.

AMD MI300X performans özellikleri: AMD MI300X, saniyede 18.752 token'lık tekli-GPU throughput'u elde ederek, H200'ün performansının yaklaşık %74'ünü temsil eder. Sistem, sırasıyla iki-GPU ve dört-GPU konfigürasyonları için %95 ve %81 ölçeklenme verimliliğini korur.

Ortalama çıkarım gecikmesi vs. GPU sayısı

• Ortalama çıkarım gecikmesi (milisaniye): Bu metrik, tek bir isteğin baştan sona işlenmesi için geçen ortalama süreyi ölçer. Daha düşük gecikme, son kullanıcılar için daha hızlı ve daha duyarlı bir deneyime dönüşür.

Temel performans içgörüler:

Gecikme performans analizi: NVIDIA B200, tüm değerlendirilen konfigürasyonlarda en düşük gecikme ölçümlerini sergiler ve sekizli-GPU uygulamalarında 2.40ms'ye ulaşır. Bu performans özellikleri, alt-3ms gecikmenin bir tasarım gereksinimi olduğu gerçek zamanlı etkileşimli sistemler gibi minimum yanıt süreleri gerektiren uygulamalar için onu konumlandırır.

Ölçeklenme verimliliği gözlemleri: Analiz, tüm platformlarda GPU sayısı arttıkça gecikme azalmasında azalan getirileri ortaya koyar. En büyük gecikme azalması, tekliden ikili-GPU konfigürasyonlarına geçiş sırasında gerçekleşir (platformlar genelinde yaklaşık %50). 4'ten fazla GPU içeren konfigürasyonlar, giderek daha küçük gecikme iyileştirmeleri gösterir.

H200 ve H100 karşılaştırmalı analizi: H200, tüm ölçeklerde H100'den %5-8 daha düşük gecikme sergiler, mutlak fark daha yüksek GPU sayılarında azalır (sekiz GPU'da 2.81ms'ye karşı 2.86ms, 0.05ms fark). Bu marjinal performans farkı, %41'lik fiyat farkıyla karşılaştırıldığında, H100'ün gecikmeye duyarlı dağıtımlar için daha uygun maliyet-performans özellikleri sunabileceğini düşündürmektedir.

AMD MI300X gecikme özellikleri: MI300X, test edilen konfigürasyonlarda H200'e göre %37-75 daha yüksek gecikme değerleri sergiler; bu, vLLM ROCm ve CUDA uygulamaları arasındaki mevcut yazılım yığını olgunluğu farklarına bağlanabilir. Sekizli-GPU ölçeğinde, MI300X 4.20ms gecikme elde eder; bu, NVIDIA platformlarına göre performans farkına rağmen, birçok üretim uygulaması için kabul edilebilir parametreler dahilinde kalır.

Performans vs. fiyat: Bir maliyet-verimlilik analizi

Ham performans metrikleri önemli olsa da, herhangi bir kuruluş için nihai karar maliyet-verimliliğine bağlıdır. Her platform için yatırım getirisi (ROI)'ni analiz etmek için, throughput sonuçlarımızı test sırasında RunPod'dan gelen saatlik talebe dayalı fiyatlandırma ile eşleştirdik. Bu, en düşük maliyet için en fazla hesaplama gücünü sunan kurulumun hangisi olduğunu ortaya çıkaran bir "dolar başına performans" puanı hesaplamamızı sağlar.

Not: Tüm fiyatlandırma bilgileri, benchmark sırasında (Eylül 2025) RunPod Cloud platformunda mevcut olan talebe dayalı oranları yansıtır ve değişime tabidir. Maliyetler karşılaştırmalı analiz için sunulmuştur ve depolama veya ağ ücretlerini içermez.

Dolar başına throughput'u nasıl hesapladık

Bu grafiği oluşturmak için ham performans verilerimizi saatlik maliyetlere göre işledik. Hesaplama formülü şudur:

• Veri Hazırlığı: Sonuç tablomuzdaki her veri noktası için, belirli GPU konfigürasyonuna karşılık gelen saatlik maliyeti aldık (örneğin, 4x H100 10.76$ maliyetlidir).
• Hesaplama: Ardından throughput_per_dollar değerini hesaplamak için formülü uyguladık. Örneğin, 1x GPU'daki H100, 2.69$/saat maliyetle saniyede 23.243 token sundu ve dolar başına 8.642 token/s puanı ile sonuçlandı.

Bu verimlilik puanı, konuşmayı "hangisi en hızlı?"den "iş yükümüz için en akıllı yatırım hangisi?"ye taşıyan bir karar verme aracı sağlar.

Çoklu-GPU ölçekleme nedir?

Çoklu-GPU ölçekleme, bir sistemin tek bir büyük görevi birden fazla GPU üzerinde dağıtarak performansını artırma yeteneğine atıfta bulunur. LLM çıkarımı için, bu, bağımsız model kopyalarının her GPU'da çalıştığı ve bir dengeleyicinin gelen istekleri tüm örnekler arasında dağıttığı veri paralelliği yoluyla elde edilebilir.

İdeal olarak, iki GPU kullanmak tek bir GPU'nun iki katı performansı (2x hızlanma) sağlayacaktı. Ancak gerçekte, performans kazanımları CPU ve sistem darboğazları, ana sistem tarafından birden fazla eşzamanlı işlemi yönetmek için harcanan zaman, bellek bant genişliği kısıtlamaları ve kaynak çekişmesi ile sınırlıdır. Benchmarkımız, her platformun bu sistem düzeyi kısıtlamalarını ne kadar verimli yönettiğini ölçer; bu, küçük-orta ölçekli modeller için maliyet etkin, yüksek performanslı AI çıkarım sunucuları oluşturmak için kritik bir faktördür.

Çoklu-GPU ölçekleme testlerindeki zorluklar nelerdir?

Çoklu-GPU sistemlerini benchmarklamak, performansı önemli ölçüde etkileyebilecek benzersiz zorluklar sunar.

İletişim yükü ve bağlantı darboğazları

Bir model GPU'lara bölündüğünde, NVIDIA'nın NVLink'i veya AMD'nin Infinity Fabric'i gibi bağlantı, kritik bir performans darboğazı haline gelir. GPU-GPU iletişiminin verimliliği doğrudan ölçeklenmeyi etkiler. Bir GPU'dan veri beklemek için harcanan zaman, hesaplamayı paralelleştirmekten tasarruf edilen süreyi aşıyorsa, performans kazanımları azalacaktır. Bu etki, her GPU'nun hesaplama kapasitesini tamamen doyurmak için yeterince büyük olmayan modellerde özellikle belirgindir.

Yazılım ekosistemi olgunluğu

Performans yalnızca donanımın bir fonksiyonu değildir. Sürücüler, iletişim kütüphaneleri (NVIDIA için NCCL ve AMD için RCCL gibi) ve çıkarım motoru (vLLM) dahil olmak üzere yazılım yığını devasa bir rol oynar. Bir platformun performansının, yazılım desteğinin olgunluğuna derinden bağlı olduğunu keşfettik. NVIDIA'nın CUDA'sı gibi yerleşik bir ekosistem, genellikle yıllarca süren ince ayar ve optimizasyondan yararlanır; bu da, güçlü donanımda bile AMD'nin ROCm'si gibi daha yeni entegrasyonlara kıyasla üstün ölçeklenme verimliliğine yol açabilir.

Platforma özel optimizasyonlar

Testlerimiz ortaya koyduğu gibi, optimum performansa ulaşmak genellikle platforma özel yapılandırmalar gerektirir. Genel, "her şeye uyan" bir yaklaşım kullanmak, yanıltıcı derecede düşük performansa yol açabilir. Doğru Docker imajı, ortam değişkenleri (örneğin, özel AMD çekirdeklerini etkinleştirmek) ve hatta model veri türleri (örneğin, Blackwell için bfloat16), donanımın gerçek potansiyelini açığa çıkarmak için gereklidir. Bu, adil "elma elma" karşılaştırmalarını önemli bir teknik zorluk haline getirir.

Google Arama'da daha fazla kıyaslamamızı ve veri odaklı içgörülerimizi görün.

Tercih edilen kaynak olarak ekle

Çoklu-GPU benchmark metodolojisi

Ölçekleme yeteneklerini değerlendirmek için hem NVIDIA hem de AMD'den en son yüksek performanslı GPU mimarilerini test ettik. Benchmarkımız, standart meta-llama/Llama-3.1-8B-Instruct¹ modeli ve vLLM² çıkarım motorunu kullanarak tekli ve çoklu-GPU (1x, 2x, 4x, 8x) konfigürasyonlarının performansını ölçtü.

Test ortamı ve süreci

• Platform: Tüm benchmarklar tutarlı donanım erişimini sağlamak için RunPod Cloud üzerinde çalıştırıldı.
• Çıkarım motoru: vLLM (vllm bench throughput aracı), standartlaştırılmış motor olarak kullanıldı.
• Model: meta-llama/Llama-3.1-8B-Instruct.
• Veri seti: Konuşma iş yükünü simüle etmek için ShareGPT Vicuna veri seti (25.000 prompt).
• Strateji: Veri paralelliği; her çoklu-GPU testi, her GPU'da bağımsız bir vLLM örneği çalıştırdı. Toplam prompt yükü, örnekler arasında eşit olarak dağıtıldı ve bunlar, dengelemeli bir üretim ortamını simüle etmek için aynı anda çalıştırıldı. Bu yaklaşım, NVLink/PCIe gibi inter-GPU iletişimini bir darboğaz olarak ortadan kaldırır ve performans sınırlayıcılarını ana sistem (CPU, RAM) tarafına kaydırır.
• Otomasyon: Ortam kurulumunu, test yürütmesini, kaynak izlemeyi (nvidia-smi, rocm-smi) ve sonuçları birleştirmeyi otomatikleştirmek için özel Bash betikleri kullanıldı.

Platforma özel yapılandırmalar

Optimum performansa ulaşmak, her mimari için özelleştirilmiş yapılandırmalar gerektirdi.

NVIDIA platformları (H100, H200, B200)

• Temel imaj: runpod/pytorch:2.8.0-py3.11-cuda12.8.1.
• vLLM kurulumu:
  • H100/H200 (Hopper): pip install vllm üzerinden standart kurulum.
  • B200 (Blackwell): Yeni mimari için yerel desteği etkinleştirmek ve "no kernel image" hatalarını çözmek için vLLM kaynaktan derlendi (pip install -e .).
• Temel parametreler:

• Kritik Ortam Değişkeni:

AMD platformu (MI300X)

• Temel imaj: rocm/vllm:rocm6.4.1_vllm_0.10.1_20250909
• vLLM kurulumu: Optimize edilmiş sürüm imajda dahil edildiği için kurulum gerekmedi.
• Temel parametreler & optimizasyonlar: Maksimum throughput'u elde etmek için kritik olan aşağıdaki varsayılan olmayan ayarları belirlemek için kapsamlı ayar yapıldı:

• AMD-özel ortam değişkenleri:

• Cihaz görünürlüğü: CUDA'nın eşdeğeri yerine, örnekleri belirli GPU'lara atamak için ROCR_VISIBLE_DEVICES kullanıldı.

Benchmark yürütme aşamaları

Her benchmark çalışması, doğru ve tekrarlanabilir sonuçlar sağlamak için üç aşamalı bir yürütme protokolünü izledi:

Aşama 1: Isınma

Her çoklu-GPU konfigürasyon testi öncesinde, soğuk başlangıç etkilerini ortadan kaldırmak için özel bir ısınma aşaması gerçekleştirdik:

• Süre: GPU 0 üzerinde işlenen 100 prompt
• Amaç: Model yükleme, KV önbellek başlatma ve CUDA/ROCm çekirdek derleme
• Çıktı: Atıldı (ölçümlere dahil edilmedi)
• Platforma özel davranış:
  • NVIDIA (CUDA): Çekirdek derleme ve CUDA grafik optimizasyonu (~30-60 saniye)
  • AMD (ROCm): Çekirdek derleme ve isteğe bağlı TunableOp ayarı (PYTORCH_TUNABLEOP_ENABLED ayarına göre değişir)

Aşama 2: GPU izleme başlatma

Benchmark yürütmesiyle eşzamanlı olarak, her GPU için özel izleme süreçleri başlattık:

• Örnekleme oranı: 1 saniyelik aralıklar
• Toplanan metrikler: GPU kullanımı, bellek kullanımı, sıcaklık, güç tüketimi
• Araçlar: nvidia-smi (NVIDIA) veya rocm-smi (AMD)
• Çıktı: Sonraki analiz için CSV günlükleri

Aşama 3: Paralel benchmark yürütme

Isınma tamamlandıktan sonra, tüm GPU örnekleri aynı anda başlatıldı:

• Her GPU, toplam 25.000 prompt'un eşit payını işledi
• Tüm örnekler, üretim yük dengelemeyi simüle etmek için aynı saniye içinde başlatıldı
• Toplam throughput, tüm GPU çıktılarının toplamı olarak ölçülür
• Yürütme süresi, ilk örnek başlangıcından son örnek tamamlanmasına kadar ölçülür

Testlerden gerçek dünya performans etkisi

Testlerimiz, küçük yapılandırma hatalarının önemli ve yanıltıcı performans sonuçlarına yol açabileceğini ortaya koydu. Aşağıdaki tablo, platforma özel yanlış yapılandırmaların etkisini göstermektedir:

Daha fazla okuma

Şunlar gibi diğer AI donanımı araştırmalarını keşfedin:

• En İyi 20 AI Çip Üreticisi: NVIDIA & Rakipleri
• Derin Öğrenme için Bulut GPU'ları: Mevcutiyet & Fiyat/Performans
• En İyi 10 Sunucusuz GPU Bulutu & 14 Maliyet Etkin GPU
• GPU Eşzamanlılık Benchmark

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dogan2026,
  author = {Dogan, Sedat and Sarı, Ekrem},
  title  = {{Çoklu-GPU Benchmark: B200 vs H200 vs H100 vs MI300X}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/multi-gpu}},
  note   = {AIMultiple. Erişim tarihi: 30 Haziran 2026}
}

Referans Linkleri

1.

meta-llama/Llama-3.1-8B-Instruct · Hugging Face

2.

https://docs.vllm.ai/en/latest/

Sedat Dogan

CTO

Takip Et

Sedat, yazılım geliştirme, web veri toplama ve siber güvenlik alanlarında deneyime sahip bir teknoloji ve bilgi güvenliği lideridir. Sedat: - Programlama dilleri ve sunucu mimarileri konusunda geniş uzmanlığa sahip, 20 yıllık beyaz şapkalı hacker ve geliştirme uzmanı deneyimine sahiptir. - Ödeme altyapısı gibi yüksek trafikli ve kritik öneme sahip teknoloji operasyonlarına sahip şirketlerin üst düzey yöneticilerine ve yönetim kurulu üyelerine danışmanlık yapmaktadır. - Teknik uzmanlığının yanı sıra kapsamlı iş zekasına da sahiptir.

Tam Profili Görüntüle

Araştıran

Ekrem Sarı

Yapay Zeka Araştırmacısı

Takip Et

Ekrem, AIMultiple'da yapay zeka araştırmacısı olarak çalışmakta olup, akıllı otomasyon, GPU'lar, yapay zeka ajanları ve RAG çerçeveleri üzerine yoğunlaşmaktadır.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder