Yapay zeka donanımı, modellerin eğitilmesi ve çalıştırılmasının hızını ve maliyetini belirler. GPU'leri, yapay zeka hızlandırıcıları ve çipleri kıyaslıyoruz ve bulut GPU fiyatlandırmasını, sağlayıcıları ve çıkarım motorlarını yığın boyunca takip ediyoruz.
AIMultiple'ın 10 farklı GPU modeliyle 4 farklı senaryoda yürüttüğü bulut GPU kıyaslaması deneyimimize dayanarak, bunlar veri merkezi iş yükleri için en iyi yapay zeka donanım şirketleridir.
Eşzamanlılık ölçekleme analizi için, en yeni NVIDIA GPU'ları ( NVIDIA'nın H100, H200 ve B200) ve AMD'nin MI300X'i dahil kıyasladık.
Tüm üç fiyatlandırma kademesindeki 40+ GPU yapılandırması için en düşük fiyatı, sağlayıcıyı, piyasa aralığını ve medyanı, ayrıca 10 model üzerinde dolar başına işlem hacmi kıyaslamasını derledik.
NVIDIA H100 üzerinde 3 lider LLM çıkarım motorunu kıyasladık: vLLM, LMDeploy ve SGLang.
