GPU Nebenläufigkeits-Benchmark: H100 vs H200 vs B200 vs MI300X
Ich habe die letzten 20 Jahre damit verbracht, mich auf die Optimierung der Rechenleistung auf Systemebene zu konzentrieren. Wir haben die neuesten NVIDIA GPUs einem Benchmark unterzogen, darunter die NVIDIA H100, H200 und B200 sowie die AMD MI300X, zur Analyse der Nebenläufigkeitsskalierung. Mit dem vLLM-Framework und dem gpt-oss-20b-Modell haben wir getestet, wie diese GPUs gleichzeitige Anfragen von 1 bis 512 verarbeiten. Durch die Messung des Systemdurchsatzes, der Ausgabegeschwindigkeit pro Anfrage und der Ende-zu-Ende-Latenz teilen wir Erkenntnisse, die helfen, die GPU-Leistung für KI-Workloads zu verstehen.
Ergebnisse des Nebenläufigkeits-Benchmarks
Systemausgabedurchsatz vs. Nebenläufigkeit
Diese Grafik zeigt die Gesamtzahl der vom System pro Sekunde generierten Ausgabetoken bei jedem Parallelitätsgrad.
Ausgabegeschwindigkeit pro Anfrage vs. Nebenläufigkeit
Diese Metrik veranschaulicht, wie schnell eine einzelne Anfrage (in Token pro Sekunde) verarbeitet wird, wenn das System stärker ausgelastet ist. Sie wird auf Basis der Ende-zu-Ende-Latenz für eine Ausgabe von 1.000 Token berechnet.
Ende-zu-Ende-Latenz vs. Nebenläufigkeit
Diese Grafik zeigt die durchschnittliche Zeit (in Millisekunden), die benötigt wird, um eine Anfrage von Anfang bis Ende bei unterschiedlichen Parallelitätsgraden abzuschließen.
Token pro Sekunde pro Dollar vs. Nebenläufigkeit
Diese Grafik bewertet die Kosteneffizienz jeder GPU, indem sie misst, wie viele Token pro Sekunde für jeden für die stündliche Miete ausgegebenen Dollar generiert werden. Diese Metrik ist entscheidend für das Verständnis der Kapitalrendite jeder Hardwareoption, insbesondere für budgetbewusste Bereitstellungen.
Hinweis: Die Preisgestaltung basiert auf den On-Demand-Stundensätzen der Runpod-Cloud-Plattform mit Stand März 2026. Die Preise können sich ändern und je nach Verfügbarkeit und Instanztyp variieren.
Weitere Informationen zu unserer Methodik des Nebenläufigkeits-Benchmarks finden Sie hier.
Was ist Nebenläufigkeit?
Nebenläufigkeit bezeichnet die Fähigkeit einer GPU, mehrere Anfragen gleichzeitig zu verarbeiten, ein entscheidender Faktor für KI-Workloads wie die Inferenz großer Sprachmodelle. In unserer Leistungsbewertung stellen die Parallelitätsstufen die Anzahl gleichzeitiger Anfragen dar (von 1 bis 512), die während der Testläufe an die GPU gesendet werden. Höhere Parallelität testet die Fähigkeit der GPU, parallele Aufgaben ohne Leistungseinbußen zu bewältigen, wobei Durchsatz und Latenz ausbalanciert werden.
Das Verständnis der Nebenläufigkeit hilft Benutzern, die richtige GPU für Workloads mit schwankender Nachfrage oder Batch-Verarbeitungsbedarf zu bestimmen. Bei der Ausführung von Grafik-Tests oder GPU-Benchmark-Suiten kann die Parallelitätsleistung zwischen GPUs erheblich variieren, was für Verbraucher und Käufer unerlässlich ist, um Testergebnisse über verschiedene Systemkonfigurationen und Preisklassen hinweg zu vergleichen.
Was ist vLLM?
vLLM ist eine schnelle und benutzerfreundliche Open-Source-Bibliothek für die Inferenz und Bereitstellung großer Sprachmodelle (LLM), die von einer Community von Mitwirkenden unterstützt wird. Sie bewältigt sowohl Cloud- als auch selbst gehostete LLM-Bereitstellungen, indem sie Speicher verwaltet, gleichzeitige Anfragen verarbeitet und Modelle wie gpt-oss-20b effizient bereitstellt. Für selbst gehostete LLMs vereinfacht vLLM die Bereitstellung mit Funktionen wie PagedAttention1 für die Speicherverwaltung, kontinuierliches Batching und Unterstützung sowohl für NVIDIA als auch AMD GPUs, was mehrere gleichzeitige Anfragen auf lokaler Hardware ermöglicht.
Methodik des Nebenläufigkeits-Benchmarks
Wir haben die neuesten Hochleistungs-GPU-Architekturen sowohl von NVIDIA als auch von AMD getestet, um ihre Fähigkeiten zur Nebenläufigkeitsskalierung für KI-Inferenz-Workloads zu bewerten. Unser Benchmark testete die NVIDIA H100, H200 und B200 GPUs neben der AMD MI300X, wobei das OpenAI gpt-oss-20b-Modell über vLLM unter variierenden Parallelitätslasten ausgeführt wurde. Durch die Messung von Durchsatzmetriken, Latenzverteilungen und Ressourcennutzungsmustern zielt diese Analyse darauf ab, Erkenntnisse für KI-Inferenz-Bereitstellungen zu liefern.
Testinfrastruktur
Wir haben unsere Tests auf der Cloud-Infrastruktur von Runpod bereitgestellt und dabei die fortschrittlichsten GPU-Architekturen von NVIDIA und das vLLM-Framework genutzt.
- GPU-Plattform: Runpod Cloud-Infrastruktur (H100, H200, B200 und MI300X)
- Modell: OpenAI GPT-OSS-20B über das vLLM-Framework
Softwareumgebung
NVIDIA GPUs (H100, H200, B200):
- RunPod template:
runpod/pytorch:1.0.2-cu1281-torch280-ubuntu2404 - vLLM installation:
vllm[flashinfer]==0.11.0
AMD GPU (MI300X):
- Docker image:
rocm/vllm-dev:open-mi300-08052025
vLLM-Serverkonfiguration
Es wurden unterschiedliche vLLM-Einstellungen verwendet, um die Leistung für jede Hardware-Architektur zu optimieren.
- Für NVIDIA H100, H200 und B200 GPUs wurde der Server mit folgendem Befehl gestartet:
- Für die AMD MI300X GPU wurde ein ROCm-optimierter vLLM-Build mit architekturspezifischen Einstellungen verwendet:
Hinweis: Dieser Benchmark wurde mit vLLM v0.11.0 durchgeführt. vLLM v1.0, das Anfang 2025 veröffentlicht wurde, führt architektonische Änderungen ein, die zu anderen Durchsatzergebnissen führen können.
Benchmark-Konfiguration
Jede GPU wurde über 9 verschiedene Parallelitätsstufen mit standardisierten Parametern getestet, um konsistente Ergebnisse zu gewährleisten.
- Nebenläufigkeitsstufen: 1, 4, 8, 16, 32, 64, 128, 256, 512 gleichzeitige Anfragen
- Testdauer: 180 Sekunden Messphase mit 30s Aufwärm-/Abkühlphase
- Anfragegröße: 1.000 Eingabe-/Ausgabetoken pro Anfrage
Hinweis zur Ergebnisvalidierung: Vor der Aufzeichnung der endgültigen Metriken haben wir zahlreiche Tests durchgeführt, um die optimale Konfiguration für jede GPU zu ermitteln. Sobald diese identifiziert war, wurde der Benchmark dreimal hintereinander ausgeführt, um die Stabilität zu überprüfen. Die Durchsatzergebnisse waren über diese Läufe hinweg konsistent, mit einer Varianz von weniger als 0,1 %. Die in dieser Analyse angegebenen Zahlen basieren auf der letzten dieser drei aufeinanderfolgenden Ausführungen.
Wichtige Metriken
Wir haben die Leistung über mehrere Dimensionen hinweg verfolgt, um einen umfassenden Überblick über die Fähigkeiten der GPU unter Last zu geben.
- Durchsatz: System-Ausgabetoken pro Sekunde, erfolgreiche Anfragen pro Sekunde und Token-Generierungsgeschwindigkeit pro Anfrage
- Latenz: Zeit bis zum ersten Token (TTFT), Ende-zu-Ende-Latenz mit P50/P95/P99-Perzentilen, durchschnittliche Latenz pro Anfrage
- Zuverlässigkeit: Erfolgsquote in Prozent, Timeout vs. andere Fehlerklassifizierung
Überlegungen zum Software-Stack
Die Leistung ist nicht nur eine Funktion der Hardware. Frameworks wie vLLM haben eine ausgereiftere, hochoptimierte Unterstützung für das CUDA-Ökosystem von NVIDIA im Vergleich zum ROCm von AMD. Die in den MI300X-Ergebnissen beobachteten Leistungsunterschiede können teilweise den aktuellen Stand der Softwareoptimierung und nicht das theoretische Potenzial der Hardware widerspiegeln.
Als bevorzugte Quelle hinzufügenRoadmap für Hardware der nächsten Generation
Die in diesem Benchmark getesteten GPUs, die B200, H200, H100 und MI300X, repräsentieren die aktuelle Generation von KI-Inferenz-Hardware. Sowohl NVIDIA als auch AMD haben ihre Nachfolger angekündigt, was für Teams, die Infrastrukturinvestitionen für 2026 und darüber hinaus planen, ein relevanter Kontext ist.
Auf der Seite von NVIDIA gab Jensen Huang auf der CES 2026 bekannt, dass die Vera Rubin NVL72-Plattform in die Serienproduktion gegangen ist, wobei erste Systeme voraussichtlich in der zweiten Hälfte des Jahres 2026 ausgeliefert werden.2 Laut NVIDIA liefert die Rubin GPU etwa 50 PFLOPs an FP4-Inferenzleistung, etwa das Fünffache der hier getesteten Blackwell-basierten Systeme wie dem B200.3
Auf der Seite von AMD ist der Instinct MI400, basierend auf der CDNA 5-Architektur, für 2026 geplant und wird voraussichtlich die MI350-Rechenleistung etwa verdoppeln und 432 GB HBM4-Speicher einführen.4 AMD hat außerdem angekündigt, dass Meta benutzerdefinierte MI450-basierte Instinct-Server mit einer Kapazität von bis zu 6 Gigawatt einsetzen wird, wobei die Auslieferung in der zweiten Hälfte des Jahres 2026 beginnt.5 Oracle wird außerdem einen öffentlich zugänglichen KI-Supercluster anbieten, der von etwa 50.000 MI450-Serien-GPUs ab Q3 2026 betrieben wird.6
Für Teams, die GPUs in diesem Benchmark für kurzfristige Bereitstellungen evaluieren, bleiben die B200 und MI300X derzeit die leistungsstärksten verfügbaren Optionen. Für längere Planungshorizonte deutet die Roadmap für 2026 auf einen signifikanten Sprung sowohl beim Durchsatz als auch bei der Kosteneffizienz von beiden Anbietern hin.
Fazit
Die B200 führt beim Durchsatz und skaliert gut für Batch-Inferenz. Die MI300X bietet die schnellsten Antwortzeiten bei geringer Nebenläufigkeit, was sie zu einer besseren Wahl für Echtzeitanwendungen wie Chatbots macht. Die H100 und H200 liegen dazwischen und decken allgemeine Workloads ab, ohne in einer der beiden Dimensionen herauszuragen.
Der grundlegende Kompromiss gilt für alle Hardware: Höhere Nebenläufigkeit erhöht den Systemdurchsatz, aber auch die Latenz pro Anfrage. Wählen Sie basierend darauf, ob Ihr Workload Volumen oder Antwortzeit priorisiert.
Weiterführende Literatur
Entdecken Sie weitere KI-Hardware-Forschung, wie zum Beispiel:
- Top 20 KI-Chip-Hersteller: NVIDIA & seine Konkurrenten
- Cloud-GPUs für Deep Learning: Verfügbarkeit & Preis / Leistung
- Die besten 10 serverlosen GPU-Clouds & 14 kosteneffiziente GPUs
- Multi-GPU-Benchmark
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dogan2026,
author = {Dogan, Sedat and Sarı, Ekrem},
title = {{GPU Nebenläufigkeits-Benchmark: H100 vs H200 vs B200 vs MI300X}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/gpu-benchmark}},
note = {AIMultiple. Abgerufen am 12. März 2026}
}Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.