GPU Nebenläufigkeits-Benchmark: H100 vs H200 vs B200 vs MI300X
Ich habe die letzten 20 Jahre damit verbracht, mich auf die Optimierung der Rechenleistung auf Systemebene zu konzentrieren. Wir haben die neuesten NVIDIA-GPUs, einschließlich der NVIDIA-H100, H200 und B200 sowie der AMD-MI300X, im Hinblick auf die Skalierung der Nebenläufigkeit getestet. Mit dem vLLM-Framework und dem gpt-oss-20b-Model haben wir getestet, wie diese GPUs gleichzeitige Anfragen von 1 bis 512 verarbeiten. Durch die Messung des Systemausgabe-Durchsatzes, der Ausgabegeschwindigkeit pro Abfrage und der End-to-End-Latenz stellen wir Ergebnisse bereit, die helfen, die GPU-Leistung für KI-Workloads zu verstehen.
Ergebnisse des Nebenläufigkeits-Benchmarks
Systemausgabedurchsatz vs. Nebenläufigkeit
| Name | Concurrency Level | System Output Throughput (tokens/sec) | Scaling Factor |
|---|---|---|---|
| H100 | 1 | 237 | 1 |
| H100 | 4 | 742 | 3.13 |
| H100 | 8 | 1271 | 5.36 |
| H100 | 16 | 2121 | 8.95 |
| H100 | 32 | 3369 | 14.21 |
| H100 | 64 | 5356 | 22.6 |
| H100 | 128 | 7349 | 31.01 |
| H100 | 256 | 9024 | 38.08 |
| H100 | 512 | 11559 | 48.77 |
| H200 | 1 | 255 | 1 |
| H200 | 4 | 778 | 3.05 |
| H200 | 8 | 1318 | 5.17 |
| H200 | 16 | 2180 | 8.55 |
| H200 | 32 | 3468 | 13.6 |
| H200 | 64 | 5582 | 21.89 |
| H200 | 128 | 7574 | 29.7 |
| H200 | 256 | 9129 | 35.8 |
| H200 | 512 | 9514 | 37.31 |
| B200 | 1 | 281 | 1 |
| B200 | 4 | 928 | 3.3 |
| B200 | 8 | 1549 | 5.51 |
| B200 | 16 | 2863 | 10.19 |
| B200 | 32 | 4828 | 17.18 |
| B200 | 64 | 7774 | 27.67 |
| B200 | 128 | 10876 | 38.71 |
| B200 | 256 | 11875 | 42.26 |
| B200 | 512 | 12316 | 43.83 |
| MI300X | 1 | 164 | 1 |
| MI300X | 4 | 327 | 1.99 |
| MI300X | 8 | 904 | 5.51 |
| MI300X | 16 | 1622 | 9.89 |
| MI300X | 32 | 2590 | 15.79 |
| MI300X | 64 | 3864 | 23.56 |
| MI300X | 128 | 5298 | 32.3 |
| MI300X | 256 | 6351 | 38.73 |
| MI300X | 512 | 6922 | 42.21 |
Dieses Diagramm zeigt die Gesamtzahl der vom System pro Sekunde generierten Ausgabe-Tokens auf jeder Nebenläufigkeitsstufe.
Ausgabegeschwindigkeit pro Abfrage vs. Nebenläufigkeit
| Name | Concurrency Level | Output Speed per Query (tokens/sec) | Total Throughput |
|---|---|---|---|
| H100 | 1 | 237 | 237 |
| H100 | 4 | 186 | 742 |
| H100 | 8 | 159 | 1271 |
| H100 | 16 | 133 | 2121 |
| H100 | 32 | 105 | 3369 |
| H100 | 64 | 84 | 5356 |
| H100 | 128 | 57 | 7349 |
| H100 | 256 | 35 | 9024 |
| H100 | 512 | 23 | 11559 |
| H200 | 1 | 255 | 255 |
| H200 | 4 | 194 | 778 |
| H200 | 8 | 165 | 1318 |
| H200 | 16 | 136 | 2180 |
| H200 | 32 | 108 | 3468 |
| H200 | 64 | 87 | 5582 |
| H200 | 128 | 59 | 7574 |
| H200 | 256 | 36 | 9129 |
| H200 | 512 | 19 | 9514 |
| B200 | 1 | 281 | 281 |
| B200 | 4 | 232 | 928 |
| B200 | 8 | 194 | 1549 |
| B200 | 16 | 179 | 2863 |
| B200 | 32 | 151 | 4828 |
| B200 | 64 | 121 | 7774 |
| B200 | 128 | 85 | 10876 |
| B200 | 256 | 46 | 11875 |
| B200 | 512 | 24 | 12316 |
| MI300X | 1 | 164 | 164 |
| MI300X | 4 | 134 | 327 |
| MI300X | 8 | 113 | 904 |
| MI300X | 16 | 101 | 1622 |
| MI300X | 32 | 81 | 2590 |
| MI300X | 64 | 60 | 3864 |
| MI300X | 128 | 41 | 5298 |
| MI300X | 256 | 25 | 6351 |
| MI300X | 512 | 14 | 6922 |
Diese Kennzahl veranschaulicht, wie schnell eine einzelne Abfrage verarbeitet wird (in Tokens pro Sekunde), wenn das System stärker ausgelastet ist. Sie wird auf Grundlage der End-to-End-Latenz für eine Ausgabe von 1.000 Tokens berechnet.
End-to-End-Latenz vs. Nebenläufigkeit
| Name | Concurrency Level | End-to-End Latency (ms) | Total Throughput |
|---|---|---|---|
| H100 | 1 | 4182 | 237 |
| H100 | 4 | 5342 | 742 |
| H100 | 8 | 6252 | 1271 |
| H100 | 16 | 7438 | 2121 |
| H100 | 32 | 9405 | 3369 |
| H100 | 64 | 11839 | 5356 |
| H100 | 128 | 17595 | 7349 |
| H100 | 256 | 28311 | 9024 |
| H100 | 512 | 49317 | 11559 |
| H200 | 1 | 3915 | 255 |
| H200 | 4 | 5091 | 778 |
| H200 | 8 | 6017 | 1318 |
| H200 | 16 | 7209 | 2180 |
| H200 | 32 | 9075 | 3468 |
| H200 | 64 | 11406 | 5582 |
| H200 | 128 | 17031 | 7574 |
| H200 | 256 | 27370 | 9129 |
| H200 | 512 | 53616 | 9514 |
| B200 | 1 | 3518 | 281 |
| B200 | 4 | 4234 | 928 |
| B200 | 8 | 5078 | 1549 |
| B200 | 16 | 5480 | 2863 |
| B200 | 32 | 6555 | 4828 |
| B200 | 64 | 8027 | 7774 |
| B200 | 128 | 10978 | 10876 |
| B200 | 256 | 20014 | 11875 |
| B200 | 512 | 39277 | 12316 |
| MI300X | 1 | 2782 | 164 |
| MI300X | 4 | 3571 | 327 |
| MI300X | 8 | 4130 | 904 |
| MI300X | 16 | 5261 | 1622 |
| MI300X | 32 | 7579 | 2590 |
| MI300X | 64 | 8812 | 3864 |
| MI300X | 128 | 11101 | 5298 |
| MI300X | 256 | 19183 | 6351 |
| MI300X | 512 | 30539 | 6922 |
Dieses Diagramm zeigt die durchschnittliche Zeit (in Millisekunden), die benötigt wird, um eine Anfrage bei unterschiedlichen Nebenläufigkeitsstufen von Anfang bis Ende abzuschließen.
Tokens pro Sekunde pro Dollar vs. Nebenläufigkeit
| Name | Concurrency Level | Tokens per second per dollar | Total Throughput | Hourly Price |
|---|---|---|---|---|
| H100 | 1 | 317398 | 237 | 2.69 |
| H100 | 4 | 993829 | 742 | 2.69 |
| H100 | 8 | 1701710 | 1271 | 2.69 |
| H100 | 16 | 2840446 | 2121 | 2.69 |
| H100 | 32 | 4511041 | 3369 | 2.69 |
| H100 | 64 | 7173160 | 5356 | 2.69 |
| H100 | 128 | 9843346 | 7349 | 2.69 |
| H100 | 256 | 12087584 | 9024 | 2.69 |
| H100 | 512 | 15482268 | 11559 | 2.69 |
| H200 | 1 | 242058 | 255 | 3.59 |
| H200 | 4 | 737256 | 778 | 3.59 |
| H200 | 8 | 1248960 | 1318 | 3.59 |
| H200 | 16 | 2065963 | 2180 | 3.59 |
| H200 | 32 | 3285752 | 3468 | 3.59 |
| H200 | 64 | 5288549 | 5582 | 3.59 |
| H200 | 128 | 7178100 | 7574 | 3.59 |
| H200 | 256 | 8649393 | 9129 | 3.59 |
| H200 | 512 | 9012929 | 9514 | 3.59 |
| B200 | 1 | 168881 | 281 | 4.99 |
| B200 | 4 | 557696 | 928 | 4.99 |
| B200 | 8 | 930885 | 1549 | 4.99 |
| B200 | 16 | 1720534 | 2863 | 4.99 |
| B200 | 32 | 2901769 | 4828 | 4.99 |
| B200 | 64 | 4671953 | 7774 | 4.99 |
| B200 | 128 | 6535926 | 10876 | 4.99 |
| B200 | 256 | 7136227 | 11875 | 4.99 |
| B200 | 512 | 7401135 | 12316 | 4.99 |
| MI300X | 1 | 219628 | 164 | 1.99 |
| MI300X | 4 | 437993 | 327 | 1.99 |
| MI300X | 8 | 1210929 | 904 | 1.99 |
| MI300X | 16 | 2172714 | 1622 | 1.99 |
| MI300X | 32 | 3469145 | 2590 | 1.99 |
| MI300X | 64 | 5174126 | 3864 | 1.99 |
| MI300X | 128 | 7096134 | 5298 | 1.99 |
| MI300X | 256 | 8507361 | 6351 | 1.99 |
| MI300X | 512 | 9272342 | 6922 | 1.99 |
Dieses Diagramm bewertet die Kosteneffizienz jeder GPU, indem gemessen wird, wie viele Tokens pro Sekunde für jeden für stündliche Miete ausgegebenen Dollar erzeugt werden. Diese Kennzahl ist entscheidend für das Verständnis des Return on Investment für jede Hardwareoption, insbesondere für budgetbewusste Bereitstellungen.
Hinweis: Die Preisgestaltung basiert auf den stündlichen On-Demand-Tarifen der Runpod-Cloud-Plattform mit Stand März 2026. Die Preise können sich ändern und je nach Verfügbarkeit und Instanztyp variieren.
Weitere Informationen zu unserer Methodik des Nebenläufigkeits-Benchmarks.
Was ist Nebenläufigkeit?
Nebenläufigkeit bezieht sich auf die Fähigkeit einer GPU, mehrere Anfragen gleichzeitig zu verarbeiten, ein Schlüsselfaktor für KI-Workloads wie die Large Language Model Inference. In unserer Leistungsbewertung stellen die Nebenläufigkeitsstufen die Anzahl gleichzeitiger Anfragen (von 1 bis 512) dar, die während der Testläufe an die GPU gesendet werden. Höhere Nebenläufigkeit testet die Fähigkeit der GPU, parallele Aufgaben ohne Leistungsabfall zu bewältigen, indem Durchsatz und Latenz ausbalanciert werden.
Das Verständnis der Nebenläufigkeit hilft Benutzern, die richtige GPU für Workloads mit unterschiedlicher Nachfrage oder Batch-Verarbeitungsanforderungen zu bestimmen. Beim Ausführen von Grafik- oder GPU-Benchmarksuiten kann die Nebenläufigkeitsleistung zwischen GPUs erheblich variieren, weshalb es für Verbraucher und Käufer unerlässlich ist, Testergebnisse über verschiedene Systemkonfigurationen und Preisklassen hinweg zu vergleichen.
Was ist vLLM?
vLLM ist eine schnelle und benutzerfreundliche Open-Source-Bibliothek für die Inference und Bereitstellung von Large Language Models (LLM), die von einer Community von Mitwirkenden unterstützt wird. Sie bewältigt sowohl Cloud- als auch selbst gehostete LLM-Bereitstellungen, indem sie Speicher verwaltet, gleichzeitige Anfragen verarbeitet und Models wie gpt-oss-20b effizient bereitstellt. Für selbst gehostete LLMs vereinfacht vLLM die Bereitstellung mit Funktionen wie PagedAttention1 für die Speicherverwaltung, kontinuierlichem Batching und Unterstützung sowohl für NVIDIA- als auch AMD-GPUs, was mehrere gleichzeitige Anfragen auf lokaler Hardware ermöglicht.
Methodik des Nebenläufigkeits-Benchmarks
Wir haben die neuesten Hochleistungs-GPU-Architekturen von NVIDIA und AMD getestet, um ihre Fähigkeiten zur Skalierung der Nebenläufigkeit für KI-Inference-Workloads zu bewerten. Unser Benchmark testete die NVIDIA-H100, H200 und B200 GPUs zusammen mit der AMD-MI300X, wobei das OpenAI-gpt-oss-20b-Model über vLLM unter unterschiedlichen gleichzeitigen Lastbedingungen ausgeführt wurde. Durch die Messung von Durchsatzmetriken, Latenzverteilungen und Mustern der Ressourcennutzung zielt diese Analyse darauf ab, Erkenntnisse für KI-Inference-Bereitstellungen zu liefern.
Testinfrastruktur
Wir haben unsere Tests in der Cloud-Infrastruktur von Runpod bereitgestellt und dabei die fortschrittlichsten NVIDIA-GPU-Architekturen und das vLLM-Framework genutzt.
- GPU-Plattform: Runpod-Cloud-Infrastruktur (H100, H200, B200 und MI300X)
- Model: OpenAI GPT-OSS-20B über das vLLM-Framework
Softwareumgebung
NVIDIA-GPUs (H100, H200, B200):
- RunPod-Vorlage:
runpod/pytorch:1.0.2-cu1281-torch280-ubuntu2404 - vLLM-Installation:
vllm[flashinfer]==0.11.0
AMD-GPU (MI300X):
- Docker-Image:
rocm/vllm-dev:open-mi300-08052025
vLLM-Serverkonfiguration
Für jede Hardwarearchitektur wurden unterschiedliche vLLM-Einstellungen verwendet, um die Leistung zu optimieren.
- Für NVIDIA-H100, H200 und B200 GPUs wurde der Server mit folgendem Befehl gestartet:
- Für die AMD-MI300X-GPU wurde ein ROCm-optimierter vLLM-Build mit spezifischen Einstellungen für die Architektur verwendet:
Hinweis: Dieser Benchmark wurde mit vLLM v0.11.0 durchgeführt. vLLM v1.0, das Anfang 2025 veröffentlicht wurde, führt Architekturänderungen ein, die zu anderen Durchsatzergebnissen führen können.
Benchmark-Konfiguration
Jede GPU wurde über 9 verschiedene Nebenläufigkeitsstufen mit standardisierten Parametern getestet, um konsistente Ergebnisse zu gewährleisten.
- Nebenläufigkeitsstufen: 1, 4, 8, 16, 32, 64, 128, 256, 512 gleichzeitige Anfragen
- Testdauer: 180 Sekunden Messphase mit 30s Ramp-up/Cool-down
- Anfragegröße: 1.000 Eingabe-/Ausgabe-Tokens pro Anfrage
Hinweis zur Ergebnisvalidierung: Vor der Aufzeichnung der endgültigen Metriken haben wir zahlreiche Tests durchgeführt, um die optimale Konfiguration für jede GPU zu ermitteln. Nach der Identifizierung wurde der Benchmark dreimal hintereinander ausgeführt, um die Stabilität zu überprüfen. Die Durchsatzergebnisse waren über diese Läufe hinweg konsistent, mit einer Abweichung von weniger als 0,1 %. Die in dieser Analyse berichteten Zahlen basieren auf der letzten dieser drei aufeinanderfolgenden Ausführungen.
Wichtige Kennzahlen
Wir haben die Leistung über mehrere Dimensionen hinweg verfolgt, um einen umfassenden Überblick über die GPU-Fähigkeiten unter Last zu geben.
- Durchsatz: Vom System ausgegebene Tokens pro Sekunde, erfolgreiche Anfragen pro Sekunde und Geschwindigkeit der Token-Generierung einzelner Anfragen
- Latenz: Zeit bis zum ersten Token (TTFT), End-to-End-Latenz mit P50/P95/P99-Perzentilen, durchschnittliche Latenz pro Anfrage
- Zuverlässigkeit: Prozentsatz der Erfolgsquote, Timeout im Vergleich zu anderen Fehlerklassifizierungen
Überlegungen zum Software-Stack
Die Leistung ist nicht allein eine Funktion der Hardware. Frameworks wie vLLM bieten eine ausgereiftere und hoch optimierte Unterstützung für das NVIDIA-CUDA-Ökosystem im Vergleich zu AMDs ROCm. Die in den MI300X-Ergebnissen beobachteten Leistungsunterschiede können teilweise den aktuellen Stand der Softwareoptimierung widerspiegeln und nicht das theoretische Potenzial der Hardware.
Roadmap für Hardware der nächsten Generation
Die in diesem Benchmark getesteten GPUs, B200, H200, H100 und MI300X, repräsentieren die aktuelle Generation der KI-Inference-Hardware. Sowohl NVIDIA als auch AMD haben ihre Nachfolger angekündigt, was für Teams, die Infrastrukturinvestitionen für 2026 und darüber hinaus planen, ein relevanter Kontext ist.
Auf der NVIDIA-Seite kündigte Jensen Huang auf der CES 2026 an, dass die Vera-Rubin-NVL72-Plattform in die Serienproduktion gegangen ist und die ersten Systeme voraussichtlich in der zweiten Hälfte von 2026 ausgeliefert werden.2 Laut NVIDIA liefert die Rubin-GPU rund 50 PFLOPs an FP4-Inference-Leistung, etwa das Fünffache von Systemen auf Blackwell-Basis wie dem hier getesteten B200.2
Auf der AMD-Seite ist der Instinct MI400, basierend auf der CDNA-5-Architektur, für 2026 geplant und wird voraussichtlich die MI350-Rechenleistung etwa verdoppeln und gleichzeitig 432 GB HBM4-Speicher einführen.3 AMD hat außerdem angekündigt, dass Meta maßgeschneiderte Instinct-Server auf MI450-Basis mit bis zu 6 Gigawatt Kapazität einsetzen wird, wobei die Auslieferungen in der zweiten Hälfte von 2026 beginnen.4 Oracle wird ab Q3 2026 zusätzlich einen öffentlich verfügbaren KI-Supercluster anbieten, der von rund 50.000 GPUs der MI450-Serie angetrieben wird.5
Für Teams, die GPUs in diesem Benchmark für kurzfristige Bereitstellungen bewerten, bleiben der B200 und die MI300X derzeit die leistungsstärksten verfügbaren Optionen. Für längere Planungshorizonte deutet die Roadmap 2026 auf einen erheblichen Leistungssprung sowohl beim Durchsatz als auch bei der Kosteneffizienz beider Anbieter hin.
Fazit
Der B200 führt beim Durchsatz und skaliert gut für Batch-Inference. Die MI300X bietet die schnellsten Antwortzeiten bei geringer Nebenläufigkeit und eignet sich daher besser für Echtzeitanwendungen wie Chatbots. Die H100 und H200 liegen dazwischen und decken allgemeine Workloads ab, ohne in einer der beiden Dimensionen herausragend zu sein.
Der grundlegende Kompromiss gilt für die gesamte Hardware: Eine höhere Nebenläufigkeit erhöht den Systemdurchsatz, aber auch die Latenz pro Anfrage. Wählen Sie danach, ob Ihr Workload Volumen oder Antwortzeit priorisiert.
Weiterführende Literatur
Entdecken Sie weitere Forschung zu KI-Hardware, wie zum Beispiel:
- Top 20 KI-Chiphersteller: NVIDIA & seine Konkurrenten
- Cloud-GPUs für Deep Learning: Verfügbarkeit & Preis/Leistung
- Die besten 10 Serverless-GPU-Clouds & 14 kosteneffiziente GPUs
- Multi-GPU-Benchmark
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dogan2026,
author = {Dogan, Sedat and Sarı, Ekrem},
title = {{GPU Nebenläufigkeits-Benchmark: H100 vs H200 vs B200 vs MI300X}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/gpu-benchmark}},
note = {AIMultiple. Abgerufen am 21. September 2026}
}Ergebnisse und Zeitstempel von 144 Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 4 CSV-Dateien enthält.
Möchten Sie die granularen Daten dahinter? Premium beitreten
Änderungsprotokoll
4 AktualisierungenDer Abschnitt „Herausforderungen und Einschränkungen beim Parallelitätstest“ wurde entfernt.
Referenzlinks
- Verfügt über 20 Jahre Erfahrung als White-Hat-Hacker und Entwicklungsguru mit umfassender Expertise in Programmiersprachen und Serverarchitekturen.
- Ist Beiratsmitglied bei einer VC, die in frühphasige Technologieunternehmen investiert, und bei Ödeal, einer regionalen digitalen Zahlungsplattform, die 125.000 Händler bedient.
- Hat die technologische Infrastruktur und Cybersicherheit von sieben nationalen Wahlen geleitet und wurde von globalen Technologieführern wie Twitter in die Hall of Fame für Cybersicherheit aufgenommen.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.