Premium
Dienstleistungen
Premium

GPU Nebenläufigkeits-Benchmark: H100 vs H200 vs B200 vs MI300X

Sedat Dogan
Sedat Dogan
aktualisiert am 21. Sept. 2026

Ich habe die letzten 20 Jahre damit verbracht, mich auf die Optimierung der Rechenleistung auf Systemebene zu konzentrieren. Wir haben die neuesten NVIDIA-GPUs, einschließlich der NVIDIA-H100, H200 und B200 sowie der AMD-MI300X, im Hinblick auf die Skalierung der Nebenläufigkeit getestet. Mit dem vLLM-Framework und dem gpt-oss-20b-Model haben wir getestet, wie diese GPUs gleichzeitige Anfragen von 1 bis 512 verarbeiten. Durch die Messung des Systemausgabe-Durchsatzes, der Ausgabegeschwindigkeit pro Abfrage und der End-to-End-Latenz stellen wir Ergebnisse bereit, die helfen, die GPU-Leistung für KI-Workloads zu verstehen.

Ergebnisse des Nebenläufigkeits-Benchmarks

Systemausgabedurchsatz vs. Nebenläufigkeit

NameConcurrency LevelSystem Output Throughput (tokens/sec)Scaling Factor
H10012371
H10047423.13
H100812715.36
H1001621218.95
H10032336914.21
H10064535622.6
H100128734931.01
H100256902438.08
H1005121155948.77
H20012551
H20047783.05
H200813185.17
H2001621808.55
H20032346813.6
H20064558221.89
H200128757429.7
H200256912935.8
H200512951437.31
B20012811
B20049283.3
B200815495.51
B20016286310.19
B20032482817.18
B20064777427.67
B2001281087638.71
B2002561187542.26
B2005121231643.83
MI300X11641
MI300X43271.99
MI300X89045.51
MI300X1616229.89
MI300X32259015.79
MI300X64386423.56
MI300X128529832.3
MI300X256635138.73
MI300X512692242.21

Dieses Diagramm zeigt die Gesamtzahl der vom System pro Sekunde generierten Ausgabe-Tokens auf jeder Nebenläufigkeitsstufe.

Ausgabegeschwindigkeit pro Abfrage vs. Nebenläufigkeit

NameConcurrency LevelOutput Speed per Query (tokens/sec)Total Throughput
H1001237237
H1004186742
H10081591271
H100161332121
H100321053369
H10064845356
H100128577349
H100256359024
H1005122311559
H2001255255
H2004194778
H20081651318
H200161362180
H200321083468
H20064875582
H200128597574
H200256369129
H200512199514
B2001281281
B2004232928
B20081941549
B200161792863
B200321514828
B200641217774
B2001288510876
B2002564611875
B2005122412316
MI300X1164164
MI300X4134327
MI300X8113904
MI300X161011622
MI300X32812590
MI300X64603864
MI300X128415298
MI300X256256351
MI300X512146922

Diese Kennzahl veranschaulicht, wie schnell eine einzelne Abfrage verarbeitet wird (in Tokens pro Sekunde), wenn das System stärker ausgelastet ist. Sie wird auf Grundlage der End-to-End-Latenz für eine Ausgabe von 1.000 Tokens berechnet.

End-to-End-Latenz vs. Nebenläufigkeit

NameConcurrency LevelEnd-to-End Latency (ms)Total Throughput
H10014182237
H10045342742
H100862521271
H1001674382121
H1003294053369
H10064118395356
H100128175957349
H100256283119024
H1005124931711559
H20013915255
H20045091778
H200860171318
H2001672092180
H2003290753468
H20064114065582
H200128170317574
H200256273709129
H200512536169514
B20013518281
B20044234928
B200850781549
B2001654802863
B2003265554828
B2006480277774
B2001281097810876
B2002562001411875
B2005123927712316
MI300X12782164
MI300X43571327
MI300X84130904
MI300X1652611622
MI300X3275792590
MI300X6488123864
MI300X128111015298
MI300X256191836351
MI300X512305396922

Dieses Diagramm zeigt die durchschnittliche Zeit (in Millisekunden), die benötigt wird, um eine Anfrage bei unterschiedlichen Nebenläufigkeitsstufen von Anfang bis Ende abzuschließen.

Tokens pro Sekunde pro Dollar vs. Nebenläufigkeit

NameConcurrency LevelTokens per second per dollarTotal ThroughputHourly Price
H10013173982372.69
H10049938297422.69
H1008170171012712.69
H10016284044621212.69
H10032451104133692.69
H10064717316053562.69
H100128984334673492.69
H1002561208758490242.69
H10051215482268115592.69
H20012420582553.59
H20047372567783.59
H2008124896013183.59
H20016206596321803.59
H20032328575234683.59
H20064528854955823.59
H200128717810075743.59
H200256864939391293.59
H200512901292995143.59
B20011688812814.99
B20045576969284.99
B200893088515494.99
B20016172053428634.99
B20032290176948284.99
B20064467195377744.99
B2001286535926108764.99
B2002567136227118754.99
B2005127401135123164.99
MI300X12196281641.99
MI300X44379933271.99
MI300X812109299041.99
MI300X16217271416221.99
MI300X32346914525901.99
MI300X64517412638641.99
MI300X128709613452981.99
MI300X256850736163511.99
MI300X512927234269221.99

Dieses Diagramm bewertet die Kosteneffizienz jeder GPU, indem gemessen wird, wie viele Tokens pro Sekunde für jeden für stündliche Miete ausgegebenen Dollar erzeugt werden. Diese Kennzahl ist entscheidend für das Verständnis des Return on Investment für jede Hardwareoption, insbesondere für budgetbewusste Bereitstellungen.

Hinweis: Die Preisgestaltung basiert auf den stündlichen On-Demand-Tarifen der Runpod-Cloud-Plattform mit Stand März 2026. Die Preise können sich ändern und je nach Verfügbarkeit und Instanztyp variieren.

Weitere Informationen zu unserer Methodik des Nebenläufigkeits-Benchmarks.

Was ist Nebenläufigkeit?

Nebenläufigkeit bezieht sich auf die Fähigkeit einer GPU, mehrere Anfragen gleichzeitig zu verarbeiten, ein Schlüsselfaktor für KI-Workloads wie die Large Language Model Inference. In unserer Leistungsbewertung stellen die Nebenläufigkeitsstufen die Anzahl gleichzeitiger Anfragen (von 1 bis 512) dar, die während der Testläufe an die GPU gesendet werden. Höhere Nebenläufigkeit testet die Fähigkeit der GPU, parallele Aufgaben ohne Leistungsabfall zu bewältigen, indem Durchsatz und Latenz ausbalanciert werden.

Das Verständnis der Nebenläufigkeit hilft Benutzern, die richtige GPU für Workloads mit unterschiedlicher Nachfrage oder Batch-Verarbeitungsanforderungen zu bestimmen. Beim Ausführen von Grafik- oder GPU-Benchmarksuiten kann die Nebenläufigkeitsleistung zwischen GPUs erheblich variieren, weshalb es für Verbraucher und Käufer unerlässlich ist, Testergebnisse über verschiedene Systemkonfigurationen und Preisklassen hinweg zu vergleichen.

Lassen Sie unser Team einen Ihrer Geschäftsprozesse kostenlos mit KI-Agenten automatisieren.
Einen Prozess automatisieren

Was ist vLLM?

vLLM ist eine schnelle und benutzerfreundliche Open-Source-Bibliothek für die Inference und Bereitstellung von Large Language Models (LLM), die von einer Community von Mitwirkenden unterstützt wird. Sie bewältigt sowohl Cloud- als auch selbst gehostete LLM-Bereitstellungen, indem sie Speicher verwaltet, gleichzeitige Anfragen verarbeitet und Models wie gpt-oss-20b effizient bereitstellt. Für selbst gehostete LLMs vereinfacht vLLM die Bereitstellung mit Funktionen wie PagedAttention1 für die Speicherverwaltung, kontinuierlichem Batching und Unterstützung sowohl für NVIDIA- als auch AMD-GPUs, was mehrere gleichzeitige Anfragen auf lokaler Hardware ermöglicht.

Methodik des Nebenläufigkeits-Benchmarks

Wir haben die neuesten Hochleistungs-GPU-Architekturen von NVIDIA und AMD getestet, um ihre Fähigkeiten zur Skalierung der Nebenläufigkeit für KI-Inference-Workloads zu bewerten. Unser Benchmark testete die NVIDIA-H100, H200 und B200 GPUs zusammen mit der AMD-MI300X, wobei das OpenAI-gpt-oss-20b-Model über vLLM unter unterschiedlichen gleichzeitigen Lastbedingungen ausgeführt wurde. Durch die Messung von Durchsatzmetriken, Latenzverteilungen und Mustern der Ressourcennutzung zielt diese Analyse darauf ab, Erkenntnisse für KI-Inference-Bereitstellungen zu liefern.

Testinfrastruktur

Wir haben unsere Tests in der Cloud-Infrastruktur von Runpod bereitgestellt und dabei die fortschrittlichsten NVIDIA-GPU-Architekturen und das vLLM-Framework genutzt.

  • GPU-Plattform: Runpod-Cloud-Infrastruktur (H100, H200, B200 und MI300X)
  • Model: OpenAI GPT-OSS-20B über das vLLM-Framework

Softwareumgebung

NVIDIA-GPUs (H100, H200, B200):

  • RunPod-Vorlage: runpod/pytorch:1.0.2-cu1281-torch280-ubuntu2404
  • vLLM-Installation: vllm[flashinfer]==0.11.0

AMD-GPU (MI300X):

  • Docker-Image: rocm/vllm-dev:open-mi300-08052025

vLLM-Serverkonfiguration

Für jede Hardwarearchitektur wurden unterschiedliche vLLM-Einstellungen verwendet, um die Leistung zu optimieren.

  • Für NVIDIA-H100, H200 und B200 GPUs wurde der Server mit folgendem Befehl gestartet:
  • Für die AMD-MI300X-GPU wurde ein ROCm-optimierter vLLM-Build mit spezifischen Einstellungen für die Architektur verwendet:

Hinweis: Dieser Benchmark wurde mit vLLM v0.11.0 durchgeführt. vLLM v1.0, das Anfang 2025 veröffentlicht wurde, führt Architekturänderungen ein, die zu anderen Durchsatzergebnissen führen können.

Benchmark-Konfiguration

Jede GPU wurde über 9 verschiedene Nebenläufigkeitsstufen mit standardisierten Parametern getestet, um konsistente Ergebnisse zu gewährleisten.

  • Nebenläufigkeitsstufen: 1, 4, 8, 16, 32, 64, 128, 256, 512 gleichzeitige Anfragen
  • Testdauer: 180 Sekunden Messphase mit 30s Ramp-up/Cool-down
  • Anfragegröße: 1.000 Eingabe-/Ausgabe-Tokens pro Anfrage

Hinweis zur Ergebnisvalidierung: Vor der Aufzeichnung der endgültigen Metriken haben wir zahlreiche Tests durchgeführt, um die optimale Konfiguration für jede GPU zu ermitteln. Nach der Identifizierung wurde der Benchmark dreimal hintereinander ausgeführt, um die Stabilität zu überprüfen. Die Durchsatzergebnisse waren über diese Läufe hinweg konsistent, mit einer Abweichung von weniger als 0,1 %. Die in dieser Analyse berichteten Zahlen basieren auf der letzten dieser drei aufeinanderfolgenden Ausführungen.

Wichtige Kennzahlen

Wir haben die Leistung über mehrere Dimensionen hinweg verfolgt, um einen umfassenden Überblick über die GPU-Fähigkeiten unter Last zu geben.

  • Durchsatz: Vom System ausgegebene Tokens pro Sekunde, erfolgreiche Anfragen pro Sekunde und Geschwindigkeit der Token-Generierung einzelner Anfragen
  • Latenz: Zeit bis zum ersten Token (TTFT), End-to-End-Latenz mit P50/P95/P99-Perzentilen, durchschnittliche Latenz pro Anfrage
  • Zuverlässigkeit: Prozentsatz der Erfolgsquote, Timeout im Vergleich zu anderen Fehlerklassifizierungen

Überlegungen zum Software-Stack

Die Leistung ist nicht allein eine Funktion der Hardware. Frameworks wie vLLM bieten eine ausgereiftere und hoch optimierte Unterstützung für das NVIDIA-CUDA-Ökosystem im Vergleich zu AMDs ROCm. Die in den MI300X-Ergebnissen beobachteten Leistungsunterschiede können teilweise den aktuellen Stand der Softwareoptimierung widerspiegeln und nicht das theoretische Potenzial der Hardware.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.
GoogleAls bevorzugte Quelle hinzufügen

Roadmap für Hardware der nächsten Generation

Die in diesem Benchmark getesteten GPUs, B200, H200, H100 und MI300X, repräsentieren die aktuelle Generation der KI-Inference-Hardware. Sowohl NVIDIA als auch AMD haben ihre Nachfolger angekündigt, was für Teams, die Infrastrukturinvestitionen für 2026 und darüber hinaus planen, ein relevanter Kontext ist.

Auf der NVIDIA-Seite kündigte Jensen Huang auf der CES 2026 an, dass die Vera-Rubin-NVL72-Plattform in die Serienproduktion gegangen ist und die ersten Systeme voraussichtlich in der zweiten Hälfte von 2026 ausgeliefert werden.2 Laut NVIDIA liefert die Rubin-GPU rund 50 PFLOPs an FP4-Inference-Leistung, etwa das Fünffache von Systemen auf Blackwell-Basis wie dem hier getesteten B200.2

Auf der AMD-Seite ist der Instinct MI400, basierend auf der CDNA-5-Architektur, für 2026 geplant und wird voraussichtlich die MI350-Rechenleistung etwa verdoppeln und gleichzeitig 432 GB HBM4-Speicher einführen.3 AMD hat außerdem angekündigt, dass Meta maßgeschneiderte Instinct-Server auf MI450-Basis mit bis zu 6 Gigawatt Kapazität einsetzen wird, wobei die Auslieferungen in der zweiten Hälfte von 2026 beginnen.4 Oracle wird ab Q3 2026 zusätzlich einen öffentlich verfügbaren KI-Supercluster anbieten, der von rund 50.000 GPUs der MI450-Serie angetrieben wird.5

Für Teams, die GPUs in diesem Benchmark für kurzfristige Bereitstellungen bewerten, bleiben der B200 und die MI300X derzeit die leistungsstärksten verfügbaren Optionen. Für längere Planungshorizonte deutet die Roadmap 2026 auf einen erheblichen Leistungssprung sowohl beim Durchsatz als auch bei der Kosteneffizienz beider Anbieter hin.

Fazit

Der B200 führt beim Durchsatz und skaliert gut für Batch-Inference. Die MI300X bietet die schnellsten Antwortzeiten bei geringer Nebenläufigkeit und eignet sich daher besser für Echtzeitanwendungen wie Chatbots. Die H100 und H200 liegen dazwischen und decken allgemeine Workloads ab, ohne in einer der beiden Dimensionen herausragend zu sein.

Der grundlegende Kompromiss gilt für die gesamte Hardware: Eine höhere Nebenläufigkeit erhöht den Systemdurchsatz, aber auch die Latenz pro Anfrage. Wählen Sie danach, ob Ihr Workload Volumen oder Antwortzeit priorisiert.

Weiterführende Literatur

Entdecken Sie weitere Forschung zu KI-Hardware, wie zum Beispiel:

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

Sedat Dogan and Ekrem Sarı (2026) - "GPU Nebenläufigkeits-Benchmark: H100 vs H200 vs B200 vs MI300X". Online veröffentlicht auf AIMultiple.com. Abgerufen am 21. September 2026, von: https://aimultiple.com/gpu-benchmark [Online-Ressource]

Dogan, S., & Sarı, E. (2026, 21. September). GPU Nebenläufigkeits-Benchmark: H100 vs H200 vs B200 vs MI300X. AIMultiple. https://aimultiple.com/gpu-benchmark

@misc{dogan2026,
  author = {Dogan, Sedat and Sarı, Ekrem},
  title  = {{GPU Nebenläufigkeits-Benchmark: H100 vs H200 vs B200 vs MI300X}},
  year   = {2026},
  month  = sep,
  howpublished    = {\url{https://aimultiple.com/gpu-benchmark}},
  note   = {AIMultiple. Abgerufen am 21. September 2026}
}
Alle Daten herunterladen

Ergebnisse und Zeitstempel von 144 Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 4 CSV-Dateien enthält.

Zuletzt aktualisiert: 12. März 2026
Herunterladen

Möchten Sie die granularen Daten dahinter? Premium beitreten

Änderungsprotokoll

4 Aktualisierungen
  1. Der Abschnitt „Herausforderungen und Einschränkungen beim Parallelitätstest“ wurde entfernt.

Sedat Dogan
Sedat Dogan
CTO
Sedat ist eine Führungskraft im Bereich Technologie und Informationssicherheit mit 20 Jahren Erfahrung in Softwareentwicklung, Netzwerkinfrastruktur und Cybersicherheit. Sedat:
- Verfügt über 20 Jahre Erfahrung als White-Hat-Hacker und Entwicklungsguru mit umfassender Expertise in Programmiersprachen und Serverarchitekturen.
- Ist Beiratsmitglied bei einer VC, die in frühphasige Technologieunternehmen investiert, und bei Ödeal, einer regionalen digitalen Zahlungsplattform, die 125.000 Händler bedient.
- Hat die technologische Infrastruktur und Cybersicherheit von sieben nationalen Wahlen geleitet und wurde von globalen Technologieführern wie Twitter in die Hall of Fame für Cybersicherheit aufgenommen.
Vollständiges Profil anzeigen
Recherchiert von
Ekrem Sarı
Ekrem Sarı
KI-Forscher
Ekrem ist KI-Forscher und Datenwissenschaftler bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.
Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

0/450