GPU Parallelitäts-Benchmark: H100 vs H200 vs B200 vs MI300X
Ich habe die letzten 20 Jahre auf die Optimierung der Rechenleistung auf Systemebene konzentriert. Wir haben die neuesten NVIDIA-GPUs getestet, einschließlich der NVIDIA’s H100, H200 und B200 sowie der AMD’s MI300X, um die Parallelitätsskalierung zu analysieren. Unter Verwendung des vLLM-Framework mit dem gpt-oss-20b model haben wir getestet, wie diese GPUs gleichzeitige Anfragen von 1 bis 512 verarbeiten. Durch Messung des Systemausgabe-Durchsatzes, der Ausgabegeschwindigkeit pro Abfrage und der Ende-zu-Ende-Latenz teilen wir Erkenntnisse, die helfen, die GPU-Leistung für KI-Workloads zu verstehen.
Ergebnisse des Parallelitäts-Benchmark
Systemausgabe-Durchsatz im Vergleich zur Parallelität
Dieses Diagramm zeigt die Gesamtzahl der vom System pro Sekunde generierten Output-Tokens auf jeder Parallelitätsstufe.
Ausgabegeschwindigkeit pro Abfrage im Vergleich zur Parallelität
Dieser Messwert veranschaulicht, wie schnell eine einzelne Abfrage verarbeitet wird (in Tokens pro Sekunde), wenn das System stärker ausgelastet ist. Er wird auf Grundlage der Ende-zu-Ende-Latenz für eine 1.000-Token-Ausgabe berechnet.
Ende-zu-Ende-Latenz im Vergleich zur Parallelität
Dieses Diagramm zeigt die durchschnittliche Zeit (in Millisekunden), die benötigt wird, um eine Anfrage auf verschiedenen Parallelitätsstufen von Anfang bis Ende abzuschließen.
Tokens pro Sekunde pro Dollar im Vergleich zur Parallelität
Dieses Diagramm bewertet die Kosteneffizienz jeder GPU, indem gemessen wird, wie viele Tokens pro Sekunde für jeden für stündliche Miete ausgegebenen Dollar erzeugt werden. Dieser Messwert ist entscheidend für das Verständnis der Investitionsrendite jeder Hardwareoption, insbesondere für budgetbewusste Bereitstellungen.
Hinweis: Die Preisgestaltung basiert auf den On-Demand-Stundensätzen der Runpod-Cloud-Plattform mit Stand März 2026. Die Preise können sich ändern und je nach Verfügbarkeit und Instanztyp variieren.
Sie können mehr über unsere Methodik des Parallelitäts-Benchmark lesen.
Was ist Parallelität?
Parallelität bezeichnet die Fähigkeit einer GPU, mehrere Anfragen gleichzeitig zu verarbeiten – ein Schlüsselfaktor für KI-Workloads wie die Inference von Large Language Models. In unserer Leistungsbewertung stellen die Parallelitätsstufen die Anzahl gleichzeitiger Anfragen (von 1 bis 512) dar, die während der Testläufe an die GPU gesendet werden. Höhere Parallelität testet die Fähigkeit der GPU, parallele Aufgaben ohne Leistungseinbußen zu bewältigen, und gleicht Durchsatz und Latenz aus.
Das Verständnis der Parallelität hilft Nutzern, die richtige GPU für Workloads mit variierender Nachfrage oder Stapelverarbeitungsanforderungen zu bestimmen. Beim Ausführen von Grafik- oder GPU-Benchmark-Suiten kann die Parallelitätsleistung zwischen verschiedenen GPUs erheblich variieren. Daher ist es für Verbraucher und Käufer unerlässlich, Testergebnisse über verschiedene Systemkonfigurationen und Preisklassen hinweg zu vergleichen.
Was ist vLLM?
vLLM ist eine schnelle und benutzerfreundliche Open-Source-Bibliothek für die Inference und Bereitstellung von Large Language Models (LLM), unterstützt von einer Community aus Mitwirkenden. Sie unterstützt sowohl Cloud- als auch selbst gehostete LLM-Deployments, indem sie Speicher verwaltet, gleichzeitige Anfragen verarbeitet und Models wie gpt-oss-20b effizient bereitstellt. Für selbst gehostete LLMs vereinfacht vLLM die Bereitstellung mit Funktionen wie PagedAttention1 für die Speicherverwaltung, kontinuierliches Batching und die Unterstützung von NVIDIA- und AMD-GPUs, wodurch mehrere gleichzeitige Anfragen auf lokaler Hardware ermöglicht werden.
Methodik des Parallelitäts-Benchmark
Wir haben die neuesten Hochleistungs-GPU-Architekturen von NVIDIA und AMD getestet, um ihre Fähigkeiten zur Parallelitätsskalierung für KI-Inference-Workloads zu bewerten. Unser Benchmark testete die NVIDIA-H100-, H200- und B200-GPUs zusammen mit der MI300X von AMD, wobei das OpenAI gpt-oss-20b model über vLLM unter variierenden gleichzeitigen Lastbedingungen ausgeführt wurde. Durch die Messung von Durchsatzmetriken, Latenzverteilungen und Ressourcennutzungsmustern zielt diese Analyse darauf ab, Erkenntnisse für KI-Inference-Deployments zu liefern.
Testinfrastruktur
Wir haben unsere Tests auf der Cloud-Infrastruktur von Runpod bereitgestellt und dabei die fortschrittlichsten NVIDIA-GPU-Architekturen und das vLLM-Framework genutzt.
- GPU-Plattform: Runpod-Cloud-Infrastruktur (H100, H200, B200 und MI300X)
- Model: OpenAI GPT-OSS-20B über das vLLM-Framework
Softwareumgebung
NVIDIA-GPUs (H100, H200, B200):
- RunPod-Template:
runpod/pytorch:1.0.2-cu1281-torch280-ubuntu2404 - vLLM-Installation:
vllm[flashinfer]==0.11.0
AMD-GPU (MI300X):
- Docker-Image:
rocm/vllm-dev:open-mi300-08052025
vLLM-Serverkonfiguration
Für jede Hardwarearchitektur wurden unterschiedliche vLLM-Einstellungen verwendet, um die Leistung zu optimieren.
- Für NVIDIA H100, H200 und B200 GPUs wurde der Server mit dem folgenden Befehl gestartet:
- Für die AMD MI300X GPU wurde ein ROCm-optimierter vLLM-Build mit spezifischen Einstellungen für die Architektur verwendet:
Hinweis: Dieser Benchmark wurde mit vLLM v0.11.0 durchgeführt. vLLM v1.0, das Anfang 2025 veröffentlicht wurde, bringt architektonische Änderungen mit sich, die zu anderen Durchsatzergebnissen führen können.
Benchmark-Konfiguration
Jede GPU wurde über 9 verschiedene Parallelitätsstufen mit standardisierten Parametern getestet, um konsistente Ergebnisse zu gewährleisten.
- Parallelitätsstufen: 1, 4, 8, 16, 32, 64, 128, 256, 512 gleichzeitige Anfragen
- Testdauer: 180 Sekunden Messphase mit 30s Ramp-up/Cool-down
- Anfragegröße: 1.000 Input-/Output-Tokens pro Anfrage
Hinweis zur Ergebnisvalidierung: Bevor wir die endgültigen Metriken aufzeichneten, führten wir zahlreiche Tests durch, um die optimale Konfiguration für jede GPU zu ermitteln. Nach der Ermittlung wurde der Benchmark dreimal hintereinander ausgeführt, um die Stabilität zu überprüfen. Die Durchsatzergebnisse waren über diese Läufe hinweg konsistent, mit einer Varianz von weniger als 0,1 %. Die in dieser Analyse berichteten Zahlen basieren auf der letzten dieser drei aufeinanderfolgenden Ausführungen.
Schlüsselmetriken
Wir haben die Leistung über mehrere Dimensionen hinweg verfolgt, um einen umfassenden Überblick über die Fähigkeiten der GPU unter Last zu geben.
- Durchsatz: System-Output-Tokens pro Sekunde, erfolgreiche Anfragen pro Sekunde und individuelle Token-Generierungsgeschwindigkeit pro Anfrage
- Latenz: Zeit bis zum ersten Token (TTFT), Ende-zu-Ende-Latenz mit P50/P95/P99-Perzentilen, durchschnittliche Latenz pro Anfrage
- Zuverlässigkeit: Erfolgsquote in Prozent, Timeout- vs. sonstige Fehlerklassifizierung
Überlegungen zum Software-Stack
Die Leistung ist nicht nur eine Funktion der Hardware. Frameworks wie vLLM bieten eine ausgereiftere, hochoptimierte Unterstützung für das CUDA-Ökosystem von NVIDIA im Vergleich zu ROCm von AMD. Die bei den MI300X-Ergebnissen beobachteten Leistungsunterschiede spiegeln möglicherweise teilweise den aktuellen Stand der Softwareoptimierung wider und nicht das theoretische Potenzial der Hardware.
Als bevorzugte Quelle hinzufügenRoadmap für die nächste Hardware-Generation
Die in diesem Benchmark getesteten GPUs – B200, H200, H100 und MI300X – repräsentieren die aktuelle Generation der KI-Inference-Hardware. Sowohl NVIDIA als auch AMD haben ihre Nachfolger angekündigt, was für Teams, die Infrastrukturinvestitionen für 2026 und darüber hinaus planen, ein relevanter Kontext ist.
Auf der NVIDIA-Seite kündigte Jensen Huang auf der CES 2026 an, dass die Plattform Vera Rubin NVL72 die Serienproduktion aufgenommen hat und die ersten Systeme voraussichtlich in der zweiten Hälfte 2026 ausgeliefert werden.2 Laut NVIDIA liefert die Rubin-GPU etwa 50 PFLOPs FP4-Inference-Leistung, etwa das Fünffache der Systeme auf Blackwell-Basis wie dem hier getesteten B200.2
Auf der AMD-Seite ist der Instinct MI400 auf Basis der CDNA-5-Architektur für 2026 geplant und wird voraussichtlich die Rechenleistung des MI350 etwa verdoppeln, während er 432 GB HBM4-Speicher einführt.3 AMD hat außerdem angekündigt, dass Meta kundenspezifische Instinct-Server auf MI450-Basis mit einer Kapazität von bis zu 6 Gigawatt einsetzen wird; die Auslieferung beginnt in der zweiten Hälfte 2026.4 Oracle wird ab dem dritten Quartal 2026 zusätzlich einen öffentlich verfügbaren KI-Supercluster anbieten, der von etwa 50.000 GPUs der MI450-Serie angetrieben wird.5
Für Teams, die in diesem Benchmark getesteten GPUs für kurzfristige Bereitstellungen bewerten, bleiben B200 und MI300X die derzeit leistungsfähigsten verfügbaren Optionen. Für längere Planungshorizonte deutet die Roadmap 2026 auf einen deutlichen Sprung bei Durchsatz und Kosteneffizienz beider Anbieter hin.
Fazit
Der B200 führt beim Durchsatz und skaliert gut für Batch-Inference. Die MI300X bietet die schnellsten Reaktionszeiten bei geringer Parallelität und eignet sich daher besser für Echtzeitanwendungen wie Chatbots. Die H100 und H200 liegen dazwischen und decken allgemeine Workloads ab, ohne in einer der beiden Dimensionen herauszuragen.
Der grundlegende Kompromiss gilt für die gesamte Hardware: Höhere Parallelität erhöht den Systemdurchsatz, aber auch die Latenz pro Anfrage. Die Wahl sollte davon abhängen, ob Ihr Workload Volumen oder Reaktionszeit priorisiert.
Weiterführende Informationen
Entdecken Sie weitere KI-Hardware-Forschung, zum Beispiel:
- Top 20 KI-Chip-Hersteller: NVIDIA & seine Konkurrenten
- Cloud-GPUs für Deep Learning: Verfügbarkeit & Preis / Leistung
- Die besten 10 Serverless-GPU-Clouds & 14 kosteneffiziente GPUs
- Multi-GPU-Benchmark
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dogan2026,
author = {Dogan, Sedat and Sarı, Ekrem},
title = {{GPU Parallelitäts-Benchmark: H100 vs H200 vs B200 vs MI300X}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/gpu-benchmark}},
note = {AIMultiple. Abgerufen am 12. März 2026}
}Änderungsprotokoll
4 Aktualisierungen- 2026
Der Abschnitt „Herausforderungen und Einschränkungen beim Parallelitätstest“ wurde entfernt.
- 2025
Der Fazit-Abschnitt wurde ersetzt.
AMD MI300X zur Liste der getesteten GPUs hinzugefügt.
Der Abschnitt zur Methodik des Parallelitäts-Benchmarks wurde um AMDs MI300X GPU erweitert.
Referenzlinks
- Verfügt über 20 Jahre Erfahrung als White-Hat-Hacker und Entwicklungsguru mit umfassender Expertise in Programmiersprachen und Serverarchitekturen.
- Ist Beiratsmitglied bei einer VC, die in frühphasige Technologieunternehmen investiert, und bei Ödeal, einer regionalen digitalen Zahlungsplattform, die 125.000 Händler bedient.
- Hat die technologische Infrastruktur und Cybersicherheit von sieben nationalen Wahlen geleitet und wurde von globalen Technologieführern wie Twitter in die Hall of Fame für Cybersicherheit aufgenommen.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.