GPU Parallelitäts-Benchmark: H100 vs H200 vs B200 vs MI300X
Ich habe die letzten 20 Jahre darauf verwendet, mich auf die Optimierung der systemweiten Rechenleistung zu konzentrieren. Wir haben die neuesten NVIDIA GPUs getestet, einschließlich der NVIDIA’s H100, H200 und B200 sowie der AMD’s MI300X, für eine Analyse der Parallelitäts-Skalierung. Mit dem vLLM-Framework und dem gpt-oss-20b model haben wir getestet, wie diese GPUs parallele Anfragen von 1 bis 512 bewältigen. Durch die Messung des System-Durchsatzes, der Abfrage-geschwindigkeit pro Ausgabe und der End-to-End-Latenz teilen wir Erkenntnisse, um das Verständnis der GPU-Leistung für KI-Workloads zu unterstützen.
Ergebnisse des Parallelitäts-Benchmarks
System-Ausgabedurchsatz vs. Parallelität
Dieses Diagramm zeigt die Gesamtzahl der pro Sekunde vom System generierten Ausgabetokens bei jedem Parallelitätslevel.
Ausgabegeschwindigkeit pro Abfrage vs. Parallelität
Diese Metrik veranschaulicht, wie schnell eine einzelne Abfrage verarbeitet wird (in Tokens pro Sekunde), wenn das System ausgelasteter wird. Sie wird basierend auf der End-to-End-Latenz für eine 1.000-Token-Ausgabe berechnet.
End-to-End-Latenz vs. Parallelität
Dieses Diagramm zeigt die durchschnittliche Zeit (in Millisekunden), die benötigt wird, um eine Anfrage von Anfang bis Ende bei verschiedenen Parallelitätsleveln abzuschließen.
Tokens pro Sekunde pro Dollar vs. Parallelität
Dieses Diagramm bewertet die Kosteneffizienz jeder GPU, indem gemessen wird, wie viele Tokens pro Sekunde für jeden Dollar generiert werden, der für die stündliche Miete ausgegeben wird. Diese Metrik ist entscheidend für das Verständnis der Rendite jeder Hardware-Option, insbesondere für budgetbewusste Bereitstellungen.
Hinweis: Die Preise basieren auf On-Demand-Stundensätzen der Runpod-Cloud-Plattform ab März 2026. Die Preise können sich ändern und variieren je nach Verfügbarkeit und Instanztyp.
Sie können mehr über unsere Methodik des Parallelitäts-Benchmarks lesen.
Was ist Parallelität?
Parallelität bezieht sich auf die Fähigkeit einer GPU, mehrere Anfragen gleichzeitig zu verarbeiten, ein Schlüsselfaktor für KI-Workloads wie die Inferenz großer Sprachmodelle. In unserer Leistungsbewertung repräsentieren die Parallelitätslevel die Anzahl der gleichzeitigen Anfragen (von 1 bis 512), die während der Testläufe an die GPU gesendet werden. Höhere Parallelität testet die Kapazität der GPU, parallele Aufgaben zu verwalten, ohne die Leistung zu beeinträchtigen, und balanciert Durchsatz und Latenz.
Das Verständnis von Parallelität hilft Benutzern, die richtige GPU für Workloads mit unterschiedlicher Nachfrage oder Batch-Verarbeitungsanforderungen zu bestimmen. Beim Ausführen von Grafiktests oder GPU-Benchmark-Suiten kann sich die Parallelitätsleistung zwischen GPUs erheblich unterscheiden, was es für Verbraucher und Käufer unerlässlich macht, Testergebnisse über verschiedene Systemkonfigurationen und Preispunkte hinweg zu vergleichen.
Was ist vLLM?
vLLM ist eine schnelle und einfach zu verwendende Open-Source-Bibliothek für die Inferenz und Bereitstellung großer Sprachmodelle (LLM), unterstützt von einer Gemeinschaft von Mitwirkenden. Sie verwaltet sowohl Cloud- als auch selbstgehostete LLM-Bereitstellungen durch Verwaltung des Speichers, Verarbeitung paralleler Anfragen und effizientes Serving von Modellen wie gpt-oss-20b. Für selbstgehostete LLMs vereinfacht vLLM die Bereitstellung mit Funktionen wie PagedAttention1 für das Speichermanagement, Continuous Batching und Unterstützung sowohl für NVIDIA als auch AMD GPUs, was mehrere parallele Anfragen auf lokaler Hardware ermöglicht.
Als bevorzugte Quelle hinzufügenMethodik des Parallelitäts-Benchmarks
Wir haben die neuesten Hochleistungs-GPU-Architekturen von sowohl NVIDIA als auch AMD getestet, um ihre Parallelitäts-Skalierungsfähigkeiten für KI-Inferenz-Workloads zu bewerten. Unser Benchmark testete die NVIDIA H100, H200 und B200 GPUs zusammen mit AMD’s MI300X und führte das OpenAI gpt-oss-20b model über vLLM unter variierenden parallelen Lastbedingungen aus. Durch die Messung von Durchsatzmetriken, Latenzverteilungen und Nutzungsmustern von Ressourcen zielt diese Analyse darauf ab, Erkenntnisse für KI-Inferenz-Bereitstellungen zu liefern.
Testinfrastruktur
Wir haben unsere Tests auf der Cloud-Infrastruktur von Runpod durchgeführt und dabei die fortschrittlichsten NVIDIA GPU-Architekturen und das vLLM-Framework genutzt.
- GPU Plattform: Runpod Cloud-Infrastruktur (H100, H200, B200 und MI300X)
- Modell: OpenAI GPT-OSS-20B über vLLM-Framework
Softwareumgebung
NVIDIA GPUs (H100, H200, B200):
- RunPod-Vorlage:
runpod/pytorch:1.0.2-cu1281-torch280-ubuntu2404 - vLLM-Installation:
vllm[flashinfer]==0.11.0
AMD GPU (MI300X):
- Docker-Image:
rocm/vllm-dev:open-mi300-08052025
vLLM-Serverkonfiguration
Unterschiedliche vLLM-Einstellungen wurden verwendet, um die Leistung für jede Hardware-Architektur zu optimieren.
- Für NVIDIA H100, H200 und B200 GPUs wurde der Server mit dem folgenden Befehl gestartet:
- Für die AMD MI300X GPU wurde eine ROCm-optimierte vLLM-Build-Version mit spezifischen Einstellungen für die Architektur verwendet:
Hinweis: Dieser Benchmark wurde mit vLLM v0.11.0 durchgeführt. vLLM v1.0, das Anfang 2025 veröffentlicht wurde, führt architektonische Änderungen ein, die zu unterschiedlichen Durchsatzergebnissen führen können.
Benchmark-Konfiguration
Jede GPU wurde mit standardisierten Parametern über 9 verschiedene Parallelitätslevel getestet, um konsistente Ergebnisse zu gewährleisten.
- Parallelitätslevel: 1, 4, 8, 16, 32, 64, 128, 256, 512 parallele Anfragen
- Testdauer: 180 Sekunden Messphase mit 30s Hochfahr-/Abkühlphase
- Anfragegröße: 1.000 Eingabe-/Ausgabetokens pro Anfrage
Hinweis zur Ergebnisvalidierung: Bevor wir die endgültigen Metriken aufgezeichnet haben, haben wir zahlreiche Tests durchgeführt, um die optimale Konfiguration für jede GPU zu ermitteln. Sobald diese identifiziert war, wurde der Benchmark drei Mal hintereinander ausgeführt, um die Stabilität zu überprüfen. Die Durchsatzergebnisse waren über diese Läufe hinweg konsistent, mit einer Varianz von weniger als 0,1%. Die in dieser Analyse berichteten Zahlen basieren auf der letzten dieser drei aufeinanderfolgenden Ausführungen.
Schlüsselmetriken
Wir haben die Leistung über mehrere Dimensionen hinweg verfolgt, um einen umfassenden Überblick über die GPU-Fähigkeiten unter Last zu erhalten.
- Durchsatz: System-Ausgabetokens pro Sekunde, erfolgreiche Anfragen pro Sekunde und Token-Generierungsgeschwindigkeit pro einzelner Anfrage
- Latenz: Time to First Token (TTFT), End-to-End-Latenz mit P50/P95/P99-Perzentilen, durchschnittliche Latenz pro Anfrage
- Zuverlässigkeit: Erfolgsrate in Prozent, Timeout im Vergleich zu anderen Fehlerklassifikationen
Überlegungen zum Software-Stack
Die Leistung ist nicht ausschließlich eine Funktion der Hardware. Frameworks wie vLLM haben eine ausgereiftere, hoch optimierte Unterstützung für das NVIDIA’s CUDA-Ökosystem im Vergleich zu AMD’s ROCm. Die bei den MI300X-Ergebnissen beobachteten Leistungsunterschiede spiegeln möglicherweise teilweise den aktuellen Stand der Softwareoptimierung wider und nicht das theoretische Potenzial der Hardware.
Hardware-Roadmap der nächsten Generation
Die in diesem Benchmark getesteten GPUs, die B200, H200, H100 und MI300X, repräsentieren die aktuelle Generation von KI-Inferenz-Hardware. Sowohl NVIDIA als auch AMD haben ihre Nachfolger angekündigt, was ein relevanter Kontext für Teams ist, die Infrastrukturinvestitionen für 2026 und darüber hinaus planen.
Bei NVIDIA kündigte Jensen Huang auf der CES 2026 an, dass die Vera Rubin NVL72-Plattform in die volle Produktion gegangen ist, wobei die ersten Systeme im zweiten Halbjahr 2026 erwartet werden.2 Laut NVIDIA liefert die Rubin GPU etwa 50 PFLOPs FP4-Inferenzleistung, etwa das Fünffache von Blackwell-basierten Systemen wie dem hier getesteten B200.3
Bei AMD ist der Instinct MI400, basierend auf der CDNA-5-Architektur, für 2026 geplant und soll die Rechenleistung des MI350 etwa verdoppeln und gleichzeitig 432 GB HBM4-Speicher einführen.4 AMD hat zudem angekündigt, dass Meta benutzerdefinierte Instinct-Server auf Basis des MI450 mit einer Kapazität von bis zu 6 Gigawatt einsetzen wird, wobei die Lieferungen im zweiten Halbjahr 2026 beginnen.5 Oracle wird zusätzlich einen öffentlich verfügbaren KI-Supercluster anbieten, der von etwa 50.000 MI450-Serie GPUs angetrieben wird, beginnend im Q3 2026.6
Für Teams, die die GPUs in diesem Benchmark für kurzfristige Bereitstellungen bewerten, bleiben die B200 und MI300X die leistungsstärksten derzeit verfügbaren Optionen. Für längere Planungshorizonte deutet die Roadmap für 2026 eine signifikante Verbesserung sowohl beim Durchsatz als auch bei der Kosteneffizienz beider Anbieter an.
Fazit
Die B200 führt beim Durchsatz und skaliert gut für Batch-Inferenz. Die MI300X bietet die schnellsten Antwortzeiten bei niedriger Parallelität, was sie besser für Echtzeitanwendungen wie Chatbots geeignet macht. Die H100 und H200 liegen dazwischen und decken allgemeine Workloads ab, ohne in einer der beiden Dimensionen herauszustechen.
Der Kernkompromiss gilt für alle Hardware: Höhere Parallelität erhöht den Systemdurchsatz, erhöht aber die Latenz pro Anfrage. Entscheiden Sie basierend darauf, ob Ihr Workload Volumen oder Antwortzeit priorisiert.
Weiterführende Literatur
Entdecken Sie weitere KI-Hardware-Forschungen, wie zum Beispiel:
- Top 20 KI-Chip-Hersteller: NVIDIA & seine Konkurrenten
- Cloud GPUs für Deep Learning: Verfügbarkeit & Preis / Leistung
- Beste 10 Serverless GPU-Clouds & 14 kosteneffiziente GPUs
- Multi-GPU Benchmark
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dogan2026,
author = {Dogan, Sedat and Sarı, Ekrem},
title = {{GPU Parallelitäts-Benchmark: H100 vs H200 vs B200 vs MI300X}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/gpu-benchmark}},
note = {AIMultiple. Abgerufen am 12. März 2026}
}Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.