GPU-Nebenläufigkeits-Benchmark: H100 vs H200 vs B200 vs MI300X
Ich habe die letzten 20 Jahre damit verbracht, mich auf systemnahe Rechenleistungsoptimierung zu konzentrieren. Wir haben die neuesten NVIDIA-GPUs, darunter die NVIDIA H100, H200 und B200 sowie die AMD MI300X, auf ihre Skalierbarkeit bei Nebenläufigkeit getestet. Mit dem vLLM-Framework und dem gpt-oss-20b-Modell untersuchten wir, wie diese GPUs gleichzeitige Anfragen von 1 bis 512 verarbeiten. Durch die Messung des Systemdurchsatzes, der Ausgabegeschwindigkeit pro Anfrage und der End-to-End-Latenz teilen wir Erkenntnisse, die das Verständnis der GPU-Leistung für KI-Workloads erleichtern.
Ergebnisse des Nebenläufigkeits-Benchmarks
Systemausgabe-Durchsatz vs. Nebenläufigkeit
Dieses Diagramm zeigt die Gesamtzahl der vom System pro Sekunde generierten Ausgabe-Token auf jeder Nebenläufigkeitsstufe.
Ausgabegeschwindigkeit pro Anfrage vs. Nebenläufigkeit
Diese Metrik veranschaulicht, wie schnell eine einzelne Anfrage verarbeitet wird (in Token pro Sekunde), wenn das System ausgelasteter wird. Sie wird auf Grundlage der End-to-End-Latenz für eine 1.000-Token-Ausgabe berechnet.
End-to-End-Latenz vs. Nebenläufigkeit
Dieses Diagramm zeigt die durchschnittliche Zeit (in Millisekunden), die benötigt wird, um eine Anfrage von Anfang bis Ende auf verschiedenen Nebenläufigkeitsstufen abzuschließen.
Token pro Sekunde pro Dollar vs. Nebenläufigkeit
Dieses Diagramm bewertet die Kosteneffizienz jeder GPU, indem misst, wie viele Token pro Sekunde für jeden für die stündliche Miete ausgegebenen Dollar generiert werden. Diese Metrik ist entscheidend, um die Rendite jeder Hardwareoption zu verstehen, insbesondere für budgetbewusste Bereitstellungen.
Hinweis: Die Preisgestaltung basiert auf On-Demand-Stundensätzen von der Cloud-Plattform Runpod mit Stand März 2026. Die Preise können sich ändern und je nach Verfügbarkeit und Instanztyp variieren.
Weitere Informationen zu unserer Benchmark-Methodik für Nebenläufigkeit finden Sie hier.
Was ist Nebenläufigkeit?
Nebenläufigkeit bezeichnet die Fähigkeit einer GPU, mehrere Anfragen gleichzeitig zu verarbeiten – ein Schlüsselfaktor für KI-Workloads wie die Inferenz großer Sprachmodelle. In unserer Leistungsbewertung repräsentieren die Nebenläufigkeitsstufen die Anzahl gleichzeitiger Anfragen (von 1 bis 512), die während der Testläufe an die GPU gesendet werden. Höhere Nebenläufigkeit testet die Fähigkeit der GPU, parallele Aufgaben zu verwalten, ohne die Leistung zu beeinträchtigen, und balanciert Durchsatz und Latenz.
Das Verständnis von Nebenläufigkeit hilft Benutzern, die richtige GPU für Workloads mit schwankender Nachfrage oder Stapelverarbeitungsanforderungen zu bestimmen. Bei der Durchführung von Grafik- oder GPU-Benchmark-Suites kann die Nebenläufigkeitsleistung zwischen GPUs erheblich variieren, weshalb es für Verbraucher und Käufer unerlässlich ist, Testergebnisse über verschiedene Systemkonfigurationen und Preisklassen hinweg zu vergleichen.
Was ist vLLM?
vLLM ist eine schnelle und benutzerfreundliche Open-Source-Bibliothek für die Inferenz und Bereitstellung großer Sprachmodelle (LLM), die von einer Community von Mitwirkenden unterstützt wird. Sie bewältigt sowohl Cloud- als auch selbstgehostete LLM-Bereitstellungen, indem sie Speicher verwaltet, gleichzeitige Anfragen verarbeitet und Modelle wie gpt-oss-20b effizient bereitstellt. Für selbstgehostete LLMs vereinfacht vLLM die Bereitstellung mit Funktionen wie PagedAttention1 für Speicherverwaltung, kontinuierliche Stapelverarbeitung und Unterstützung für sowohl NVIDIA- als auch AMD-GPUs, wodurch mehrere gleichzeitige Anfragen auf lokaler Hardware ermöglicht werden.
Methodik des Nebenläufigkeits-Benchmarks
Wir haben die neuesten Hochleistungs-GPU-Architekturen von NVIDIA und AMD getestet, um ihre Skalierungsfähigkeiten bei Nebenläufigkeit für KI-Inferenz-Workloads zu bewerten. Unser Benchmark testete die NVIDIA-H100-, H200- und B200-GPUs zusammen mit der MI300X von AMD, wobei das OpenAI-gpt-oss-20b-Modell unter verschiedenen gleichzeitigen Lastbedingungen über vLLM ausgeführt wurde. Durch die Messung von Durchsatzmetriken, Latenzverteilungen und Ressourcennutzungsmustern zielt diese Analyse darauf ab, Erkenntnisse für KI-Inferenz-Bereitstellungen zu liefern.
Testinfrastruktur
Wir haben unsere Tests auf der Cloud-Infrastruktur von Runpod bereitgestellt und dabei die fortschrittlichsten GPU-Architekturen von NVIDIA und das vLLM-Framework genutzt.
- GPU-Plattform: Runpod Cloud-Infrastruktur (H100, H200, B200 und MI300X)
- Modell: OpenAI GPT-OSS-20B über das vLLM-Framework
Softwareumgebung
NVIDIA-GPUs (H100, H200, B200):
- RunPod-Vorlage:
runpod/pytorch:1.0.2-cu1281-torch280-ubuntu2404 - vLLM-Installation:
vllm[flashinfer]==0.11.0
AMD-GPU (MI300X):
- Docker-Image:
rocm/vllm-dev:open-mi300-08052025
vLLM-Serverkonfiguration
Es wurden verschiedene vLLM-Einstellungen verwendet, um die Leistung für jede Hardwarearchitektur zu optimieren.
- Für NVIDIA-H100-, H200- und B200-GPUs wurde der Server mit folgendem Befehl gestartet:
- Für die AMD MI300X-GPU wurde ein ROCm-optimierter vLLM-Build mit spezifischen Einstellungen für die Architektur verwendet:
Hinweis: Dieser Benchmark wurde mit vLLM v0.11.0 durchgeführt. vLLM v1.0, das Anfang 2025 veröffentlicht wurde, bringt architektonische Änderungen mit sich, die zu anderen Durchsatzergebnissen führen können.
Benchmark-Konfiguration
Jede GPU wurde auf 9 verschiedenen Nebenläufigkeitsstufen mit standardisierten Parametern getestet, um konsistente Ergebnisse zu gewährleisten.
- Nebenläufigkeitsstufen: 1, 4, 8, 16, 32, 64, 128, 256, 512 gleichzeitige Anfragen
- Testdauer: 180 Sekunden Messphase mit 30 s Aufwärm-/Abkühlphase
- Anforderungsgröße: 1.000 Eingabe-/Ausgabe-Token pro Anfrage
Hinweis zur Ergebnisvalidierung: Vor der Aufzeichnung der endgültigen Metriken haben wir zahlreiche Tests durchgeführt, um die optimale Konfiguration für jede GPU zu ermitteln. Nachdem diese identifiziert war, wurde der Benchmark dreimal hintereinander ausgeführt, um die Stabilität zu überprüfen. Die Durchsatzergebnisse waren über diese Läufe hinweg konsistent, mit einer Abweichung von weniger als 0.1 %. Die in dieser Analyse angegebenen Zahlen basieren auf der letzten dieser drei aufeinanderfolgenden Ausführungen.
Schlüsselmetriken
Wir haben die Leistung über mehrere Dimensionen hinweg verfolgt, um einen umfassenden Überblick über die Fähigkeiten der GPU unter Last zu geben.
- Durchsatz: Vom System ausgegebene Token pro Sekunde, erfolgreiche Anfragen pro Sekunde und Geschwindigkeit der Token-Erzeugung pro Anfrage
- Latenz: Zeit bis zum ersten Token (TTFT), End-to-End-Latenz mit P50-/P95-/P99-Perzentilen, durchschnittliche Latenz pro Anfrage
- Zuverlässigkeit: Erfolgsrate in Prozent, Timeout- im Vergleich zu anderer Fehlerklassifizierung
Überlegungen zum Software-Stack
Die Leistung ist nicht allein eine Funktion der Hardware. Frameworks wie vLLM verfügen über eine ausgereiftere, hochoptimierte Unterstützung für das CUDA-Ökosystem von NVIDIA im Vergleich zu ROCm von AMD. Die bei den MI300X-Ergebnissen beobachteten Leistungsunterschiede könnten teilweise den aktuellen Stand der Softwareoptimierung widerspiegeln und nicht das theoretische Potenzial der Hardware.
Als bevorzugte Quelle hinzufügenRoadmap für Hardware der nächsten Generation
Die in diesem Benchmark getesteten GPUs – B200, H200, H100 und MI300X – repräsentieren die aktuelle Generation von KI-Inferenz-Hardware. Sowohl NVIDIA als auch AMD haben ihre Nachfolger angekündigt, was für Teams, die Infrastrukturinvestitionen für 2026 und darüber hinaus planen, ein relevanter Kontext ist.
Auf der Seite von NVIDIA gab Jensen Huang auf der CES 2026 bekannt, dass die Vera Rubin NVL72-Plattform in die Serienproduktion gegangen ist, wobei erste Systeme voraussichtlich in der zweiten Hälfte 2026 ausgeliefert werden.2 Laut NVIDIA liefert die Rubin-GPU etwa 50 PFLOPs an FP4-Inferenzleistung, etwa das Fünffache der hier getesteten Blackwell-basierten Systeme wie dem B200.2
Auf der Seite von AMD ist der Instinct MI400, basierend auf der CDNA-5-Architektur, für 2026 geplant und wird voraussichtlich die Rechenleistung des MI350 etwa verdoppeln und gleichzeitig 432 GB HBM4-Speicher einführen.3 AMD hat außerdem angekündigt, dass Meta maßgeschneiderte Instinct-Server auf MI450-Basis mit einer Kapazität von bis zu 6 Gigawatt einsetzen wird, wobei die Auslieferungen in der zweiten Hälfte 2026 beginnen.4 Oracle wird darüber hinaus einen öffentlich zugänglichen KI-Supercluster anbieten, der von etwa 50.000 GPUs der MI450-Serie angetrieben wird, beginnend im dritten Quartal 2026.5
Für Teams, die GPUs in diesem Benchmark für kurzfristige Bereitstellungen evaluieren, bleiben der B200 und die MI300X die derzeit leistungsstärksten verfügbaren Optionen. Für längere Planungshorizonte deutet die Roadmap für 2026 auf einen erheblichen Schrittwechsel bei Durchsatz und Kosteneffizienz von beiden Anbietern hin.
Fazit
Der B200 führt beim Durchsatz und skaliert gut für Batch-Inferenz. Die MI300X bietet die schnellsten Antwortzeiten bei geringer Nebenläufigkeit und eignet sich daher besser für Echtzeitanwendungen wie Chatbots. Die H100 und H200 liegen dazwischen und decken allgemeine Workloads ab, ohne in einer der Dimensionen herauszuragen.
Der grundlegende Kompromiss gilt für alle Hardware: Höhere Nebenläufigkeit erhöht den Systemdurchsatz, aber auch die Latenz pro Anfrage. Wählen Sie basierend darauf, ob Ihr Workload Volumen oder Antwortzeit priorisiert.
Weiterführende Literatur
Erkunden Sie weitere KI-Hardware-Forschung, wie zum Beispiel:
- Top 20 KI-Chip-Hersteller: NVIDIA & seine Konkurrenten
- Cloud-GPUs für Deep Learning: Verfügbarkeit & Preis / Leistung
- Die besten 10 serverlosen GPU-Clouds & 14 kosteneffektive GPUs
- Multi-GPU-Benchmark
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dogan2026,
author = {Dogan, Sedat and Sarı, Ekrem},
title = {{GPU-Nebenläufigkeits-Benchmark: H100 vs H200 vs B200 vs MI300X}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/gpu-benchmark}},
note = {AIMultiple. Abgerufen am 12. März 2026}
}Referenzlinks
Verfügt über 20 Jahre Erfahrung als White-Hat-Hacker und Entwicklungsguru mit umfassender Expertise in Programmiersprachen und Serverarchitekturen.
Ist Beiratsmitglied bei einem VC, der in Technologieunternehmen in der Frühphase investiert, und bei Ödeal, einer regionalen digitalen Zahlungsplattform, die 125.000 Händler bedient.
Hat die Technologieinfrastruktur und Cybersicherheit von sieben nationalen Wahlen geleitet und wurde von globalen Technologieführern, darunter Twitter, in die Cybersecurity Hall of Fame aufgenommen.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.