Multi-GPU-Benchmark: B200 vs. H200 vs. H100 vs. MI300X

Seit über zwei Jahrzehnten ist die Optimierung der Rechenleistung ein Eckpfeiler meiner Arbeit. Wir haben die B200, H200, H100 von NVIDIA und die MI300X von AMD einem Benchmark unterzogen, um zu bewerten, wie gut sie für die Large Language Model (LLM)-Inferenz skalieren. Mit dem vLLM-Framework und dem Modell meta-llama/Llama-3.1-8B-Instruct führten wir Tests auf 1, 2, 4 und 8 GPUs durch.

Wir analysierten Durchsatz und Skalierungseffizienz, um zu veranschaulichen, wie jede GPU-Architektur parallelisierte, rechenintensive Workloads bewältigt.

Multi-GPU-Benchmark-Ergebnisse

Gesamtdurchsatz vs. GPU-Anzahl

• Gesamtdurchsatz (Tokens/Sekunde): Diese Kennzahl repräsentiert die rohe Verarbeitungsleistung des gesamten Multi-GPU-Systems. Sie misst die Gesamtzahl der pro Sekunde verarbeiteten Eingabe- und Ausgabe-Tokens und ist damit der wichtigste Indikator für die maximale Leistung bei einer gesättigten, Offline-Workload.

Um zu verstehen, wie wir die Punktzahl berechnet haben, siehe unsere Multi-GPU-Benchmark-Methodik.

Wichtige Leistungserkenntnisse:

Leistungsanalyse: Die NVIDIA H200 liefert den höchsten Durchsatz über alle getesteten Konfigurationen hinweg, mit Leistungsverbesserungen von 9–10 % gegenüber der H100. Das System erreicht eine Skalierungseffizienz von 99,8 % bei Dual-GPU-Konfigurationen, was auf eine nahezu optimale Ressourcennutzung hindeutet.

Leistungsmerkmale der AMD MI300X: Die AMD MI300X erreicht einen Single-GPU-Durchsatz von 18.752 Tokens pro Sekunde, was etwa 74 % der Leistung der H200 entspricht. Das System hält Skalierungseffizienzen von 95 % und 81 % für Zwei-GPU- bzw. Vier-GPU-Konfigurationen aufrecht.

Durchschnittliche Inferenzlatenz vs. GPU-Anzahl

• Durchschnittliche Inferenzlatenz (Millisekunden): Diese Kennzahl misst die durchschnittliche Zeit, die benötigt wird, um eine einzelne Anfrage von Anfang bis Ende zu verarbeiten. Eine geringere Latenz führt zu einer schnelleren, reaktionsfähigeren Erfahrung für Endbenutzer.

Wichtige Leistungserkenntnisse:

Analyse der Latenzleistung: Die NVIDIA B200 weist die niedrigsten Latenzmesswerte über alle bewerteten Konfigurationen hinweg auf und erreicht 2.40ms bei Implementierungen mit acht GPUs. Diese Leistungsmerkmale machen sie geeignet für Anwendungen, die minimale Reaktionszeiten erfordern, wie z. B. interaktive Echtzeitsysteme, bei denen eine Latenz von unter 3ms eine Designanforderung ist.

Beobachtungen zur Skalierungseffizienz: Die Analyse zeigt abnehmende Erträge bei der Latenzreduzierung mit steigender GPU-Anzahl auf allen Plattformen. Die größte Latenzreduzierung tritt beim Übergang von Einzel- auf Dual-GPU-Konfigurationen auf (plattformübergreifend etwa 50 %). Konfigurationen mit mehr als 4 GPUs zeigen zunehmend geringere Latenzverbesserungen.

Vergleichsanalyse H200 und H100: Die H200 zeigt über alle Skalierungsstufen eine um 5–8 % niedrigere Latenz als die H100, wobei der absolute Unterschied bei höheren GPU-Anzahlen abnimmt (2.81ms gegenüber 2.86ms bei acht GPUs, ein Unterschied von 0.05ms). Dieser marginale Leistungsunterschied lässt im Vergleich zu dem Preisunterschied von 41 % darauf schließen, dass die H100 günstigere Kosten-Leistungs-Eigenschaften für latenzempfindliche Bereitstellungen bieten könnte.

Latenzeigenschaften der AMD MI300X: Die MI300X weist über die getesteten Konfigurationen hinweg um 37–75 % höhere Latenzwerte als die H200 auf, was möglicherweise auf aktuelle Unterschiede in der Reife der Software-Stacks zwischen vLLM-ROCm- und CUDA-Implementierungen zurückzuführen ist. Bei einer Skalierung mit acht GPUs erreicht die MI300X eine Latenz von 4.20ms, die trotz des Leistungsunterschieds gegenüber NVIDIA-Plattformen für zahlreiche Produktionsanwendungen innerhalb akzeptabler Parameter bleibt.

Leistung vs. Preis: Eine Kosten-Effizienz-Analyse

Während rohe Leistungskennzahlen entscheidend sind, hängt die endgültige Entscheidung für jedes Unternehmen von der Kosteneffizienz ab. Um den Return on Investment (ROI) für jede Plattform zu analysieren, haben wir unsere Durchsatzergebnisse den On-Demand-Stundenpreisen von RunPod zum Testzeitpunkt gegenübergestellt. Dadurch können wir einen „Performance-pro-Dollar“-Wert berechnen, der zeigt, welches Setup die meiste Rechenleistung zu den niedrigsten Kosten bietet.

Hinweis: Alle Preisangaben entsprechen den On-Demand-Tarifen, die zum Zeitpunkt des Benchmarks (September 2025) auf der RunPod-Cloud-Plattform verfügbar waren, und können sich ändern. Die Kosten werden zu Vergleichszwecken dargestellt und beinhalten keine Speicher- oder Netzwerkgebühren.

Wie wir den Durchsatz pro Dollar berechnet haben

Um dieses Diagramm zu erstellen, haben wir unsere rohen Leistungsdaten mit den Stundenkosten abgeglichen. Die Berechnungsformel lautet:

• Datenaufbereitung: Für jeden Datenpunkt in unserer Ergebnistabelle haben wir die entsprechenden Stundenkosten für die jeweilige GPU-Konfiguration abgerufen (z. B. 4x H100 kostet $10,76).
• Berechnung: Anschließend haben wir die Formel angewendet, um den Wert „throughput_per_dollar“ zu berechnen. Beispielsweise lieferte die H100 mit 1x GPU 23.243 Tokens/s zu Kosten von $2,69/Std., was zu einem Ergebnis von 8.642 Tokens/s pro Dollar führte.

Diese Effizienzbewertung bietet ein Entscheidungsinstrument und verlagert die Diskussion von „Welches ist am schnellsten?“ hin zu „Welches ist die klügste Investition für unsere Workload?“

Was ist Multi-GPU-Skalierung?

Multi-GPU-Skalierung bezeichnet die Fähigkeit eines Systems, seine Leistung zu steigern, indem eine einzelne große Aufgabe auf mehrere GPUs verteilt wird. Für die LLM-Inferenz kann dies durch Datenparallelität erreicht werden, wobei unabhängige Kopien des Modells auf jeder GPU laufen und ein Load Balancer eingehende Anfragen auf alle Instanzen verteilt.

Idealerweise würden zwei GPUs die doppelte Leistung einer einzelnen GPU liefern (2x Beschleunigung). In der Realität werden die Leistungsgewinne jedoch durch CPU- und Systemengpässe, die Zeit, die das Hostsystem für die Verwaltung mehrerer gleichzeitiger Prozesse aufwendet, Speicherbandbreitenbeschränkungen und Ressourcenkonflikte begrenzt. Unser Benchmark misst, wie effizient jede Plattform diese systembedingten Einschränkungen bewältigt – ein entscheidender Faktor für den Aufbau kosteneffizienter, leistungsstarker KI-Inferenzserver für kleine bis mittlere Modelle.

Was sind die Herausforderungen bei Multi-GPU-Skalierungstests?

Das Benchmarking von Multi-GPU-Systemen bringt einzigartige Herausforderungen mit sich, die Leistung erheblich beeinflussen können.

Kommunikationsoverhead und Interconnect-Engpässe

Wenn ein Modell auf mehrere GPUs aufgeteilt wird, wird die Interconnect-Verbindung, etwa NVIDIA-NVLink oder AMD-Infinity Fabric, zu einem kritischen Leistungsengpass. Die Effizienz der Inter-GPU-Kommunikation wirkt sich direkt auf die Skalierung aus. Wenn die Wartezeit auf Daten von einer anderen GPU die durch die Parallelisierung der Berechnung eingesparte Zeit übersteigt, sinken die Leistungsgewinne. Dieser Effekt ist besonders ausgeprägt bei Modellen, die nicht groß genug sind, um die Rechenkapazität jeder einzelnen GPU vollständig auszulasten.

Reife des Software-Ökosystems

Leistung ist nicht nur eine Funktion der Hardware. Der Software-Stack, einschließlich Treibern, Kommunikationsbibliotheken (wie NCCL für NVIDIA und RCCL für AMD) und der Inferenz-Engine (vLLM), spielt eine enorme Rolle. Wir stellten fest, dass die Leistung einer Plattform eng mit der Reife ihrer Software-Unterstützung verbunden ist. Ein etabliertes Ökosystem wie NVIDIA-CUDA profitiert oft von jahrelangem Fine-Tuning und Optimierung, was selbst auf leistungsstarker Hardware zu einer besseren Skalierungseffizienz führen kann als bei neueren Integrationen wie AMD-ROCm.

Plattformspezifische Optimierungen

Wie unsere Tests zeigten, erfordert das Erreichen optimaler Leistung oft plattformspezifische Konfigurationen. Ein generischer „One-size-fits-all“-Ansatz kann zu irreführend niedriger Leistung führen. Das richtige Docker-Image, Umgebungsvariablen (z. B. die Aktivierung benutzerdefinierter AMD-Kernel) und sogar Modelldatentypen (z. B. bfloat16 für Blackwell) sind entscheidend, um das wahre Potenzial der Hardware zu erschließen. Dies macht faire „Äpfel-mit-Äpfeln“-Vergleiche zu einer erheblichen technischen Herausforderung.

Multi-GPU-Benchmark-Methodik

Wir testeten die neuesten Hochleistungs-GPU-Architekturen sowohl von NVIDIA als auch von AMD, um ihre Skalierungsfähigkeiten zu bewerten. Unser Benchmark maß die Leistung von Einzel- und Multi-GPU-Konfigurationen (1x, 2x, 4x, 8x) unter Verwendung des Standardmodells meta-llama/Llama-3.1-8B-Instruct¹ und der vLLM² Inferenz-Engine.

Testumgebung und -prozess

• Plattform: Alle Benchmarks wurden auf RunPod Cloud ausgeführt, um konsistenten Hardwarezugriff zu gewährleisten.
• Inferenz-Engine: vLLM (vllm bench throughput tool) wurde als standardisierte Engine verwendet.
• Modell: meta-llama/Llama-3.1-8B-Instruct.
• Dataset: ShareGPT-Vicuna-Dataset (25.000 Prompts) zur Simulation einer konversationellen Workload.
• Strategie: Datenparallelität; jeder Multi-GPU-Test führte eine unabhängige vLLM-Instanz auf jeder GPU aus. Die gesamte Prompt-Last wurde gleichmäßig auf die Instanzen verteilt, die gleichzeitig ausgeführt wurden, um eine lastverteilte Produktionsumgebung zu simulieren. Dieser Ansatz eliminiert die Inter-GPU-Kommunikation (NVLink/PCIe) als Engpass und verlagert die Leistungsbegrenzer auf das Hostsystem (CPU, RAM).
• Automatisierung: Es wurden benutzerdefinierte Bash-Skripte verwendet, um die Umgebungseinrichtung, Testausführung, Ressourcenüberwachung (nvidia-smi, rocm-smi) und Ergebnisaggregation zu automatisieren.

Plattformspezifische Konfigurationen

Das Erreichen optimaler Leistung erforderte maßgeschneiderte Konfigurationen für jede Architektur.

NVIDIA-Plattformen (H100, H200, B200)

• Basis-Image: runpod/pytorch:2.8.0-py3.11-cuda12.8.1.
• vLLM-Installation:
  • H100/H200 (Hopper): Standardinstallation über pip install vllm.
  • B200 (Blackwell): vLLM wurde aus dem Quellcode kompiliert (pip install -e .), um native Unterstützung für die neue Architektur zu ermöglichen und „No kernel image“-Fehler zu beheben.
• Schlüsselparameter:

• Kritische Umgebungsvariable:

AMD-Plattform (MI300X)

• Basis-Image: rocm/vllm:rocm6.4.1_vllm_0.10.1_20250909
• vLLM-Installation: Es war keine Installation erforderlich, da die optimierte Version im Image enthalten war.
• Schlüsselparameter & Optimierungen: Umfangreiches Tuning identifizierte die folgenden Nicht-Standardeinstellungen als entscheidend für das Erreichen des maximalen Durchsatzes:

• AMD-spezifische Umgebungsvariablen:

• Gerätesichtbarkeit: ROCR_VISIBLE_DEVICES wurde anstelle des CUDA-Äquivalents verwendet, um Instanzen bestimmten GPUs zuzuweisen.

Benchmark-Ausführungsphasen

Jeder Benchmark-Lauf folgte einem dreiphasigen Ausführungsprotokoll, um genaue und reproduzierbare Ergebnisse zu gewährleisten:

Phase 1: Warmup

Vor jedem Test einer Multi-GPU-Konfiguration führten wir eine dedizierte Warmup-Phase durch, um Kaltstarteffekte zu eliminieren:

• Dauer: 100 Prompts, verarbeitet auf GPU 0
• Zweck: Modellladen, KV-Cache-Initialisierung und CUDA/ROCm-Kernelkompilierung
• Ausgabe: Verworfen (nicht in den Messungen enthalten)
• Plattformspezifisches Verhalten:
  • NVIDIA (CUDA): Kernelkompilierung und CUDA-Graphenoptimierung (~30–60 Sekunden)
  • AMD (ROCm): Kernelkompilierung und optionales TunableOp-Tuning (variiert je nach PYTORCH_TUNABLEOP_ENABLED-Einstellung)

Phase 2: Initialisierung der GPU-Überwachung

Parallel zur Benchmark-Ausführung starteten wir dedizierte Überwachungsprozesse für jede GPU:

• Abtastrate: 1-Sekunden-Intervalle
• Erfasste Metriken: GPU-Auslastung, Speichernutzung, Temperatur, Stromverbrauch
• Tools: nvidia-smi (NVIDIA) oder rocm-smi (AMD)
• Ausgabe: CSV-Logs für die Nachanalyse

Phase 3: Parallele Benchmark-Ausführung

Nach Abschluss des Warmups wurden alle GPU-Instanzen gleichzeitig gestartet:

• Jede GPU verarbeitete einen gleichen Anteil der 25.000 gesamten Prompts
• Alle Instanzen starteten innerhalb derselben Sekunde, um Produktions-Lastverteilung zu simulieren
• Gesamtdurchsatz wird als Summe aller GPU-Ausgaben gemessen
• Ausführungszeit gemessen vom Start der ersten Instanz bis zum Abschluss der letzten Instanz

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Praxisrelevante Leistungsauswirkungen aus Tests

Unsere Tests zeigten, dass geringfügige Konfigurationsfehler zu erheblichen, irreführenden Leistungsergebnissen führen können. Die folgende Tabelle veranschaulicht die Auswirkungen plattformspezifischer Fehlkonfigurationen:

Weiterführende Literatur

Entdecken Sie weitere KI-Hardware-Forschung, zum Beispiel:

• Top 30 Cloud-GPU-Anbieter & ihre GPUs
• GPU-Concurrency-Benchmark
• Top 25+ KI-Chip-Hersteller: NVIDIA & seine Wettbewerber

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dogan2026,
  author = {Dogan, Sedat and Sarı, Ekrem},
  title  = {{Multi-GPU-Benchmark: B200 vs. H200 vs. H100 vs. MI300X}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/multi-gpu}},
  note   = {AIMultiple. Abgerufen am 30. Juni 2026}
}

Änderungsprotokoll

2 Aktualisierungen

2025

1. 8. Okt

   Das Dataset im Abschnitt „Multi-GPU-Benchmark-Ergebnisse“ wurde aktualisiert.

2. 6. Okt

   Die Metrik „Anfragen pro Sekunde“ wurde aus dem Abschnitt „Gesamtdurchsatz vs. GPU-Anzahl“ entfernt.

Referenzlinks

1.

meta-llama/Llama-3.1-8B-Instruct · Hugging Face

2.

vLLM easy, fast, and cheap LLM serving for everyone

Sedat Dogan

CTO

Folgen auf

Sedat ist eine Führungskraft im Bereich Technologie und Informationssicherheit mit 20 Jahren Erfahrung in Softwareentwicklung, Netzwerkinfrastruktur und Cybersicherheit. Sedat:
- Verfügt über 20 Jahre Erfahrung als White-Hat-Hacker und Entwicklungsguru mit umfassender Expertise in Programmiersprachen und Serverarchitekturen.
- Ist Beiratsmitglied bei einer VC, die in frühphasige Technologieunternehmen investiert, und bei Ödeal, einer regionalen digitalen Zahlungsplattform, die 125.000 Händler bedient.
- Hat die technologische Infrastruktur und Cybersicherheit von sieben nationalen Wahlen geleitet und wurde von globalen Technologieführern wie Twitter in die Hall of Fame für Cybersicherheit aufgenommen.

Vollständiges Profil anzeigen

Recherchiert von

Ekrem Sarı

KI-Forscher

Folgen auf

Ekrem ist KI-Forscher und Datenwissenschaftler bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten