Benchmark Multi-GPU: B200 vs H200 vs H100 vs MI300X

Por mais de duas décadas, otimizar o desempenho computacional tem sido um pilar do meu trabalho. Avaliamos a B200 e a H200 da NVIDIA, a H100 e a MI300X da AMD para avaliar o quão bem elas escalam para inferência de Modelos de Linguagem de Grande Porte (LLM). Usando o framework vLLM com o modelo meta-llama/Llama-3.1-8B-Instruct, realizamos testes em 1, 2, 4 e 8 GPUs.

Analisamos o throughput e a eficiência de escalabilidade para ilustrar como cada arquitetura de GPU lida com cargas de trabalho paralelizadas e intensivas em computação.

Resultados do benchmark multi-GPU

Throughput total vs. número de GPU

• Throughput total (tokens/segundo): Esta métrica representa o poder de processamento bruto de todo o sistema multi-GPU. Ela mede o número total de tokens de entrada e saída processados por segundo, sendo o indicador mais importante do desempenho máximo sob uma carga de trabalho saturada e offline.

Para entender como calculamos a pontuação, consulte nossa metodologia de benchmark multi-GPU.

Principais insights de desempenho:

Análise de desempenho: A NVIDIA H200 oferece o maior throughput em todas as configurações testadas, com melhorias de desempenho de 9-10% em relação à H100. O sistema alcança 99,8% de eficiência de escalabilidade com configurações dual-GPU, indicando utilização de recursos quase ideal.

Características de desempenho da AMD MI300X: A AMD MI300X alcança throughput de 18.752 tokens por segundo em uma única GPU, representando aproximadamente 74% do desempenho da H200. O sistema mantém eficiências de escalabilidade de 95% e 81% para configurações com duas GPUs e quatro GPUs, respectivamente.

Latência média de inferência vs. número de GPU

• Latência média de inferência (milissegundos): Esta métrica mede o tempo médio necessário para processar uma única solicitação do início ao fim. Menor latência se traduz em uma experiência mais rápida e responsiva para os usuários finais.

Principais insights de desempenho:

Análise de desempenho de latência: A NVIDIA B200 apresenta as menores medições de latência em todas as configurações avaliadas, alcançando 2.40ms com implementações de oito GPUs. Essas características de desempenho a posicionam para aplicações que exigem tempos de resposta mínimos, como sistemas interativos em tempo real onde latência sub-3ms é um requisito de projeto.

Observações sobre eficiência de escalabilidade: A análise revela retornos decrescentes na redução de latência à medida que o número de GPUs aumenta em todas as plataformas. A maior redução de latência ocorre na transição de configurações com uma para duas GPUs (aproximadamente 50% entre as plataformas). Configurações com mais de 4 GPUs apresentam melhorias de latência progressivamente menores.

Análise comparativa entre H200 e H100: A H200 demonstra latência 5-8% menor que a H100 em todas as escalas, com a diferença absoluta diminuindo em contagens maiores de GPUs (2.81ms contra 2.86ms em oito GPUs, uma diferença de 0.05ms). Essa diferença de desempenho marginal, quando comparada com a diferença de preço de 41%, sugere que a H100 pode oferecer características de custo-desempenho mais favoráveis para implantações sensíveis à latência.

Características de latência da AMD MI300X: A MI300X demonstra valores de latência 37-75% maiores que a H200 nas configurações testadas, o que pode ser atribuído às diferenças atuais na maturidade da pilha de software entre as implementações vLLM ROCm e CUDA. Em escala de oito GPUs, a MI300X alcança latência de 4.20ms, que permanece dentro de parâmetros aceitáveis para inúmeras aplicações de produção, apesar do diferencial de desempenho em relação às plataformas da NVIDIA.

Desempenho vs. preço: uma análise de custo-eficiência

Embora as métricas brutas de desempenho sejam cruciais, a decisão final para qualquer organização depende da eficiência de custo. Para analisar o retorno sobre o investimento (ROI) de cada plataforma, mapeamos nossos resultados de throughput em relação aos preços por hora sob demanda da RunPod no momento dos testes. Isso nos permite calcular uma pontuação de “desempenho por dólar”, revelando qual configuração oferece o maior poder computacional pelo menor custo.

Observação: Todas as informações de preços refletem as tarifas sob demanda disponíveis na plataforma RunPod Cloud no momento do benchmark (setembro de 2025) e estão sujeitas a alterações. Os custos são apresentados para análise comparativa e não incluem taxas de armazenamento ou de rede.

Como calculamos o throughput por dólar

Para gerar este gráfico, processamos nossos dados brutos de desempenho em relação aos custos por hora. A fórmula de cálculo é:

• Preparação de dados: Para cada ponto de dados em nossa tabela de resultados, recuperamos o custo por hora correspondente para a configuração específica de GPU (por exemplo, 4x H100 custa $10,76).
• Cálculo: Em seguida, aplicamos a fórmula para calcular o valor throughput_per_dollar. Por exemplo, a H100 com 1x GPU entregou 23.243 tokens/s a um custo de $2,69/h, resultando em uma pontuação de 8.642 tokens/s por dólar.

Essa pontuação de eficiência oferece uma ferramenta de tomada de decisão, mudando a conversa de “qual é o mais rápido?” para “qual é o investimento mais inteligente para nossa carga de trabalho?”

O que é escalabilidade multi-GPU?

A escalabilidade multi-GPU se refere à capacidade de um sistema de aumentar seu desempenho distribuindo uma única tarefa grande entre várias GPUs. Para inferência de LLM, isso pode ser alcançado por meio de paralelismo de dados, em que cópias independentes do modelo são executadas em cada GPU, com um balanceador de carga distribuindo as solicitações recebidas entre todas as instâncias.

Idealmente, usar duas GPUs proporcionaria o dobro do desempenho de uma única GPU (aceleração de 2x). No entanto, na realidade, os ganhos de desempenho são limitados por CPU e gargalos do sistema, pelo tempo que o sistema host passa gerenciando vários processos concorrentes, pelas restrições de largura de banda de memória e pela contenção de recursos. Nosso benchmark mede a eficiência com que cada plataforma gerencia essas restrições em nível de sistema, um fator crítico para construir servidores de inferência de IA de alto desempenho e custo-efetivos para modelos de pequeno a médio porte.

Quais são os desafios nos testes de escalabilidade multi-GPU?

Avaliar sistemas multi-GPU apresenta desafios únicos que podem afetar significativamente o desempenho.

Sobrecarga de comunicação e gargalos de interconexão

Quando um modelo é dividido entre várias GPUs, a interconexão, como o NVLink da NVIDIA ou a Infinity Fabric da AMD, torna-se um gargalo crítico de desempenho. A eficiência da comunicação inter-GPU afeta diretamente a escalabilidade. Se o tempo gasto esperando dados de outra GPU exceder o tempo economizado ao paralelizar a computação, os ganhos de desempenho diminuirão. Esse efeito é particularmente acentuado em modelos que não são grandes o suficiente para saturar totalmente a capacidade computacional de cada GPU.

Maturidade do ecossistema de software

O desempenho não é apenas uma função do hardware. A pilha de software, incluindo drivers, bibliotecas de comunicação (como NCCL para NVIDIA e RCCL para AMD) e o motor de inferência (vLLM), desempenha um papel monumental. Descobrimos que o desempenho de uma plataforma está profundamente ligado à maturidade de seu suporte de software. Um ecossistema estabelecido como o CUDA da NVIDIA geralmente se beneficia de anos de ajuste fino e otimização, o que pode levar a uma eficiência de escalabilidade superior em comparação com integrações mais recentes como o ROCm da AMD, mesmo em hardware potente.

Otimizações específicas de plataforma

Como nossos testes revelaram, alcançar o desempenho ideal geralmente requer configurações específicas da plataforma. Usar uma abordagem genérica de “tamanho único” pode levar a um desempenho enganosamente baixo. A imagem Docker correta, as variáveis de ambiente (por exemplo, habilitar kernels personalizados da AMD) e até mesmo os tipos de dados do modelo (por exemplo, bfloat16 para Blackwell) são essenciais para liberar o verdadeiro potencial do hardware. Isso torna comparações justas “apple-to-apple” um desafio técnico significativo.

Metodologia de benchmark multi-GPU

Testamos as arquiteturas de GPU de alto desempenho mais recentes da NVIDIA e da AMD para avaliar suas capacidades de escalabilidade. Nosso benchmark mediu o desempenho das configurações de GPU única e múltiplas (1x, 2x, 4x, 8x) usando o modelo padrão meta-llama/Llama-3.1-8B-Instruct¹ e o motor de inferência vLLM².

Ambiente e processo de teste

• Plataforma: Todos os benchmarks foram executados na RunPod Cloud para garantir acesso consistente ao hardware.
• Motor de inferência: O vLLM (ferramenta vllm bench throughput) foi usado como o motor padronizado.
• Modelo: meta-llama/Llama-3.1-8B-Instruct.
• Dataset: O dataset ShareGPT Vicuna (25.000 prompts) para simular uma carga de trabalho conversacional.
• Estratégia: Paralelismo de dados; cada teste multi-GPU executou uma instância vLLM independente em cada GPU. A carga total de prompts foi distribuída uniformemente entre as instâncias, que foram executadas simultaneamente para simular um ambiente de produção com balanceamento de carga. Essa abordagem elimina a comunicação inter-GPU (NVLink/PCIe) como gargalo, transferindo os limitadores de desempenho para o sistema host (CPU, RAM).
• Automação: Scripts Bash personalizados foram usados para automatizar a configuração do ambiente, a execução dos testes, o monitoramento de recursos (nvidia-smi, rocm-smi) e a agregação de resultados.

Configurações específicas da plataforma

Alcançar o desempenho ideal exigiu configurações personalizadas para cada arquitetura.

Plataformas NVIDIA (H100, H200, B200)

• Imagem base: runpod/pytorch:2.8.0-py3.11-cuda12.8.1.
• Instalação do vLLM:
  • H100/H200 (Hopper): Instalação padrão via pip install vllm.
  • B200 (Blackwell): O vLLM foi compilado a partir do código-fonte (pip install -e .) para habilitar o suporte nativo à nova arquitetura, resolvendo erros de “no kernel image”.
• Parâmetros principais:

• Variável de ambiente crítica:

Plataforma AMD (MI300X)

• Imagem base: rocm/vllm:rocm6.4.1_vllm_0.10.1_20250909
• Instalação do vLLM: Nenhuma instalação foi necessária, pois a versão otimizada já estava incluída na imagem.
• Parâmetros principais e otimizações: Ajustes extensivos identificaram as seguintes configurações não padrão como críticas para alcançar o throughput máximo:

• Variáveis de ambiente específicas da AMD:

• Visibilidade de dispositivos: ROCR_VISIBLE_DEVICES foi usado em vez do equivalente da CUDA para atribuir instâncias a GPUs específicas.

Fases de execução do benchmark

Cada execução do benchmark seguiu um protocolo de execução em três fases para garantir resultados precisos e reproduzíveis:

Fase 1: Aquecimento

Antes de cada teste de configuração multi-GPU, realizamos uma fase de aquecimento dedicada para eliminar os efeitos de cold-start:

• Duração: 100 prompts processados na GPU 0
• Objetivo: Carregamento do modelo, inicialização do cache KV e compilação dos kernels CUDA/ROCm
• Saída: Descartada (não incluída nas medições)
• Comportamento específico da plataforma:
  • NVIDIA (CUDA): Compilação de kernel e otimização de grafo CUDA (~30-60 segundos)
  • AMD (ROCm): Compilação de kernel e ajuste opcional do TunableOp (varia conforme a configuração PYTORCH_TUNABLEOP_ENABLED)

Fase 2: Inicialização do monitoramento de GPU

Em paralelo à execução do benchmark, lançamos processos de monitoramento dedicados para cada GPU:

• Taxa de amostragem: intervalos de 1 segundo
• Métricas coletadas: utilização de GPU, uso de memória, temperatura, consumo de energia
• Ferramentas: nvidia-smi (NVIDIA) ou rocm-smi (AMD)
• Saída: logs CSV para pós-análise

Fase 3: Execução paralela do benchmark

Após a conclusão do aquecimento, todas as instâncias de GPU foram iniciadas simultaneamente:

• Cada GPU processou uma parcela igual do 25.000 total de prompts
• Todas as instâncias foram iniciadas no mesmo segundo para simular o balanceamento de carga de produção
• Throughput total é medido como a soma das saídas de todas as GPUs
• Tempo de execução medido do início da primeira instância até a conclusão da última instância

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Impacto do desempenho no mundo real a partir dos testes

Nossos testes revelaram que pequenos erros de configuração podem levar a resultados de desempenho significativos e enganosos. A tabela a seguir ilustra o impacto de configurações incorretas específicas da plataforma:

Leitura adicional

Explore outras pesquisas sobre hardware de IA, como:

• Top 30 provedores de GPU em nuvem e suas GPUs
• Benchmark de concorrência de GPU
• Top 25+ fabricantes de chips de IA: NVIDIA e seus concorrentes

Cite este benchmark

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{dogan2026,
  author = {Dogan, Sedat and Sarı, Ekrem},
  title  = {{Benchmark Multi-GPU: B200 vs H200 vs H100 vs MI300X}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/multi-gpu}},
  note   = {AIMultiple. Acessado em 30 junho 2026}
}

Registro de alterações

2 atualizações

2025

1. 8 out

   Atualizado o conjunto de dados na seção de resultados do benchmark multi-GPU.

2. 6 out

   Removida a métrica 'Requisições por segundo' da seção 'Throughput total vs. contagem de GPU'.

Links de referência

1.

meta-llama/Llama-3.1-8B-Instruct · Hugging Face

2.

vLLM easy, fast, and cheap LLM serving for everyone

Sedat Dogan

CTO

Siga-nos

Sedat é um líder em tecnologia e segurança da informação com 20 anos de experiência em desenvolvimento de software, infraestrutura de rede e cibersegurança. Sedat:
- Tem 20 anos de experiência como hacker de chapéu branco e guru de desenvolvimento, com ampla experiência em linguagens de programação e arquiteturas de servidores.
- É conselheiro de administração em uma VC que investe em empresas de tecnologia em estágio inicial e na Ödeal, uma plataforma regional de pagamentos digitais que atende 125.000 comerciantes.
- Liderou a infraestrutura tecnológica e a cibersegurança de sete eleições nacionais e foi reconhecido no Hall da Fama da cibersegurança por líderes globais de tecnologia, incluindo o Twitter.

Ver perfil completo

Pesquisado por

Ekrem Sarı

Pesquisador de IA

Siga-nos

Ekrem é Pesquisador de IA e Cientista de Dados na AIMultiple. Ele projeta e executa benchmarks práticos para sistemas de IA e LLM.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário