GPU Benchmark de Concorrência: H100 vs H200 vs B200 vs MI300X
Eu passei os últimos 20 anos focando na otimização de desempenho computacional em nível de sistema. Realizamos benchmarks das NVIDIA GPUs mais recentes, incluindo a NVIDIA’s H100, H200 e B200, e a AMD’s MI300X, para análise de escalabilidade de concorrência. Usando o framework vLLM com o gpt-oss-20b model, testamos como essas GPUs lidam com solicitações concorrentes, de 1 a 512. Ao medir a taxa de transferência de saída do sistema, a velocidade de saída por consulta e a latência de ponta a ponta, compartilhamos descobertas para ajudar a entender o desempenho da GPU para cargas de trabalho de IA.
Resultados do benchmark de concorrência
Taxa de transferência de saída do sistema vs. concorrência
Este gráfico mostra o número total de tokens de saída gerados por segundo pelo sistema em cada nível de concorrência.
Velocidade de saída por consulta vs. concorrência
Esta métrica ilustra quão rápido uma consulta individual é processada (em tokens por segundo) à medida que o sistema fica mais ocupado. É calculada com base na latência de ponta a ponta para uma saída de 1.000 tokens.
Latência de ponta a ponta vs. concorrência
Este gráfico exibe o tempo médio (em milissegundos) que leva para concluir uma solicitação do início ao fim em diferentes níveis de concorrência.
Tokens por segundo por dólar vs. Concorrência
Este gráfico avalia a eficiência de custo de cada GPU medindo quantos tokens são gerados por segundo para cada dólar gasto no aluguel horário. Esta métrica é crucial para entender o retorno sobre o investimento para cada opção de hardware, especialmente para implantações com restrição orçamentária.
Nota: Os preços são baseados em taxas horárias sob demanda da plataforma em nuvem Runpod em março de 2026. Os preços estão sujeitos a alterações e podem variar com base na disponibilidade e no tipo de instância.
Você pode ler mais sobre nossa metodologia de benchmark de concorrência.
O que é concorrência?
A concorrência refere-se à capacidade de uma GPU de processar múltiplas solicitações simultaneamente, um fator chave para cargas de trabalho de IA, como inferência de modelos de linguagem grandes. Em nossa avaliação de desempenho, os níveis de concorrência representam o número de solicitações simultâneas (de 1 a 512) enviadas à GPU durante as execuções de teste. Maior concorrência testa a capacidade da GPU de gerenciar tarefas paralelas sem degradar o desempenho, equilibrando taxa de transferência e latência.
Entender a concorrência ajuda os usuários a determinar a GPU certa para cargas de trabalho com demanda variável ou necessidades de processamento em lote. Ao executar testes de gráficos ou suites de benchmark de GPU, o desempenho de concorrência pode diferir significativamente entre GPUs, tornando essencial que consumidores e compradores comparem resultados de teste em diferentes configurações de sistema e faixas de preço.
O que é vLLM?
vLLM é uma biblioteca de código aberto rápida e fácil de usar para inferência e serviço de modelo de linguagem grande (LLM), apoiada por uma comunidade de contribuidores. Ela lida com implantações em nuvem e LLM auto-hospedado gerenciando memória, processando solicitações concorrentes e servindo modelos como gpt-oss-20b eficientemente. Para LLMs auto-hospedados, o vLLM simplifica a implantação com recursos como PagedAttention1 para gerenciamento de memória, batching contínuo e suporte a NVIDIA e AMD GPUs, permitindo múltiplas solicitações concorrentes em hardware local.
Adicionar como fonte preferencialMetodologia de benchmark de concorrência
Testamos as arquiteturas de GPU de alto desempenho mais recentes de ambas as NVIDIA e AMD para avaliar suas capacidades de escalabilidade de concorrência para cargas de trabalho de inferência de IA. Nosso benchmark testou as NVIDIA H100, H200 e B200 GPUs ao lado da MI300X da AMD, executando o OpenAI gpt-oss-20b model via vLLM sob condições de carga concorrente variável. Através da medição de métricas de taxa de transferência, distribuições de latência e padrões de utilização de recursos, esta análise visa fornecer insights para implantações de inferência de IA.
Infraestrutura de teste
Implantamos nossos testes na infraestrutura em nuvem do Runpod, utilizando as arquiteturas de NVIDIA mais avançadas de GPU e o framework vLLM.
- GPU platform: Infraestrutura em nuvem Runpod (H100, H200, B200 e MI300X)
- Model: OpenAI GPT-OSS-20B via framework vLLM
Ambiente de software
NVIDIA GPUs (H100, H200, B200):
- RunPod template:
runpod/pytorch:1.0.2-cu1281-torch280-ubuntu2404 - vLLM installation:
vllm[flashinfer]==0.11.0
AMD GPU (MI300X):
- Docker image:
rocm/vllm-dev:open-mi300-08052025
Configuração do servidor vLLM
Diferentes configurações de vLLM foram usadas para otimizar o desempenho para cada arquitetura de hardware.
- Para NVIDIA H100, H200 e B200 GPUs, o servidor foi iniciado com o seguinte comando:
- Para a AMD MI300X GPU, uma versão vLLM otimizada para ROCm foi usada com configurações específicas para a arquitetura:
Nota: Este benchmark foi conduzido usando vLLM v0.11.0. O vLLM v1.0, lançado no início de 2025, introduz mudanças arquiteturais que podem produzir resultados de taxa de transferência diferentes.
Configuração do benchmark
Cada GPU foi testada em 9 níveis de concorrência diferentes com parâmetros padronizados para garantir resultados consistentes.
- Concurrency levels: 1, 4, 8, 16, 32, 64, 128, 256, 512 solicitações concorrentes
- Test duration: 180 segundos de fase de medição com 30s de rampa de subida/resfriamento
- Request size: 1.000 tokens de entrada/saída por solicitação
Nota sobre validação de resultados: Antes de registrar as métricas finais, realizamos numerosos testes para determinar a configuração ideal para cada GPU. Uma vez identificada, o benchmark foi executado três vezes consecutivas para verificar a estabilidade. Os resultados de taxa de transferência foram consistentes nessas execuções, com uma variância de menos de 0,1%. Os valores relatados nesta análise são baseados na última dessas três execuções consecutivas.
Métricas principais
Rastreamos o desempenho em várias dimensões para fornecer uma visão abrangente das capacidades da GPU sob carga.
- Throughput: Tokens de saída do sistema por segundo, solicitações bem-sucedidas por segundo e velocidade de geração de tokens de solicitação individual
- Latency: Tempo até o Primeiro Token (TTFT), latência de ponta a ponta com percentis P50/P95/P99, latência média por solicitação
- Reliability: Porcentagem de taxa de sucesso, classificação de timeout vs. outros erros
Considerações sobre a pilha de software
O desempenho não é apenas uma função de hardware. Frameworks como vLLM têm suporte mais maduro e altamente otimizado para o NVIDIA’s CUDA ecosystem em comparação com o ROCm da AMD. As diferenças de desempenho observadas nos resultados da MI300X podem refletir parcialmente o estado atual da otimização de software em vez do potencial teórico do hardware.
Roadmap de hardware de próxima geração
As GPUs testadas neste benchmark, a B200, H200, H100 e MI300X, representam a geração atual de hardware de inferência de IA. Tanto a NVIDIA quanto a AMD anunciaram seus sucessores, o que é um contexto relevante para equipes planejando investimentos em infraestrutura para 2026 e além.
Do lado da NVIDIA, Jensen Huang anunciou na CES 2026 que a plataforma Vera Rubin NVL72 entrou em produção total, com os primeiros sistemas esperados para serem enviados na segunda metade de 2026.2 De acordo com a NVIDIA, a GPU Rubin entrega aproximadamente 50 PFLOPs de desempenho de inferência FP4, cerca de cinco vezes o de sistemas baseados em Blackwell como o B200 benchmarkado aqui.3
Do lado da AMD, o Instinct MI400, baseado na arquitetura CDNA 5, está planejado para 2026 e deve dobrar aproximadamente o desempenho de computação do MI350, introduzindo 432 GB de memória HBM4.4 A AMD também anunciou que a Meta implantará servidores Instinct personalizados baseados em MI450 com capacidade de até 6 gigawatts, com entregas começando na segunda metade de 2026.5 A Oracle oferecerá adicionalmente um supercluster de IA publicamente disponível alimentado por aproximadamente 50.000 GPUs da série MI450 a partir do terceiro trimestre de 2026.6
Para equipes avaliando as GPUs neste benchmark para implantações de curto prazo, a B200 e a MI300X permanecem as opções de maior desempenho atualmente disponíveis. Para horizontes de planejamento mais longos, o roteiro de 2026 sugere uma mudança significativa tanto na taxa de transferência quanto na eficiência de custo de ambos os fornecedores.
Conclusão
A B200 lidera em taxa de transferência e escala bem para inferência em lote. A MI300X oferece os tempos de resposta mais rápidos em baixa concorrência, tornando-se uma melhor opção para aplicações em tempo real como chatbots. A H100 e a H200 ficam no meio, cobrindo cargas de trabalho de propósito geral sem se destacar em nenhuma das dimensões.
O trade-off central se mantém em todo o hardware: maior concorrência aumenta a taxa de transferência do sistema, mas aumenta a latência por solicitação. Escolha com base se sua carga de trabalho prioriza volume ou tempo de resposta.
Leitura adicional
Explore outras pesquisas de hardware de IA, como:
- Top 20 Fabricantes de Chips de IA: NVIDIA & Seus Concorrentes
- GPUs em Nuvem para Deep Learning: Disponibilidade & Preço / Desempenho
- Melhores 10 Nuvens GPU Serverless & 14 GPUs Custo-Efetivas
- Benchmark Multi-GPU
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dogan2026,
author = {Dogan, Sedat and Sarı, Ekrem},
title = {{GPU Benchmark de Concorrência: H100 vs H200 vs B200 vs MI300X}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/gpu-benchmark}},
note = {AIMultiple. Acessado em 12 Março 2026}
}Links de referência
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.