GPU Prueba de referencia de concurrencia: H100 vs H200 vs B200 vs MI300X
He dedicado los últimos 20 años a centrarme en la optimización del rendimiento computacional a nivel de sistema. Realizamos pruebas de referencia de las últimas NVIDIA GPUs, incluidas las NVIDIA’s H100, H200 y B200, y las AMD’s MI300X, para análisis de escalado de concurrencia. Utilizando el framework vLLM con el modelo gpt-oss-20b, probamos cómo estas GPUs manejan solicitudes concurrentes, desde 1 hasta 512. Al medir el rendimiento de salida del sistema, la velocidad de salida por consulta y la latencia de extremo a extremo, compartimos hallazgos para ayudar a comprender el rendimiento de las GPU para cargas de trabajo de IA.
Resultados de la prueba de referencia de concurrencia
Rendimiento de salida del sistema vs concurrencia
Este gráfico muestra el número total de tokens de salida generados por segundo por el sistema en cada nivel de concurrencia.
Velocidad de salida por consulta vs concurrencia
Esta métrica ilustra la velocidad a la que se procesa una consulta individual (en tokens por segundo) a medida que el sistema se satura. Se calcula en función de la latencia de extremo a extremo para una salida de 1.000 tokens.
Latencia de extremo a extremo vs concurrencia
Este gráfico muestra el tiempo promedio (en milisegundos) que tarda en completarse una solicitud de principio a fin en diferentes niveles de concurrencia.
Tokens por segundo por dólar vs. Concurrencia
Este gráfico evalúa la rentabilidad de cada GPU midiendo cuántos tokens se generan por segundo por cada dólar gastado en alquiler por hora. Esta métrica es crucial para comprender el retorno de la inversión de cada opción de hardware, especialmente para implementaciones con conciencia presupuestaria.
Nota: Los precios se basan en tarifas horarias bajo demanda de la plataforma en la nube Runpod a partir de marzo de 2026. Los precios están sujetos a cambios y pueden variar según la disponibilidad y el tipo de instancia.
Puede leer más sobre nuestra metodología de prueba de referencia de concurrencia.
¿Qué es la concurrencia?
La concurrencia se refiere a la capacidad de una GPU para procesar múltiples solicitudes simultáneamente, un factor clave para cargas de trabajo de IA como la inferencia de modelos de lenguaje grandes. En nuestra evaluación de rendimiento, los niveles de concurrencia representan el número de solicitudes simultáneas (de 1 a 512) enviadas a la GPU durante las ejecuciones de prueba. Una mayor concurrencia pone a prueba la capacidad de la GPU para gestionar tareas paralelas sin degradar el rendimiento, equilibrando el rendimiento y la latencia.
Comprender la concurrencia ayuda a los usuarios a determinar la GPU adecuada para cargas de trabajo con demanda variable o necesidades de procesamiento por lotes. Al ejecutar pruebas gráficas o suites de pruebas de referencia de GPU, el rendimiento de concurrencia puede diferir significativamente entre GPUs, lo que lo hace esencial para que los consumidores y compradores comparen los resultados de las pruebas en diferentes configuraciones de sistema y puntos de precio.
¿Qué es vLLM?
vLLM es una biblioteca de código abierto rápida y fácil de usar para la inferencia y el servicio de modelos de lenguaje grandes (LLM), respaldada por una comunidad de colaboradores. Gestiona tanto implementaciones en la nube como LLM autoalojados gestionando la memoria, procesando solicitudes concurrentes y sirviendo modelos como gpt-oss-20b de manera eficiente. Para LLMs autoalojados, vLLM simplifica la implementación con características como PagedAttention1 para la gestión de memoria, agrupación continua y soporte tanto para NVIDIA como para AMD GPUs, permitiendo múltiples solicitudes concurrentes en hardware local.
Añadir como fuente preferidaMetodología de la prueba de referencia de concurrencia
Probamos las últimas arquitecturas de GPU de alto rendimiento de NVIDIA y AMD para evaluar sus capacidades de escalado de concurrencia para cargas de trabajo de inferencia de IA. Nuestra prueba de referencia probó las NVIDIA H100, H200 y B200 GPUs junto con las MI300X de AMD, ejecutando el OpenAI modelo gpt-oss-20b a través de vLLM bajo condiciones de carga concurrente variable. A través de la medición de métricas de rendimiento, distribuciones de latencia y patrones de utilización de recursos, este análisis tiene como objetivo proporcionar información para implementaciones de inferencia de IA.
Infraestructura de prueba
Desplegamos nuestras pruebas en la infraestructura en la nube de Runpod, utilizando las arquitecturas de NVIDIA más avanzadas de GPU y el framework vLLM.
- GPU plataforma: Infraestructura en la nube de Runpod (H100, H200, B200 y MI300X)
- Modelo: OpenAI GPT-OSS-20B a través del framework vLLM
Entorno de software
NVIDIA GPUs (H100, H200, B200):
- Plantilla de RunPod:
runpod/pytorch:1.0.2-cu1281-torch280-ubuntu2404 - Instalación de vLLM:
vllm[flashinfer]==0.11.0
AMD GPU (MI300X):
- Imagen de Docker:
rocm/vllm-dev:open-mi300-08052025
Configuración del servidor vLLM
Se utilizaron diferentes configuraciones de vLLM para optimizar el rendimiento de cada arquitectura de hardware.
- Para NVIDIA H100, H200 y B200 GPUs, el servidor se lanzó con el siguiente comando:
- Para la AMD MI300X GPU, se utilizó una versión de vLLM optimizada para ROCm con configuraciones específicas para la arquitectura:
Nota: Esta prueba de referencia se realizó utilizando vLLM v0.11.0. vLLM v1.0, lanzado a principios de 2025, introduce cambios arquitectónicos que pueden producir resultados de rendimiento diferentes.
Configuración de la prueba de referencia
Cada GPU se probó en 9 niveles de concurrencia diferentes con parámetros estandarizados para garantizar resultados consistentes.
- Niveles de concurrencia: 1, 4, 8, 16, 32, 64, 128, 256, 512 solicitudes concurrentes
- Duración de la prueba: Fase de medición de 180 segundos con 30s de subida/enfriamiento
- Tamaño de la solicitud: 1.000 tokens de entrada/salida por solicitud
Nota sobre la validación de resultados: Antes de registrar las métricas finales, realizamos numerosas pruebas para determinar la configuración óptima para cada GPU. Una vez identificada, la prueba de referencia se ejecutó tres veces consecutivas para verificar la estabilidad. Los resultados de rendimiento fueron consistentes en estas ejecuciones, con una variación inferior al 0,1%. Las cifras reportadas en este análisis se basan en la última de estas tres ejecuciones consecutivas.
Métricas clave
Seguimos el rendimiento en múltiples dimensiones para proporcionar una visión completa de las capacidades de GPU bajo carga.
- Rendimiento: Tokens de salida del sistema por segundo, solicitudes exitosas por segundo y velocidad de generación de tokens de solicitud individual
- Latencia: Tiempo hasta el primer token (TTFT), latencia de extremo a extremo con percentiles P50/P95/P99, latencia promedio por solicitud
- Fiabilidad: Porcentaje de tasa de éxito, clasificación de errores por tiempo de espera frente a otros
Consideraciones sobre la pila de software
El rendimiento no es únicamente una función del hardware. Frameworks como vLLM tienen un soporte más maduro y altamente optimizado para el ecosistema CUDA de NVIDIA en comparación con ROCm de AMD. Las diferencias de rendimiento observadas en los resultados de MI300X pueden reflejar en parte el estado actual de la optimización del software en lugar del potencial teórico del hardware.
Hoja de ruta de hardware de próxima generación
Las GPUs probadas en esta prueba de referencia, la B200, H200, H100 y MI300X, representan la generación actual de hardware de inferencia de IA. Tanto NVIDIA como AMD han anunciado sus sucesores, lo cual es un contexto relevante para los equipos que planifican inversiones en infraestructura para 2026 y más allá.
Por parte de NVIDIA, Jensen Huang anunció en el CES 2026 que la plataforma Vera Rubin NVL72 ha entrado en producción total, con los primeros sistemas previstos para enviarse en la segunda mitad de 2026.2 Según NVIDIA, la GPU Rubin ofrece aproximadamente 50 PFLOPs de rendimiento de inferencia FP4, aproximadamente cinco veces más que los sistemas basados en Blackwell como el B200 probado aquí.3
Por parte de AMD, el Instinct MI400, basado en la arquitectura CDNA 5, está planificado para 2026 y se espera que duplique aproximadamente el rendimiento de computación de MI350 mientras introduce 432 GB de memoria HBM4.4 AMD también ha anunciado que Meta implementará servidores Instinct personalizados basados en MI450 con una capacidad de hasta 6 gigavatios, con envíos que comenzarán en la segunda mitad de 2026.5 Oracle ofrecerá además un supercluster de IA disponible públicamente impulsado por aproximadamente 50.000 GPUs de la serie MI450 a partir del tercer trimestre de 2026.6
Para los equipos que evalúan las GPUs en esta prueba de referencia para implementaciones a corto plazo, la B200 y la MI300X siguen siendo las opciones de mayor rendimiento disponibles actualmente. Para horizontes de planificación más largos, la hoja de ruta de 2026 sugiere un cambio significativo tanto en el rendimiento como en la rentabilidad de ambos proveedores.
Conclusión
La B200 lidera en rendimiento y escala bien para la inferencia por lotes. La MI300X ofrece los tiempos de respuesta más rápidos con baja concurrencia, lo que la hace más adecuada para aplicaciones en tiempo real como chatbots. La H100 y la H200 se sitúan en medio, cubriendo cargas de trabajo de propósito general sin destacar en ninguna de las dos dimensiones.
El compromiso fundamental se mantiene en todo el hardware: una mayor concurrencia aumenta el rendimiento del sistema pero aumenta la latencia por solicitud. Elija en función de si su carga de trabajo prioriza el volumen o el tiempo de respuesta.
Lectura adicional
Explore otras investigaciones sobre hardware de IA, como:
- Los 20 principales fabricantes de chips de IA: NVIDIA y sus competidores
- GPUs en la nube para aprendizaje profundo: Disponibilidad y precio/rendimiento
- Las 10 mejores nubes GPU sin servidor y 14 GPUs rentables
- Prueba de referencia Multi-GPU
Cita este benchmark
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dogan2026,
author = {Dogan, Sedat and Sarı, Ekrem},
title = {{GPU Prueba de referencia de concurrencia: H100 vs H200 vs B200 vs MI300X}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/gpu-benchmark}},
note = {AIMultiple. Recuperado el 12 de Marzo de 2026}
}Enlaces de referencia
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.