La efectividad de los modelos de lenguaje grandes (LLM) no solo está determinada por su precisión y capacidades, sino también por la velocidad con la que interactúan con los usuarios.
Realizamos una prueba de referencia del rendimiento de los principales modelos de lenguaje en diversos casos de uso, midiendo sus tiempos de respuesta a la entrada del usuario. Nos centramos en dos métricas clave: Latencia del Primer Token, el tiempo que tarda el modelo en comenzar a generar el primer token de una respuesta, y Latencia por Token, el tiempo necesario para generar cada token a lo largo de la respuesta.
LLM prueba de referencia de latencia
Puede encontrar detalles sobre cómo medimos la latencia aquí.
Resultados de la prueba de referencia de latencia de tiempo hasta el primer token
El tiempo hasta el primer token (TTFT) mide el tiempo que tarda un modelo en generar su primer token después de recibir un prompt, reflejando la rapidez con la que comienza a responder.
Cuando los resultados se generalizan en todos los casos de uso evaluados, Mistral Large 2512 y GPT-5.2 logran consistentemente latencias de primer token inferiores a un segundo, lo que indica un comportamiento de respuesta inicial muy rápido.
Claude 4.5 Sonnet muestra una latencia de primer token notablemente más alta pero aún estable, colocándolo en un nivel intermedio. En contraste, Grok 4.1 Fast Reasoning y DeepSeek V3.2 exhiben demoras significativamente más largas antes de producir el primer token, con este patrón manteniéndose consistente en todas las tareas.
Resultados de la prueba de referencia de latencia por token
La latencia por token mide el tiempo promedio necesario para generar cada token subsiguiente después del primero, reflejando la velocidad de generación sostenida del modelo.
Mistral Large 2512 y GPT-5.2 logran consistentemente latencias de primer token inferiores a un segundo, lo que indica un comportamiento de respuesta inicial muy rápido.
Claude 4.5 Sonnet muestra una latencia de primer token notablemente más alta pero aún estable, colocándolo en un nivel intermedio. En contraste, Grok 4.1 Fast Reasoning y DeepSeek V3.2 exhiben demoras significativamente más largas antes de producir el primer token, con este patrón manteniéndose consistente en todas las tareas.
Comparación de velocidad de LLM por caso de uso
Observamos que las variaciones de latencia dependen del tipo de tarea, lo que indica que estos modelos exhiben diferentes perfiles de rendimiento en los casos de uso.
P&R
En escenarios de P&R, como soporte al cliente, asistentes virtuales y herramientas de conocimiento empresarial, la velocidad y los tiempos de respuesta impactan directamente en la experiencia del usuario.
- Mistral Large 2512 ofrece la respuesta inicial más rápida, con una latencia de primer token de 0.30 segundos, lo que lo hace ideal para sistemas de soporte en vivo que requieren respuestas inmediatas. Su latencia por token de 0.025 segundos ofrece una excelente eficiencia para generar respuestas de cualquier longitud.
- GPT-5.2 sigue de cerca con una latencia de primer token de 0.60 segundos y una latencia por token de 0.020 segundos. Aunque es ligeramente más lento para comenzar, su menor latencia por token lo hace altamente eficiente para respuestas más largas y detalladas.
- Claude 4.5 Sonnet, con una latencia de primer token de 2 segundos y una latencia por token de 0.030 segundos, muestra una responsividad inicial moderada. La demora antes del primer token puede afectar las interacciones en tiempo real, aunque su velocidad de generación constante mantiene un rendimiento general razonable.
- Grok 4.1 Fast Reasoning tiene una latencia de primer token de 3 segundos y una excelente latencia por token de 0.010 segundos. A pesar del inicio más lento, una vez que comienza la generación, produce tokens extremadamente rápido, lo que lo hace adecuado para aplicaciones donde el tiempo total de generación importa más que la respuesta inmediata.
- DeepSeek V3.2, con una latencia de primer token de 7 segundos y una latencia por token de 0.032 segundos, es el modelo más lento en general. La espera significativa antes del primer token lo hace menos adecuado para sistemas de P&R críticos en cuanto a velocidad.
Generación de resúmenes
El caso de uso de generación de resúmenes juega un papel crítico en aplicaciones donde los usuarios necesitan comprender rápidamente textos largos. Por ejemplo, en escenarios donde los equipos de servicio al cliente necesitan resumir una grabación de llamada en segundos y tomar medidas, la latencia del primer token impacta directamente en la experiencia del usuario.
- Mistral Large 2512 lidera con una latencia de primer token de 0.45 segundos y una latencia por token de 0.025 segundos, lo que lo convierte en una opción efectiva para escenarios que requieren una rápida síntesis de documentos.
- GPT-5.2 sigue con una latencia de primer token de 0.60 segundos y la latencia por token más rápida a 0.020 segundos, lo que le permite mantener la velocidad incluso con contenido más largo.
- Claude 4.5 Sonnet tiene una respuesta inicial más lenta, con una latencia de primer token de 2 segundos. Sin embargo, su latencia por token de 0.030 segundos aún proporciona un rendimiento general decente para tareas de resumen.
- Grok 4.1 Fast Reasoning muestra una latencia de primer token de 4 segundos pero compensa con una excelente latencia por token de 0.010 segundos, lo que lo hace eficiente una vez que comienza la generación.
- DeepSeek V3.2 se destaca como el modelo más lento, con una latencia de primer token de 7.5 segundos y una latencia por token de 0.025 segundos.
Traducción de idiomas
Según nuestra prueba de referencia, las tareas de traducción revelan compensaciones de rendimiento interesantes entre el tiempo de respuesta inicial y la velocidad de generación sostenida.
- Mistral Large 2512 ofrece la respuesta inicial más rápida, con una latencia de primer token de 0.40 segundos y una latencia por token de 0.020 segundos, lo que lo hace ideal para escenarios de traducción en tiempo real.
- GPT-5.2 comienza a los 0.55 segundos con la latencia por token más baja a 0.010 segundos, proporcionando una eficiencia excepcional para traducciones más largas una vez que comienza la generación.
- Claude 4.5 Sonnet, con una latencia de primer token de 2 segundos y una latencia por token de 0.015 segundos, equilibra una responsividad inicial moderada con una fuerte velocidad de generación sostenida.
- Grok 4.1 Fast Reasoning tiene una latencia de primer token de 6 segundos. Sin embargo, mantiene una excelente latencia por token de 0.005 segundos, la más rápida en esta categoría, lo que lo hace altamente eficiente para tareas de traducción por lotes.
- DeepSeek V3.2 exhibe la latencia de primer token más alta a 7.5 segundos, con una latencia por token de 0.025 segundos, limitando su aplicabilidad en flujos de trabajo de traducción sensibles al tiempo.
Análisis de Negocios
Según los resultados que observamos en el caso de uso de Análisis de Negocios, los modelos exhiben perfiles de rendimiento variados adecuados para diferentes escenarios analíticos.
- Mistral Large 2512 ofrece una fuerte respuesta inicial, con una latencia de primer token de 0.40 segundos, aunque su latencia por token de 0.040 segundos es más alta que en otros casos de uso. Sigue siendo adecuado para tareas rutinarias de análisis de negocios.
- GPT-5.2 comienza a los 0.50 segundos con una latencia por token de 0.020 segundos, lo que lo hace adecuado para tareas de análisis de negocios que requieren tanto inicios rápidos como salidas más largas eficientes, como informes diarios o paneles.
- Claude 4.5 Sonnet responde con una latencia de primer token de 2 segundos y una latencia por token de 0.035 segundos. Aunque la demora inicial puede causar retrasos en flujos de trabajo en tiempo real, proporciona una velocidad de salida constante para revisiones de datos por lotes o informes programados.
- Grok 4.1 Fast Reasoning muestra una latencia de primer token de 4 segundos pero mantiene una excelente eficiencia por token a 0.010 segundos, lo que lo hace efectivo para informes analíticos integrales donde el tiempo total de finalización importa más que la respuesta inmediata.
- DeepSeek V3.2 fue el modelo más lento con una latencia de primer token de 8 segundos y una latencia por token de 0.030 segundos, lo que lo hace menos adecuado para escenarios de análisis de negocios sensibles al tiempo.
Codificación
Las tareas de codificación revelan características de rendimiento distintas, con modelos optimizados para diferentes aspectos de la generación de código.
- Mistral Large 2512 tuvo la latencia de primer token más baja a 0.30 segundos, con una latencia por token de 0.025 segundos, lo que lo convierte en el modelo más rápido para comenzar a generar código y mantener un rendimiento sólido en todo momento.
- GPT-5.2 siguió con una latencia de primer token de 0.50 segundos y la mejor latencia por token a 0.015 segundos. Esta combinación permite a GPT-5.2 ponerse al día rápidamente después de un inicio ligeramente más lento, lo que lo hace altamente eficiente para manejar tareas de codificación más largas o complejas donde importa la velocidad sostenida de generación de tokens.
- Claude 4.5 Sonnet, con una latencia de primer token de 2 segundos y una latencia por token de 0.028 segundos, demostró una responsividad moderada. Aunque no es el más rápido para comenzar, mantiene una velocidad de generación razonable para flujos de trabajo de codificación típicos.
- Grok 4.1 Fast Reasoning tuvo una latencia de primer token de 11 segundos, pero la latencia por token más rápida fue de 0.005 segundos. A pesar de la demora inicial significativa, una vez que comienza la generación, produce código extremadamente rápido, potencialmente haciéndolo adecuado para tareas de generación de código por lotes.
- DeepSeek V3.2 tuvo la latencia de primer token más alta a 19 segundos, con una latencia por token de 0.030 segundos, lo que lo convierte en el más lento del grupo para tareas de codificación y limita su aplicabilidad en entornos de desarrollo interactivos donde la retroalimentación inmediata es esencial.
LLM razonamiento y su efecto en la velocidad
Los modelos de razonamiento tardan más en comenzar porque se involucran en el procesamiento de cadena de pensamiento; "piensan" en el problema paso a paso internamente antes de producir una respuesta. Este razonamiento interno adicional causa la demora inicial.
La razón de este inicio más lento es que estos modelos no solo generan texto; realizan un análisis más profundo y una inferencia lógica primero, lo que requiere tiempo de computación adicional. Este "pensamiento" interno conduce a salidas más precisas y reflexivas.
Por ejemplo, en nuestra prueba de referencia, Grok 4.1 Fast Reasoning mostró un Tiempo hasta el Primer Token más alto en comparación con modelos generativos más simples porque pasa más tiempo razonando internamente. A pesar del inicio más lento, la calidad y precisión de sus respuestas fueron significativamente mejores.
¿Qué es la latencia de LLM y por qué es importante?
La latencia de LLM se refiere al tiempo que tarda un LLM en generar una respuesta después de recibir la entrada del usuario. En la práctica, la latencia no es un solo número, sino una colección de medidas de latencia que describen qué tan rápido reacciona un sistema y completa la generación de salida.
Una de las distinciones más importantes es la latencia de extremo a extremo (latencia E2E). La latencia E2E mide el tiempo total desde que el servidor recibe una solicitud hasta que completa el envío de la respuesta, incluido el token final. Este valor refleja el tiempo total de espera experimentado por el usuario y está estrechamente relacionado con lo que los usuarios perciben como capacidad de respuesta.
La latencia se divide comúnmente en métricas clave como:
- Tiempo hasta el primer token (TTFT) o latencia del primer token, que captura cuánto tiempo tarda antes de que el modelo comience a generar salida
- Latencia inter-token (ITL), que mide el retraso entre los tokens generados durante la respuesta
- Tiempo total de generación, que abarca desde el envío del prompt hasta la finalización de la respuesta
La baja latencia es crítica en aplicaciones interactivas como chatbots, asistentes de codificación y herramientas de soporte al cliente. La alta latencia puede interrumpir el flujo natural de la interacción, reducir el compromiso y afectar negativamente la satisfacción del usuario. Con el tiempo, una latencia consistentemente alta también puede limitar la adopción de soluciones impulsadas por IA, especialmente en casos de uso en tiempo real o orientados al cliente.
¿Por qué importa si la latencia de LLM es alta o baja para la experiencia del usuario?
El impacto de la latencia en la experiencia del usuario va más allá de la incomodidad. Los usuarios perciben los tiempos de respuesta de manera diferente dependiendo del contexto, la complejidad de la solicitud y las expectativas establecidas por la aplicación. Un retraso corto puede ser aceptable para tareas de razonamiento complejas, mientras que incluso pequeños retrasos pueden sentirse disruptivos en las interfaces conversacionales.
- Las respuestas retrasadas pueden romper el flujo conversacional en sistemas de IA interactivos.
- Los tiempos de respuesta consistentes a menudo conducen a una mayor satisfacción del usuario que los altamente variables.
- Una velocidad de respuesta ligeramente más lenta pero más predecible a menudo se prefiere sobre respuestas rápidas ocasionales mezcladas con largos retrasos.
Este aspecto psicológico de la espera explica por qué la capacidad de respuesta percibida importa tanto como los tiempos de respuesta brutos. En muchos casos, mantener un rendimiento consistente es más importante que lograr la latencia más baja posible para una sola solicitud.
Factores que afectan la latencia de LLM
La latencia de LLM varía según varios factores técnicos y operativos. Comprender estos factores clave ayuda a los equipos a identificar cuellos de botella de rendimiento y aplicar estrategias de optimización de latencia dirigidas.
Tamaño y configuración del modelo
El tamaño del modelo afecta directamente la velocidad de procesamiento. Los modelos más grandes generalmente requieren más recursos de computación y más tiempo para procesar los mismos tokens de entrada. Aunque los modelos más grandes pueden ofrecer una mejor calidad de salida, a menudo aumentan la latencia del primer token y la latencia general de tokens.
Las consideraciones importantes incluyen:
- Tamaño del modelo y arquitectura interna
- Configuraciones del modelo, como la longitud de la ventana de contexto
- Compensaciones entre la calidad de la respuesta y la baja latencia
Seleccionar un modelo que se alinee con los requisitos de rendimiento de la aplicación es una parte central de la optimización del modelo.
Hardware y arquitectura del sistema
El hardware juega un papel crítico en la determinación de los tiempos de respuesta. Potentes GPU o aceleradores de IA pueden reducir significativamente el tiempo de computación, reduciendo la latencia tanto en TTFT como en latencia inter-token. Los contribuyentes clave incluyen:
- Utilización y disponibilidad de GPU
- Ancho de banda de memoria y eficiencia de transferencia de datos
- Arquitectura general del sistema y recursos de computación
El rendimiento del sistema, típicamente medido en tokens por segundo (TPS), indica cuánto output puede generar un sistema bajo carga concurrente. Las métricas de alto rendimiento son esenciales para manejar múltiples solicitudes sin degradar los tiempos de respuesta.
Concurrencia, agrupación y carga del sistema
La latencia se comporta de manera diferente en escenarios de solicitud única y solicitud concurrente. Si bien la agrupación puede mejorar el rendimiento, también puede introducir retrasos en la cola que aumentan el tiempo de respuesta inicial.
Los factores que influyen en la latencia aquí incluyen:
- Número de solicitudes concurrentes
- Políticas de agrupación y programación
- Carga actual del sistema y patrones de uso
Los sistemas optimizados solo para el rendimiento pueden experimentar alta latencia durante los picos de uso, incluso si el rendimiento promedio parece aceptable.
Efectos de red y despliegue
La latencia de red puede agregar retrasos significativos, especialmente en sistemas distribuidos o basados en la nube. La comunicación entre servicios, regiones y usuarios contribuye a la latencia total de extremo a extremo.
Los inicios en frío son otro factor crítico. Cuando los modelos se escalan a cero durante períodos de inactividad, la primera solicitud debe esperar a que el modelo se cargue, lo que puede aumentar significativamente la latencia. Los efectos de inicio en frío pueden distorsionar las mediciones precisas de latencia si no se tienen en cuenta por separado del rendimiento en estado estable.
Estrategias para reducir la latencia de LLM
Reducir la latencia requiere cambios coordinados en modelos, infraestructura y diseño de aplicaciones. La optimización efectiva de la latencia se centra tanto en la capacidad de respuesta real como en la percibida.
Enfoques de optimización de modelos
Las técnicas de optimización de modelos buscan mejorar la velocidad de procesamiento manteniendo una calidad de respuesta aceptable. Los métodos comunes incluyen:
- Cuantización y poda para reducir el tamaño del modelo
- Ajuste fino de modelos más pequeños para tareas específicas
- Ajuste de configuraciones del modelo para priorizar la baja latencia
Optimizar los procesos del modelo puede reducir significativamente la latencia y reducir los costos operativos.
Diseño de prompt y eficiencia de tokens
La ingeniería de prompts afecta directamente la latencia. Los prompts más largos aumentan el número de tokens de entrada que el modelo debe procesar, ralentizando tanto TTFT como la generación de salida.
Las mejores prácticas incluyen:
- Usar solo contexto relevante
- Reducir la complejidad del prompt y las instrucciones innecesarias
- Limitar los tokens generados cuando no se requiere una respuesta completa
Transmisión, almacenamiento en caché y manejo de respuestas
Las técnicas de transmisión de respuestas permiten que el modelo comience a generar salida tan pronto como el primer token esté listo, en lugar de esperar al token final. Esto mejora la capacidad de respuesta percibida incluso cuando el tiempo total de generación permanece sin cambios.
Las técnicas adicionales incluyen:
- Almacenamiento en caché de respuestas para consultas de entrada repetidas o iguales
- Almacenamiento en caché semántico para prompts similares con intención superpuesta
- Optimización de infraestructura y rendimiento
El ajuste de la infraestructura es esencial para mantener el rendimiento a escala. Esto incluye:
- Equilibrar métricas de rendimiento y medidas de latencia
- Asegurar recursos de computación suficientes para la demanda máxima
- Reducir los retrasos en la cola durante las solicitudes concurrentes
Medición y monitoreo de la latencia de llm en producción
Las mediciones precisas de latencia son esenciales para diagnosticar problemas y validar mejoras. Diferentes métodos de prueba sirven para diferentes propósitos:
- Pruebas síncronas procesan una solicitud a la vez, proporcionando datos de latencia limpios y aislados.
- Pruebas asíncronas simulan escenarios del mundo real con múltiples solicitudes simultáneas, aunque pueden complicar el aislamiento de latencias individuales.
El monitoreo de métricas clave de rendimiento ayuda a los equipos a identificar cuellos de botella de rendimiento, rastrear tendencias de rendimiento y mantener el rendimiento con el tiempo. El monitoreo continuo es crítico a medida que evolucionan los patrones de uso.
Las herramientas comunes utilizadas en producción incluyen:
- NVIDIA GenAI-Perf y LLMPerf para capturar métricas de latencia
- Prometheus y Grafana para monitorear y visualizar distribuciones de latencia
Estas herramientas apoyan la optimización continua y ayudan a garantizar un rendimiento consistente bajo cargas de trabajo cambiantes.
Por qué la consistencia importa más que la velocidad sola
Aunque la baja latencia es esencial, la consistencia a menudo importa más para la satisfacción del usuario. Los sistemas con tiempos de respuesta altamente variables tienden a sentirse poco confiables, incluso si algunas respuestas son rápidas. En contraste, los tiempos de respuesta consistentes crean interacciones predecibles y mejoran la capacidad de respuesta percibida.
En aplicaciones de IA interactivas, la velocidad de respuesta moldea la confianza, la usabilidad y la adopción a largo plazo. Optimizar la latencia de LLM por lo tanto no se trata solo de minimizar milisegundos, sino de ofrecer un rendimiento estable y predecible que se alinee con las expectativas del usuario.
Al combinar mediciones precisas, un diseño de sistema reflexivo y monitoreo continuo, los equipos pueden reducir significativamente la latencia mientras mantienen el rendimiento, la calidad de la respuesta y la eficiencia de costos.
LLM metodología de prueba de referencia de latencia
Configuración de la prueba de referencia
Medimos el rendimiento de latencia de múltiples LLM en cinco casos de uso. La prueba de referencia se ejecutó en un servidor remoto para garantizar condiciones de red consistentes. Todos los modelos se probaron utilizando sus respectivas API oficiales. Configuramos la temperatura en 0.1.
Recopilación de datos
Se realizó una sola ejecución con 500 preguntas en total (100 preguntas por caso de uso). Cada pregunta se envió al endpoint de API de transmisión del modelo, y se capturaron mediciones de tiempo en tres puntos críticos:
- Solicitud enviada: Marca de tiempo cuando se inició la solicitud de API
- Primer token recibido: Marca de tiempo cuando llegó el primer token de respuesta
- Token final recibido: Marca de tiempo cuando se completó la respuesta de transmisión
Métricas
Tiempo hasta el Primer Token (TTFT)
Mide la latencia de respuesta inicial: cuánto tiempo tarda el modelo en comenzar a generar una respuesta.
Latencia por Token (PTL)
Mide el tiempo promedio (en milisegundos) necesario para generar cada token después de la respuesta inicial.
P&R
Probamos los modelos con un conjunto de 10 preguntas que cubren una variedad de temas factuales y conceptuales comunes en dominios técnicos, empresariales y de conocimiento general. Estas entradas promediaron alrededor de 13 tokens por prompt, lo que las hace relativamente cortas.
Este caso de uso evalúa la capacidad de los modelos para generar respuestas claras, precisas e informativas adecuadas para contextos educativos, de documentación y de soporte al cliente. Las respuestas requeridas típicamente involucran explicaciones de longitud moderada que equilibran el detalle con la claridad.
Codificación
Evaluamos los modelos con un conjunto de 10 tareas de programación distintas, que van desde funciones simples hasta desarrollo de API más avanzado. Estas tareas involucraron la generación de fragmentos de código Python, como scripts básicos, aplicaciones web usando Flask o FastAPI, y scripts de procesamiento de datos.
Este caso de uso evalúa la capacidad de los modelos para producir código estructurado, funcional y coherente, lo que a menudo requiere salidas más largas y complejas que la generación de texto típica. Los prompts de entrada promediaron alrededor de 20 tokens cada uno, reflejando solicitudes de programación concisas pero descriptivas.
Traducción de idiomas
Probamos los modelos utilizando un conjunto de 10 prompts de traducción diversos que cubren múltiples idiomas (español, chino, ruso) y tipos de texto, incluidos pasajes académicos largos, oraciones cotidianas cortas, resúmenes científicos, correos electrónicos comerciales y extractos literarios. Estas entradas variaron significativamente en longitud y complejidad, desde oraciones cortas de alrededor de 10 tokens hasta textos detallados de varios párrafos que superan varios cientos de tokens.
Este caso de uso evalúa la capacidad de los modelos para comprender con precisión y reproducir fielmente el significado en diferentes idiomas y dominios, preservando matices, estilo y contenido técnico. Al usar tipos y longitudes de texto variados, probamos tanto la calidad general de la traducción como el manejo de los modelos de lenguaje especializado o formal.
Análisis de negocios
Evaluamos los modelos utilizando 10 prompts distintos de análisis de negocios, cada uno simulando escenarios de toma de decisiones del mundo real en dominios como rendimiento de ventas, retención de clientes, cuellos de botella en la cadena de suministro, ROI de marketing, productividad de los empleados y estrategia competitiva. Los prompts incluían datos tabulares estructurados y preguntas analíticas abiertas, requiriendo que los modelos interpretaran múltiples métricas de negocios y generaran ideas concisas y accionables. Las entradas variaron en complejidad, con una longitud de entrada promedio de aproximadamente 105 tokens.
Este caso de uso prueba la capacidad de un modelo para sintetizar datos cuantitativos, aplicar razonamiento lógico y comunicar recomendaciones claramente en un contexto empresarial.
Generación de resúmenes
Encargamos a los modelos la producción de resúmenes de estilo académico (~500 tokens) de artículos técnicos sobre diversos temas, incluida la IA en la atención médica, el cambio climático, la energía renovable, la cadena de bloques, el trabajo remoto, los vehículos eléctricos, la ciberseguridad, las redes sociales, la urbanización y la computación cuántica. Cada resumen se estructuró en argumentos principales, ideas de apoyo y conclusiones, con términos clave resaltados y explicados brevemente.
Este caso de uso prueba la capacidad de un modelo para comprender artículos técnicos detallados y generar resúmenes claros, estructurados y de estilo académico con explicaciones de términos clave.
Cita este benchmark
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Şipi, Nazlı},
title = {{LLM Prueba de Referencia de Latencia por Casos de Uso}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/llm-latency-benchmark}},
note = {AIMultiple. Recuperado el 10 de Junio de 2026}
}
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.