Principales 9 Proveedores de IA Comparados

El ecosistema de infraestructura de IA está creciendo rápidamente, con proveedores que ofrecen enfoques diversos para construir, alojar y acelerar modelos. Aunque todos buscan potenciar aplicaciones de IA, cada uno se centra en una capa diferente de la pila.

Realizamos pruebas de referencia de los proveedores más utilizados en OpenRouter: Cerebras, DeepInfra, Fireworks AI, Groq, Nebius y SambaNova, utilizando el modelo GPT-OSS-120B. Evaluamos a cada proveedor utilizando el mismo conjunto de datos de 108 preguntas, que comprende 35 preguntas de conocimiento del mundo real y 73 problemas de razonamiento matemático.

Prueba de referencia de precisión de proveedores de IA

Enviamos 108 preguntas (35 preguntas de conocimiento basadas en artículos + 73 problemas matemáticos) a cada proveedor cada 5 minutos durante todo el día y calculamos promedios diarios de precisión. Junto con estas preguntas, enviamos una pregunta de referencia específica cada vez para medir las métricas de latencia FTL y E2E.

Por razones desconocidas, Fireworks AI no logró producir respuestas finales para la mayoría de las preguntas el 26 de octubre, a pesar de no tener un límite máximo de token. Aunque hubo una breve caída de 1 minuto ese día, el problema pareció afectar las respuestas durante todo el día. Hemos aprendido que algunos proveedores a veces no logran generar respuestas finales por razones que siguen sin estar claras, como se documentó anteriormente. Esta situación parece similar a incidentes pasados.

Probamos GPT-OSS-120B en una instancia RunPod H200 GPU y logró un 98% de precisión en el conjunto de datos que utilizamos en nuestra prueba de referencia. Lea nuestra metodología de prueba de referencia.

Prueba de referencia de latencia de proveedores de IA

En los días en que la latencia aumentó para Fireworks, hubo una caída de 1 minuto, pero durante todo el día, respondió la mayoría de las preguntas en aproximadamente 10 minutos cada una por razones desconocidas.

Comparación de latencia y costo

Identificamos los modelos más utilizados que también son los más ofrecidos comúnmente por los proveedores de IA, y luego recopilamos los precios combinados de los proveedores por 1M de token de entrada/salida y sus métricas de latencia del primer token.

Proveedores de IA: Comparación detallada

Integración de pipeline de datos y ML

Weights & Biases

Weights & Biases (W&B) combina el seguimiento de experimentos, la evaluación de modelos y la observabilidad de aplicaciones con infraestructura de entrenamiento e inferencia gestionada. Originalmente posicionado como un sistema de registro para flujos de trabajo de ML, W&B se ha expandido a una oferta más verticalmente integrada tras su adquisición con CoreWeave.

Capacidades

• Rastrea experimentos, hiperparámetros, métricas, conjuntos de datos y artefactos para apoyar la reproducibilidad y la comparación entre modelos e infraestructura.
• Proporciona un registro de modelos con versionado, promoción, reversión y trazabilidad que vincula modelos con datos y ejecuciones de entrenamiento.
• Ofrece entrenamiento y ajuste fino gestionados, incluido cómputo GPU sin servidor para cargas de trabajo de aprendizaje por refuerzo e IA generativa.
• Soporta inferencia alojada para modelos de código abierto y personalizados.
• Permite la observabilidad a nivel de solicitud para aplicaciones LLM a través de Weave, capturando prompts, respuestas, latencia y puntuaciones de evaluación.
• Soporta evaluación automatizada y con intervención humana y pruebas de referencia entre modelos, prompts y proveedores.
• Se integra con proveedores de IA de terceros, GPUs autoalojadas y APIs externas además de su propia infraestructura.

Limitaciones

W&B proporciona infraestructura de IA nativa limitada a través de sus ofertas basadas en CoreWeave. Se soporta inferencia alojada y entrenamiento GPU sin servidor, pero el entrenamiento de modelos a gran escala o personalizado a menudo requiere infraestructura externa.

Caso de uso: Más adecuado para equipos de IA que requieren visibilidad de extremo a extremo en experimentación, entrenamiento, evaluación e implementación, especialmente al comparar múltiples modelos o proveedores y mantener una observabilidad de nivel de producción sin un bloqueo total del proveedor.

Databricks

Databricks proporciona una plataforma unificada que combina análisis de datos, aprendizaje automático y gestión de modelos.

Capacidades

• Construido sobre infraestructura Spark, permitiendo la integración de extremo a extremo de preparación de datos, entrenamiento de modelos e inferencia.
• Utiliza MLflow para el seguimiento de modelos, incluidos parámetros, métricas e historial de experimentos.
• Unity Catalog asegura la trazabilidad de datos y gobernanza para prácticas de IA responsable.
• Fuerte en procesamiento por lotes y comparación de modelos.

Limitaciones

• No está optimizado para inferencia en tiempo real. El monitoreo y las métricas están diseñados para trabajos por lotes, no para latencia por solicitud.
• Más adecuado para gestionar procesos complejos entre datos y modelos, en lugar de cargas de trabajo de IA críticas para la latencia.

Caso de uso: Efectivo para empresas que necesitan integrar IA en pipelines de ciencia de datos, especialmente para modelado predictivo y aplicaciones empresariales donde se requieren gobernanza y trazabilidad.

Plataformas de alojamiento de modelos

Baseten

Baseten se posiciona como una plataforma de alojamiento de modelos para implementar y ejecutar modelos de IA, centrándose en la fiabilidad de producción y la observabilidad detallada.

Capacidades

• Desglosa la duración de la llamada API en carga del modelo, inferencia y serialización de respuestas, permitiendo a los desarrolladores identificar fuentes de latencia.
• Los inicios en frío se rastrean a nivel de réplica para medir el impacto en el rendimiento.
• Los usuarios configuran parámetros de escalado automático como conteos de réplicas y umbrales de concurrencia. Esto permite flexibilidad pero introduce el riesgo de mala configuración, lo que lleva a costos desperdiciados o mayor latencia.
• Este sistema proporciona seguimiento de costos por solicitud vinculado al tipo y uso de GPU, permitiendo comparaciones de rendimiento y costo al cambiar entre hardware como A100 y H100 GPUs.
• El streaming de registros en tiempo real está disponible, aunque la filtración y búsqueda son limitadas.

Limitaciones

• El monitoreo es detallado a nivel de solicitud, pero la búsqueda y filtrado de registros son básicos, lo que hace más difícil depurar cargas de trabajo grandes.
• Un escalado automático mal configurado puede impactar directamente el costo y la latencia.

Caso de uso: Baseten es ideal para desarrolladores de IA que buscan observabilidad transparente para modelos de IA generativa en entornos de producción.

Parasail

Parasail ofrece una red de inferencia de IA diseñada para una utilización flexible de GPU y optimización de costos.

Capacidades

• El sistema soporta el cambio entre tipos de GPU, con asignación automática de recursos basada en las necesidades de la carga de trabajo.
• El panel destaca métricas de uso agregadas, incluido el tiempo de actividad y la asignación de GPU.
• Ofrece flexibilidad de precios a través de diferentes clases de GPU, permitiendo compensaciones entre costo y rendimiento.

Limitaciones

• No ofrece rastreo a nivel de solicitud. Los desarrolladores no pueden analizar el costo o el rendimiento de solicitudes individuales.
• La observabilidad permanece a nivel agregado, limitando la profundidad de la depuración.

Caso de uso: Parasail está diseñado para organizaciones que priorizan soluciones de IA de bajo costo y flexibles, pero proporciona menos información para equipos que requieren observabilidad detallada.

DeepInfra

DeepInfra ofrece alojamiento sin servidor GPU en múltiples regiones, permitiendo la implementación escalable de modelos de IA como APIs.

Capacidades

• El soporte multi-región permite inferencia más cerca de los usuarios finales, reduciendo la latencia.
• Proporciona métricas de latencia y rendimiento a nivel de panel.
• Ofrece precios de pago por uso con informes de costos agregados.
• Soporta la implementación de modelos de IA generativa de código abierto con APIs simples.

Limitaciones

• No proporciona rastreo a nivel de solicitud, lo que dificulta el análisis de la causa raíz.
• El desglose de costos es solo agregado, sin detalles por solicitud o por región.
• El versionado de modelos y los mecanismos de reversión no están automatizados, requiriendo manejo manual.

Caso de uso: Más adecuado para organizaciones que implementan cargas de trabajo de IA en múltiples regiones, donde la flexibilidad de costos y la cobertura geográfica importan más que la depuración profunda.

Together AI

Together AI opera como una nube de aceleración de IA que ofrece capacidades tanto de alojamiento como de entrenamiento de modelos.

Capacidades

• Proporciona métricas tanto a nivel agregado como de solicitud, incluidos histogramas de latencia y desgloses de llamadas por versión.
• El versionado y la reversión integrados de modelos permiten revertir rápidamente a versiones anteriores.
• La división de tráfico permite pruebas A/B entre versiones de modelos.
• Soporte sólido de SDK con bibliotecas de clientes multi-idioma.
• Las integraciones de CI/CD hacen que los pipelines de implementación sean más maduros que otras plataformas de alojamiento.

Limitaciones

• Esta solución ofrece más madurez operativa, pero conlleva el costo de una mayor complejidad del sistema en comparación con plataformas de alojamiento más ligeras.

Caso de uso: Together AI es adecuado para empresas de IA y firmas de servicios profesionales que necesitan control de versiones confiable, monitoreo avanzado e integración de herramientas de IA generativa en flujos de trabajo estructurados.

Infraestructura especializada optimizada para hardware

Cerebras

Cerebras se centra en infraestructura de IA optimizada para hardware, construida alrededor de su motor a escala de oblea (WSE).

Capacidades

• El WSE integra millones de unidades de procesamiento en un solo chip, proporcionando un rendimiento extremadamente alto para cargas de trabajo de IA.
• Los paneles exponen métricas estándar como tokens por segundo y rendimiento general.
• Adecuado para entrenamiento e inferencia en modelos de IA avanzados a escala.

Limitaciones

• La implementación no es instantánea; requiere preparación de infraestructura.
• Los detalles internos del hardware, como la programación y el uso de memoria, están abstraídos de los usuarios.
• Soporte limitado para traer modelos personalizados arbitrarios.

Caso de uso: Efectivo para tareas de aprendizaje automático de alto rendimiento a gran escala en laboratorios de IA, la industria de defensa o agencias gubernamentales donde el rendimiento importa más que la flexibilidad.

Gruve AI Inference Infrastructure Fabric

Gruve proporciona infraestructura de inferencia de IA distribuida diseñada para un rendimiento predecible, menor latencia y un escalado de capacidad más rápido en entornos de producción. Su posicionamiento es más cercano a la infraestructura fabric que al alojamiento de modelos, con énfasis en el acceso a energía, ubicaciones distribuidas y optimización de pila completa.

Capacidades

• Soporta capacidad de inferencia escalable a través de infraestructura distribuida cerca de ciudades de nivel 1 y nivel 2.
• Utiliza energía varada y subutilizada para reducir y estabilizar los costos de infraestructura de inferencia.
• Implementa inferencia más cerca de usuarios, aplicaciones y datos para reducir la latencia de red.
• Ofrece clusters de infraestructura de alta densidad, incluidos gabinetes refrigerados por líquido y sitios de varios megavatios.
• Proporciona infraestructura nativa de IA diseñada para soportar requisitos cambiantes de modelos, servicio y cargas de trabajo de agentes.
• Combina infraestructura, base de datos y capacidades de agente de IA en una pila de ejecución de IA empresarial más amplia.
• Incluye características de fiabilidad empresarial como operaciones 24/7, seguridad integrada, gobernanza y control operativo.

Limitaciones

Puede ser más adecuado para organizaciones que necesitan infraestructura de inferencia dedicada que para equipos que buscan una plataforma de alojamiento de modelos basada en API ligera.

Caso de uso: Más adecuado para empresas y empresas de IA que ejecutan cargas de trabajo de inferencia a escala de producción donde la eficiencia de costos, la disponibilidad de capacidad, la baja latencia y la fiabilidad de la infraestructura son prioridades.

SambaNova

SambaNova construye soluciones de hardware de IA y software basadas en su arquitectura de flujo de datos, que está optimizada a nivel de gráfico de cómputo.

Capacidades

• Proporciona plataformas como SambaCloud (servicio en la nube), SambaStack (en el lugar) y SambaManaged (servicio gestionado).
• Optimizado para inferencia y entrenamiento de modelos de IA generativa.
• Métricas estándar de panel para latencia y rendimiento a nivel de token.

Limitaciones

• La implementación requiere compatibilidad del modelo con su arquitectura, requiriendo optimización adicional.
• Las métricas de rendimiento internas, como el ancho de banda de memoria, no se exponen a los usuarios.
• Las implementaciones no son inmediatas; se requieren fases de implementación.

Caso de uso: Adecuado para empresas que necesitan soluciones impulsadas por IA que combinen hardware y software, especialmente en industrias que requieren infraestructura de TI controlada.

Groq

Groq ofrece una plataforma de inferencia de IA impulsada por sus Unidades de Procesamiento de Lenguaje (LPU).

Capacidades

• Optimizado para la generación secuencial de tokens con respuestas de streaming de baja latencia.
• Los paneles exponen conteos de tokens, latencia y tasas de error.
• El costo se rastrea a nivel de token.

Limitaciones

• No soporta implementación de modelos personalizados. Solo están disponibles los modelos proporcionados por Groq.
• Hay herramientas de depuración mínimas disponibles; si surgen problemas de rendimiento, se requiere enviar un ticket de soporte.
• Las operaciones internas de las LPU permanecen opacas.

Caso de uso: Más adecuado para aplicaciones donde las respuestas de ultra baja latencia para modelos de lenguaje grande son críticas, como IA conversacional o algoritmos de toma de decisiones.

Antimatter

Antimatter proporciona infraestructura de IA verticalmente integrada que combina activos de energía, centros de datos modulares y software de nube distribuida.

Capacidades

• Implementa cómputo en sitios donde ya existe energía renovable, subutilizada o varada.
• Utiliza unidades Policloud modulares para poner en línea cómputo de IA de alta densidad más rápido que las construcciones tradicionales de centros de datos de hiperescala.
• Conecta sitios distribuidos en una sola fabric operativa a través del software Hivenet.
• Proporciona servicios en la nube como cómputo, almacenamiento y transferencia de archivos a través de APIs.
• Soporta la orquestación de cargas de trabajo entre sitios basada en demanda, capacidad, precios y restricciones locales.
• Separa la infraestructura física de los servicios orientados al cliente, permitiendo que nuevos sitios y servicios escalen independientemente.
• Utiliza orquestación basada en Kubernetes, máquinas virtuales, soporte de metal desnudo, almacenamiento distribuido, redes cifradas, passthrough de GPU y observabilidad centralizada.

Limitaciones

Su modelo puede ser más relevante para organizaciones que necesitan infraestructura de IA distribuida o soberana que para equipos que buscan una simple API de modelo sin servidor.

Caso de uso: Más adecuado para compradores de infraestructura de IA empresarial que necesitan capacidad de inferencia escalable cerca de fuentes de energía, usuarios y jurisdicciones reguladas, especialmente donde importan la predictibilidad de costos, la soberanía y la velocidad de implementación.

API-basado en alojamiento

Fireworks AI

Fireworks AI proporciona un servicio de alojamiento ligero basado en API para modelos de IA.

Capacidades

• Implementación rápida de modelos con API endpoints inmediatos.
• Soporta ajuste fino de modelos de IA generativa.
• Los paneles proporcionan métricas como latencia de llamada, uso de token, tasa de error y conteo de solicitudes.

Limitaciones

• El rastreo a nivel de solicitud está ausente, limitando la depuración detallada.
• Los datos de costos son solo agregados, sin visibilidad por solicitud.
• La reversión es manual; volver a versiones anteriores requiere una nueva implementación.

Caso de uso: Adecuado para desarrolladores de IA que necesitan acceso rápido a capacidades de IA generativa sin observabilidad profunda o gestión de implementación compleja.

¿Qué es un proveedor de IA?

Un proveedor de IA es una empresa de inteligencia artificial que proporciona la infraestructura, modelos y servicios necesarios para que otros desarrollen y ejecuten soluciones impulsadas por IA.

Los proveedores de IA son críticos porque:

• Reducen las barreras para la adopción de IA, especialmente para empresas sin experiencia interna profunda.
• Proporcionan escalabilidad al manejar procesos complejos como el escalado automático y el entrenamiento distribuido.
• Ofrecen eficiencia de costos con infraestructura bajo demanda en lugar de inversiones iniciales en hardware de IA.
• Aseguran prácticas de IA responsable a través de gobernanza, trazabilidad y características de cumplimiento.

Tipos de proveedores de IA

Los proveedores de IA se pueden agrupar en tres categorías principales:

• Proveedores de infraestructura de IA se centran en hardware de IA especializado, incluidos procesadores personalizados y chips de alto rendimiento, para entrenamiento e inferencia.
• Plataformas de alojamiento de modelos proporcionan acceso a modelos de IA generativa a través de APIs, facilitando la integración de IA en aplicaciones. A menudo ofrecen características como escalado automático, monitoreo de latencia y ajuste fino.
• Plataformas de datos y aprendizaje automático enfatizan la integración de extremo a extremo de análisis de datos, entrenamiento de modelos y gobernanza, con un enfoque en la IA responsable.

Descubre más de nuestros análisis comparativos e insights basados en datos en la Búsqueda de Google.

Añadir como fuente preferida

Características clave de los proveedores de IA

En todas las categorías, la mayoría de los proveedores de IA comparten varias características principales que dan forma a cómo entregan valor y permiten a las organizaciones adoptar capacidades de IA de manera efectiva:

Acceso a modelos de lenguaje grande y otros modelos de IA generativa

Los proveedores de IA ofrecen acceso directo a modelos de lenguaje grande (LLMs) y una gama de modelos de IA generativa para tareas que incluyen generación de texto, procesamiento de voz y reconocimiento de imágenes. Estos modelos se ofrecen típicamente a través de APIs, lo que facilita que las organizaciones incrusten soluciones impulsadas por IA en aplicaciones sin requerir experiencia extensa en entrenamiento de modelos.

Infraestructura de IA para manejar cargas de trabajo de IA exigentes

Los proveedores suministran entornos de cómputo adaptados para modelos de IA avanzados y cargas de trabajo de IA a gran escala. Esto incluye la potencia de procesamiento necesaria para entrenamiento, ajuste fino e inferencia, a menudo diseñados para soportar tanto operaciones por lotes de alto rendimiento como tareas sensibles a la latencia. Tal infraestructura permite a las empresas ejecutar procesos complejos de manera eficiente y confiable.

Paneles de implementación y monitoreo con métricas de latencia, rendimiento y costo

Los paneles son una característica estándar, que brindan visibilidad sobre el rendimiento y la eficiencia de los sistemas de IA. Las métricas típicas incluyen latencia por solicitud, rendimiento general, tasas de procesamiento de tokens y conteos de errores. También se proporciona visibilidad de costos, desde informes por solicitud hasta resúmenes agregados. Estas herramientas apoyan la gestión y optimización efectiva de recursos.

Opciones para ajuste fino y gestión de modelos

Muchas plataformas incluyen la capacidad de ajustar modelos de IA generativa para casos de uso especializados. Esto permite a las organizaciones adaptar modelos a necesidades específicas de la industria, como el modelado predictivo en cadena de suministro o la IA conversacional en atención al cliente. Las características de gestión de modelos a menudo incluyen control de versiones, reversión y división de tráfico para experimentos, lo que ayuda a mantener la fiabilidad mientras se itera sobre nuevas implementaciones.

Flexibilidad de precios, a menudo basada en pago por uso o consumo de token

En lugar de depender de pesadas inversiones iniciales en hardware de IA, los proveedores utilizan comúnmente precios basados en el consumo. Esto puede estructurarse por solicitud, por token o por tiempo de cómputo. Los precios flexibles reducen la barrera de entrada para las organizaciones que experimentan con la adopción de IA, al tiempo que permiten a las empresas alinear los gastos con la demanda de la carga de trabajo y optimizar tanto el costo como el rendimiento.

¿Qué son las pasarelas de IA?

Una pasarela de IA es una plataforma de middleware que gestiona la integración, el enrutamiento y la gobernanza de modelos y servicios de IA dentro de entornos empresariales. En lugar de proporcionar los modelos en sí, las pasarelas de IA actúan como un punto de entrada unificado entre aplicaciones y múltiples herramientas de IA, incluidos modelos de lenguaje grande, sistemas de reconocimiento de imágenes y otros servicios de IA generativa.

Manejan funciones como la estandarización de API, la orquestación de modelos, el monitoreo, la aplicación de seguridad y el seguimiento de costos, permitiendo a las organizaciones controlar cómo se accede y utiliza las cargas de trabajo de IA a través de diversos proveedores.

Diferencias clave entre pasarelas de IA y proveedores de IA

Función

• Los proveedores de IA entregan infraestructura de IA, modelos de IA y la potencia de cómputo necesaria para ejecutarlos.
• Las pasarelas de IA gestionan y orquestan las interacciones con esos modelos, ofreciendo consistencia y gobernanza.

Posición en la pila

• Los proveedores de IA operan en la capa de infraestructura y modelo, suministrando las capacidades de IA reales.
• Las pasarelas de IA se sitúan por encima de los proveedores, conectando aplicaciones a uno o más modelos a través de una sola capa de control.

Alcance de responsabilidad

• Los proveedores de IA se centran en el entrenamiento, ajuste fino, alojamiento y servicio de modelos.
• Las pasarelas de IA se centran en la unificación de API, el enrutamiento de cargas de trabajo, la observabilidad y la aplicación de políticas entre modelos.

Gobernanza y seguridad

• Los proveedores de IA implementan gobernanza para sus propios modelos, como control de versiones y monitoreo de costos.
• Las pasarelas de IA proporcionan gobernanza centralizada, permitiendo cumplimiento, control de acceso y protección de datos entre múltiples modelos y proveedores.

Enfoque de implementación

• Los proveedores de IA ofrecen varias opciones de infraestructura, incluidas APIs en la nube, clusters dedicados y hardware en el lugar.
• Las pasarelas de IA proporcionan modelos de implementación (global, multicloud, sidecar o micro-pasarela) que optimizan el enrutamiento de tráfico entre aplicaciones y modelos.

Metodología de prueba de referencia

En esta prueba de referencia, GPT-OSS-120B, el modelo de código abierto más utilizado en la plataforma OpenRouter, fue analizado seleccionado. Antes de proceder con la prueba de referencia, se estableció el rendimiento de referencia del modelo GPT-OSS-120B. El modelo se probó en un entorno autoalojado en una instancia RunPod H200 GPU y logró un 98% de precisión en el conjunto de datos de 108 preguntas utilizado en la prueba de referencia (35 preguntas basadas en artículos + 73 problemas matemáticos).

Antes de iniciar la prueba de referencia, se analizaron datos de cuota de mercado en OpenRouter para identificar los seis principales proveedores de IA con la mayor cuota, y solo estos proveedores se utilizaron en la prueba. Todas las solicitudes API se enviaron a través del mismo OpenRouter API endpoint para garantizar la consistencia en las condiciones de prueba.

Conjunto de datos y proceso de prueba

El conjunto de datos de prueba de referencia consta de un total de 108 preguntas. De estas preguntas, 35 son preguntas de conocimiento del mundo real derivadas de artículos de CNN News y emparejadas con verificación de verdad fundamental. El propósito de esta sección es medir si el modelo recuerda con precisión información numérica como porcentajes, fechas y cantidades, y evaluar su tendencia a las alucinaciones. Las 73 preguntas restantes consisten en problemas de razonamiento matemático y prueban la consistencia numérica, la inferencia lógica y la precisión computacional del modelo.

Las 108 preguntas utilizadas en el proceso de prueba son preguntas que el modelo responde consistentemente correctamente. El propósito de esta prueba es observar el rendimiento y la degradación de calidad del modelo en momentos específicos del día o durante cambios en la carga del sistema.

El proceso de prueba se realiza de la siguiente manera:

• Las 108 preguntas se envían individualmente a intervalos de 5 minutos, y este proceso continúa continuamente.
• Las respuestas Verdadero/Falso obtenidas de cada pregunta se utilizan en los cálculos de precisión.
• Simultáneamente, con cada envío, también se envía una pregunta de referencia fija a todos los proveedores. Las métricas medidas de esta pregunta de referencia son:
  • Latencia del primer token (FTL): El tiempo desde el envío de la solicitud hasta que el modelo produce el primer token.
  • Latencia de extremo a extremo (latencia E2E): El tiempo que tarda el modelo en generar completamente la respuesta.

Las solicitudes se envían a todos los proveedores simultáneamente para el mismo modelo y a través del mismo API endpoint. El sistema de prueba de referencia opera cíclicamente; al final de cada día, los valores de precisión obtenidos de las 108 preguntas y los promedios diarios de los valores de latencia FTL/E2E medidos de la pregunta de referencia fija se reflejan en gráficos.

Detalles de la prueba de referencia autoalojada

La prueba de rendimiento de referencia se realizó ejecutando el modelo openai/gpt-oss-120b en un entorno autoalojado en una instancia RunPod H200 GPU. El entorno de prueba se construyó utilizando la plantilla RunPod PyTorch, con el motor de inferencia vLLM (versión 0.10.2) instalado como biblioteca de servicio principal. Un componente crítico de la pila de software fue el SDK openai-harmony, que es obligatorio para codificar correctamente los prompts y decodificar las respuestas para la serie de modelos GPT-OSS. El motor vLLM se configuró con gpu_memory_utilization=0.85 y max_model_len=4096 para acomodar la cuantización MXFP4 del modelo y los requisitos de contexto. Para optimizar el rendimiento, también se instaló la biblioteca flashinfer, que proporciona una aceleración significativa para la inferencia en hardware H200.

La prueba de referencia se ejecutó utilizando el script test_baseline_harmony_correct.py, que procesa un conjunto de datos consolidado de 108 preguntas (35 preguntas basadas en artículos y 73 problemas matemáticos). Para cada pregunta, se construyó programáticamente un prompt utilizando el SDK openai-harmony. Esto implicó crear un objeto Conversation con mensajes Role.SYSTEM, Role.DEVELOPER y Role.USER distintos; el DeveloperContent específicamente incluyó la instrucción "Reasoning: high" para elicitar respuestas detalladas. Este objeto se representó en IDs de token utilizando la codificación HarmonyEncodingName.HARMONY_GPT_OSS. La inferencia se realizó con parámetros de muestreo deterministas (temperature=0.0) y max_tokens=2048 para capturar todo el razonamiento. Los stop_token_ids se suministraron directamente desde el método stop_tokens_for_assistant_actions() de la codificación de armonía. Finalmente, los tokens de salida del modelo fueron analizados por el SDK de armonía para extraer la respuesta estructurada, que luego se normalizó y validó contra la verdad fundamental para calcular la precisión.

Cita este benchmark

Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.

@misc{ermut2026,
  author = {Ermut, Sıla and Şipi, Nazlı},
  title  = {{Principales 9 Proveedores de IA Comparados}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/ai-providers}},
  note   = {AIMultiple. Recuperado el 18 de Mayo de 2026}
}

Sıla Ermut

Analista de la industria

Síguenos

Sıla Ermut es analista de la industria en AIMultiple, especializada en marketing por correo electrónico y vídeos de ventas. Anteriormente trabajó como reclutadora en empresas de gestión de proyectos y consultoría. Sıla es licenciada en Psicología Social y en Relaciones Internacionales.

Ver perfil completo

Investigado por

Nazlı Şipi

Investigador de IA

Síguenos

Nazlı es analista de datos en AIMultiple. Cuenta con experiencia previa en análisis de datos en diversos sectores, donde se dedicó a transformar conjuntos de datos complejos en información útil para la toma de decisiones.

Ver perfil completo

Sé el primero en comentar

Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.

Nombre

Dirección de correo electrónico

Comentario

0/450

Publicar comentario