Los 7 principales proveedores de IA evaluados
El ecosistema de infraestructura de IA está creciendo rápidamente, con proveedores que ofrecen enfoques diversos para construir, alojar y acelerar modelos. Si bien todos apuntan a impulsar aplicaciones de IA, cada uno se centra en una capa diferente de la pila.
Evaluamos a los proveedores más utilizados en OpenRouter: CoreWeave Forge, anteriormente Weights & Biases (W&B), Cerebras, DeepInfra, Fireworks AI, Groq, Nebius y SambaNova, usando el modelo GPT-OSS-120B. Evaluamos a cada proveedor con el mismo dataset de 108 preguntas, que incluye 35 preguntas de conocimiento del mundo real y 73 problemas de razonamiento matemático.
Benchmark de precisión de los proveedores de IA
Enviamos 108 preguntas (35 preguntas de conocimiento basadas en artículos + 73 problemas matemáticos) a cada proveedor cada 5 minutos a lo largo del día y calculamos los promedios diarios de precisión. Junto con estas preguntas, enviamos una pregunta de referencia específica cada vez para medir las métricas de latencia FTL y E2E.
Probamos GPT-OSS-120B en una instancia RunPod H200 GPU y logró una precisión del 98 % en el dataset que usamos en nuestro benchmark. Lea nuestra metodología de benchmark.
Benchmark de latencia de los proveedores de IA
Los días en que la latencia aumentó para Fireworks, hubo una interrupción de 1 minuto, pero a lo largo del día respondió la mayoría de las preguntas en aproximadamente 10 minutos cada una por razones desconocidas.
Comparación de latencia y coste
Identificamos los modelos más utilizados que también son los que más se ofrecen entre los proveedores de IA y luego recopilamos los precios combinados de los proveedores por 1M de tokens de entrada/salida y sus métricas de latencia del primer token.
Proveedores de IA: comparación detallada
Integración del pipeline de datos y ML
CoreWeave Forge
CoreWeave Forge combina el seguimiento de experimentos, la evaluación de modelos y la observabilidad de aplicaciones con infraestructura gestionada de entrenamiento e inferencia. W&B comenzó como un sistema de registro para flujos de trabajo de ML. CoreWeave adquirió W&B y trasladó sus productos a Forge, la plataforma de desarrollo de IA de CoreWeave.
Capacidades
- Realiza un seguimiento de experimentos, hiperparámetros, métricas, datasets y artefactos para favorecer la reproducibilidad y la comparación entre modelos e infraestructura.
- Proporciona un registro de modelos, CoreWeave Registry, con versionado, promoción, reversión y linaje que vincula los modelos con los datos y las ejecuciones de entrenamiento.
- Ofrece entrenamiento y fine-tuning gestionados, incluyendo cómputo serverless de GPU para cargas de trabajo de aprendizaje por refuerzo e IA generativa.
- Admite inferencia alojada a través de CoreWeave Serverless Inference (modelos abiertos, facturados por token) y Dedicated Inference (pesos de modelos personalizados en las GPUs que elija el cliente).
- Permite observabilidad a nivel de solicitud para aplicaciones de LLM a través de Weave, capturando prompts, respuestas, latencia y puntuaciones de evaluación.
- Admite evaluación comparativa y benchmarking automatizados y con intervención humana en modelos, prompts y proveedores.
- Se integra con proveedores de IA de terceros, GPUs autohospedadas y APIs externas además de su propia infraestructura.
Limitaciones
Forge cubre la inferencia serverless y dedicada, además del fine-tuning serverless y el aprendizaje por refuerzo. El entrenamiento de modelos a gran escala o personalizados requiere otra infraestructura, como la plataforma CoreWeave Cloud, un producto independiente de CoreWeave.
Caso de uso: Ideal para equipos de IA que requieren visibilidad de extremo a extremo en experimentación, entrenamiento, evaluación y despliegue, especialmente al comparar múltiples modelos o proveedores y al mantener una observabilidad de nivel de producción sin una dependencia total del proveedor.
Databricks
Databricks ofrece una plataforma unificada que combina analítica de datos, aprendizaje automático y gestión de modelos.
Capacidades
- Está construido sobre la infraestructura de Spark, lo que permite la integración de extremo a extremo de la preparación de datos, el entrenamiento de modelos y la inferencia.
- Utiliza MLflow para el seguimiento de modelos, incluidos parámetros, métricas e historial de experimentos.
- Unity Catalog garantiza el linaje de datos y la gobernanza para prácticas de IA responsable.
- Destaca en el procesamiento por lotes y la comparación de modelos.
Limitaciones
- No está optimizado para la inferencia en tiempo real. La monitorización y las métricas están diseñadas para trabajos por lotes, no para la latencia por solicitud.
- Es más adecuado para gestionar procesos complejos en datos y modelos que para cargas de trabajo de IA críticas en latencia.
Caso de uso: Eficaz para empresas que necesitan integrar la IA en pipelines de ciencia de datos, en particular para el modelado predictivo y aplicaciones empresariales donde se requieren gobernanza y trazabilidad.
Plataformas de alojamiento de modelos
Baseten
Baseten se posiciona como una plataforma de alojamiento de modelos para desplegar y ejecutar modelos de IA, centrándose en la fiabilidad en producción y en una observabilidad detallada.
Capacidades
- Desglosa la duración de las llamadas a la API en carga del modelo, inferencia y serialización de la respuesta, lo que permite a los desarrolladores identificar las fuentes de latencia.
- Los arranques en frío se registran a nivel de réplica para medir el impacto en el rendimiento.
- Los usuarios configuran parámetros de autoescalado, como el número de réplicas y los umbrales de concurrencia. Esto aporta flexibilidad, pero introduce el riesgo de una mala configuración, lo que puede generar costes desperdiciados o una mayor latencia.
- Este sistema proporciona un seguimiento del coste por solicitud vinculado al tipo y uso de la GPU, lo que permite comparar rendimiento y costes al cambiar entre hardware como A100 y H100 GPUs.
- La transmisión de registros en tiempo real está disponible, aunque el filtrado y la búsqueda son limitados.
Limitaciones
- La monitorización es detallada a nivel de solicitud, pero la búsqueda y el filtrado de registros son básicos, lo que dificulta la depuración de cargas de trabajo grandes.
- Un autoescalado mal configurado puede afectar directamente al coste y a la latencia.
Caso de uso: Baseten es ideal para desarrolladores de IA que buscan una observabilidad transparente para modelos de IA generativa en entornos de producción.
Parasail
Parasail ofrece una red de inferencia de IA diseñada para una utilización flexible de la GPU y la optimización de costes.
Capacidades
- El sistema admite cambiar entre tipos de GPU, con asignación automática de recursos según las necesidades de la carga de trabajo.
- El panel destaca métricas de uso agregadas, incluyendo el tiempo de actividad y la asignación de GPU.
- Ofrece flexibilidad de precios mediante diferentes clases de GPU, lo que permite compensaciones entre coste y rendimiento.
Limitaciones
- No ofrece rastreo a nivel de solicitud. Los desarrolladores no pueden analizar el coste ni el rendimiento de solicitudes individuales.
- La observabilidad se mantiene a nivel agregado, lo que limita la profundidad de la depuración.
Caso de uso: Parasail está diseñado para organizaciones que priorizan soluciones de IA flexibles y de bajo coste, pero ofrece menos información a los equipos que requieren una observabilidad detallada.
DeepInfra
DeepInfra ofrece serverless de GPU en múltiples regiones, lo que permite el despliegue escalable de modelos de IA como APIs.
Capacidades
- El soporte multirregión permite realizar la inferencia más cerca de los usuarios finales, reduciendo la latencia.
- Proporciona métricas de latencia y rendimiento a nivel de panel.
- Ofrece precios de pago por uso con informes de costes agregados.
- Admite el despliegue de modelos de IA generativa de código abierto con APIs sencillas.
Limitaciones
- No proporciona rastreo a nivel de solicitud, lo que dificulta el análisis de la causa raíz.
- El desglose de costes está agregado, sin detalle por solicitud ni por región.
- El versionado de modelos y los mecanismos de reversión no están automatizados y requieren gestión manual.
Caso de uso: Ideal para organizaciones que despliegan cargas de trabajo de IA en varias regiones, donde la flexibilidad de costes y la cobertura geográfica importan más que una depuración profunda.
Together AI
Together AI opera como una nube de aceleración de IA que ofrece capacidades tanto de alojamiento como de entrenamiento de modelos.
Capacidades
- Proporciona métricas tanto a nivel agregado como por solicitud, incluidos histogramas de latencia y desgloses de llamadas por versión.
- El versionado de modelos y la reversión integrados permiten volver rápidamente a versiones anteriores.
- La división del tráfico permite realizar pruebas A/B entre versiones de modelos.
- Sólido soporte de SDK con bibliotecas de cliente en varios idiomas.
- Las integraciones de CI/CD hacen que los pipelines de despliegue sean más maduros que en otras plataformas de alojamiento.
Limitaciones
- Esta solución ofrece más madurez operativa, pero a costa de una mayor complejidad del sistema en comparación con plataformas de alojamiento más ligeras.
Caso de uso: Together AI es adecuado para empresas de IA y firmas de servicios profesionales que necesitan un control de versiones fiable, monitorización avanzada e integración de herramientas de IA generativa en flujos de trabajo estructurados.
Infraestructura optimizada para hardware / especializada
Cerebras
Cerebras se centra en infraestructura de IA optimizada para hardware, construida en torno a su motor a escala de oblea (WSE).
Capacidades
- El WSE integra millones de unidades de procesamiento en un solo chip, lo que proporciona un rendimiento extremadamente alto para cargas de trabajo de IA.
- Los paneles exponen métricas estándar, como tokens por segundo y rendimiento general.
- Adecuado para el entrenamiento y la inferencia de modelos avanzados de IA a escala.
Limitaciones
- El despliegue no es inmediato; requiere preparación de la infraestructura.
- Los detalles internos del hardware, como la planificación y el uso de memoria, se abstraen de los usuarios.
- Soporte limitado para incorporar modelos personalizados arbitrarios.
Caso de uso: Eficaz para tareas de aprendizaje automático a gran escala y de alto rendimiento en laboratorios de IA, la industria de defensa o agencias gubernamentales donde el rendimiento importa más que la flexibilidad.
Gruve IA Inference Infrastructure Fabric
Gruve ofrece una infraestructura distribuida de inferencia de IA diseñada para un rendimiento predecible, menor latencia y un escalado de capacidad más rápido en entornos de producción. Su posicionamiento está más cerca de una infraestructura tipo fabric que del alojamiento de modelos, con énfasis en el acceso a la energía, las ubicaciones distribuidas y la optimización full-stack.
Capacidades
- Admite capacidad de inferencia escalable mediante infraestructura distribuida cerca de ciudades de nivel 1 y nivel 2.
- Utiliza energía varada e infrautilizada para reducir y estabilizar los costes de la infraestructura de inferencia.
- Despliega la inferencia más cerca de los usuarios, las aplicaciones y los datos para reducir la latencia de red.
- Ofrece clústeres de infraestructura de alta densidad, incluidos armarios refrigerados por líquido y centros de varios megavatios.
- Proporciona infraestructura nativa de IA diseñada para soportar los requisitos cambiantes de modelos, serving y cargas de trabajo de agentes.
- Combina infraestructura, base de datos y capacidades de agentes de IA en una pila de ejecución de IA empresarial más amplia.
- Incluye funciones de fiabilidad empresarial, como operaciones 24/7, seguridad integrada, gobernanza y control operativo.
Limitaciones
Puede ser más adecuado para organizaciones que necesitan una infraestructura de inferencia dedicada que para equipos que buscan una plataforma ligera de alojamiento de modelos basada en API.
Caso de uso: Ideal para compradores empresariales de infraestructura de IA que necesitan capacidad de inferencia escalable cerca de las fuentes de energía, los usuarios y las jurisdicciones reguladas, especialmente donde importan la previsibilidad de costes, la soberanía y la velocidad de despliegue.
SambaNova
SambaNova crea soluciones de hardware de IA y software basadas en su arquitectura de flujo de datos, optimizada a nivel de grafo de cómputo.
Capacidades
- Proporciona plataformas como SambaCloud (servicio en la nube), SambaStack (local) y SambaManaged (servicio gestionado).
- Optimizado para la inferencia y el entrenamiento de modelos de IA generativa.
- Métricas estándar de panel para la latencia a nivel de token y el rendimiento.
Limitaciones
- El despliegue requiere que el modelo sea compatible con su arquitectura, lo que exige una optimización adicional.
- Las métricas de rendimiento interno, como el ancho de banda de memoria, no se exponen a los usuarios.
- Los despliegues no son inmediatos; se requieren fases de implementación.
Caso de uso: Adecuado para empresas que necesitan soluciones impulsadas por IA que combinen hardware y software, especialmente en sectores que requieren una infraestructura de TI controlada.
Groq
Groq ofrece una plataforma de inferencia de IA impulsada por sus unidades de procesamiento de lenguaje (LPU).
Capacidades
- Optimizado para la generación secuencial de tokens con respuestas de streaming de baja latencia.
- Los paneles exponen recuentos de tokens, latencia y tasas de error.
- El coste se registra a nivel de token.
Limitaciones
- No admite el despliegue de modelos personalizados. Están disponibles los modelos proporcionados por Groq.
- Hay herramientas de depuración mínimas disponibles; si surgen problemas de rendimiento, es necesario enviar un ticket de soporte.
- El funcionamiento interno de las LPU sigue siendo opaco.
Caso de uso: Ideal para aplicaciones donde las respuestas de latencia ultrabaja para modelos de lenguaje de gran tamaño son críticas, como la IA conversacional o los algoritmos de toma de decisiones.
Antimatter
Antimatter ofrece una infraestructura de IA integrada verticalmente que combina activos energéticos, centros de datos modulares y software de nube distribuida.
Capacidades
- Despliega cómputo en emplazamientos donde existe energía renovable, infrautilizada o varada.
- Utiliza unidades modulares Policloud para poner en marcha cómputo de IA de alta densidad más rápido que las construcciones tradicionales de centros de datos a hiperescala.
- Conecta sitios distribuidos en un único tejido operativo mediante el software Hivenet.
- Proporciona servicios en la nube como cómputo, almacenamiento y transferencia de archivos a través de APIs.
- Admite la orquestación de cargas de trabajo entre sitios en función de la demanda, la capacidad, los precios y las restricciones locales.
- Separa la infraestructura física de los servicios orientados al cliente, lo que permite que los nuevos sitios y servicios escalen de forma independiente.
- Utiliza orquestación basada en Kubernetes, máquinas virtuales, soporte de bare metal, almacenamiento distribuido, redes cifradas, passthrough de GPU y observabilidad centralizada.
Limitaciones
Su modelo puede ser más relevante para organizaciones que necesitan una infraestructura de IA distribuida o soberana que para equipos que buscan una API de modelos serverless sencilla.
Caso de uso: Ideal para compradores empresariales de infraestructura de IA que necesitan capacidad de inferencia escalable cerca de las fuentes de energía, los usuarios y las jurisdicciones reguladas, especialmente donde importan la previsibilidad de costes, la soberanía y la velocidad de despliegue.
Alojamiento basado en API
Fireworks AI
Fireworks AI ofrece un servicio ligero de alojamiento basado en API para modelos de IA.
Capacidades
- Despliegue rápido de modelos con endpoints de API inmediatos.
- Admite el fine-tuning de modelos de IA generativa.
- Los paneles proporcionan métricas como la latencia de las llamadas, el uso de tokens, la tasa de errores y el número de solicitudes.
Limitaciones
- No hay rastreo a nivel de solicitud, lo que limita la depuración detallada.
- Los datos de costes están agregados, sin visibilidad por solicitud.
- La reversión es manual; volver a versiones anteriores requiere redespliegue.
Caso de uso: Adecuado para desarrolladores de IA que necesitan un acceso rápido a capacidades de IA generativa sin una observabilidad profunda ni una gestión de despliegue compleja.
¿Qué es un proveedor de IA?
Un proveedor de IA es una empresa de inteligencia artificial que ofrece la infraestructura, los modelos y los servicios necesarios para que otros desarrollen y ejecuten soluciones basadas en IA.
Los proveedores de IA son fundamentales porque:
- Reducen las barreras para la adopción de la IA, especialmente para empresas sin una gran experiencia interna.
- Proporcionan escalabilidad al gestionar procesos complejos como el autoescalado y el entrenamiento distribuido.
- Ofrecen eficiencia de costes con infraestructura bajo demanda en lugar de inversiones iniciales en hardware de IA.
- Garantizan prácticas de IA responsable mediante funciones de gobernanza, trazabilidad y cumplimiento.
Tipos de proveedores de IA
Los proveedores de IA se pueden agrupar en tres categorías principales:
- Proveedores de infraestructura de IA se centran en hardware de IA especializado, incluidos procesadores personalizados y chips de alto rendimiento, para el entrenamiento y la inferencia.
- Plataformas de alojamiento de modelos dan acceso a modelos de IA generativa a través de APIs, facilitando la integración de la IA en las aplicaciones. Suelen ofrecer funciones como autoescalado, monitorización de latencia y fine-tuning.
- Plataformas de datos y aprendizaje automático enfatizan la integración de extremo a extremo de la analítica de datos, el entrenamiento de modelos y la gobernanza, con un enfoque en la IA responsable.
Características clave de los proveedores de IA
En todas las categorías, la mayoría de los proveedores de IA comparten varias características fundamentales que determinan cómo aportan valor y permiten a las organizaciones adoptar capacidades de IA de forma eficaz:
Acceso a modelos de lenguaje de gran tamaño y otros modelos de IA generativa
Los proveedores de IA ofrecen acceso directo a modelos de lenguaje de gran tamaño (LLMs) y a una variedad de modelos de IA generativa para tareas como la generación de texto, el procesamiento del habla y el reconocimiento de imágenes. Estos modelos se ofrecen normalmente a través de APIs, lo que facilita a las organizaciones integrar soluciones basadas en IA en aplicaciones sin necesidad de contar con una gran experiencia en el entrenamiento de modelos.
Infraestructura de IA para manejar cargas de trabajo de IA exigentes
Los proveedores suministran entornos de cómputo adaptados a modelos de IA avanzados y cargas de trabajo de IA a gran escala. Esto incluye la potencia de procesamiento necesaria para el entrenamiento, el fine-tuning y la inferencia, a menudo diseñada para admitir tanto operaciones por lotes de alto rendimiento como tareas sensibles a la latencia. Esta infraestructura permite a las empresas ejecutar procesos complejos de forma eficiente y fiable.
Paneles de despliegue y monitorización con métricas de latencia, rendimiento y coste
Los paneles son una función estándar que da visibilidad sobre el rendimiento y la eficiencia de los sistemas de IA. Las métricas típicas incluyen la latencia por solicitud, el rendimiento general, las tasas de procesamiento de tokens y el número de errores. También se proporciona visibilidad de costes, desde informes por solicitud hasta resúmenes agregados. Estas herramientas favorecen una gestión y optimización eficaces de los recursos.
Opciones de fine-tuning y gestión de modelos
Muchas plataformas incluyen la capacidad de hacer fine-tuning de modelos de IA generativa para casos de uso especializados. Esto permite a las organizaciones adaptar los modelos a necesidades específicas de cada sector, como el modelado predictivo en la cadena de suministro o la IA conversacional en la atención al cliente. Las funciones de gestión de modelos suelen incluir control de versiones, reversión y división de tráfico para experimentos, lo que ayuda a mantener la fiabilidad mientras se iteran nuevos despliegues.
Flexibilidad de precios, a menudo basada en el pago por uso o el consumo de tokens
En lugar de depender de grandes inversiones iniciales en hardware de IA, los proveedores suelen utilizar precios basados en el consumo. Pueden estructurarse por solicitud, por token o por tiempo de cómputo. La flexibilidad de precios reduce la barrera de entrada para las organizaciones que experimentan con la adopción de la IA, al tiempo que permite a las empresas alinear el gasto con las demandas de la carga de trabajo y optimizar tanto el coste como el rendimiento.
Añadir como fuente preferida¿Qué son las puertas de enlace de IA?
Una puerta de enlace de IA es una plataforma de middleware que gestiona la integración, el enrutamiento y la gobernanza de los modelos y servicios de IA dentro de los entornos empresariales. En lugar de proporcionar los propios modelos, las puertas de enlace de IA actúan como un punto de entrada unificado entre las aplicaciones y múltiples herramientas de IA, incluidos los grandes modelos de lenguaje, los sistemas de reconocimiento de imágenes y otros servicios de IA generativa.
Gestionan funciones como la estandarización de la API, la orquestación de modelos, la monitorización, la aplicación de políticas de seguridad y el seguimiento de costes, lo que permite a las organizaciones controlar cómo se accede a las cargas de trabajo de IA y cómo se utilizan en distintos proveedores.
Diferencias clave entre las puertas de enlace de IA y los proveedores de IA
Función
- Los proveedores de IA suministran la infraestructura de IA, los modelos de IA y la potencia de cómputo necesaria para ejecutarlos.
- Las puertas de enlace de IA gestionan y orquestan las interacciones con esos modelos, ofreciendo coherencia y gobernanza.
Posición en la pila
- Los proveedores de IA operan en la capa de infraestructura y de modelos, suministrando las capacidades reales de IA.
- Las puertas de enlace de IA se sitúan por encima de los proveedores y conectan las aplicaciones con uno o más modelos mediante una única capa de control.
Ámbito de responsabilidad
- Los proveedores de IA se centran en el entrenamiento, el fine-tuning, el alojamiento y el serving de modelos.
- Las puertas de enlace de IA se centran en la unificación de la API, el enrutamiento de cargas de trabajo, la observabilidad y la aplicación de políticas en todos los modelos.
Gobernanza y seguridad
- Los proveedores de IA aplican gobernanza a sus propios modelos, como el control de versiones y la monitorización de costes.
- Las puertas de enlace de IA proporcionan una gobernanza centralizada que permite el cumplimiento, el control de acceso y la protección de datos en múltiples modelos y proveedores.
Enfoque de despliegue
- Los proveedores de IA ofrecen diversas opciones de infraestructura, incluidas APIs en la nube, clústeres dedicados y hardware local.
- Las puertas de enlace de IA ofrecen modelos de despliegue (global, multicloud, sidecar o microgateway) que optimizan el enrutamiento del tráfico entre aplicaciones y modelos.
Metodología del benchmark
En este benchmark, el modelo GPT-OSS-120B, el modelo de código abierto más utilizado en la plataforma OpenRouter, fue analizado y seleccionado. Antes de continuar con el benchmark, se estableció el rendimiento de referencia del modelo GPT-OSS-120B. El modelo se probó en un entorno autohospedado en una instancia RunPod H200 GPU y logró una precisión del 98 % en el dataset de 108 preguntas utilizado en el benchmark (35 preguntas basadas en artículos + 73 problemas matemáticos).
Antes de iniciar el benchmark, se analizaron los datos de cuota de mercado en OpenRouter para identificar a los siete principales proveedores de IA con mayor cuota, y estos proveedores se utilizaron en la prueba. Todas las solicitudes de API se enviaron a través del mismo endpoint de API de OpenRouter para garantizar la coherencia de las condiciones de la prueba.
Dataset y proceso de prueba
El dataset del benchmark consta de un total de 108 preguntas. De ellas, 35 son preguntas de conocimiento del mundo real extraídas de artículos de CNN News y emparejadas con una verdad verificada. El propósito de esta sección es medir si el modelo recuerda con precisión información numérica como porcentajes, fechas y cantidades, y evaluar su tendencia a las alucinaciones. Las 73 preguntas restantes consisten en problemas de razonamiento matemático y ponen a prueba la consistencia numérica, la inferencia lógica y la precisión de cálculo del modelo.
Las 108 preguntas utilizadas en el proceso de prueba son preguntas que el modelo responde correctamente de forma consistente. El propósito de esta prueba es observar la degradación del rendimiento y la calidad del modelo en momentos concretos del día o durante cambios en la carga del sistema.
El proceso de prueba se lleva a cabo de la siguiente manera:
- Las 108 preguntas se envían individualmente a intervalos de 5 minutos, y este proceso continúa de forma continua.
- Las respuestas de verdadero/falso obtenidas de cada pregunta se utilizan en los cálculos de precisión.
- Simultáneamente, con cada envío, se envía también a todos los proveedores una pregunta de referencia fija. Las métricas medidas a partir de esta pregunta de referencia son:
- Latencia del primer token (FTL): el tiempo que transcurre desde el envío de la solicitud hasta que el modelo produce el primer token.
- Latencia de extremo a extremo (latencia E2E): el tiempo que tarda el modelo en generar completamente la respuesta.
Las solicitudes se envían a todos los proveedores simultáneamente para el mismo modelo y a través del mismo endpoint de API. El sistema de benchmark funciona de forma cíclica; al final de cada día, los valores de precisión obtenidos de las 108 preguntas y los promedios diarios de los valores de latencia FTL/E2E medidos a partir de la pregunta de referencia fija se reflejan en los gráficos.
Detalles de la prueba de referencia autohospedada
La prueba de rendimiento de referencia se llevó a cabo ejecutando el modelo openai/gpt-oss-120b en un entorno autohospedado en una instancia RunPod H200 GPU. El entorno de prueba se construyó con la plantilla RunPod PyTorch, con el motor de inferencia vLLM (versión 0.10.2) instalado como biblioteca principal de serving. Un componente crítico de la pila de software fue el SDK openai-harmony, que es obligatorio para codificar correctamente los prompts y decodificar las respuestas de la serie de modelos GPT-OSS. El motor vLLM se configuró con gpu_memory_utilization=0.85 y max_model_len=4096 para adaptarse a la cuantización MXFP4 del modelo y a los requisitos de contexto. Para optimizar el rendimiento, también se instaló la biblioteca flashinfer, que proporciona una aceleración significativa de la inferencia en hardware H200.
El benchmark se ejecutó con el script test_baseline_harmony_correct.py, que procesa un dataset consolidado de 108 preguntas (35 preguntas basadas en artículos y 73 problemas matemáticos). Para cada pregunta, se construyó programáticamente un prompt mediante el SDK openai-harmony. Esto implicaba crear un objeto Conversation con mensajes distintos de Role.SYSTEM, Role.DEVELOPER y Role.USER; el DeveloperContent incluía específicamente la instrucción “Reasoning: high” para obtener respuestas detalladas. Este objeto se convirtió en IDs de token mediante la codificación HarmonyEncodingName.HARMONY_GPT_OSS. La inferencia se realizó con parámetros de muestreo deterministas (temperature=0.0) y max_tokens=2048 para capturar el razonamiento completo. Los stop_token_ids se suministraron directamente desde el método stop_tokens_for_assistant_actions() de la codificación harmony. Por último, los tokens de salida del modelo fueron analizados por el SDK harmony para extract la respuesta estructurada, que luego se normalizó y validó con la verdad de referencia para calcular la precisión.
Cita este benchmark
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{ermut2026,
author = {Ermut, Sıla and Şipi, Nazlı},
title = {{Los 7 principales proveedores de IA evaluados}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/ai-providers}},
note = {AIMultiple. Recuperado el 14 de octubre de 2026}
}Resultados y marcas de tiempo de 483 puntos de datos. Descargue los datos resumidos que se muestran en los gráficos y las tablas de este artículo como un archivo ZIP que contiene 3 archivos CSV.
¿Quieres los datos granulares que hay detrás? Únete a Premium
Registro de cambios
4 actualizacionesAñadidos Gruve AI y Antimatter como secciones completas de proveedores en la comparativa.
Anteriormente trabajó como reclutadora en empresas de gestión de proyectos y consultoría. Sıla tiene un máster en Psicología Social y una licenciatura en Relaciones Internacionales.
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.