Modelos de IA
Los modelos de IA realizan predicciones basándose en sus datos de entrenamiento. Pueden funcionar en cualquier ámbito, como números, texto o multimedia.
LLM Comparativa de latencia por casos de uso
Evaluamos 11 modelos de lenguaje grandes principales con un total de 1.320 solicitudes, dividiendo modelos de razonamiento y no razonamiento, y medimos la latencia del primer token, la latencia por token y el tiempo de respuesta total. Puede encontrar detalles sobre cómo medimos la latencia aquí. Presentamos por separado los modelos con razonamiento y sin…
Benchmark de Modelos Tabulares: Rendimiento en 19 Conjuntos de Datos
Evaluamos 8 modelos de aprendizaje tabular en 19 conjuntos de datos del mundo real que cubren aproximadamente 260.000 muestras, con tamaños de conjunto desde 435 hasta 48.800 filas. Cada modelo se ejecutó en la misma máquina con validación cruzada de 5 pliegues y divisiones idénticas. Cada conjunto de datos es un round-robin de enfrentamientos cabeza…
LLM Cuantización: BF16 vs FP8 vs INT4
Hemos realizado un benchmark de Qwen3-32B en 4 niveles de precisión (BF16, FP8, GPTQ-Int8, GPTQ-Int4) en una sola NVIDIA H100 80GB GPU. Cada configuración fue evaluada en 2 benchmarks (~12.2K preguntas) que cubren conocimiento y generación de código, además de 2.000+ ejecuciones de inferencia para medir el rendimiento. Int4 es 2.7x más rápido que BF16…