Modelos de IA
Los modelos de IA realizan predicciones basándose en sus datos de entrenamiento. Pueden funcionar en cualquier ámbito, como números, texto o multimedia.
AIM-Decision: Jev frente a Clef frente a LLMs
System OneBenchmark4 de novLos modelos de decisión, también llamados modelos System One, puntúan un conjunto fijo de opciones en lugar de generar texto token a token. Probamos 59 modelos de decisión en 1.655 preguntas de clasificación, como calificar una falla de seguridad o un retiro de producto, y ejecutamos 46 de ellos en 50 tareas de navegador. Consulte…
- LLMComparación de Funciones3 de nov
Comparativa de 9 grandes modelos de lenguaje en atención médica
Evaluamos comparativamente 9 LLMs utilizando el dataset MedQA, un benchmark de examen clínico de nivel de posgrado derivado de preguntas del USMLE. Cada modelo respondió los mismos escenarios clínicos de opción múltiple mediante un prompt estandarizado, lo que permite una comparación directa de la precisión. También registramos la latencia por pregunta dividiendo el tiempo de…
- LLMBenchmark3 de nov
Benchmark de más de 90 LLM en Finanzas: Claude Opus 5.5 y Gemini 4 Argon
El conjunto de prueba es el subconjunto difícil del benchmark FinanceReasoning (Tang et al.), con 238 preguntas. La precisión es el porcentaje de preguntas respondidas correctamente. Las respuestas numéricas reciben una tolerancia relativa del 0,2 %. Los tokens de salida son los tokens generados en las 238 respuestas. Los tokens de entrada se cuentan por separado…
- LLMBenchmark3 de nov
AIM-Text-to-SQL Benchmark: SQL Precisión en 70+ LLMs
La SQL precisión es el porcentaje de consultas puntuadas que devuelven el resultado de referencia. Las rutas incorrectas y las referencias marcadas como rotas se excluyen. Una consulta de referencia es el SQL proporcionado como respuesta esperada. Cada model llega a un conjunto diferente de preguntas de SQL porque la puntuación depende de sus elecciones…
- LLMAnálisis2 de nov
LLM Parámetros: Tipos, Escalado y Guía de Fine-Tuning
El recuento de parámetros es una de las especificaciones más citadas de un large language model, pero no determina qué tan bien se desempeña un model ni cuánto cuesta ejecutarlo. El gráfico a continuación compara 31 models según su puntuación del índice LLM y su costo promedio por tarea en siete benchmarks. Cuatro models forman…
- Modelos de IA29 de oct
Benchmark de clasificación de series temporales: Foundation Models frente a métodos clásicos
Evaluamos 13 métodos de clasificación de series temporales, desde foundation models de series temporales preentrenados hasta una línea base de 22 características de 2019, en 33 datasets UCR/UEA bajo un único protocolo congelado. Es decir, 14.638 celdas registradas de método-dataset-remuestreo, 11.874 de ellas puntuadas. El gráfico compara 12 métodos en los 15 datasets univariados que…
- LLMAnálisis28 de oct
El futuro de los grandes modelos de lenguaje
Vea el futuro de los grandes modelos de lenguaje comparando enfoques, como el autoentrenamiento, la verificación de hechos y la especialización dispersa, que podrían abordar las limitaciones de los LLM. Los LLM acceden a fuentes externas durante las conversaciones en lugar de depender de los datos de entrenamiento. El modelo consulta bases de datos externas,…
- LLMBenchmark27 de oct
Pasarelas de IA para OpenAI: Alternativas a OpenRouter
Hicimos un benchmark de OpenRouter, SambaNova, TogetherAI, Groq y IA/ML API en tres indicadores (latencia del primer token, latencia total y cantidad de tokens de salida), con 300 pruebas usando prompts cortos (aprox. 18 tokens) y prompts largos (aprox. 203 tokens) para la latencia total. Si planeas usar una de estas pasarelas de IA, puedes:…