Benchmark de 90+ LLMs en Finanzas: Claude Opus 5.5 y Gemini 4 Argon
We evaluated 90+ LLMs in finance on 238 hard questions from the FinanceReasoning benchmark to identify which models excel at complex financial reasoning tasks.
El conjunto de prueba es el subconjunto difícil del benchmark FinanceReasoning (Tang et al.), con 238 preguntas.1 La precisión es el porcentaje de preguntas respondidas correctamente. Las respuestas numéricas reciben una tolerancia relativa del 0,2 %.
Los tokens de salida son los tokens generados en las 238 respuestas. Los tokens de entrada se cuentan por separado en el cálculo del costo.
El costo es el gasto calculado en USD para la ejecución de respuesta de preguntas, utilizando los recuentos de tokens y las tarifas registradas en nuestro análisis de costes. Algunos recuentos de entrada son estimados. Estas cifras excluyen los costes de extracción de respuestas y no representan una nueva verificación de precios.
Precisión, uso de tokens y hallazgos de costes
Muse Wonder y Claude Opus 5.5 empatan con 218 respuestas correctas
Muse Wonder y Claude Opus 5.5 comparten la puntuación registrada más alta, 91,60 % (218/238). Gemini 4 Argon y GPT-5.6 Sol Pro responden correctamente dos preguntas menos, con una puntuación de 90,76 % (216/238). GPT-5.6 Sol, Claude Fable 5.1, Claude Fable 5, Grok 4.6 y GPT-6.1 Sol Pro responden cada uno 215 correctamente, con una puntuación de 90,34 %.
Muse Wonder genera 407.149 tokens de salida por $8,4098, en comparación con los 144.834 tokens de salida y los $3,2532 de Opus 5.5. El costo de Muse Wonder utiliza 66.706 tokens de entrada medidos. El uso de entrada de Opus se estima a partir de un model hermano. Sus configuraciones de ejecución difieren y no se ha establecido la fiabilidad entre ejecuciones repetidas.
Gemini 4 Argon iguala a GPT-5.6 Sol Pro con un 90,76 % por $2,65
Gemini 4 Argon obtiene una precisión de 90,76 % (216/238), generando 249.825 tokens de salida por $2.6477. GPT-5.6 Sol Pro responde correctamente el mismo número con 385.886 tokens de salida a $16.3533. Argon devolvió una respuesta no vacía en cada pregunta. Su costo utiliza recuentos medidos de tokens de entrada y salida.
GPT-6.1 Sol Pro tiene el costo más bajo entre los models empatados con 90,34 %
GPT-6.1 Sol Pro responde 215 preguntas correctamente por $3,28, el costo calculado más bajo entre los cinco models empatados con 90,34 %. GPT-5.6 Sol cuesta $3,85, Grok 4.6 cuesta $4,45, Claude Fable 5.1 cuesta $8,64 y Claude Fable 5 cuesta $10.05.
GPT-6.1 Sol Pro genera 187.502 tokens de salida, en comparación con los 117.735 de GPT-5.6 Sol. Sus tarifas de tokens registradas más bajas compensan la salida más larga y el mayor recuento de entrada. Entre estos models empatados, GPT-5.6 Sol sigue utilizando la menor cantidad de tokens de salida.
GPT-6 Sol genera la menor cantidad de tokens de salida
GPT-6 Sol utiliza 85.228 tokens de salida, el recuento más bajo entre los 91 models. Responde 212 preguntas correctamente (89,08 %) por $0.98. GPT-6 Astra genera 87.774 tokens, responde 208 correctamente (87,39 %) y cuesta $5,02 a sus tarifas registradas.
GPT-6.1 Sol responde 214 preguntas correctamente (89,92 %), utilizando 89.153 tokens de salida por $1.02. Claude Sonnet 5.5 alcanza 212 correctas (89,08 %) con 142.728 tokens a $1.61. Cada comparación cubre una ejecución completada con las mismas 238 preguntas.
GPT-6 Luna supera el 83 % de precisión por $0,0754
GPT-6 Luna responde 207 preguntas correctamente (86,97 %) por $0,0754, el costo registrado más bajo entre los models con más del 83 %. DeepSeek V4.1 Flash también responde 207 correctamente por $0.2572. GPT-6 Sol aumenta el recuento a 212 (89,08 %) por $0.9792.
GPT-OSS-120B obtiene un 81,09 % por $0,0611, mientras que Llama 4 Maverick obtiene un 75,21 % por $0.0995. Mistral Small 3.2 24B tiene la ejecución más barata en general con $0,0352 y una precisión del 41,18 %.
Claude Haiku 5.5 responde 204 preguntas por $0,1506
Claude Haiku 5.5 obtiene un 85,71 % (204/238), generando 283.280 tokens de salida por $0.1506. Mistral Large 4 obtiene un 87,39 % (208/238), generando 1.562.401 tokens de salida por $3.3083. Ambas ejecuciones devolvieron una respuesta no vacía en cada pregunta.
Un mayor gasto no garantiza una puntuación más alta
O1 Pro tiene el costo calculado más alto, $381,28, y obtiene un 80,67 %. O3 Pro cuesta $39,23 por un 78,15 %, mientras que O1 cuesta $46,59 por un 74,79 %. Cada uno obtiene una puntuación inferior a Gemini 3 Flash Preview por $0.39.
Hy4 Preview genera 4.119.093 tokens de salida, el mayor recuento de la comparación, y obtiene un 89,92 %. GPT-6.1 Sol alcanza las mismas 214 respuestas correctas con 89.153 tokens. DeepSeek R1 0528 genera 1.251.064 tokens con un 62,18 %, otro ejemplo de que la longitud de salida varía independientemente de la precisión.
Resultados de todos los 91 models
Los valores de precisión registrados utilizan un redondeo diferente en algunas entradas antiguas. GPT-5, Grok 4.5 y Kimi K3 tienen cada uno 210 respuestas correctas, a pesar de los valores mostrados de 88,23 % y 88,24 %. Los identificadores de model se conservan y los costes se redondean a cuatro decimales.
Model | Precisión (%) | Correctas / 238 | Tokens de salida | Costo (USD) |
|---|---|---|---|---|
claude-opus-5.5 | 91.60 | 218 | 144.834 | 3.2532 |
muse-wonder | 91.60 | 218 | 407.149 | 8.4098 |
gpt-5.6-sol-pro | 90.76 | 216 | 385.886 | 16.3533 |
gemini-4-argon | 90.76 | 216 | 249.825 | 2.6477 |
gpt-5.6-sol | 90.34 | 215 | 117.735 | 3.8493 |
claude-fable-5.1 | 90.34 | 215 | 154.919 | 8.6421 |
claude-fable-5 | 90.34 | 215 | 183.258 | 10.0543 |
grok-4.6 | 90.34 | 215 | 704.035 | 4.4460 |
gpt-6.1-sol-pro | 90.34 | 215 | 187.502 | 3.2817 |
claude-opus-5 | 89.92 | 214 | 225.562 | 6.0847 |
Experimento de recuperación: 24 respuestas correctas adicionales
Nuestro informe de experimento existente compara la generación independiente con la generación aumentada por recuperación (RAG), que añade documentos recuperados al prompt de un model. Registra un aumento de 104 a 128 respuestas correctas en el mismo conjunto de 238 preguntas.
Las notas del experimento etiquetan el model probado como GPT-4o Mini. La tabla de resultados principal asigna la misma precisión de referencia y el mismo recuento de tokens a O4 Mini. La identidad del model de RAG necesita confirmación con los registros de ejecución originales. Su columna de tokens también carece de una división verificada entre entrada y salida, por lo que no puede compararse directamente con la columna de tokens de salida anterior.
El tiempo registrado aumenta de aproximadamente 3 a 59 minutos. La latencia por solicitud y el tiempo separado dedicado a la recuperación no se establecieron aquí. Las pruebas cubrieron un único model reportado, lo que limita las conclusiones sobre RAG en los demás models.
Configuración de recuperación registrada
Las notas históricas describen un índice de Qdrant que contiene explicaciones financieras y funciones de Python del corpus de conocimiento del benchmark. Text-embedding-3-small produce vectores de 1.536 dimensiones. Los documentos se dividen por sección y cada función forma un fragmento separado.
Para cada pregunta y su contexto, el pipeline busca en dos colecciones mediante similitud de coseno y recupera tres fragmentos de documento y dos funciones. Esas notas registran dos llamadas de embedding por consulta y un aumento de aproximadamente 300–500 a 3.000–5.000 tokens de entrada. El material recuperado se incluye en el prompt de generación. Estos detalles de configuración siguen formando parte del informe histórico. El script de recuperación local inspeccionado para esta reescritura no establece que esta ejecución específica de Qdrant se haya llevado a cabo.
Metodología del benchmark de razonamiento financiero
Questions and prompting
Usamos el subconjunto difícil de FinanceReasoning de 238 preguntas. Cada pregunta proporciona contexto y una respuesta de referencia. El contexto puede incluir tablas financieras, series temporales o las entradas de un cálculo financiero.
Un ejemplo pide la última banda superior del canal de Keltner a partir de 25 días de precios de acciones, utilizando una media móvil exponencial de 10 días, un rango verdadero promedio de 10 días y un multiplicador de 1.5. La respuesta se solicita con dos decimales. Resolverlo requiere calcular la media móvil y el rango verdadero, y luego aplicar la fórmula de la banda superior.
Con prompting de cadena de pensamiento, se instruye al model para que desarrolle el cálculo y termine con una respuesta numérica. Recibe la pregunta y el contexto en una tarea de generación free-form. Los 35 models añadidos en septiembre y octubre de 2026 completaron cada uno la inferencia y la evaluación de las 238 preguntas a través de OpenRouter, sin salidas faltantes. El resultado aceptado de Opus 5.5 proviene de una configuración de ejecución que difirió del pipeline principal de la API. Por lo tanto, las condiciones de ejecución varían a lo largo de la comparación.
Answer extraction and scoring
La evaluación extrae una respuesta de la respuesta generada y luego la compara con la referencia. Nuestra configuración actual utiliza Claude Sonnet 4.5 para la extracción de respuestas. Las respuestas numéricas se aprueban cuando su error absoluto es como máximo el 0,2 % del valor absoluto de la respuesta de referencia.
La precisión es el recuento de respuestas correctas dividido entre 238. Una pregunta cambia la puntuación en unos 0.42 puntos porcentuales. Los recuentos de respuestas correctas hacen explícitos los empates cuando los porcentajes registrados difieren por el redondeo.
Cálculos de tokens y costes
Los totales de tokens de salida provienen de los registros de uso de los models. Calculamos el costo combinando los tokens de entrada y de salida con sus precios registrados por millón de tokens:
Los precios almacenados incluyen tarifas históricas de models obsoletos. Los recuentos de entrada estimados se marcan en la tabla de resultados subyacente. El costo de Opus 5.5 combina sus 144.834 tokens de salida medidos con 89.138 tokens de entrada estimados de un model hermano, usando $4 por millón de tokens de entrada y $20 por millón de tokens de salida. Eso produce $3.2532.
Los costes cubren las respuestas finales retenidas de la generación de respuestas. Las llamadas al model de evaluación, los reintentos fallidos o reemplazados y los cargos de indexación o embedding de RAG quedan fuera de este cálculo. Las diferencias en tokenizadores, configuraciones de generación y configuración de ejecución también afectan las comparaciones.
Limitaciones del benchmark
Este dataset público puede haber aparecido en los datos de entrenamiento de los models. Por lo tanto, las puntuaciones no pueden establecer qué tan bien maneja un model problemas financieros no vistos.
Los resultados cubren un conjunto fijo de preguntas y las ejecuciones registradas. No se han establecido la variación entre ejecuciones repetidas ni la significación estadística. La extracción de respuestas basada en LLM puede introducir errores, y calificar la respuesta final no valida cada paso de la explicación.
Los recuentos de entrada estimados y los precios almacenados limitan la precisión de los costes. Nuestro informe separado de RAG tiene una atribución de model sin resolver y una contabilidad de tokens sin resolver, como se describió anteriormente. Sus cifras siguen siendo observaciones históricas a la espera de la conciliación de fuentes.
Este benchmark mide la respuesta a preguntas financieras. No evalúa rendimientos de inversión, cumplimiento normativo, detección de fraude ni fiabilidad de implementación.
Conclusión
Muse Wonder y Claude Opus 5.5 empatan en la puntuación registrada más alta, con 218 respuestas correctas cada uno. Sus costes calculados son $8,4098 y $3,2532, respectivamente. Gemini 4 Argon alcanza 216 por $2,65, igualando a GPT-5.6 Sol Pro con un costo calculado menor. GPT-6.1 Sol Pro alcanza 215 por $3,28, GPT-6 Sol alcanza 212 con la menor cantidad de tokens de salida, y GPT-6 Luna alcanza 207 por $0.0754. Estos son resultados observados en un conjunto fijo de preguntas. La fiabilidad entre ejecuciones repetidas sigue sin medirse.
Añadir como fuente preferidaLecturas adicionales
Trading de acciones basado en IA cubre una aplicación financiera separada. Un conjunto fijo de preguntas. La fiabilidad entre ejecuciones repetidas sigue sin medirse.
Cita este benchmark
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{sari2026,
author = {Sarı, Ekrem},
title = {{Benchmark de 90+ LLMs en Finanzas: Claude Opus 5.5 y Gemini 4 Argon}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/finance-llm}},
note = {AIMultiple. Recuperado el 1 de octubre de 2026}
}Resultados y marcas de tiempo de 1.6 mil puntos de datos. Descargue los datos resumidos que se muestran en los gráficos y las tablas de este artículo como un archivo ZIP que contiene 6 archivos CSV y un README.
¿Quieres los datos granulares que hay detrás? Únete a Premium
Enlaces de referencia
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.