Benchmark de más de 90 LLM en Finanzas: Claude Opus 5.5 y Gemini 4 Argon

El conjunto de prueba es el subconjunto difícil del benchmark FinanceReasoning (Tang et al.), con 238 preguntas.¹ La precisión es el porcentaje de preguntas respondidas correctamente. Las respuestas numéricas reciben una tolerancia relativa del 0,2 %.

Los tokens de salida son los tokens generados en las 238 respuestas. Los tokens de entrada se cuentan por separado en el cálculo del coste.

El coste es el gasto calculado en USD para la ejecución de preguntas y respuestas, usando los recuentos de tokens y las tarifas registradas en nuestro análisis de costes. Algunos recuentos de entrada son estimados. Estas cifras excluyen los costes de extracción de respuestas. Los costes de GPT-6.1 Terra, MiniMax M3.1 Flash y Kimi K3.1 Pro usan recuentos medidos de entrada y salida y precios de OpenRouter verificados el 27 de octubre de 2026. DeepSeek V4.1 Flash 1017 y Muse Spark Open usan recuentos medidos de entrada y salida y precios de lista de OpenRouter verificados el 30 de octubre de 2026. Sus tarifas de entrada/salida por millón de tokens son de $0,30/$1,20 y $1,25/$4,25, respectivamente. Estos cálculos usan las tarifas base de lista y excluyen los descuentos por caché y por tiempo. Las entradas más antiguas conservan sus tarifas registradas.

Conclusiones sobre precisión, uso de tokens y coste

Muse Wonder y Claude Opus 5.5 empatan con 218 respuestas correctas

Muse Wonder y Claude Opus 5.5 comparten la puntuación más alta registrada, 91,60 % (218/238). Gemini 4 Argon y GPT-5.6 Sol Pro responden correctamente dos preguntas menos, con una puntuación del 90,76 % (216/238). GPT-5.6 Sol, Claude Fable 5.1, Claude Fable 5, Grok 4.6 y GPT-6.1 Sol Pro responden correctamente 215 cada uno, con una puntuación del 90,34 %.

Muse Wonder genera 407.149 tokens de salida por $8,4098, en comparación con los 144.834 tokens de salida y $3,2532 de Opus 5.5. El coste de Muse Wonder usa 66.706 tokens de entrada medidos. El uso de entrada de Opus se estima a partir de un modelo hermano. Sus configuraciones de ejecución difieren y no se ha establecido la fiabilidad de ejecuciones repetidas.

Gemini 4 Argon iguala a GPT-5.6 Sol Pro con un 90,76 % por $2,65

Gemini 4 Argon obtiene un 90,76 % (216/238), generando 249.825 tokens de salida por $2.6477. GPT-5.6 Sol Pro responde correctamente el mismo número con 385.886 tokens de salida a $16.3533. Argon devolvió una respuesta no vacía en cada pregunta. Su coste usa recuentos medidos de tokens de entrada y salida.

GPT-6.1 Sol Pro tiene el coste más bajo entre los modelos empatados con un 90,34 %

GPT-6.1 Sol Pro responde correctamente 215 preguntas por $3,28, el coste calculado más bajo entre los cinco modelos empatados con un 90,34 %. GPT-5.6 Sol cuesta $3,85, Grok 4.6 cuesta $4,45, Claude Fable 5.1 cuesta $8,64 y Claude Fable 5 cuesta $10.05.

GPT-6.1 Sol Pro genera 187.502 tokens de salida, en comparación con los 117.735 de GPT-5.6 Sol. Sus tarifas de tokens registradas más bajas compensan la salida más larga y el mayor recuento de entrada. Entre estos modelos empatados, GPT-5.6 Sol sigue usando la menor cantidad de tokens de salida.

GPT-6.1 Terra genera la menor cantidad de tokens de salida

GPT-6.1 Terra usa 79.655 tokens de salida, el recuento más bajo entre los 96 modelos. Responde correctamente 207 preguntas (86,97 %) por $0.4617. GPT-6 Sol usa 85.228 tokens de salida y responde correctamente 212 (89,08 %) por $0.98. GPT-6 Astra genera 87.774 tokens, responde correctamente 208 (87,39 %) y cuesta $5,02 a sus tarifas registradas.

GPT-6.1 Sol responde correctamente 214 preguntas (89,92 %), usando 89.153 tokens de salida por $1.02. Claude Sonnet 5.5 alcanza 212 correctas (89,08 %) con 142.728 tokens a $1.61. Cada comparación cubre una ejecución completada sobre las mismas 238 preguntas.

GPT-6 Luna supera una precisión del 83 % por $0,0754

GPT-6 Luna responde correctamente 207 preguntas (86,97 %) por $0,0754, el coste registrado más bajo entre los modelos por encima del 83 %. DeepSeek V4.1 Flash también responde correctamente 207 por $0.2572. GPT-6 Sol aumenta el recuento a 212 (89,08 %) por $0.9792.

GPT-OSS-120B obtiene un 81,09 % por $0,0611, mientras que Llama 4 Maverick obtiene un 75,21 % por $0.0995. Mistral Small 3.2 24B tiene la ejecución más barata en general con $0,0352 y una precisión del 41,18 %.

Claude Haiku 5.5 responde correctamente 204 preguntas por $0,1506

Claude Haiku 5.5 obtiene un 85,71 % (204/238), generando 283.280 tokens de salida por $0.1506. Mistral Large 4 obtiene un 87,39 % (208/238), generando 1.562.401 tokens de salida por $3.3083. Ambas ejecuciones devolvieron una respuesta no vacía en cada pregunta.

Un mayor gasto no garantiza una puntuación más alta

O1 Pro tiene el coste calculado más alto, $381,28, y obtiene un 80,67 %. O3 Pro cuesta $39,23 por un 78,15 %, mientras que O1 cuesta $46,59 por un 74,79 %. Cada uno obtiene una puntuación por debajo de Gemini 3 Flash Preview a $0.39.

Hy4 Preview genera 4.119.093 tokens de salida, el mayor recuento de la comparación, y obtiene un 89,92 %. GPT-6.1 Sol alcanza las mismas 214 respuestas correctas con 89.153 tokens. DeepSeek R1 0528 genera 1.251.064 tokens con un 62,18 %, otro ejemplo de que la longitud de salida varía independientemente de la precisión.

Resultados de los 96 modelos

Los valores de precisión registrados usan redondeos diferentes en algunas entradas más antiguas. GPT-5, Grok 4.5 y Kimi K3 tienen 210 respuestas correctas cada uno, a pesar de los valores mostrados de 88,23 % y 88,24 %. Los identificadores de modelo se conservan y los costes se redondean a cuatro decimales.

Cómo respondieron los modelos la misma pregunta financiera

Ocho modelos respondieron la misma pregunta de valoración de bonos. El bono cuesta $950 y tiene flujos de caja anuales de $50, $50 y $1.050. Las tasas spot del Tesoro correspondientes son 1,5 %, 1,8 % y 2,0 %.

Estos extractos provienen de respuestas guardadas de los modelos. Conservan la redacción original, con un formato simplificado y los pasajes omitidos marcados con […]. Cada encabezado indica el valor seleccionado por el extractor de respuestas y el resultado almacenado del benchmark. Siete modelos usaron OpenRouter, mientras que Opus 5.5 usó Claude Code.

La respuesta de referencia es 4,92 %. La comprobamos resolviendo la ecuación de flujos de caja, que da aproximadamente 4.916972 %. Seis modelos aprobaron con respuestas extraídas de 4,92 %. Gemini 4 Argon devolvió 4,94 %, fuera de la tolerancia relativa del 0,2 % del benchmark.

Muse Spark Open dio un rango de 4,90 % a 4,95 % y también mencionó 4,92 %. El extractor de respuestas seleccionó 4,90 %, lo que produjo un fallo almacenado. Esta respuesta muestra cómo varios valores candidatos pueden afectar a la extracción de respuestas.

MiniMax M3.1 Flash aprobó con 4,92 %. Su explicación también describe ese diferencial como de unos 49 puntos básicos. Un diferencial de 4.92 puntos porcentuales equivale a 492 puntos básicos. El benchmark puntúa el número final extraído, por lo que una puntuación de aprobado puede coexistir con un error en la explicación.

Esta pregunta seleccionada ilustra las respuestas individuales y el comportamiento de puntuación. Los resultados de las 238 preguntas proporcionan la comparación más amplia de modelos.

Experimento de recuperación: 24 respuestas correctas adicionales

Nuestro informe de experimento existente compara la generación autónoma con la generación aumentada por recuperación (RAG), que añade documentos recuperados al prompt de un modelo. Registra un aumento de 104 a 128 respuestas correctas en el mismo conjunto de 238 preguntas.

Las notas del experimento etiquetan el modelo probado como GPT-4o Mini. La tabla principal de resultados asigna la misma precisión de referencia y el mismo recuento de tokens a O4 Mini. La identidad del modelo con RAG necesita confirmación con los registros originales de la ejecución. Su columna de tokens también carece de una división verificada de entrada/salida, por lo que no puede compararse directamente con la columna de tokens de salida anterior.

El tiempo registrado aumenta de unos 3 a 59 minutos. La latencia por solicitud y el tiempo dedicado por separado a la recuperación no se establecieron aquí. Las pruebas cubrieron un solo modelo reportado, lo que limita las conclusiones sobre RAG en los demás modelos.

Configuración de recuperación registrada

Las notas históricas describen un índice de Qdrant que contiene explicaciones financieras y funciones de Python del corpus de conocimiento del benchmark. Text-embedding-3-small produce vectores de 1.536 dimensiones. Los documentos se dividen por secciones y cada función forma un fragmento separado.

Para cada pregunta y su contexto, el pipeline busca en dos colecciones mediante similitud de coseno, recuperando tres fragmentos de documentos y dos funciones. Esas notas registran dos llamadas de embedding por consulta y un aumento de aproximadamente 300–500 a 3.000–5.000 tokens de entrada. El material recuperado se incluye en el prompt de generación. Estos detalles de configuración siguen formando parte del informe histórico. El script de recuperación local inspeccionado para esta reescritura no establece que se ejecutara esta ejecución específica de Qdrant.

Metodología del benchmark de razonamiento financiero

Questions and prompting

Usamos el subconjunto difícil de FinanceReasoning de 238 preguntas. Cada pregunta proporciona contexto y una respuesta de referencia. El contexto puede incluir tablas financieras, series temporales o los datos de entrada para un cálculo financiero.

Un ejemplo pide la última banda superior del canal de Keltner a partir de 25 días de precios de acciones, usando una media móvil exponencial de 10 días, un rango verdadero medio de 10 días y un multiplicador de 1.5. La respuesta se solicita con dos decimales. Resolverlo requiere calcular la media móvil y el rango verdadero, y luego aplicar la fórmula de la banda superior.

Con prompting de cadena de pensamiento, se instruye al modelo para que desarrolle el cálculo y termine con una respuesta numérica. Recibe la pregunta y el contexto en una tarea de generación free-forma. Los 40 modelos añadidos en septiembre y octubre de 2026 completaron cada uno la inferencia y la evaluación de las 238 preguntas a través de OpenRouter, sin salidas faltantes. El resultado aceptado de Opus 5.5 proviene de una configuración de ejecución que difirió del pipeline principal de API. Por lo tanto, las condiciones de ejecución varían a lo largo de la comparación.

Answer extraction and scoring

La evaluación extrae una respuesta de la respuesta generada y luego la compara con la de referencia. Nuestra configuración actual usa Claude Sonnet 4.5 para la extracción de respuestas. Las respuestas numéricas se consideran correctas cuando su error absoluto es como máximo del 0,2 % del valor absoluto de la respuesta de referencia.

La precisión es el recuento de respuestas correctas dividido por 238. Una pregunta cambia la puntuación en aproximadamente 0.42 puntos porcentuales. Los recuentos de respuestas correctas hacen explícitos los empates cuando los porcentajes registrados difieren por redondeo.

Cálculos de tokens y costes

Los totales de tokens de salida provienen de los registros de uso del modelo. Calculamos el coste combinando los tokens de entrada y de salida con sus precios registrados por millón de tokens:

Los precios almacenados incluyen tarifas históricas de modelos obsoletos. Los recuentos de entrada estimados están marcados en la tabla de resultados subyacente. El coste de Opus 5.5 combina sus 144.834 tokens de salida medidos con 89.138 tokens de entrada estimados de un modelo hermano, usando $4 por millón de tokens de entrada y $20 por millón de tokens de salida. Eso produce $3.2532.

Los costes cubren las respuestas finales conservadas de generación de respuestas. Las llamadas al modelo de evaluación, los reintentos fallidos o sustituidos y los cargos de indexación o embedding de RAG quedan fuera de este cálculo. Las diferencias en tokenizadores, ajustes de generación y configuración de ejecución también afectan a las comparaciones.

No te pierdas nuestros análisis comparativos e insights basados en datos. El botón abre Google; seleccionar AIMultiple confirma que deseas ver AIMultiple con más frecuencia en los resultados de búsqueda de Google.

Añadir como fuente preferida

Limitaciones del benchmark

Este dataset público puede haber aparecido en los datos de entrenamiento del modelo. Por lo tanto, las puntuaciones no pueden establecer qué tan bien maneja un modelo problemas financieros no vistos.

Los resultados cubren un conjunto fijo de preguntas y las ejecuciones registradas. No se han establecido la variación entre ejecuciones repetidas ni la significación estadística. La extracción de respuestas basada en LLM puede introducir errores, y puntuar la respuesta final no valida cada paso de la explicación.

Los recuentos de entrada estimados y los precios almacenados limitan la precisión del coste. Nuestro informe separado de RAG tiene una atribución de modelo y una contabilidad de tokens sin resolver, como se describe arriba. Sus cifras siguen siendo observaciones históricas a la espera de la conciliación de fuentes.

Este benchmark mide la respuesta a preguntas financieras. No evalúa la rentabilidad de las inversiones, el cumplimiento normativo, la detección de fraude ni la fiabilidad del despliegue.

Lecturas adicionales

Trading de acciones basado en IA abarca una aplicación financiera independiente. Un conjunto fijo de preguntas.

Cita este benchmark

Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Benchmark de más de 90 LLM en Finanzas: Claude Opus 5.5 y Gemini 4 Argon}},
  year   = {2026},
  month  = nov,
  howpublished    = {\url{https://aimultiple.com/finance-llm}},
  note   = {AIMultiple. Recuperado el 3 de noviembre de 2026}
}

Enlaces de referencia

1.

[2506.05828] FinanceReasoning: Benchmarking Financial Numerical Reasoning More Credible, Comprehensive and Challenging

Ekrem Sarı

Investigador de IA

Síguenos

Ekrem es investigador de IA y científico de datos en AIMultiple. Diseña y ejecuta benchmarks prácticos para sistemas de IA y LLM.

Ver perfil completo

Sé el primero en comentar

Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.

Nombre

Dirección de correo electrónico

Comentario

0/450

Publicar comentario