Benchmark de 90+ LLMs em Finanças: Claude Opus 5.5 e Gemini 4 Argon

O conjunto de teste é o subconjunto difícil do benchmark FinanceReasoning (Tang et al.), com 238 perguntas.¹ A precisão é a porcentagem de perguntas respondidas corretamente. As respostas numéricas recebem uma tolerância relativa de 0,2%.

Os tokens de saída são os tokens gerados nas 238 respostas. Os tokens de entrada são contados separadamente no cálculo de custo.

O custo é o gasto calculado em USD para a execução de respostas às perguntas, usando as contagens de tokens e as taxas registradas em nossa análise de custos. Algumas contagens de entrada são estimadas. Esses valores excluem os custos de extração de respostas e não representam uma nova verificação de preços.

Resultados de precisão, uso de tokens e custos

Muse Wonder e Claude Opus 5.5 empatam com 218 respostas corretas

Muse Wonder e Claude Opus 5.5 compartilham a maior pontuação registrada, 91,60% (218/238). Gemini 4 Argon e GPT-5.6 Sol Pro respondem corretamente a duas perguntas a menos, marcando 90,76% (216/238). GPT-5.6 Sol, Claude Fable 5.1, Claude Fable 5, Grok 4.6 e GPT-6.1 Sol Pro respondem corretamente a 215 cada, marcando 90,34%.

Muse Wonder gera 407.149 tokens de saída por US$ 8.4098, em comparação com os 144.834 tokens de saída do Opus 5.5 e US$ 3.2532. O custo do Muse Wonder usa 66.706 tokens de entrada medidos. O uso de entrada do Opus é estimado a partir de um modelo semelhante. Suas configurações de execução são diferentes, e a confiabilidade de execuções repetidas não foi estabelecida.

Gemini 4 Argon iguala GPT-5.6 Sol Pro com 90,76% por US$ 2.65

Gemini 4 Argon marca 90,76% (216/238), gerando 249.825 tokens de saída por US$ 2.6477. GPT-5.6 Sol Pro responde corretamente ao mesmo número com 385.886 tokens de saída a US$ 16.3533. O Argon devolveu uma resposta não vazia para todas as perguntas. Seu custo usa contagens medidas de tokens de entrada e de saída.

GPT-6.1 Sol Pro tem o menor custo entre os modelos empatados com 90,34%

GPT-6.1 Sol Pro responde corretamente a 215 perguntas por US$ 3.28, o menor custo calculado entre os cinco modelos empatados com 90,34%. GPT-5.6 Sol custa US$ 3.85, Grok 4.6 custa US$ 4.45, Claude Fable 5.1 custa US$ 8.64 e Claude Fable 5 custa US$ 10.05.

GPT-6.1 Sol Pro gera 187.502 tokens de saída, em comparação com os 117.735 de GPT-5.6 Sol. Suas taxas de token registradas mais baixas compensam a saída mais longa e a contagem de entrada mais alta. Entre esses modelos empatados, GPT-5.6 Sol ainda usa a menor quantidade de tokens de saída.

GPT-6 Sol gera a menor quantidade de tokens de saída

GPT-6 Sol usa 85.228 tokens de saída, a menor contagem entre os 91 modelos. Ele responde corretamente a 212 perguntas (89,08%) por US$ 0.98. GPT-6 Astra gera 87.774 tokens, responde corretamente a 208 (87,39%) e custa US$ 5.02 às taxas registradas.

GPT-6.1 Sol responde corretamente a 214 perguntas (89,92%), usando 89.153 tokens de saída por US$ 1.02. Claude Sonnet 5.5 atinge 212 corretas (89,08%) com 142.728 tokens a US$ 1.61. Cada comparação cobre uma execução concluída nas mesmas 238 perguntas.

GPT-6 Luna ultrapassa 83% de precisão por US$ 0.0754

GPT-6 Luna responde corretamente a 207 perguntas (86,97%) por US$ 0.0754, o menor custo registrado entre os modelos acima de 83%. DeepSeek V4.1 Flash também responde corretamente a 207 por US$ 0.2572. GPT-6 Sol aumenta a contagem para 212 (89,08%) por US$ 0.9792.

GPT-OSS-120B marca 81,09% por US$ 0.0611, enquanto Llama 4 Maverick marca 75,21% por US$ 0.0995. Mistral Small 3.2 24B tem a execução mais barata no geral, a US$ 0.0352, com 41,18% de precisão.

Claude Haiku 5.5 responde a 204 perguntas por US$ 0.1506

Claude Haiku 5.5 marca 85,71% (204/238), gerando 283.280 tokens de saída por US$ 0.1506. Mistral Large 4 marca 87,39% (208/238), gerando 1.562.401 tokens de saída por US$ 3.3083. Ambas as execuções devolveram uma resposta não vazia para todas as perguntas.

Maiores gastos não garantem uma pontuação mais alta

O1 Pro tem o maior custo calculado, US$ 381.28, e marca 80,67%. O3 Pro custa US$ 39.23 por 78,15%, enquanto O1 custa US$ 46.59 por 74,79%. Cada um marca abaixo do Gemini 3 Flash Preview a US$ 0.39.

Hy4 Preview gera 4.119.093 tokens de saída, a maior contagem da comparação, e marca 89,92%. GPT-6.1 Sol atinge as mesmas 214 respostas corretas com 89.153 tokens. DeepSeek R1 0528 gera 1.251.064 tokens com 62,18%, outro exemplo de comprimento de saída variando independentemente da precisão.

Resultados para todos os 91 modelos

Os valores de precisão registrados usam arredondamentos diferentes em algumas entradas antigas. GPT-5, Grok 4.5 e Kimi K3 têm 210 respostas corretas cada, apesar dos valores exibidos de 88,23% e 88,24%. Os identificadores de modelo são preservados, e os custos são arredondados para quatro casas decimais.

Experimento de recuperação: 24 respostas corretas adicionais

Nosso relatório de experimento existente compara a geração autônoma com a geração aumentada por recuperação (RAG), que adiciona documentos recuperados ao prompt de um modelo. Ele registra um aumento de 104 para 128 respostas corretas no mesmo conjunto de 238 perguntas.

As notas do experimento identificam o modelo testado como GPT-4o Mini. A tabela principal de resultados atribui a mesma precisão de linha de base e a contagem de tokens ao O4 Mini. A identidade do modelo RAG precisa de confirmação com os registros de execução originais. Sua coluna de tokens também não tem uma divisão verificada de entrada/saída, portanto não pode ser comparada diretamente com a coluna de tokens de saída acima.

O tempo registrado aumenta de cerca de 3 para 59 minutos. A latência por solicitação e o tempo separado gasto na recuperação não foram estabelecidos aqui. Os testes cobriram um modelo relatado, o que limita as conclusões sobre RAG nos outros modelos.

Configuração de recuperação registrada

As notas históricas descrevem um índice Qdrant contendo explicações financeiras e funções em Python do corpus de conhecimento do benchmark. O text-embedding-3-small produz vetores de 1.536 dimensões. Os documentos são divididos por seção, e cada função forma um bloco separado.

Para cada pergunta e seu contexto, o pipeline pesquisa duas coleções usando similaridade de cosseno, recuperando três blocos de documentos e duas funções. Essas notas registram duas chamadas de embedding por consulta e um aumento de cerca de 300–500 para 3.000–5.000 tokens de entrada. O material recuperado é incluído no prompt de geração. Esses detalhes de configuração permanecem parte do relatório histórico. O script de recuperação local inspecionado para esta reescrita não estabelece que essa execução específica do Qdrant tenha sido executada.

Metodologia do benchmark de raciocínio financeiro

Questions and prompting

Usamos o subconjunto difícil do FinanceReasoning com 238 perguntas. Cada pergunta fornece contexto e uma resposta de referência. O contexto pode incluir tabelas financeiras, séries temporais ou os dados de entrada para um cálculo financeiro.

Um exemplo pede a última banda superior do Canal de Keltner a partir de 25 dias de preços de ações, usando uma média móvel exponencial de 10 dias, um intervalo verdadeiro médio de 10 dias e um multiplicador de 1.5. A resposta é solicitada com duas casas decimais. Resolvê-lo exige calcular a média móvel e o intervalo verdadeiro e, em seguida, aplicar a fórmula da banda superior.

Com prompt encadeado de raciocínio, o modelo é instruído a percorrer o cálculo e terminar com uma resposta numérica. Ele recebe a pergunta e o contexto em uma tarefa de geração free-form. Os 35 modelos adicionados em setembro e outubro de 2026 concluíram cada um a inferência e a avaliação de todas as 238 perguntas por meio do OpenRouter, sem saídas ausentes. O resultado aceito do Opus 5.5 vem de uma configuração de execução diferente do pipeline principal da API. As condições de execução, portanto, variam entre as comparações.

Answer extraction and scoring

A avaliação extrai uma resposta da resposta gerada e a compara com a referência. Nossa configuração atual usa o Claude Sonnet 4.5 para a extração de respostas. As respostas numéricas são aprovadas quando seu erro absoluto é de no máximo 0,2% do valor absoluto da resposta de referência.

A precisão é a contagem de respostas corretas dividida por 238. Uma pergunta altera a pontuação em cerca de 0.42 ponto percentual. As contagens de respostas corretas tornam os empates explícitos quando as porcentagens registradas diferem no arredondamento.

Cálculos de tokens e custos

Os totais de tokens de saída vêm dos registros de uso do modelo. Calculamos o custo combinando os tokens de entrada e de saída com seus preços registrados por milhão de tokens:

Os preços armazenados incluem taxas históricas de modelos descontinuados. As contagens de entrada estimadas são marcadas na tabela de resultados subjacente. O custo do Opus 5.5 combina seus 144.834 tokens de saída medidos com 89.138 tokens de entrada estimados de um modelo semelhante, usando US$ 4 por milhão de tokens de entrada e US$ 20 por milhão de tokens de saída. Isso produz US$ 3.2532.

Os custos cobrem as respostas finais retidas de geração de respostas. As chamadas do modelo de avaliação, as novas tentativas falhas ou substituídas e os custos de indexação ou embedding do RAG estão fora deste cálculo. Diferenças em tokenizers, configurações de geração e configuração de execução também afetam as comparações.

Limitações do benchmark

Este conjunto de dados público pode ter aparecido nos dados de treinamento dos modelos. As pontuações, portanto, não podem estabelecer quão bem um modelo lida com problemas financeiros não vistos.

Os resultados cobrem um conjunto fixo de perguntas e as execuções registradas. A variação entre execuções repetidas e a significância estatística não foram estabelecidas. A extração de respostas baseada em LLM pode introduzir erros, e pontuar a resposta final não valida cada etapa da explicação.

Contagens de entrada estimadas e preços armazenados limitam a precisão dos custos. Nosso relatório separado de RAG tem atribuição de modelo e contabilização de tokens não resolvidas, conforme descrito acima. Seus números permanecem observações históricas até a reconciliação das fontes.

Este benchmark mede a resposta a perguntas financeiras. Ele não testa retornos de investimento, conformidade regulatória, detecção de fraudes ou confiabilidade de implantação.

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Leitura adicional

IA-based Stock Trading covers a separate financial application.a fixed question set. Repeated-run reliability remains unmeasured.

Cite este benchmark

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Benchmark de 90+ LLMs em Finanças: Claude Opus 5.5 e Gemini 4 Argon}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/finance-llm}},
  note   = {AIMultiple. Acessado em 1 outubro 2026}
}

Links de referência

1.

[2506.05828] FinanceReasoning: Benchmarking Financial Numerical Reasoning More Credible, Comprehensive and Challenging

Ekrem Sarı

Pesquisador de IA

Siga-nos

Ekrem é Pesquisador de IA e Cientista de Dados na AIMultiple. Ele projeta e executa benchmarks práticos para sistemas de IA e LLM.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário