Benchmark de 90+ LLMs em Finanças: Claude Opus 5.5 & Gemini 4 Argon

O conjunto de teste é o subconjunto difícil do benchmark FinanceReasoning (Tang et al.), com 238 perguntas.¹ A precisão é a porcentagem de perguntas respondidas corretamente. Respostas numéricas recebem uma tolerância relativa de 0,2%.

Os tokens de saída são os tokens gerados nas 238 respostas. Os tokens de entrada são contados separadamente no cálculo de custo.

O custo é o gasto em USD calculado para a execução de resposta a perguntas, usando as contagens de tokens e tarifas registradas em nossa análise de custos. Algumas contagens de entrada são estimadas. Esses valores excluem os custos de extração de respostas. Os custos para GPT-6.1 Terra, MiniMax M3.1 Flash e Kimi K3.1 Pro usam contagens medidas de entrada e saída e preços do OpenRouter verificados em 27 de outubro de 2026. DeepSeek V4.1 Flash 1017 e Muse Spark Open usam contagens medidas de entrada e saída e preços de tabela do OpenRouter verificados em 30 de outubro de 2026. Suas tarifas de entrada/saída por milhão de tokens são $0,30/$1,20 e $1,25/$4,25, respectivamente. Esses cálculos usam tarifas de tabela básicas e excluem descontos de cache e baseados em tempo. Entradas mais antigas mantêm suas tarifas registradas.

Resultados de precisão, uso de tokens e custo

Muse Wonder e Claude Opus 5.5 empatam com 218 respostas corretas

Muse Wonder e Claude Opus 5.5 compartilham a maior pontuação registrada, 91,60% (218/238). Gemini 4 Argon e GPT-5.6 Sol Pro respondem corretamente duas perguntas a menos, marcando 90,76% (216/238). GPT-5.6 Sol, Claude Fable 5.1, Claude Fable 5, Grok 4.6 e GPT-6.1 Sol Pro respondem corretamente 215 cada, marcando 90,34%.

Muse Wonder gera 407.149 tokens de saída por $8,4098, em comparação com o Opus 5.5, que gerou 144.834 tokens de saída e $3.2532. O custo do Muse Wonder usa 66.706 tokens de entrada medidos. O uso de entrada do Opus é estimado a partir de um modelo semelhante. Suas configurações de execução diferem, e a confiabilidade entre execuções repetidas não foi estabelecida.

Gemini 4 Argon iguala GPT-5.6 Sol Pro em 90,76% por $2,65

Gemini 4 Argon marca 90,76% (216/238), gerando 249.825 tokens de saída por $2.6477. GPT-5.6 Sol Pro responde corretamente ao mesmo número com 385.886 tokens de saída a $16.3533. O Argon retornou uma resposta não vazia para cada pergunta. Seu custo usa contagens medidas de tokens de entrada e saída.

GPT-6.1 Sol Pro tem o menor custo entre os modelos empatados em 90,34%

GPT-6.1 Sol Pro responde 215 perguntas corretamente por $3,28, o menor custo calculado entre os cinco modelos empatados em 90,34%. GPT-5.6 Sol custa $3,85, Grok 4.6 custa $4,45, Claude Fable 5.1 custa $8,64 e Claude Fable 5 custa $10.05.

GPT-6.1 Sol Pro gera 187.502 tokens de saída, em comparação com o GPT-5.6 Sol, que gera 117.735. Suas tarifas registradas por token mais baixas compensam a saída mais longa e a maior contagem de entrada. Entre esses modelos empatados, GPT-5.6 Sol ainda usa a menor quantidade de tokens de saída.

GPT-6.1 Terra gera a menor quantidade de tokens de saída

GPT-6.1 Terra usa 79.655 tokens de saída, a menor contagem entre os 96 modelos. Ele responde 207 perguntas corretamente (86,97%) por $0.4617. GPT-6 Sol usa 85.228 tokens de saída e responde 212 corretamente (89,08%) por $0.98. GPT-6 Astra gera 87.774 tokens, responde 208 corretamente (87,39%) e custa $5,02 às suas tarifas registradas.

GPT-6.1 Sol responde 214 perguntas corretamente (89,92%), usando 89.153 tokens de saída por $1.02. Claude Sonnet 5.5 alcança 212 corretas (89,08%) com 142.728 tokens a $1.61. Cada comparação cobre uma execução concluída nas mesmas 238 perguntas.

GPT-6 Luna supera 83% de precisão por $0,0754

GPT-6 Luna responde 207 perguntas corretamente (86,97%) por $0,0754, o menor custo registrado entre modelos acima de 83%. DeepSeek V4.1 Flash também responde 207 corretamente por $0.2572. GPT-6 Sol aumenta a contagem para 212 (89,08%) por $0.9792.

O GPT-OSS-120B marca 81,09% por $0,0611, enquanto o Llama 4 Maverick marca 75,21% por $0.0995. O Mistral Small 3.2 24B tem a execução mais barata no geral a $0,0352, com 41,18% de precisão.

Claude Haiku 5.5 responde 204 perguntas por $0,1506

Claude Haiku 5.5 marca 85,71% (204/238), gerando 283.280 tokens de saída por $0.1506. Mistral Large 4 marca 87,39% (208/238), gerando 1.562.401 tokens de saída por $3.3083. Ambas as execuções retornaram uma resposta não vazia para cada pergunta.

Maior gasto não garante uma pontuação maior

O O1 Pro tem o maior custo calculado, $381,28, e marca 80,67%. O O3 Pro custa $39,23 por 78,15%, enquanto o O1 custa $46,59 por 74,79%. Cada um marca abaixo do Gemini 3 Flash Preview a $0.39.

O Hy4 Preview gera 4.119.093 tokens de saída, a maior contagem na comparação, e marca 89,92%. O GPT-6.1 Sol alcança as mesmas 214 respostas corretas com 89.153 tokens. O DeepSeek R1 0528 gera 1.251.064 tokens a 62,18%, outro exemplo de comprimento de saída variando independentemente da precisão.

Resultados para todos os 96 modelos

Os valores de precisão registrados usam arredondamentos diferentes em algumas entradas mais antigas. GPT-5, Grok 4.5 e Kimi K3 têm, cada um, 210 respostas corretas, apesar dos valores exibidos 88,23% e 88,24%. Os identificadores dos modelos são preservados, e os custos são arredondados para quatro casas decimais.

Como os modelos responderam à mesma pergunta financeira

Oito modelos responderam à mesma pergunta de precificação de títulos. O título custa $950 e tem fluxos de caixa anuais de $50, $50 e $1.050. As taxas à vista correspondentes do Tesouro são 1,5%, 1,8% e 2,0%.

Esses trechos vêm de respostas salvas dos modelos. Eles preservam a redação original, com formatação simplificada e passagens omitidas marcadas com […]. Cada cabeçalho informa o valor selecionado pelo extrator de respostas e o resultado armazenado do benchmark. Sete modelos usaram OpenRouter, enquanto o Opus 5.5 usou o Claude Code.

A resposta de referência é 4,92%. Nós a verificamos resolvendo a equação de fluxo de caixa, que dá aproximadamente 4.916972%. Seis modelos passaram com respostas extraídas de 4,92%. O Gemini 4 Argon retornou 4,94%, fora da tolerância relativa de 0,2% do benchmark.

O Muse Spark Open forneceu uma faixa de 4,90% a 4,95% e também mencionou 4,92%. O extrator de respostas selecionou 4,90%, produzindo uma falha armazenada. Essa resposta mostra como vários valores candidatos podem afetar a extração de respostas.

O MiniMax M3.1 Flash passou com 4,92%. Sua explicação também descreve esse spread como cerca de 49 pontos-base. Um spread de 4.92 pontos percentuais equivale a 492 pontos-base. O benchmark pontua o número final extraído, portanto uma pontuação de aprovação pode coexistir com um erro na explicação.

Esta pergunta selecionada ilustra respostas individuais e o comportamento da pontuação. Os resultados de todas as 238 perguntas fornecem a comparação mais ampla dos modelos.

Experimento de recuperação: 24 respostas corretas adicionais

Nosso relatório de experimento existente compara a geração autônoma com a geração aumentada por recuperação (RAG), que adiciona documentos recuperados ao prompt de um modelo. Ele registra um aumento de 104 para 128 respostas corretas no mesmo conjunto de 238 perguntas.

As notas do experimento rotulam o modelo testado como GPT-4o Mini. A tabela principal de resultados atribui a mesma precisão de linha de base e contagem de tokens ao O4 Mini. A identidade do modelo RAG precisa de confirmação com os registros originais da execução. Sua coluna de tokens também carece de uma separação verificada de entrada/saída, portanto não pode ser comparada diretamente com a coluna de tokens de saída acima.

O tempo registrado sobe de cerca de 3 para 59 minutos. A latência por requisição e o tempo separado gasto na recuperação não foram estabelecidos aqui. Os testes cobriram um único modelo relatado, o que limita conclusões sobre RAG nos outros modelos.

Configuração de recuperação registrada

Anotações históricas descrevem um índice Qdrant contendo explicações financeiras e funções Python do corpus de conhecimento do benchmark. O text-embedding-3-small produz vetores de dimensão 1.536. Os documentos são divididos por seção, e cada função forma um bloco separado.

Para cada pergunta e seu contexto, o pipeline pesquisa duas coleções usando similaridade de cosseno, recuperando três blocos de documentos e duas funções. Essas notas registram duas chamadas de embedding por consulta e um aumento de aproximadamente 300–500 para 3.000–5.000 tokens de entrada. O material recuperado é incluído no prompt de geração. Esses detalhes de configuração permanecem parte do relatório histórico. O script de recuperação local inspecionado para esta reescrita não estabelece que essa execução específica do Qdrant tenha sido executada.

Metodologia do benchmark de raciocínio financeiro

Questions and prompting

Usamos o subconjunto difícil do FinanceReasoning de 238 perguntas. Cada pergunta fornece contexto e uma resposta de referência. O contexto pode incluir tabelas financeiras, séries temporais ou os insumos para um cálculo financeiro.

Um exemplo pede a última banda superior do Canal de Keltner a partir de 25 dias de preços de ações, usando uma média móvel exponencial de 10 dias, um average true range de 10 dias e um multiplicador de 1.5. A resposta é solicitada com duas casas decimais. Resolvê-lo exige calcular a média móvel e o true range e, em seguida, aplicar a fórmula da banda superior.

Com o prompt de cadeia de pensamento, o modelo é instruído a percorrer o cálculo e terminar com uma resposta numérica. Ele recebe a pergunta e o contexto em uma tarefa de geração free-form. Os 40 modelos adicionados em setembro e outubro de 2026 concluíram, cada um, a inferência e a avaliação de todas as 238 perguntas por meio da OpenRouter, sem saídas ausentes. O resultado aceito do Opus 5.5 vem de uma configuração de execução diferente do pipeline principal de API. Portanto, as condições de execução variam na comparação.

Answer extraction and scoring

A avaliação extrai uma resposta da resposta gerada e depois a compara com a referência. Nossa configuração atual usa Claude Sonnet 4.5 para extração de respostas. Respostas numéricas passam quando seu erro absoluto é no máximo 0,2% do valor absoluto da resposta de referência.

A precisão é a contagem de respostas corretas dividida por 238. Uma pergunta altera a pontuação em cerca de 0.42 pontos percentuais. As contagens de respostas corretas tornam os empates explícitos quando as porcentagens registradas diferem no arredondamento.

Cálculos de tokens e custos

Os totais de tokens de saída vêm dos registros de uso dos modelos. Calculamos o custo combinando tokens de entrada e saída com seus preços registrados por milhão de tokens:

Os preços armazenados incluem tarifas históricas de modelos descontinuados. As contagens de entrada estimadas são marcadas na tabela de resultados subjacente. O custo do Opus 5.5 combina seus 144.834 tokens de saída medidos com 89.138 tokens de entrada estimados de um modelo semelhante, usando $4 por milhão de tokens de entrada e $20 por milhão de tokens de saída. Isso produz $3.2532.

Os custos cobrem as respostas finais retidas da geração de respostas. As chamadas de modelos de avaliação, as novas tentativas com falha ou substituídas e as cobranças de indexação ou embedding de RAG estão fora deste cálculo. Diferenças em tokenizadores, configurações de geração e configuração de execução também afetam as comparações.

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Limitações do benchmark

Este conjunto de dados público pode ter aparecido nos dados de treinamento dos modelos. Portanto, as pontuações não conseguem estabelecer quão bem um modelo lida com problemas financeiros inéditos.

Os resultados cobrem um conjunto fixo de perguntas e as execuções registradas. A variação entre execuções repetidas e a significância estatística não foram estabelecidas. A extração de respostas baseada em LLM pode introduzir erros, e pontuar a resposta final não valida cada etapa da explicação.

As contagens de entrada estimadas e os preços armazenados limitam a precisão dos custos. Nosso relatório separado de RAG tem atribuição de modelo e contabilização de tokens não resolvidas, conforme descrito acima. Seus números permanecem observações históricas até a reconciliação das fontes.

Este benchmark mede a resposta a perguntas financeiras. Ele não testa retornos de investimento, conformidade regulatória, detecção de fraudes ou confiabilidade de implantação.

Leitura adicional

Negociação de ações baseada em IA aborda uma aplicação financeira separada. um conjunto fixo de perguntas.

Cite este benchmark

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Benchmark de 90+ LLMs em Finanças: Claude Opus 5.5 & Gemini 4 Argon}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/finance-llm}},
  note   = {AIMultiple. Acessado em 30 outubro 2026}
}

Links de referência

1.

[2506.05828] FinanceReasoning: Benchmarking Financial Numerical Reasoning More Credible, Comprehensive and Challenging

Ekrem Sarı

Pesquisador de IA

Siga-nos

Ekrem é Pesquisador de IA e Cientista de Dados na AIMultiple. Ele projeta e executa benchmarks práticos para sistemas de IA e LLM.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário