Benchmark di 90+ LLM nella finanza: Claude Opus 5.5 e Gemini 4 Argon

Il set di test è il sottoinsieme difficile del benchmark FinanceReasoning (Tang et al.), con 238 domande.¹ L'accuratezza è la percentuale di domande con risposta corretta. Le risposte numeriche ricevono una tolleranza relativa dello 0,2%.

I token di output sono i token generati nelle 238 risposte. I token di input vengono conteggiati separatamente nel calcolo dei costi.

Il costo è la spesa in USD calcolata per l'esecuzione delle risposte alle domande, usando il numero di token e le tariffe registrate nella nostra analisi dei costi. Alcuni conteggi di input sono stimati. Queste cifre escludono i costi di estrazione delle risposte. I costi per GPT-6.1 Terra, MiniMax M3.1 Flash e Kimi K3.1 Pro usano conteggi misurati di input e output e i prezzi di OpenRouter controllati il 27 ottobre 2026. DeepSeek V4.1 Flash 1017 e Muse Spark Open usano conteggi misurati di input e output e i prezzi di listino di OpenRouter controllati il 30 ottobre 2026. Le loro tariffe input/output per milione di token sono $0,30/$1,20 e $1,25/$4,25, rispettivamente. Questi calcoli usano le tariffe di listino base ed escludono sconti per cache e legati al tempo. Le voci più vecchie mantengono le tariffe registrate.

Accuratezza, uso dei token e risultati sui costi

Muse Wonder e Claude Opus 5.5 pareggiano a 218 risposte corrette

Muse Wonder e Claude Opus 5.5 condividono il punteggio più alto registrato, 91,60% (218/238). Gemini 4 Argon e GPT-5.6 Sol Pro rispondono correttamente a due domande in meno, ottenendo 90,76% (216/238). GPT-5.6 Sol, Claude Fable 5.1, Claude Fable 5, Grok 4.6 e GPT-6.1 Sol Pro rispondono ciascuno a 215 correttamente, ottenendo 90,34%.

Muse Wonder genera 407.149 token di output per $8,4098, rispetto a Opus 5.5, che registra 144.834 token di output e $3.2532. Il costo di Muse Wonder usa 66.706 token di input misurati. L'uso di input di Opus è stimato da un modello simile. Le loro configurazioni di esecuzione differiscono e l'affidabilità su esecuzioni ripetute non è stata stabilita.

Gemini 4 Argon eguaglia GPT-5.6 Sol Pro a 90,76% per $2,65

Gemini 4 Argon ottiene 90,76% (216/238), generando 249.825 token di output per $2.6477. GPT-5.6 Sol Pro risponde correttamente allo stesso numero con 385.886 token di output a $16.3533. Argon ha restituito una risposta non vuota per ogni domanda. Il suo costo usa conteggi misurati di token di input e output.

GPT-6.1 Sol Pro ha il costo più basso tra i modelli a pari merito a 90,34%

GPT-6.1 Sol Pro risponde correttamente a 215 domande per $3,28, il costo calcolato più basso tra i cinque modelli a pari merito a 90,34%. GPT-5.6 Sol costa $3,85, Grok 4.6 costa $4,45, Claude Fable 5.1 costa $8,64 e Claude Fable 5 costa $10.05.

GPT-6.1 Sol Pro genera 187.502 token di output, rispetto ai GPT-5.6 Sol 117.735. Le sue tariffe registrate più basse compensano l'output più lungo e il conteggio di input più alto. Tra questi modelli a pari merito, GPT-5.6 Sol usa comunque il minor numero di token di output.

GPT-6.1 Terra genera il minor numero di token di output

GPT-6.1 Terra usa 79.655 token di output, il conteggio più basso tra i 96 modelli. Risponde correttamente a 207 domande (86,97%) per $0.4617. GPT-6 Sol usa 85.228 token di output e risponde correttamente a 212 (89,08%) per $0.98. GPT-6 Astra genera 87.774 token, risponde correttamente a 208 (87,39%) e costa $5,02 alle sue tariffe registrate.

GPT-6.1 Sol risponde correttamente a 214 domande (89,92%), usando 89.153 token di output per $1.02. Claude Sonnet 5.5 raggiunge 212 corrette (89,08%) con 142.728 token a $1.61. Ogni confronto copre un'esecuzione completata sulle stesse 238 domande.

GPT-6 Luna supera l'83% di accuratezza per $0,0754

GPT-6 Luna risponde correttamente a 207 domande (86,97%) per $0,0754, il costo registrato più basso tra i modelli sopra l'83%. DeepSeek V4.1 Flash risponde anch'esso correttamente a 207 per $0.2572. GPT-6 Sol aumenta il conteggio a 212 (89,08%) per $0.9792.

GPT-OSS-120B ottiene 81,09% per $0,0611, mentre Llama 4 Maverick ottiene 75,21% per $0.0995. Mistral Small 3.2 24B ha l'esecuzione più economica in assoluto a $0,0352, con un'accuratezza del 41,18%.

Claude Haiku 5.5 risponde a 204 domande per $0,1506

Claude Haiku 5.5 ottiene 85,71% (204/238), generando 283.280 token di output per $0.1506. Mistral Large 4 ottiene 87,39% (208/238), generando 1.562.401 token di output per $3.3083. Entrambe le esecuzioni hanno restituito una risposta non vuota per ogni domanda.

Una spesa maggiore non garantisce un punteggio più alto

O1 Pro ha il costo calcolato più alto, $381,28, e ottiene 80,67%. O3 Pro costa $39,23 per 78,15%, mentre O1 costa $46,59 per 74,79%. Ciascuno ottiene un punteggio inferiore a Gemini 3 Flash Preview a $0.39.

Hy4 Preview genera 4.119.093 token di output, il conteggio più alto nella comparazione, e ottiene 89,92%. GPT-6.1 Sol raggiunge le stesse 214 risposte corrette con 89.153 token. DeepSeek R1 0528 genera 1.251.064 token con 62,18%, un altro esempio di lunghezza dell'output che varia indipendentemente dall'accuratezza.

Risultati per tutti i 96 modelli

I valori di accuratezza registrati usano arrotondamenti diversi in alcune voci più vecchie. GPT-5, Grok 4.5 e Kimi K3 hanno ciascuno 210 risposte corrette, nonostante i valori visualizzati 88,23% e 88,24%. Gli identificativi dei modelli sono preservati e i costi sono arrotondati a quattro decimali.

Come i modelli hanno risposto alla stessa domanda finanziaria

Otto modelli hanno risposto alla stessa domanda sul prezzo delle obbligazioni. L'obbligazione costa $950 e ha flussi di cassa annuali di $50, $50 e $1.050. I corrispondenti tassi spot dei Treasury sono 1,5%, 1,8% e 2,0%.

Questi estratti provengono dalle risposte salvate dei modelli. Mantengono la formulazione originale, con formattazione semplificata e passaggi omessi indicati con […]. Ogni intestazione riporta il valore selezionato dall'estrattore di risposte e il risultato memorizzato del benchmark. Sette modelli hanno usato OpenRouter, mentre Opus 5.5 ha usato Claude Code.

La risposta di riferimento è 4,92%. L'abbiamo verificata risolvendo l'equazione dei flussi di cassa, che dà circa 4.916972%. Sei modelli hanno superato con risposte estratte di 4,92%. Gemini 4 Argon ha restituito 4,94%, al di fuori della tolleranza relativa del 0,2% prevista dal benchmark.

Muse Spark Open ha fornito un intervallo tra 4,90% e 4,95% e ha anche menzionato 4,92%. L'estrattore di risposte ha selezionato 4,90%, producendo un errore memorizzato. Questa risposta mostra come più valori candidati possano influenzare l'estrazione della risposta.

MiniMax M3.1 Flash ha superato con 4,92%. La sua spiegazione descrive inoltre quello spread come circa 49 punti base. Uno spread di 4.92 punti percentuali equivale a 492 punti base. Il benchmark valuta il numero finale estratto, quindi un punteggio positivo può coesistere con un errore nella spiegazione.

Questa domanda selezionata illustra le singole risposte e il comportamento di valutazione. I risultati per tutte le 238 domande forniscono il confronto più ampio tra i modelli.

Esperimento di retrieval: 24 risposte corrette aggiuntive

Il nostro report sperimentale esistente confronta la generazione standalone con la generazione aumentata da retrieval (RAG), che aggiunge documenti recuperati al prompt di un modello. Registra un aumento da 104 a 128 risposte corrette sullo stesso set di 238 domande.

Le note dell'esperimento etichettano il modello testato come GPT-4o Mini. La tabella dei risultati principali assegna la stessa accuratezza di base e lo stesso conteggio di token a O4 Mini. L'identità del modello RAG deve essere confermata rispetto ai registri originali delle esecuzioni. La sua colonna dei token manca inoltre di una separazione verificata input/output, quindi non può essere confrontata direttamente con la colonna dei token di output sopra.

Il tempo registrato aumenta da circa 3 a 59 minuti. La latenza per singola richiesta e il tempo separato dedicato al retrieval non sono stati stabiliti qui. Il test ha riguardato un solo modello segnalato, il che limita le conclusioni su RAG sugli altri modelli.

Configurazione di retrieval registrata

Le note storiche descrivono un indice Qdrant contenente spiegazioni finanziarie e funzioni Python dal corpus di conoscenze del benchmark. Text-embedding-3-small produce vettori a 1.536 dimensioni. I documenti sono suddivisi per sezione e ogni funzione costituisce un blocco separato.

Per ogni domanda e relativo contesto, la pipeline cerca in due collezioni usando la similarità del coseno, recuperando tre chunk di documenti e due funzioni. Tali note registrano due chiamate di embedding per query e un aumento da circa 300–500 a 3.000–5.000 token di input. Il materiale recuperato è incluso nel prompt di generazione. Questi dettagli di configurazione restano parte del report storico. Lo script di retrieval locale esaminato per questa riscrittura non stabilisce che quella specifica esecuzione di Qdrant sia stata effettuata.

Metodologia del benchmark di ragionamento finanziario

Questions and prompting

Abbiamo usato il sottoinsieme difficile di FinanceReasoning di 238 domande. Ogni domanda fornisce un contesto e una risposta di riferimento. Il contesto può includere tabelle finanziarie, serie temporali o gli input per un calcolo finanziario.

Un esempio chiede l'ultima banda superiore del canale di Keltner da 25 giorni di prezzi azionari, usando una media mobile esponenziale a 10 giorni, un average true range a 10 giorni e un moltiplicatore di 1.5. La risposta è richiesta con due decimali. Per risolverlo è necessario calcolare la media mobile e il true range, quindi applicare la formula della banda superiore.

Con il prompt concatenato (chain-of-thought), al modello viene chiesto di svolgere il calcolo e terminare con una risposta numerica. Riceve la domanda e il contesto in un'attività di generazione di forma gratuito. I 40 modelli aggiunti a settembre e ottobre 2026 hanno completato ciascuno inferenza e valutazione per tutte le 238 domande tramite OpenRouter, senza output mancanti. Il risultato accettato di Opus 5.5 proviene da una configurazione di esecuzione diversa dalla pipeline API principale. Le condizioni di esecuzione variano quindi nel confronto.

Answer extraction and scoring

La valutazione estrae una risposta dalla risposta generata, quindi la confronta con il riferimento. La nostra configurazione attuale usa Claude Sonnet 4.5 per l'estrazione della risposta. Le risposte numeriche superano quando il loro errore assoluto è al massimo 0,2% del valore assoluto della risposta di riferimento.

L'accuratezza è il conteggio delle risposte corrette diviso per 238. Una domanda cambia il punteggio di circa 0.42 punti percentuali. I conteggi delle risposte corrette rendono espliciti i pareggi quando le percentuali registrate differiscono per arrotondamento.

Calcolo dei token e dei costi

I totali dei token di output derivano dai registri di utilizzo dei modelli. Calcoliamo il costo combinando token di input e di output con i loro prezzi registrati per milione di token:

I prezzi memorizzati includono tariffe storiche per modelli deprecati. I conteggi di input stimati sono contrassegnati nella tabella dei risultati sottostante. Il costo di Opus 5.5 combina i suoi 144.834 token di output misurati con una stima di 89.138 token di input proveniente da un modello simile, usando $4 per milione di token di input e $20 per milione di token di output. Ciò produce $3.2532.

I costi coprono le risposte finali mantenute della generazione delle risposte. Le chiamate ai modelli di valutazione, i tentativi falliti o sostituiti e i costi di indicizzazione o embedding di RAG sono fuori da questo calcolo. Anche le differenze nei tokenizzatori, nelle impostazioni di generazione e nella configurazione di esecuzione influenzano i confronti.

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

Limiti del benchmark

Questo dataset pubblico potrebbe essere apparso nei dati di addestramento dei modelli. I punteggi pertanto non possono stabilire quanto bene un modello gestisca problemi finanziari mai visti.

I risultati riguardano un set di domande fisso e le esecuzioni registrate. La variazione tra esecuzioni ripetute e la significatività statistica non sono state stabilite. L'estrazione delle risposte basata su LLM può introdurre errori e la valutazione della risposta finale non convalida ogni passaggio della spiegazione.

I conteggi di input stimati e i prezzi memorizzati limitano la precisione dei costi. Il nostro report separato su RAG presenta attribuzione del modello e contabilità dei token non risolte, come descritto sopra. Le sue cifre restano osservazioni storiche in attesa di riconciliazione delle fonti.

Questo benchmark misura la capacità di rispondere a domande finanziarie. Non testa i rendimenti degli investimenti, la conformità normativa, il rilevamento delle frodi o l'affidabilità della distribuzione.

Ulteriori letture

Trading azionario basato su IA copre un'applicazione finanziaria separata.un set di domande fisso.

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Benchmark di 90+ LLM nella finanza: Claude Opus 5.5 e Gemini 4 Argon}},
  year   = {2026},
  month  = nov,
  howpublished    = {\url{https://aimultiple.com/finance-llm}},
  note   = {AIMultiple. Consultato il 3 novembre 2026}
}

Collegamenti di riferimento

1.

[2506.05828] FinanceReasoning: Benchmarking Financial Numerical Reasoning More Credible, Comprehensive and Challenging

Ekrem Sarı

Ricercatore IA

Segui

Ekrem è un Ricercatore IA e Data Scientist presso AIMultiple. Progetta ed esegue benchmark pratici per sistemi di IA e LLM.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento