Benchmark di 90+ LLM in Finanza: Claude Opus 5.5 e Gemini 4 Argon

Il set di test è il sottoinsieme difficile del benchmark FinanceReasoning (Tang et al.), con 238 domande.¹ L'accuratezza è la percentuale di domande con risposta corretta. Le risposte numeriche ricevono una tolleranza relativa dello 0,2%.

I token di output sono i token generati nelle 238 risposte. I token di input vengono conteggiati separatamente nel calcolo dei costi.

Il costo è la spesa in USD calcolata per l'esecuzione di risposta alle domande, utilizzando i conteggi dei token e le tariffe registrate nella nostra analisi dei costi. Alcuni conteggi di input sono stimati. Queste cifre escludono i costi di estrazione delle risposte e non rappresentano una nuova verifica dei prezzi.

Risultati su accuratezza, utilizzo dei token e costi

Muse Wonder e Claude Opus 5.5 pareggiano a 218 risposte corrette

Muse Wonder e Claude Opus 5.5 condividono il punteggio più alto registrato, 91,60% (218/238). Gemini 4 Argon e GPT-5.6 Sol Pro rispondono correttamente a due domande in meno, ottenendo 90,76% (216/238). GPT-5.6 Sol, Claude Fable 5.1, Claude Fable 5, Grok 4.6 e GPT-6.1 Sol Pro rispondono ciascuno correttamente a 215, ottenendo 90,34%.

Muse Wonder genera 407.149 token di output per $8,4098, rispetto a Opus 5.5 e ai suoi 144.834 token di output e a $3.2532. Il costo di Muse Wonder utilizza 66.706 token di input misurati. L'utilizzo di input di Opus è stimato da un model gemello. Le loro configurazioni di esecuzione differiscono e l'affidabilità tra esecuzioni ripetute non è stata stabilita.

Gemini 4 Argon eguaglia GPT-5.6 Sol Pro al 90,76% per $2,65

Gemini 4 Argon ottiene 90,76% (216/238), generando 249.825 token di output per $2.6477. GPT-5.6 Sol Pro risponde correttamente allo stesso numero con 385.886 token di output a $16.3533. Argon ha restituito una risposta non vuota per ogni domanda. Il suo costo utilizza conteggi misurati dei token di input e di output.

GPT-6.1 Sol Pro ha il costo più basso tra i model a pari merito al 90,34%

GPT-6.1 Sol Pro risponde correttamente a 215 domande per $3,28, il costo calcolato più basso tra i cinque model a pari merito al 90,34%. GPT-5.6 Sol costa $3,85, Grok 4.6 costa $4,45, Claude Fable 5.1 costa $8,64 e Claude Fable 5 costa $10.05.

GPT-6.1 Sol Pro genera 187.502 token di output, rispetto a GPT-5.6 Sol e ai suoi 117.735. Le sue tariffe registrate più basse per i token compensano l'output più lungo e il conteggio di input più elevato. Tra questi model a pari merito, GPT-5.6 Sol utilizza comunque il minor numero di token di output.

GPT-6 Sol genera il minor numero di token di output

GPT-6 Sol utilizza 85.228 token di output, il conteggio più basso tra i 91 model. Risponde correttamente a 212 domande (89,08%) per $0.98. GPT-6 Astra genera 87.774 token, risponde correttamente a 208 (87,39%) e costa $5,02 alle tariffe registrate.

GPT-6.1 Sol risponde correttamente a 214 domande (89,92%), utilizzando 89.153 token di output per $1.02. Claude Sonnet 5.5 raggiunge 212 risposte corrette (89,08%) con 142.728 token a $1.61. Ogni confronto copre un'esecuzione completata sulle stesse 238 domande.

GPT-6 Luna supera l'83% di accuratezza per $0,0754

GPT-6 Luna risponde correttamente a 207 domande (86,97%) per $0,0754, il costo registrato più basso tra i model sopra l'83%. DeepSeek V4.1 Flash risponde anch'esso correttamente a 207 per $0.2572. GPT-6 Sol porta il conteggio a 212 (89,08%) per $0.9792.

GPT-OSS-120B ottiene 81,09% per $0,0611, mentre Llama 4 Maverick ottiene 75,21% per $0.0995. Mistral Small 3.2 24B ha l'esecuzione più economica in assoluto a $0,0352, con un'accuratezza del 41,18%.

Claude Haiku 5.5 risponde a 204 domande per $0,1506

Claude Haiku 5.5 ottiene 85,71% (204/238), generando 283.280 token di output per $0.1506. Mistral Large 4 ottiene 87,39% (208/238), generando 1.562.401 token di output per $3.3083. Entrambe le esecuzioni hanno restituito una risposta non vuota per ogni domanda.

Una spesa maggiore non garantisce un punteggio più alto

O1 Pro ha il costo calcolato più alto, $381,28, e ottiene 80,67%. O3 Pro costa $39,23 per 78,15%, mentre O1 costa $46,59 per 74,79%. Ciascuno ottiene un punteggio inferiore a Gemini 3 Flash Preview a $0.39.

Hy4 Preview genera 4.119.093 token di output, il conteggio più alto nel confronto, e ottiene 89,92%. GPT-6.1 Sol raggiunge le stesse 214 risposte corrette con 89.153 token. DeepSeek R1 0528 genera 1.251.064 token al 62,18%, un altro esempio di lunghezza dell'output che varia indipendentemente dall'accuratezza.

Risultati per tutti i 91 model

I valori di accuratezza registrati utilizzano arrotondamenti diversi in alcune voci precedenti. GPT-5, Grok 4.5 e Kimi K3 hanno ciascuno 210 risposte corrette, nonostante i valori visualizzati 88,23% e 88,24%. Gli identificativi dei model sono preservati e i costi sono arrotondati a quattro cifre decimali.

Esperimento di retrieval: 24 risposte corrette aggiuntive

Il nostro report sperimentale esistente confronta la generazione autonoma con la generazione aumentata da retrieval (RAG), che aggiunge documenti recuperati al prompt di un model. Registra un aumento da 104 a 128 risposte corrette sullo stesso set di 238 domande.

Le note dell'esperimento etichettano il model testato come GPT-4o Mini. La tabella dei risultati principali assegna la stessa accuratezza di base e lo stesso conteggio dei token a O4 Mini. L'identità del model RAG richiede conferma rispetto ai record di esecuzione originali. Anche la sua colonna dei token non dispone di una divisione verificata input/output, quindi non può essere confrontata direttamente con la colonna dei token di output sopra.

Il tempo registrato aumenta da circa 3 a 59 minuti. La latenza per singola richiesta e il tempo separato dedicato al retrieval non sono stati stabiliti qui. I test hanno riguardato un unico model segnalato, il che limita le conclusioni su RAG negli altri model.

Configurazione di retrieval registrata

Le note storiche descrivono un indice Qdrant contenente spiegazioni finanziarie e funzioni Python dal corpus di conoscenze del benchmark. Text-embedding-3-small produce vettori a 1.536 dimensioni. I documenti sono suddivisi per sezione e ogni funzione costituisce un chunk separato.

Per ogni domanda e relativo contesto, la pipeline cerca in due collezioni utilizzando la similarità del coseno, recuperando tre chunk di documenti e due funzioni. Tali note registrano due chiamate di embedding per query e un aumento da circa 300–500 a 3.000–5.000 token di input. Il materiale recuperato viene incluso nel prompt di generazione. Questi dettagli di configurazione restano parte del report storico. Lo script di retrieval locale esaminato per questa riscrittura non stabilisce che questa specifica esecuzione Qdrant sia stata eseguita.

Metodologia del benchmark di ragionamento finanziario

Questions and prompting

Abbiamo utilizzato il sottoinsieme difficile di FinanceReasoning composto da 238 domande. Ogni domanda fornisce contesto e una risposta di riferimento. Il contesto può includere tabelle finanziarie, serie temporali o gli input per un calcolo finanziario.

Un esempio chiede l'ultima banda superiore del Keltner Channel da 25 giorni di prezzi azionari, utilizzando una media mobile esponenziale a 10 giorni, un average true range a 10 giorni e un moltiplicatore di 1.5. La risposta è richiesta con due cifre decimali. Per risolverlo è necessario calcolare la media mobile e l'average true range, quindi applicare la formula della banda superiore.

Con il prompt chain-of-thought, al model viene chiesto di svolgere il calcolo e terminare con una risposta numerica. Riceve la domanda e il contesto in un compito di generazione in forma gratuito. I 35 model aggiunti a settembre e ottobre 2026 hanno ciascuno completato inference e valutazione per tutte le 238 domande tramite OpenRouter, senza output mancanti. Il risultato accettato di Opus 5.5 proviene da una configurazione di esecuzione diversa dalla pipeline API principale. Le condizioni di esecuzione variano quindi nel confronto.

Answer extraction and scoring

La valutazione estrae una risposta dalla risposta generata, quindi la confronta con il riferimento. La nostra configurazione attuale utilizza Claude Sonnet 4.5 per l'estrazione delle risposte. Le risposte numeriche passano quando il loro errore assoluto è al massimo dello 0,2% del valore assoluto della risposta di riferimento.

L'accuratezza è il conteggio delle risposte corrette diviso per 238. Una domanda cambia il punteggio di circa 0.42 punti percentuali. I conteggi delle risposte corrette rendono espliciti i pareggi laddove le percentuali registrate differiscono per arrotondamento.

Calcolo di token e costi

I totali dei token di output provengono dai record di utilizzo dei model. Calcoliamo il costo combinando i token di input e di output con i prezzi registrati per milione di token:

I prezzi memorizzati includono tariffe storiche per model deprecati. I conteggi di input stimati sono contrassegnati nella tabella dei risultati sottostante. Il costo di Opus 5.5 combina i suoi 144.834 token di output misurati con una stima di 89.138 token di input di un model gemello, utilizzando $4 per milione di token di input e $20 per milione di token di output. Ciò produce $3.2532.

I costi coprono le risposte finali mantenute della generazione delle risposte. Le chiamate ai model di valutazione, i tentativi falliti o sostituiti e i costi di indicizzazione o embedding di RAG sono esclusi da questo calcolo. Anche le differenze nei tokenizer, nelle impostazioni di generazione e nella configurazione di esecuzione influiscono sui confronti.

Limiti del benchmark

Questo dataset pubblico potrebbe essere comparso nei dati di addestramento dei model. I punteggi non possono quindi stabilire quanto bene un model affronta problemi finanziari mai visti.

I risultati coprono un set di domande fisso e le esecuzioni registrate. La variazione tra esecuzioni ripetute e la significatività statistica non sono state stabilite. L'estrazione delle risposte basata su LLM può introdurre errori e la valutazione della risposta finale non convalida ogni passaggio della spiegazione.

I conteggi di input stimati e i prezzi memorizzati limitano la precisione dei costi. Il nostro report separato su RAG presenta attribuzioni di model e contabilità dei token non risolte, come descritto sopra. Le sue cifre restano osservazioni storiche in attesa di una riconciliazione delle fonti.

Questo benchmark misura la risposta a domande finanziarie. Non verifica i rendimenti degli investimenti, la conformità normativa, il rilevamento delle frodi o l'affidabilità della distribuzione.

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

Ulteriori letture

Trading azionario basato su IA riguarda un'applicazione finanziaria separata.un set di domande fisso. L'affidabilità tra esecuzioni ripetute resta non misurata.

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Benchmark di 90+ LLM in Finanza: Claude Opus 5.5 e Gemini 4 Argon}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/finance-llm}},
  note   = {AIMultiple. Consultato il 1 ottobre 2026}
}

Collegamenti di riferimento

1.

[2506.05828] FinanceReasoning: Benchmarking Financial Numerical Reasoning More Credible, Comprehensive and Challenging

Ekrem Sarı

Ricercatore IA

Segui

Ekrem è un Ricercatore IA e Data Scientist presso AIMultiple. Progetta ed esegue benchmark pratici per sistemi di IA e LLM.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento