Benchmark di 40+ LLM nella finanza: Claude Fable 5 & GPT-5.6 Sol

Abbiamo valutato 40+ LLM nel settore finanziario su 238 domande difficili del benchmark FinanceReasoning per identificare quali modelli eccellano in compiti complessi di ragionamento finanziario come analisi di bilancio, previsioni e calcoli di rapporti.

LLM: panoramica del benchmark finanziario

Abbiamo valutato LLM su 238 domande difficili del benchmark FinanceReasoning (Tang et al.).¹ Questo sottoinsieme punta ai compiti più impegnativi di ragionamento finanziario, valutando un ragionamento quantitativo complesso e multi-step che coinvolge concetti e formule finanziarie. La nostra valutazione ha impiegato un design di prompt personalizzato e criteri di punteggio basati su accuratezza e consumo di token.

Per una spiegazione dettagliata di come sono state calcolate queste metriche e del framework utilizzato per questa valutazione, consulta la nostra metodologia del benchmark finanziario.

Risultati: Qual è il miglior LLM per la finanza?

Modelli di fascia alta (>83% accuratezza):

gpt-5.6-sol-pro raggiunge la massima accuratezza del benchmark con 90,76% utilizzando 385.886 token a $16,35 per esecuzione, 0,42 punti sopra gpt-5.6-sol.

gpt-5.6-sol ottiene un'accuratezza del 90,34% con 117.735 token a $3,85 per esecuzione. Eguaglia claude-fable-5 (90,34%) per la seconda accuratezza più alta, a $3,85 contro i $10,05 di fable-5 e 117.735 token contro 183.258. Nessun modello con accuratezza pari o superiore viene eseguito a un costo inferiore.

claude-fable-5 ottiene un'accuratezza del 90,34% con 183.258 token. È stato il primo modello a superare il 90% in questo benchmark (10 giugno) e eguaglia gpt-5.6-sol al 90,34%, a $10,05 per esecuzione contro i $3,85 di gpt-5.6-sol.

claude-opus-4.8 ottiene un'accuratezza del 89,08% con 113.434 token, il terzo risultato più costoso e il conteggio di token di output più basso tra i modelli sopra l'88%.

gpt-5-2025-08-07 ottiene un'accuratezza del 88,23% con 829.720 token.

claude-opus-4.6 ottiene un'accuratezza del 87,82% con 164.369 token, una accuratezza quasi al top con il 20% del conteggio token di gpt-5.

gpt-5-mini-2025-08-07 raggiunge un'accuratezza del 87,39% con 595.505 token.

gemini-3.5-flash raggiunge un'accuratezza del 86,97% con 1.191.757 token, la massima accuratezza nella linea Flash di Google e la più grande utilizzatrice di token della famiglia.

claude-sonnet-5 ottiene un'accuratezza del 86,97% con 414.668 token. Eguaglia gemini-3.5-flash al decimale pur spendendo 414.668 token contro 1.191.757, a $4,33 per esecuzione contro $10,83.

gpt-5.6-terra ottiene un'accuratezza del 86,97% con 121.936 token a $1,99 per esecuzione. Si unisce a claude-sonnet-5 e gemini-3.5-flash al 86,97%, con il conteggio di token e il costo più bassi dei tre (121.936 token e $1,99, contro 414.668 / $4,33 e 1.191.757 / $10,83). gpt-5-mini-2025-08-07 rimane più economico e accurato ($1,21, 87,39%).

gemini-3.1-pro-preview ottiene un'accuratezza del 86,55% con 475.148 token, superando il suo predecessore gemini-3-pro-preview (86,13%) con il 35% di token in meno (730.759 token).

glm-5.2 ottiene un'accuratezza del 86,13% con 735.988 token. Migliora rispetto a glm-4.5 (64,29%) di 21,84 punti, il più grande salto tra due versioni di una stessa famiglia di modelli nel benchmark. Il successivo è di 3,79 punti.

gemini-3-pro-preview e gpt-5.2 pareggiano al 86,13% di accuratezza. gpt-5.2 lo raggiunge con 247.660 token, circa tre volte meno token di output rispetto a gemini-3-pro-preview con 730.759 token.

claude-opus-4.7 ottiene un'accuratezza del 85,29% con 103.268 token, il modello più efficiente in termini di token nella fascia alta (37% in meno di token di output rispetto a claude-opus-4.6 pur superando la soglia del 83%).

Buoni risultati (80-83% accuratezza):

grok-4.3 raggiunge un'accuratezza del 84,87% con 309.781 token, il risultato più forte di xAI nel benchmark e un recupero rispetto al precedente grok-4-0709.

claude-opus-4.5 ottiene un'accuratezza del 84,03% con 144.505 token.

claude-sonnet-4.6 e gemini-3-flash-preview pareggiano al 83,61% di accuratezza. Claude Sonnet 4.6 utilizza 161.035 token, mentre Gemini 3 Flash Preview lo raggiunge con 118.530 token, il conteggio di token più basso tra i modelli sopra l'83%.

kimi-k2.5 ottiene un'accuratezza del 82,77% con 877.868 token, il consumo più elevato in questa fascia di prestazioni.

Fascia media (70-80% accuratezza):

o3-pro-2025-06-10 (accuratezza 78,15%, 473.659 token) e kimi-k2 (accuratezza 78,15%, 100.323 token) pareggiano, e kimi-k2 utilizza il 79% in meno di token. Seguono o3-mini-2025-01-31 (accuratezza 77,31%, 376.929 token), gpt-5-nano-2025-08-07 (accuratezza 76,89%, 1.028.909 token) e claude-sonnet-4-20250514 (accuratezza 76,05%, 135.462 token).

Prestazioni basse (<70% accuratezza):

claude-3-5-sonnet-20241022 (accuratezza 67,65%, 90.103 token) e gpt-oss-20b (accuratezza 67,65%, 515.041 token) guidano questa fascia. Seguono gemini-2.5-flash (accuratezza 65,55%, 286.603 token), glm-4.5 (accuratezza 64,29%, 692.662 token) e gpt-4.1-nano-2025-04-14 (accuratezza 63,45%, 171.096 token).

Approfondimenti sulle prestazioni:

Il consumo di token non è correlato all'accuratezza. deepseek-r1-0528 ha consumato il maggior numero di token (1.251.064) con un'accuratezza del 62,18%, mentre claude-opus-4-20250514 ha ottenuto un'accuratezza del 80,25% con 132.274 token. L'efficienza dei token varia anche tra i modelli ad alta accuratezza: gemini-3-flash-preview raggiunge il 83,61% con 118.530 token, mentre kimi-k2.5 spende 877.868 token per il 82,77% (7,4x i token per 0,84 punti in meno di accuratezza).

La tabella sopra presenta altri benchmark di modelli di intelligenza artificiale, inclusi quelli utilizzati per questo benchmark.

Costo per esecuzione del benchmark

I token di output da soli non determinano la spesa, poiché le tariffe per token di input e output differiscono di un ordine di grandezza nella maggior parte dei provider. Abbiamo calcolato il costo in dollari dell'esecuzione di ciascun modello sulle 238 domande utilizzando la tariffa per token elencata dal provider al momento dell'esecuzione.

Costo più basso nella fascia di frontiera: gemini-3-flash-preview raggiunge il 83,61% di accuratezza per $0,39, il costo in dollari più basso nella fascia di accuratezza >83%. grok-4.3 segue a $0,86 per il 84,87%.

La fascia del 90,34% viene raggiunta a un costo inferiore: gpt-5.6-sol eguaglia il 90,34% di claude-fable-5 a $3,85 per esecuzione contro i $10,05 di fable-5, pari al 38% del costo di fable-5. gpt-5.6-sol-pro registra l'accuratezza più alta del benchmark, 90,76%, a $16,35 per esecuzione. claude-opus-4.8 rimane il modello più economico a superare l'88%, a $3,28 per il 89,08%.

Ragionamento premium a prezzo premium: o1-pro è il modello dal costo più elevato nel benchmark a $381 per un'accuratezza del 80,67% (determinato dalle tariffe di $150/M per input e $600/M per output). o3-pro costa $39,23 per il 78,15%, o1 costa $46,59 per il 74,79%. Nessuno raggiunge la fascia alta e tutti e tre si collocano al di sotto di claude-opus-4.7 per accuratezza, a un costo oltre 10x superiore.

Costo e accuratezza nella fascia budget: gpt-oss-120b raggiunge il 81,09% di accuratezza a un totale di $0,06, l'esecuzione più economica del benchmark, a 1,91 punti dalla soglia del 83%. llama-4-maverick raggiunge il 75,21% a $0,10. Per carichi di lavoro in cui un'accuratezza del 80% è sufficiente, questi modelli costano meno dell'1% dei modelli di punta.

Metodologia del benchmark di ragionamento finanziario

Il nostro benchmark fornisce una valutazione trasparente e riproducibile delle prestazioni dei LLM su compiti complessi di ragionamento finanziario.

Configurazione del test e corpus di dati

• Suite di benchmark: Abbiamo utilizzato i dati, il codice e gli script di valutazione del benchmark FinanceReasoning, scelto per la sua focalizzazione su problemi finanziari quantitativi e inferenziali.
• Corpus di conoscenza e query di test: Abbiamo concentrato la nostra analisi sul sottoinsieme difficile, che comprende 238 domande impegnative. Come definito dal benchmark, ogni punto dati include:
  1. Una domanda che richiede una deduzione logica e numerica multi-step.
  2. Un contesto, che spesso contiene informazioni dense presentate in formati strutturati come tabelle Markdown (ad es. bilanci, dati di performance azionaria).
  3. Una risposta definitiva di riferimento per un punteggio oggettivo.

• Tipi di query illustrative: La difficoltà del benchmark deriva dalla sua richiesta che i modelli gestiscano compiti di ragionamento finanziario diversi e complessi. Per illustrare questa ampiezza, evidenziamo due esempi rappresentativi dal set di test:

Esempio: Ragionamento algoritmico e su serie temporali (analisi tecnica)

Contesto: Un investitore sta analizzando… i prezzi delle azioni negli ultimi 25 giorni… per calcolare il Canale di Keltner utilizzando un periodo EMA di 10 giorni e un periodo ATR di 10 giorni, con un moltiplicatore di 1,5…

Domanda: Qual è il valore dell'ultima banda superiore nel Canale di Keltner…? Rispondere con due decimali.

Questa query testa la capacità di un modello di agire come analista quantitativo:

1. Scomporre un indicatore composito: Riconoscere che il “Canale di Keltner” è derivato da altri due indicatori complessi:
   • La media mobile esponenziale (EMA)
   • L' average true range (ATR).
2. Implementare la logica algoritmica: Implementare correttamente gli algoritmi iterativi sia per l'EMA che per l'ATR da zero su una serie temporale di 25 punti dati.
3. Sintetizzare i risultati: Combinare i valori calcolati secondo la formula finale del Canale di Keltner (Banda Superiore = EMA + (Moltiplicatore × ATR)).

Principi fondamentali di valutazione

• Chiamate API isolate e standardizzate: Per ogni modello, abbiamo condotto la valutazione in modo programmatico tramite i rispettivi endpoint API (ad es. OpenRouter, OpenAI). Ciò ha garantito che ogni modello ricevesse esattamente lo stesso input in condizioni identiche, eliminando la variabilità delle interazioni tramite UI.
• Generazione in forma libera: Non abbiamo vincolato i modelli a un formato a scelta multipla. Invece, sono stati invitati a generare una risposta completa, in forma gratuito, consentendo una valutazione più autentica delle loro capacità di ragionamento.
• Prompting Chain-of-Thought (CoT): Per suscitare e valutare il processo di ragionamento dei modelli, abbiamo impiegato una strategia di prompting Chain-of-Thought (CoT). Il prompt di sistema ha esplicitamente istruito ciascun modello a "pensare prima al problema passo dopo passo" prima di concludere con una risposta finale. Questo approccio consente un'analisi più approfondita di come un modello arrivi alla sua conclusione, oltre il semplice output finale.

Metriche e framework di valutazione

Abbiamo utilizzato il framework di valutazione completamente automatizzato del benchmark FinanceReasoning per assegnare un punteggio agli output dei modelli. Questo framework è progettato per misurare sia la correttezza concettuale che il costo computazionale.

1. Metrica primaria: Accuratezza

Questa metrica risponde alla domanda cruciale: "Il modello può risolvere correttamente il problema finanziario?" Il processo di punteggio prevede una sofisticata pipeline in due fasi:

• Fase 1: Estrazione della risposta basata su LLM: L'output grezzo di un modello è testo non strutturato contenente sia il ragionamento che la risposta finale. Per analizzare in modo affidabile il valore numerico o booleano, abbiamo utilizzato un modello supervisore (anthropic/claude-sonnet-4.5) come parser.
• Fase 2: Confronto basato sulla tolleranza: Un semplice "confronto esatto" è insufficiente per i problemi numerici. Pertanto, la risposta estratta è stata confrontata in modo programmatico con la verità di riferimento. Lo script applica una soglia di tolleranza numerica (una differenza relativa dello 0,2%) per gestire in modo equo piccole variazioni di virgola mobile o di arrotondamento, garantendo che le soluzioni concettualmente valide siano contrassegnate come corrette.

2. Metrica secondaria: Consumo di token

Questa metrica risponde alla domanda: "Quanto è computazionalmente costoso per il modello risolvere questi problemi?" Misura il costo totale associato alla generazione delle 238 risposte.

• Calcolo dei token: Per ogni chiamata API abbiamo raccolto prompt_tokens e completion_tokens dall'oggetto usage del provider. Il punteggio di token per modello è la somma dei completion_tokens in tutte le 238 domande. Riportiamo i token di completamento (non i token totali) perché l'input è quasi costante tra i modelli che condividono lo stesso dataset (da 66k a 92k token di input per esecuzione a seconda del tokenizer).
• Calcolo dei costi: Abbiamo calcolato il costo in dollari come prompt_tokens × prezzo_prompt_per_M + completion_tokens × prezzo_completion_per_M, sommato su tutte le 238 domande. I prezzi sono le tariffe per token elencate dall'endpoint /api/v1/models di OpenRouter al momento dell'esecuzione del modello.

Questo approccio a due metriche, fornito dal benchmark FinanceReasoning stesso, consente una valutazione olistica, bilanciando la capacità di risoluzione dei problemi grezzi di un modello (accuratezza) con la sua efficienza operativa (consumo di token).

Ragionamento finanziario con Retrieval-Augmented Generation (RAG)

Per superare i modelli autonomi, abbiamo progettato e implementato un RAG framework personalizzato distinto dall'implementazione originale del benchmark. Il nostro approccio si basa su uno stack moderno di database vettoriale (Qdrant) per fornire ai LLM conoscenze pertinenti e specifiche del dominio al momento dell'inferenza, aiutandoli a risolvere problemi al di là dei loro dati di addestramento. Lo abbiamo testato su gpt-4o-mini per misurarne l'impatto.

Risultati e analisi: Il compromesso del RAG

L'introduzione del RAG ha avuto un impatto significativo e misurabile sulle prestazioni di gpt-4o-mini.

Punti chiave dalla valutazione del RAG:

• Significativo miglioramento dell'accuratezza: Il RAG ha dimostrato di migliorare la capacità di risoluzione dei problemi del modello, aumentando l'accuratezza di oltre 10 punti percentuali. Ciò conferma che fornire un contesto esterno e pertinente è molto efficace per compiti di ragionamento complessi e specifici del dominio.
• Il costo dell'accuratezza: Questo guadagno di prestazioni è arrivato a un costo elevato. Il consumo totale di token è aumentato di quasi x18 e il tempo di esecuzione totale è aumentato di x20. Ciò è dovuto alle chiamate API aggiuntive per l'embedding e, cosa più importante, ai prompt molto più grandi e complessi che il LLM deve elaborare.
• Implicazioni per modelli più grandi: I risultati di gpt-4o-mini suggeriscono che, sebbene il RAG possa sbloccare prestazioni più elevate, applicare questo metodo a modelli più grandi e costosi come GPT-4o o Claude Opus sarà sostanzialmente più costoso e richiederà più tempo. Ciò evidenzia il compromesso critico tra accuratezza, costo e latenza nella progettazione di sistemi di intelligenza artificiale finanziaria di livello produttivo.

Metodologia del RAG per il ragionamento finanziario

La nostra pipeline RAG è costruita su uno stack moderno utilizzando Qdrant come database vettoriale e il modello text-embedding-3-small di OpenAI per generare rappresentazioni vettoriali semantiche. Il processo consiste in due fasi principali: una fase di indicizzazione offline e una fase di recupero-generazione online.

1. Indicizzazione del corpus di conoscenza

• Creazione del corpus: Abbiamo curato una base di conoscenza specializzata da due fonti fornite dal benchmark:
  1. Documenti finanziari: Una raccolta di articoli (financial_documents.json) che spiegano vari concetti e termini finanziari.
  2. Funzioni finanziarie: Una libreria di funzioni Python pronte all'uso (functions-article-all.json) progettate per risolvere calcoli finanziari specifici.
• Chunking intelligente e embedding: Per preparare questo corpus a un recupero efficiente, ogni documento e funzione è stato elaborato e indicizzato:
  1. Chunking: I documenti sono stati segmentati in blocchi più piccoli e semanticamente coerenti in base alle loro sezioni. Ogni funzione Python è stata trattata come un singolo blocco atomico. Ciò garantisce che il contesto recuperato sia focalizzato e pertinente.
  2. Embedding: Ogni blocco è stato quindi convertito in un vettore a 1536 dimensioni utilizzando il modello text-embedding-3-small.
  3. Indicizzazione: Questi vettori sono stati indicizzati in due raccolte separate all'interno della nostra istanza locale di Qdrant (financial_documents_openai_small e financial_functions_openai_small), ottimizzate per la ricerca di similarità coseno.

2. Inferenza potenziata da RAG

Per ognuna delle 238 domande, il processo di ragionamento del modello è stato aumentato con i seguenti passaggi automatizzati:

1. Generazione dell'embedding (chiamate API 1 e 2): La query dell'utente (domanda + contesto) è stata convertita in un vettore di embedding. Ciò ha richiesto due chiamate all'API di embedding di OpenAI per preparare le ricerche in entrambe le raccolte.
2. Recupero multi-sorgente: Il vettore di query è stato utilizzato per eseguire una ricerca semantica simultanea su entrambe le raccolte Qdrant per recuperare le informazioni più rilevanti:
   • I primi 3 blocchi di documenti più rilevanti dalla raccolta financial_documents.
   • Le prime 2 funzioni Python più rilevanti dalla raccolta financial_functions.
3. Augmentation del prompt: I documenti e le funzioni recuperati sono stati iniettati dinamicamente nel prompt, creando un ricco "pacchetto informativo" contestuale. Ciò ha aumentato significativamente la dimensione del prompt di input (da ~300-500 token a ~3.000-5.000+ token).
4. Generazione della risposta finale (chiamata API 3): Questo prompt aumentato è stato inviato al modello gpt-4o-mini per generare la risposta finale ragionata.

Limitazioni del benchmark per i LLM nella finanza

Il nostro benchmark, sebbene completo, è soggetto a diverse limitazioni chiave:

• Rischio di contaminazione dei dati: È possibile che questi modelli siano stati addestrati sul dataset del benchmark poiché il dataset è pubblico. Ciò potrebbe portare a punteggi gonfiati, rendendo difficile valutare la reale capacità di ragionamento.
• Analisi RAG su un singolo modello: La valutazione RAG è stata eseguita su un solo modello (gpt-4o-mini), quindi i compromessi osservati tra prestazioni e costi potrebbero non applicarsi a tutti gli altri modelli.

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

Registro delle modifiche

Aggiungiamo modelli a questo benchmark ad ogni nuova release.

10 luglio 2026

• OpenAI: GPT-5.6 Sol (openai/gpt-5.6-sol)
• OpenAI: GPT-5.6 Terra (openai/gpt-5.6-terra)
• OpenAI: GPT-5.6 Sol Pro (openai/gpt-5.6-sol-pro)

30 giugno 2026

• Anthropic: Claude Sonnet 5 (anthropic/claude-sonnet-5)

22 giugno 2026

• Zhipu IA: GLM-5.2 (z-ai/glm-5.2)

10 giugno 2026

• Anthropic: Claude Fable 5 (anthropic/claude-fable-5)

2 giugno 2026

• Anthropic: Claude Opus 4.8 (anthropic/claude-opus-4.8)

22 maggio 2026

• Google: Gemini 3.5 Flash (google/gemini-3.5-flash)
• xAI: Grok 4.3 (x-ai/grok-4.3)
• Aggiunta la colonna costo per esecuzione del benchmark e l'interruttore del grafico accuratezza vs costo. Metodologia aggiornata con la formula di calcolo dei costi e la modifica dell'estrattore di risposte (claude-sonnet-4.5)

20 aprile 2026

• Anthropic: Claude Opus 4.7 (anthropic/claude-opus-4.7)

20 febbraio 2026

• Google: Gemini 3.1 Pro Preview (google/gemini-3.1-pro-preview)
• Anthropic: Claude Sonnet 4.6 (anthropic/claude-sonnet-4.6)

6 febbraio 2026

• Anthropic: Claude Opus 4.6 (anthropic/claude-opus-4.6)
• Anthropic: Claude Opus 4.5 (anthropic/claude-opus-4.5)
• Anthropic: Claude Sonnet 4.5 (anthropic/claude-sonnet-4.5)
• Google: Gemini 3 Pro Preview (google/gemini-3-pro-preview)
• Google: Gemini 3 Flash Preview (google/gemini-3-flash-preview)
• OpenAI: GPT-5.2 (openai/gpt-5.2)
• Moonshot IA: Kimi K2.5 (moonshotai/kimi-k2.5)

Approfondimenti

L'analisi finanziaria può riferirsi a molteplici capacità, come l'analisi azionaria, l'interpretazione della normativa finanziaria e il ragionamento finanziario. Nel nostro benchmark, ci siamo concentrati specificamente sul ragionamento finanziario, mentre altri compiti sono trattati in articoli separati:

• LLM per l'analisi azionaria: Questi modelli aiutano a elaborare dati di mercato, report aziendali e notizie per identificare opportunità di investimento. (Vedi l'analisi completa qui: IA-based Stock Trading)
• IA per la normativa finanziaria: Alcuni LLM possono interpretare regolamenti finanziari, contratti e requisiti di conformità per assistere in compiti legali-finanziari. (Vedi il nostro elenco di strumenti IA legali qui: Legal IA Tools)

FAQ

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Benchmark di 40+ LLM nella finanza: Claude Fable 5 & GPT-5.6 Sol}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/finance-llm}},
  note   = {AIMultiple. Consultato il 10 Luglio 2026}
}

Collegamenti di riferimento

1.

[2506.05828] FinanceReasoning: Benchmarking Financial Numerical Reasoning More Credible, Comprehensive and Challenging

Ekrem Sarı

Ricercatore AI

Segui

Ekrem è un Ricercatore AI e Analista di Dati presso AIMultiple. Progetta ed esegue benchmark pratici per sistemi di AI e LLM.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento