Confronta i modelli IA multimodali sul ragionamento visivo

Abbiamo sottoposto a benchmark 15 principali modelli IA multimodali sul ragionamento visivo utilizzando 200 domande basate su elementi visivi. La valutazione consisteva in due percorsi: 100 domande di comprensione dei grafici che testano l'interpretazione della visualizzazione dei dati, e 100 domande di logica visiva che valutano il riconoscimento di schemi e il ragionamento spaziale. Ogni domanda è stata eseguita 5 volte per garantire risultati coerenti e affidabili.

Benchmark sul ragionamento visivo

Consulta la nostra metodologia di benchmark per conoscere le nostre procedure di test.

Ogni modello ottiene un punteggio inferiore nella logica visiva rispetto ai grafici, da 22 a 44 punti in meno. qwen3-vl-8b-thinking, un modello da 8B, ottiene il 50% complessivo, leggermente sopra claude-sonnet-4.5 e claude-haiku-4.5 (47% ciascuno). gpt-5.2-pro non ottiene un punteggio superiore a gpt-5.2 (66% contro 67%).

• Il punteggio più alto nella logica visiva è 58% e il punteggio più alto nella comprensione dei grafici è 84%, entrambi da gemini-3.1-pro-preview.
• llama-4-maverick è ultimo in assoluto a causa della logica visiva: risponde correttamente al 10% di queste domande, al di sotto del 20% che la scelta casuale garantisce con cinque opzioni. Nei grafici ottiene un punteggio del 54%, davanti a grok-4.1-fast (52%) e gemini-2.5-flash (46%).

Affidabilità statistica della prestazione di ragionamento visivo (95% IC)

Abbiamo calcolato gli intervalli di confidenza (IC) al 95% tramite 10.000 ricampionamenti bootstrap per definire il margine di errore per ciascun modello, mostrando l'intervallo entro cui probabilmente ricade la loro prestazione reale.

Domande di benchmark su dove gli LLM eccellono e incontrano le maggiori difficoltà

Domanda sui grafici con il tasso di successo più basso degli LLM

Figura 1: Grafico a barre che mostra i volumi di vendita di Star nell'arco di 12 mesi con quattro barre raggruppate per mese (dati 1998-2000). Ogni mese mostra barre piene, bianche e a strisce in gruppi ravvicinati.

Nota: Tutti i grafici sono stati ottenuti da Hitbullseye.¹

Domanda: Se le vendite di tre anni consecutivi aumentano o diminuiscono costantemente, allora si parla di tendenza costante. Quali mesi mostrano una tendenza in costante aumento nell'arco di tre anni consecutivi?

Ad esempio, nel giugno 1999, Actual era inferiore rispetto al 1998, mostrando una diminuzione, ma il modello l'ha interpretata erroneamente come in costante aumento. La maggior parte dei modelli commette lo stesso errore su questa domanda.

Quando 4 barre sono raggruppate per mese, i modelli hanno avuto difficoltà con l'associazione barra-anno e la percezione delle altezze relative. Non riuscivano a distinguere con precisione quale barra a strisce/piena/bianca appartenesse a quale anno, portando a leggere le barre nell'ordine sbagliato o a confonderne le altezze.

Domanda sui grafici con il tasso di successo più alto degli LLM

Figura 2: Grafico a barre che mostra le percentuali di affluenza al voto nelle elezioni generali indiane dal 1952 al 1998. Una barra per ogni anno elettorale, con una chiara spaziatura tra le barre.

Domanda: L'affluenza al voto più alta e quella più bassa di sempre (in percentuale) si sono verificate rispettivamente in quali anni?

Tutti i modelli hanno risposto correttamente a questa domanda. Questo successo dimostra che i modelli eccellono nella semplice identificazione minimo-massimo, individuando le barre più alte e più basse.

A differenza dei gruppi raggruppati di 4 barre, che sono fonte di confusione, questo grafico ha una singola barra per anno con una spaziatura chiara, rendendo il confronto visivo diretto semplice.

Domanda di logica visiva con il tasso di successo più alto degli LLM

Figura 3: Due griglie 3×3 allineate che mostrano il riconoscimento di schemi algebrici. La griglia superiore contiene variabili e le loro operazioni (moltiplicazione, divisione, esponenti). La griglia inferiore mostra valori numerici, con alcune celle riempite (6, 36, 3/4) e due incognite (A, B). La domanda chiede di trovare B-A.

Il successo è derivato dal chiaro schema matematico visibile nella struttura della tabella (relazioni algebriche come a×b, c×d). Il layout a griglia semplice, privo di complessità visiva, ha permesso ai modelli di concentrarsi esclusivamente sull'inferenza numerica e sulla deduzione logica.

Domanda di logica visiva con il tasso di successo più basso degli LLM

Figura 4: Puzzle di riconoscimento di schemi con cerchi contenenti diversi modelli di linee interne e forme geometriche. Due sequenze di esempio con frecce mostrate in alto, seguite da una domanda che chiede di completare la terza sequenza scegliendo tra cinque opzioni a risposta multipla.

La difficoltà deriva dalla necessità di un riconoscimento astratto di schemi visivi, identificando regole di trasformazione geometrica attraverso più esempi.

Metodologia di benchmark

Tutti i modelli sono stati valutati tramite OpenRouter API con parametri standardizzati: temperatura impostata a 0.8 e il parametro max tokens non è stato impostato per evitare di limitare le capacità di ragionamento. I modelli sono stati istruiti a rispondere con una sola lettera (A-E) senza spiegazioni, sebbene alcuni modelli abbiano comunque fornito ragionamenti dettagliati, che abbiamo analizzato per estrarre le risposte finali. La valutazione è stata eseguita in parallelo su tutti i modelli contemporaneamente. Ogni domanda è stata eseguita 5 volte per garantire risultati coerenti e affidabili.

Il benchmark consisteva in 200 domande suddivise in due categorie: Comprensione dei grafici (100 domande) che copriva grafici a barre, grafici a linee, grafici a dispersione e visualizzazioni di dati complesse, e Logica visiva (100 domande) che testava il riconoscimento di schemi, il ragionamento spaziale e la logica visiva matematica. Tutte le domande sono state presentate in formato a risposta multipla con cinque opzioni (A-E), richiedendo ai modelli di analizzare immagini e selezionare la risposta corretta.

Questions:

1. Comprensione dei grafici Abbiamo valutato i modelli sulla loro capacità di estrarre, interpretare e analizzare informazioni da varie visualizzazioni di dati:

• Grafici a barre: configurazioni orizzontali e verticali, formati impilati e raggruppati
• Grafici a linee: tendenze a serie singola e multipla, dati di serie storiche
• Grafici a dispersione: analisi di correlazione, identificazione di schemi con assi etichettati
• Grafici a torta: distribuzioni percentuali e ragionamento proporzionale
• Visualizzazioni complesse: grafici combinati, grafici a doppio asse e display multi-pannello

2. Logica visiva Abbiamo valutato il ragionamento astratto e l'intelligenza spaziale attraverso:

• Riconoscimento di schemi: identificare sequenze e completare schemi visivi
• Ragionamento spaziale: visualizzazione 3D, sviluppi piani di cubi e trasformazioni geometriche
• Logica matematica: schemi numerici, ragionamento algebrico e combinatoria
• Pensiero astratto: manipolazione di simboli, deduzione logica e inferenza di regole

Formato delle domande

• Formato di risposta: scelta multipla (A, B, C, D, E)

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{sipi2026,
  author = {Şipi, Nazlı},
  title  = {{Confronta i modelli IA multimodali sul ragionamento visivo}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/visual-reasoning}},
  note   = {AIMultiple. Consultato il 10 giugno 2026}
}

Registro delle modifiche

6 aggiornamenti

Tutte6Generale4Metodologia2

20262025

1. 20 feb

   Aggiornato il numero di modelli benchmark nella sezione benchmark di ragionamento visivo.

2. 20 feb

   Sostituita l'impostazione del parametro max tokens nella metodologia di benchmark.

Collegamenti di riferimento

1.

Hitbullseye: Transforming Education with Cutting Edge Technology

Nazlı Şipi

Ricercatrice IA

Segui

Nazlı è un'analista di dati presso AIMultiple. Ha precedente esperienza nell'analisi dei dati in diversi settori, dove ha lavorato per trasformare dataset complessi in informazioni operative.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento