Confronto tra modelli di IA multimodali sul ragionamento visivo
Abbiamo sottoposto a benchmark 15 modelli di IA multimodali leader sul ragionamento visivo utilizzando 200 domande basate su elementi visivi. La valutazione era composta da due tracce: 100 domande di comprensione dei grafici per testare l'interpretazione delle visualizzazioni di dati, e 100 domande di logica visiva per valutare il riconoscimento di pattern e il ragionamento spaziale. Ogni domanda è stata eseguita 5 volte per garantire risultati coerenti e affidabili.
Benchmark di ragionamento visivo
Consulta la nostra metodologia del benchmark per conoscere le nostre procedure di test.
gemini-3.1-pro-preview e gemini-3-pro-preview guidano la classifica. Sono seguiti da gpt-5.2, kimi-k2.5 e gpt-5.2-pro che guidano il gruppo successivo di modelli. Sebbene la maggior parte dei modelli ottenga buoni risultati nei compiti basati sui dati, persiste un divario per llama-4-maverick nel collegare gli input visivi con i passaggi logici.
Logica visiva
La logica visiva richiede riconoscimento di pattern e ragionamento spaziale. gemini-3.1-pro-preview guida il test di logica visiva, mostrando le prestazioni più elevate nei compiti di ragionamento astratto. Molti modelli mostrano un calo delle prestazioni rispetto ai risultati nell'analisi dei grafici. llama-4-maverick mostra una limitazione in questi compiti.
Comprensione dei grafici
I modelli dimostrano una migliore competenza nell'interpretazione dei grafici rispetto alla logica visiva. gemini-3.1-pro-preview ha il punteggio più alto nei test di comprensione dei grafici, seguito da vicino da gemini-3-pro-preview e gemini-2.5-pro, mostrando una forte capacità di decodificare dati strutturati e visualizzazioni. claude-opus-4.6 e claude-sonnet-4.6 mostrano risultati più elevati nell'interpretazione dei grafici rispetto ai loro punteggi di logica. I compiti visivi basati sui dati sono più accessibili agli attuali modelli multimodali rispetto al riconoscimento di pattern.
Affidabilità statistica delle prestazioni di ragionamento visivo (IC al 95%)
Abbiamo calcolato gli intervalli di confidenza (IC) al 95% attraverso 10.000 ricampionamenti bootstrap per definire il margine di errore per ciascun modello, mostrando l'intervallo entro cui probabilmente ricade la loro reale prestazione.
Domande del benchmark su dove gli LLM eccellono e faticano di più
Domanda sui grafici con il tasso di successo più basso per gli LLM
Figura 1: Grafico a barre che mostra i volumi di vendita Star su 12 mesi con quattro barre raggruppate per mese (dati 1998-2000). Ogni mese mostra barre piene, bianche e a strisce in raggruppamento ravvicinato.
Nota: Tutti i grafici sono stati ottenuti da Hitbullseye.1
Domanda: Se le vendite di tre anni consecutivi sono in costante aumento o in costante diminuzione, allora si parla di tendenza costante. Quali mesi mostrano una tendenza in costante aumento su tre anni consecutivi?
Ad esempio, a giugno 1999, l'Effettivo era inferiore rispetto al 1998, mostrando una diminuzione, ma il modello lo ha interpretato erroneamente come in costante aumento. La maggior parte dei modelli commette lo stesso errore su questa domanda.
Quando 4 barre sono raggruppate per mese, i modelli hanno faticato con la mappatura barra-anno e la percezione dell'altezza relativa. Non sono riusciti a distinguere con precisione quale barra a strisce/piena/bianca appartenesse a quale anno, portando a leggere le barre nell'ordine sbagliato o a confondere le loro altezze.
Ciò ha rivelato una limitazione fondamentale nel ragionamento visuo-spaziale: gli attuali modelli mancano della percezione precisa a livello di pixel necessaria per misurare e sequenziare correttamente barre densamente raggruppate, portando a un'errata identificazione sistematica delle tendenze.
Domanda sui grafici con il tasso di successo più alto per gli LLM
Figura 2: Grafico a barre che mostra le percentuali di affluenza alle urne nelle elezioni generali indiane dal 1952 al 1998. Una barra per anno elettorale con spaziatura chiara tra le barre.
Domanda: L'affluenza alle urne più alta e più bassa di sempre (in percentuale) si sono verificate rispettivamente in quali anni?
Tutti i modelli hanno risposto correttamente a questa domanda. Questo successo dimostra che i modelli eccellono nella semplice identificazione min-max, trovando le barre più alte e più basse.
A differenza dei gruppi raggruppati di 4 barre, che creano confusione, questo grafico ha una singola barra per anno con una spaziatura chiara, rendendo il confronto visivo diretto e immediato. I modelli ottengono buoni risultati in compiti puramente osservativi che non richiedono una complessa mappatura barra-categoria.
Domanda di logica visiva con il tasso di successo più alto per gli LLM
Figura 3: Due griglie 3×3 allineate che mostrano la corrispondenza di pattern algebrici. La griglia superiore contiene variabili e le loro operazioni (moltiplicazione, divisione, esponenti). La griglia inferiore mostra valori numerici, con alcune celle riempite (6, 36, 3/4) e due incognite (A, B). La domanda chiede di trovare B-A.
Il successo è derivato dal chiaro pattern matematico visibile nella struttura della tabella (relazioni algebriche come a×b, c×d). La semplice disposizione a griglia, senza complessità visiva, ha permesso ai modelli di concentrarsi esclusivamente sull'inferenza numerica e la deduzione logica.
I modelli eccellono quando i problemi coinvolgono pattern matematici espliciti che possono essere risolti attraverso un ragionamento passo dopo passo, dimostrando la loro forza nella logica simbolica e nel riconoscimento di pattern quando le distrazioni visive sono minime.
Domanda di logica visiva con il tasso di successo più basso per gli LLM
Figura 4: Puzzle di riconoscimento di pattern con cerchi contenenti diversi pattern di linee interne e forme geometriche. Due sequenze di esempio con frecce mostrate in alto, seguite da una domanda che chiede di completare la terza sequenza tra cinque opzioni a scelta multipla.
La difficoltà deriva dalla necessità di un riconoscimento astratto di pattern visivi, identificando regole di trasformazione geometrica attraverso molteplici esempi.
Ciò richiede un puro ragionamento spaziale per comprendere come le forme ruotano, si trasformano e si relazionano tra loro. I modelli faticano con l'inferenza di regole da sequenze visive quando non è disponibile alcuna guida numerica o testuale esplicita, ma solo pattern spaziali.
Cos'è il ragionamento visivo?
Il ragionamento visivo è la capacità di un modello di interpretare immagini, collegare elementi visivi e rispondere a domande che richiedono la comprensione sia di informazioni visive che testuali. Questa capacità si estende oltre il semplice riconoscimento di oggetti a compiti come l'analisi di visualizzazioni di dati, l'identificazione di pattern spaziali e la comprensione delle relazioni tra elementi visivi.
Il nostro benchmark ha valutato questa capacità attraverso due tracce distinte per testare diversi aspetti cognitivi: la comprensione dei grafici, dove i modelli interpretavano grafici a barre, grafici a linee e diagrammi di dispersione per valutare la loro capacità di estrarre informazioni strutturate dalle visualizzazioni di dati; e la logica visiva, dove affrontavano puzzle di riconoscimento di pattern e problemi di ragionamento spaziale per misurare il ragionamento astratto senza una guida numerica esplicita. Questa divisione riflette la distinzione fondamentale nel modo in cui i modelli elaborano dati espliciti rispetto a pattern impliciti.
I modelli realizzano il ragionamento visivo attraverso diversi approcci architetturali. Ad esempio, il framework Cola coordina più modelli vision-language dove ciascuno fornisce didascalie e risposte plausibili, poi un LLM centrale valuta queste opzioni e seleziona la risposta più accurata.
Figura 5: Grafico che mostra come Cola sfrutta un modello linguistico coordinativo per il ragionamento visivo.2
Un altro esempio è il framework CVR-LLM, che migliora il ragionamento convertendo le immagini in descrizioni consapevoli del contesto utilizzando il metodo CaID e selezionando esempi rilevanti con la procedura CVR-ICL. Questo framework tratta le informazioni visive come rappresentazioni testuali, consentendo all'LLM di analizzare le associazioni in modo più efficace attraverso vari tipi di compiti multimodali.3
Come funziona il ragionamento visivo negli LLM
Gli LLM non percepiscono direttamente le immagini. Si affidano a encoder visivi che convertono le immagini in rappresentazioni strutturate adattate per i modelli linguistici. L'encoder identifica oggetti, texture, relazioni spaziali e pattern visivi. L'LLM combina poi questa rappresentazione con la query testuale per costruire una catena di ragionamento.
Coordinamento o raffinamento
Esistono due meccanismi principali per scenari visivi complessi: il coordinamento, dove un LLM integra gli output di più modelli visivi per verificare incrociatamente le interpretazioni; e il raffinamento, dove l'LLM migliora iterativamente le descrizioni delle immagini attraverso cicli di feedback che identificano le informazioni mancanti. Entrambi affrontano le limitazioni in cui i singoli modelli non riescono ad analizzare scenari complessi.
Apprendimento contestuale per il ragionamento multimodale
Alcuni framework recuperano esempi simili dai dati di addestramento, fornendo al modello dei modelli per interpretare gli input visivi. Queste dimostrazioni aiutano il modello ad applicare pattern di ragionamento appresi a nuovi problemi.
Produrre la spiegazione finale
L'LLM produce una risposta supportata da un processo di ragionamento, spiegando come ha interpretato l'immagine, su quali elementi visivi si è basato e le connessioni logiche che ha stabilito.
Ragionamento Chain-of-Thought nei compiti visivi
Il ragionamento Chain-of-Thought (CoT) è emerso come un approccio importante nel ragionamento visivo. Invece di analizzare un'immagine tutta in una volta, i modelli ora scompongono i problemi visivi in passaggi più piccoli e sequenziali, simili a come gli esseri umani risolvono problemi complessi pensandoci passo dopo passo.
Il CoT visivo consente ai modelli di regolare dinamicamente l'attenzione su diverse regioni spaziali di un'immagine, affrontando una limitazione chiave per cui i modelli in precedenza si basavano su un'elaborazione delle immagini a granularità fissa. Ad esempio, quando analizza un grafico complesso, il modello potrebbe prima identificare gli assi, poi esaminare i singoli punti dati e infine confrontare le tendenze, invece di cercare di comprendere tutto simultaneamente.
Questo approccio integra l'apprendimento per rinforzo e l'apprendimento per imitazione per allineare più strettamente i modelli con i pattern di ragionamento umano. Ciò rappresenta un cambiamento fondamentale dal riconoscimento passivo di pattern alla risoluzione attiva di problemi visivi, dove i modelli esplorano e ragionano attivamente su ciò che vedono.4
Applicazioni aziendali del ragionamento visivo negli LLM
Gli LLM con capacità visive possono supportare molteplici scenari aziendali. Queste applicazioni dipendono dalla capacità del modello di analizzare immagini, collegarle con dati testuali e produrre insights affidabili.
Analisi di documenti e contenuti
Le aziende gestiscono diagrammi, disegni tecnici, figure di riviste scientifiche e varie forme di dati visivi. Un modello di ragionamento visivo può:
- Rilevare elementi mancanti o errati.
- Identificare oggetti o segni nella parte inferiore o negli angoli dei diagrammi.
- Collegare segmenti di testo e immagini per controlli di qualità.
- Estrarre informazioni strutturate per ulteriori implementazioni o reportistica.
Ad esempio, Intuit ha integrato Doc IA di Google Cloud e i modelli Gemini per compilare automaticamente le dichiarazioni dei redditi nei moduli fiscali statunitensi più comuni, migliorando sia la velocità che l'accuratezza nell'elaborazione dei documenti.5
Ispezione di qualità e operazioni
Nella produzione e nella logistica, i modelli possono ispezionare prodotti o pacchi. Il ragionamento visivo aiuta a rilevare difetti, disallineamenti o pattern insoliti. Il modello può confrontare le immagini con un riferimento e generare una spiegazione di cosa è cambiato o cosa manca.
Intel, ad esempio, utilizza sistemi di ispezione visiva con IA che fanno risparmiare 2 milioni di dollari all'anno, con i produttori che tipicamente ottengono un ROI entro 6-12 mesi grazie alla riduzione degli scarti e dei resi dei clienti.6
Vendita al dettaglio ed eCommerce
I modelli analizzano le immagini dei prodotti, identificano gli attributi chiave e li abbinano ai dati del catalogo. Le funzionalità di ricerca visiva consentono ai clienti di caricare immagini per trovare prodotti simili utilizzando la visione artificiale, mentre i motori di raccomandazione delle taglie basati sull'IA hanno ridotto i tassi di reso del 20-30%. Questi sistemi rilevano anche incongruenze tra le descrizioni dei prodotti e le immagini.7
Sicurezza e monitoraggio
Il ragionamento visivo supporta i compiti di ispezione video e immagini analizzando sequenze di fotogrammi e rilevando pattern insoliti. Cambridge Industries ha implementato un sistema di sicurezza basato sull'IA per i cantieri edili che ha ridotto i costi di riparazione d'emergenza di quasi il 50%. 8
Marketing ed esperienza utente
Il ragionamento visivo aiuta i team a comprendere come gli utenti interagiscono con i contenuti digitali. Un modello può valutare screenshot o creatività e fornire approfondimenti su layout, posizionamento degli oggetti e potenziali problemi. Ciò è particolarmente rilevante quando si valutano diverse categorie di asset visivi.
Ad esempio, Comeen utilizza l'IA Gemini per generare sottotitoli multilingue per video aziendali in 40 lingue con un solo clic, eliminando il processo multi-giorno e multi-fornitore che in precedenza rendeva i contenuti obsoleti prima della pubblicazione. 5
Aggiungi come fonte preferitaPanorama comparativo: principali attori e i loro approcci
Chance IA
Chance IA è tra i primi strumenti commerciali costruiti attorno alla comprensione vision-first. Il suo sistema di ragionamento visivo analizza le immagini attraverso lenti culturali, storiche, funzionali ed estetiche. Invece di assegnare semplici etichette, fornisce approfondimenti strutturati che spiegano perché un oggetto, una figura o una scena sono importanti, come lo stile, il simbolismo e il contesto storico dell'opera d'arte, insieme al suo soggetto.
Il design dà priorità all'esperienza utente consentendo un'esplorazione guidata dal significato attraverso le immagini senza query digitate. Ciò va oltre la tradizionale visione artificiale verso l'interpretazione, lo storytelling e la spiegazione simile a quella umana, rendendola particolarmente rilevante per le industrie creative, l'istruzione e il turismo, dove il contesto aggiunge valore oltre il riconoscimento.9
Meta IA
Il framework UniBench di Meta ha introdotto un approccio unificato alla valutazione del ragionamento visivo combinando oltre cinquanta benchmark per la comprensione spaziale, il ragionamento composizionale e il conteggio. Testando quasi sessanta modelli vision-language, Meta ha scoperto che scalare i dati e le dimensioni del modello migliora la percezione ma non il ragionamento, con persino i modelli avanzati che falliscono in compiti semplici come il riconoscimento delle cifre e il conteggio degli oggetti.
Queste scoperte hanno cambiato il modo in cui viene misurato il progresso nel ragionamento visivo, evidenziando la necessità di dati di qualità superiore, obiettivi mirati e apprendimento strutturato piuttosto che affidarsi esclusivamente a modelli più grandi. Per le aziende, UniBench offre un modo trasparente per confrontare le prestazioni di ragionamento tra compiti multimodali prima dell'implementazione.10
Figura 6: Il grafico mostra la prestazione mediana di 59 VLM su 53 benchmark, rivelando che, nonostante i progressi, molti modelli ottengono ancora prestazioni vicine al livello del caso, in particolare in compiti come Winoground, iNaturalist, DSPR e altri (blu: mediana zero-shot; grigio: livello del caso).11
OpenAI
OpenAI ha fatto progredire il ragionamento visivo con i modelli o3 e o4-mini, che possono pensare con le immagini integrando la manipolazione delle immagini nel loro ragionamento. Durante l'analisi, ingrandiscono, ritagliano o ruotano le immagini per concentrarsi sui dettagli rilevanti, rispecchiando il modo in cui gli esseri umani regolano l'attenzione visiva quando interpretano diagrammi o disegni.
Testati su benchmark multimodali come l'interpretazione di grafici, la risoluzione di problemi visivi e il ragionamento matematico, i modelli hanno mostrato chiari miglioramenti in accuratezza e comprensione contestuale. Tuttavia, i risultati hanno anche rivelato limitazioni, tra cui un ragionamento incoerente ed errori percettivi occasionali, sottolineando la sfida continua dell'affidabilità nei sistemi di ragionamento visivo.
Figura 7: Il grafico mostra i risultati di tutti i modelli valutati con impostazioni di "sforzo di ragionamento" elevato.12
Sforzi accademici e di ricerca aperta
VisuLogic: Un benchmark per la valutazione del ragionamento visivo nei modelli linguistici multimodali di grandi dimensioni
Questo articolo introduce VisuLogic, un benchmark per valutare le prestazioni dei modelli multimodali su compiti di ragionamento visivo. Combina oltre cinquanta dataset che coprono vari tipi di ragionamento, tra cui relazioni spaziali, logica composizionale e conteggio di oggetti.
Gli autori analizzano decine di modelli esistenti e scoprono che aumentare le dimensioni o la scala dei dati migliora il riconoscimento delle immagini ma non il ragionamento. I modelli spesso rilevano pattern senza comprendere le relazioni tra gli oggetti. L'articolo sottolinea che un addestramento specifico per il ragionamento, una migliore qualità dei dati e una valutazione dettagliata sono essenziali per un progresso significativo.
VisuLogic offre un framework unificato che aiuta ricercatori e aziende ad analizzare le capacità di ragionamento piuttosto che affidarsi esclusivamente alle metriche di percezione, rendendolo una risorsa preziosa per valutare i sistemi di ragionamento multimodale.13
Explain Before You Answer: Un'indagine sul ragionamento visivo composizionale
Questa indagine esamina gli approcci attuali al ragionamento visivo composizionale, concentrandosi su come i modelli combinano indizi visivi e testuali per raggiungere una risposta corretta. Identifica le debolezze nei metodi esistenti che si basano sul riconoscimento piuttosto che sul ragionamento strutturato.
Gli autori propongono di addestrare i modelli a spiegare prima di rispondere, garantendo che ogni processo di ragionamento sia trasparente e interpretabile. Discutono le tecniche per allineare le rappresentazioni visive e linguistiche in modo che i modelli possano comprendere meglio diagrammi, figure e associazioni di oggetti.
L'articolo conclude che un ragionamento allineato e spiegabile migliora l'affidabilità e l'interpretabilità nei compiti multimodali. Sottolinea che il futuro della ricerca sul ragionamento visivo dipende dall'integrazione dell'apprendimento basato sulla spiegazione nella progettazione dei modelli.14
Sfide nelle capacità di ragionamento visivo degli LLM
Il progresso nel ragionamento visivo porta anche sfide tecniche ed etiche che devono essere considerate.
L'affidabilità rimane una preoccupazione fondamentale. Come visto nel nostro benchmark, i modelli faticano con visualizzazioni densamente raggruppate, fallendo nella mappatura barra-anno e nella percezione dell'altezza relativa in grafici complessi, portando a errori sistematici nell'identificazione delle tendenze. Anche i modelli avanzati falliscono in compiti semplici come il riconoscimento delle cifre e il conteggio degli oggetti, e scalare i dati migliora la percezione ma non il ragionamento.
I problemi di bias e interpretazione sono diffusi. I modelli di ragionamento visivo apprendono e riflettono i bias presenti nei loro dati di addestramento quando interpretano le immagini. I modelli riflettono presupposti culturali e stereotipi dai dati di addestramento, inclusi bias di genere, razza, età e disabilità. Ad esempio, quando prevedono le professioni delle persone in un'immagine o interpretano scenari, questi bias possono distorcere i risultati.
La spiegabilità è fondamentale per la fiducia. I modelli dovrebbero spiegare il loro processo di ragionamento in modo trasparente, specialmente in applicazioni ad alto rischio come sanità, assunzioni e giustizia penale dove output distorti causano danni.
Metodologia del benchmark
Tutti i modelli sono stati valutati tramite l'API di OpenRouter con parametri standardizzati: temperatura impostata a 0,8 e il parametro max tokens non è stato impostato per evitare di limitare le capacità di ragionamento. Ai modelli è stato chiesto di rispondere con una sola lettera (A-E) senza spiegazioni, sebbene alcuni modelli abbiano comunque fornito un ragionamento dettagliato, che abbiamo analizzato per estrarre le risposte finali. La valutazione è stata eseguita in parallelo su tutti i modelli simultaneamente. Ogni domanda è stata eseguita 5 volte per garantire risultati coerenti e affidabili.
Il benchmark consisteva in 200 domande suddivise in due categorie: Comprensione dei grafici (100 domande) che coprivano grafici a barre, grafici a linee, diagrammi di dispersione e visualizzazioni di dati complesse, e Logica visiva (10 domande) che testavano il riconoscimento di pattern, il ragionamento spaziale e la logica visiva matematica. Tutte le domande sono state presentate in formato a scelta multipla con cinque opzioni (A-E), richiedendo ai modelli di analizzare le immagini e selezionare la risposta corretta.
Questions:
1. Comprensione dei grafici Abbiamo valutato i modelli sulla loro capacità di estrarre, interpretare e analizzare informazioni da varie visualizzazioni di dati:
- Grafici a barre: Configurazioni orizzontali e verticali, formati impilati e raggruppati
- Grafici a linee: Tendenze a serie singola e multipla, dati di serie temporali
- Diagrammi di dispersione: Analisi di correlazione, identificazione di pattern con assi etichettati
- Grafici a torta: Distribuzioni percentuali e ragionamento proporzionale
- Visualizzazioni complesse: Grafici combinati, grafici a doppio asse e visualizzazioni a pannelli multipli
2. Logica visiva Abbiamo valutato il ragionamento astratto e l'intelligenza spaziale attraverso:
- Riconoscimento di pattern: Identificazione di sequenze e completamento di pattern visivi
- Ragionamento spaziale: Visualizzazione 3D, sviluppi di cubi e trasformazioni geometriche
- Logica matematica: Pattern numerici, ragionamento algebrico e combinatoria
- Pensiero astratto: Manipolazione di simboli, deduzione logica e inferenza di regole
Formato delle domande
- Formato di risposta: Scelta multipla (A, B, C, D, E)
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{ermut2026,
author = {Ermut, Sıla and Şipi, Nazlı},
title = {{Confronto tra modelli di IA multimodali sul ragionamento visivo}},
year = {2026},
month = feb,
howpublished = {\url{https://aimultiple.com/visual-reasoning}},
note = {AIMultiple. Consultato il 20 Febbraio 2026}
}Collegamenti di riferimento
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.