Confronta i Modelli IA Multimodali sul Ragionamento Visivo
Abbiamo sottoposto a benchmark 15 modelli IA multimodali leader sul ragionamento visivo utilizzando 200 domande basate su elementi visivi. La valutazione consisteva in due tracce: 100 domande di comprensione di grafici per testare l'interpretazione della visualizzazione dei dati, e 100 domande di logica visiva per valutare il riconoscimento di pattern e il ragionamento spaziale. Ogni domanda è stata eseguita 5 volte per garantire risultati coerenti e affidabili.
Benchmark di ragionamento visivo
Consulta la nostra metodologia di benchmark per conoscere le nostre procedure di test.
gemini-3.1-pro-preview e gemini-3-pro-preview guidano la classifica. Sono seguiti da gpt-5.2, kimi-k2.5 e gpt-5.2-pro che guidano il gruppo successivo di modelli. Mentre la maggior parte dei modelli ottiene buone prestazioni nei compiti basati sui dati, rimane un divario per llama-4-maverick nel collegare gli input visivi con i passaggi logici.
Logica visiva
La logica visiva richiede riconoscimento di pattern e ragionamento spaziale. gemini-3.1-pro-preview guida il test di logica visiva, mostrando le prestazioni più elevate nei compiti di ragionamento astratto. Molti modelli mostrano un calo delle prestazioni rispetto ai risultati nell'analisi dei grafici. llama-4-maverick mostra una limitazione in questi compiti.
Comprensione dei grafici
I modelli dimostrano una maggiore competenza nell'interpretazione dei grafici rispetto alla logica visiva. gemini-3.1-pro-preview ha il punteggio più alto nei test di comprensione dei grafici, seguito da vicino da gemini-3-pro-preview e gemini-2.5-pro, mostrando una forte capacità di decodificare dati strutturati e visualizzazioni. claude-opus-4.6 e claude-sonnet-4.6 mostrano risultati più elevati nell'interpretazione dei grafici rispetto ai loro punteggi di logica. I compiti visivi basati sui dati sono più accessibili agli attuali modelli multimodali rispetto al riconoscimento di pattern.
Affidabilità statistica delle prestazioni di ragionamento visivo (IC 95%)
Abbiamo calcolato gli Intervalli di Confidenza (IC) al 95% attraverso 10.000 ricampionamenti bootstrap per definire il margine di errore per ciascun modello, mostrando l'intervallo entro cui probabilmente ricade la loro vera prestazione.
Domande del benchmark su dove gli LLM eccellono e dove faticano di più
Domanda sui grafici con il tasso di successo LLM più basso
Figura 1: Grafico a barre che mostra i volumi di vendita Star su 12 mesi con quattro barre raggruppate per mese (dati 1998-2000). Ogni mese mostra barre piene, bianche e a strisce in raggruppamento ravvicinato.
Nota: Tutti i grafici sono stati ottenuti da Hitbullseye.1
Domanda: Se le vendite di tre anni consecutivi sono in costante aumento o in costante diminuzione, allora si parla di trend costante. Quali mesi mostrano un trend in costante aumento su tre anni consecutivi?
Ad esempio, a giugno 1999, l'Effettivo era inferiore rispetto al 1998, mostrando una diminuzione, ma il modello lo ha interpretato erroneamente come in costante aumento. La maggior parte dei modelli commette lo stesso errore su questa domanda.
Quando 4 barre sono raggruppate per mese, i modelli hanno faticato con la mappatura barra-anno e la percezione dell'altezza relativa. Non sono riusciti a distinguere con precisione quale barra a strisce/piena/bianca appartenesse a quale anno, portando a leggere le barre nell'ordine sbagliato o a confonderne le altezze.
Ciò ha rivelato una limitazione fondamentale nel ragionamento visuo-spaziale: i modelli attuali mancavano della percezione pixel-precisa necessaria per misurare e sequenziare correttamente barre densamente raggruppate, portando a un'identificazione errata e sistematica dei trend.
Domanda sui grafici con il tasso di successo LLM più alto
Figura 2: Grafico a barre che mostra le percentuali di affluenza alle urne nelle elezioni generali indiane dal 1952 al 1998. Una barra per anno elettorale con spaziatura chiara tra le barre.
Domanda: L'affluenza alle urne più alta e più bassa di sempre (in percentuale) si sono verificate rispettivamente in quali anni?
Tutti i modelli hanno risposto correttamente a questa domanda. Questo successo mostra che i modelli eccellono nella semplice identificazione minimo-massimo, trovando le barre più alte e più basse.
A differenza dei gruppi raggruppati di 4 barre, che creano confusione, questo grafico ha una singola barra per anno con una spaziatura chiara, rendendo il confronto visivo diretto e immediato. I modelli ottengono buone prestazioni nei compiti puramente osservativi che non richiedono una mappatura complessa barra-categoria.
Domanda di logica visiva con il tasso di successo LLM più alto
Figura 3: Due griglie 3×3 allineate che mostrano la corrispondenza di pattern algebrici. La griglia superiore contiene variabili e le loro operazioni (moltiplicazione, divisione, esponenti). La griglia inferiore mostra valori numerici, con alcune celle riempite (6, 36, 3/4) e due incognite (A, B). La domanda chiede di trovare B-A.
Il successo è derivato dal chiaro pattern matematico visibile nella struttura della tabella (relazioni algebriche come a×b, c×d). Il layout a griglia semplice, senza complessità visiva, ha permesso ai modelli di concentrarsi esclusivamente sull'inferenza numerica e la deduzione logica.
I modelli eccellono quando i problemi coinvolgono pattern matematici espliciti che possono essere risolti attraverso un ragionamento passo dopo passo, dimostrando la loro forza nella logica simbolica e nel riconoscimento di pattern quando le distrazioni visive sono minime.
Domanda di logica visiva con il tasso di successo LLM più basso
Figura 4: Puzzle di riconoscimento di pattern con cerchi contenenti diversi pattern di linee interne e forme geometriche. Due sequenze di esempio con frecce mostrate in alto, seguite da una domanda che chiede di completare la terza sequenza tra cinque opzioni a scelta multipla.
La difficoltà deriva dalla necessità di un riconoscimento astratto di pattern visivi, identificando le regole di trasformazione geometrica attraverso più esempi.
Ciò richiede un ragionamento spaziale puro per comprendere come le forme ruotano, si trasformano e si relazionano tra loro. I modelli faticano con l'inferenza di regole da sequenze visive quando non è disponibile alcuna guida numerica o testuale esplicita, ma solo pattern spaziali.
Che cos'è il ragionamento visivo?
Il ragionamento visivo è la capacità di un modello di interpretare immagini, collegare elementi visivi e rispondere a domande che richiedono la comprensione di informazioni sia visive che testuali. Questa capacità si estende oltre il semplice riconoscimento di oggetti a compiti come l'analisi di visualizzazioni di dati, l'identificazione di pattern spaziali e la comprensione delle relazioni tra elementi visivi.
Il nostro benchmark ha valutato questa capacità attraverso due tracce distinte per testare diversi aspetti cognitivi: la comprensione dei grafici, in cui i modelli hanno interpretato grafici a barre, grafici a linee e diagrammi a dispersione per valutare la loro capacità di estrarre informazioni strutturate dalle visualizzazioni di dati; e la logica visiva, in cui hanno affrontato puzzle di riconoscimento di pattern e problemi di ragionamento spaziale per misurare il ragionamento astratto senza una guida numerica esplicita. Questa divisione riflette la distinzione fondamentale nel modo in cui i modelli elaborano dati espliciti rispetto a pattern impliciti.
I modelli raggiungono il ragionamento visivo attraverso diversi approcci architetturali. Ad esempio, il framework Cola coordina più modelli vision-language in cui ciascuno fornisce didascalie e risposte plausibili, quindi un LLM centrale valuta queste opzioni e seleziona la risposta più accurata.
Figura 5: Grafico che mostra come Cola sfrutta un modello linguistico coordinativo per il ragionamento visivo.2
Un altro esempio è il framework CVR-LLM, che migliora il ragionamento convertendo le immagini in descrizioni consapevoli del contesto utilizzando il metodo CaID e selezionando esempi rilevanti con la procedura CVR-ICL. Questo framework tratta le informazioni delle immagini come rappresentazioni testuali, consentendo all'LLM di analizzare le associazioni in modo più efficace attraverso vari tipi di compiti multimodali.3
Come funziona il ragionamento visivo negli LLM
Gli LLM non percepiscono direttamente le immagini. Si affidano a codificatori visivi che convertono le immagini in rappresentazioni strutturate adattate per i modelli linguistici. Il codificatore identifica oggetti, texture, relazioni spaziali e pattern visivi. L'LLM combina poi questa rappresentazione con la query testuale per costruire una catena di ragionamento.
Coordinamento o raffinamento
Esistono due meccanismi principali per scenari visivi complessi: il coordinamento, in cui un LLM integra gli output di più modelli visivi per verificare incrociatamente le interpretazioni; e il raffinamento, in cui l'LLM migliora iterativamente le descrizioni delle immagini attraverso cicli di feedback che identificano le informazioni mancanti. Entrambi affrontano i limiti in cui i singoli modelli non riescono ad analizzare scenari complessi.
Apprendimento contestuale per il ragionamento multimodale
Alcuni framework recuperano esempi simili dai dati di addestramento, fornendo al modello modelli per interpretare gli input visivi. Queste dimostrazioni aiutano il modello ad applicare pattern di ragionamento appresi a nuovi problemi.
Produrre la spiegazione finale
L'LLM produce una risposta supportata da un processo di ragionamento, spiegando come ha interpretato l'immagine, su quali elementi visivi si è basato e le connessioni logiche che ha stabilito.
Ragionamento a catena di pensiero nei compiti visivi
Il ragionamento a catena di pensiero (Chain-of-Thought, CoT) è emerso come un approccio importante nel ragionamento visivo. Invece di analizzare un'immagine tutta in una volta, i modelli ora scompongono i problemi visivi in passaggi più piccoli e sequenziali, in modo simile a come gli esseri umani risolvono problemi complessi riflettendoci passo dopo passo.
Il CoT visivo consente ai modelli di regolare dinamicamente l'attenzione su diverse regioni spaziali di un'immagine, affrontando un limite chiave per cui i modelli in precedenza si basavano su un'elaborazione delle immagini a granularità fissa. Ad esempio, quando si analizza un grafico complesso, il modello potrebbe prima identificare gli assi, poi esaminare i singoli punti dati e infine confrontare i trend, anziché cercare di comprendere tutto simultaneamente.
Questo approccio integra l'apprendimento per rinforzo e l'apprendimento per imitazione per allineare più strettamente i modelli con i pattern di ragionamento umano. Ciò rappresenta un cambiamento fondamentale dal riconoscimento passivo di pattern alla risoluzione attiva di problemi visivi, in cui i modelli esplorano e ragionano attivamente su ciò che vedono. 4
Applicazioni aziendali del ragionamento visivo negli LLM
Gli LLM con capacità visive possono supportare molteplici scenari aziendali. Queste applicazioni dipendono dalla capacità del modello di analizzare immagini, collegarle con dati testuali e produrre insight affidabili.
Analisi di documenti e contenuti
Le aziende gestiscono diagrammi, disegni tecnici, figure di riviste scientifiche e varie forme di dati visivi. Un modello di ragionamento visivo può:
- Rilevare elementi mancanti o errati.
- Identificare oggetti o segni nella parte inferiore o negli angoli dei diagrammi.
- Collegare segmenti di testo e immagine per controlli di qualità.
- Estrarre informazioni strutturate per ulteriori implementazioni o report.
Ad esempio, Intuit ha integrato Doc IA di Google Cloud e i modelli Gemini per compilare automaticamente le dichiarazioni dei redditi nei moduli fiscali statunitensi più comuni, migliorando sia la velocità che l'accuratezza nell'elaborazione dei documenti.5
Ispezione di qualità e operazioni
Nella produzione e nella logistica, i modelli possono ispezionare prodotti o pacchi. Il ragionamento visivo aiuta a rilevare difetti, disallineamenti o pattern insoliti. Il modello può confrontare le immagini con un riferimento e generare una spiegazione di ciò che è cambiato o di ciò che manca.
Intel, ad esempio, utilizza sistemi di ispezione visiva IA che fanno risparmiare 2 milioni di dollari all'anno, con i produttori che tipicamente raggiungono un ROI entro 6-12 mesi grazie alla riduzione degli scarti e a un minor numero di resi da parte dei clienti. 6
Vendita al dettaglio e eCommerce
I modelli analizzano le immagini dei prodotti, identificano gli attributi chiave e li abbinano ai dati del catalogo. Le funzionalità di ricerca visiva consentono ai clienti di caricare immagini per trovare prodotti simili utilizzando la visione artificiale, mentre i motori di raccomandazione delle taglie basati sull'IA hanno ridotto i tassi di reso del 20-30%. Questi sistemi rilevano anche incongruenze tra descrizioni e immagini dei prodotti.7
Sicurezza e monitoraggio
Il ragionamento visivo supporta i compiti di ispezione video e immagini analizzando sequenze di fotogrammi e rilevando pattern insoliti. Cambridge Industries ha implementato un sistema di sicurezza basato sull'IA per i cantieri edili che ha ridotto i costi di riparazione di emergenza di quasi il 50%. 8
Marketing ed esperienza utente
Il ragionamento visivo aiuta i team a comprendere come gli utenti interagiscono con i contenuti digitali. Un modello può valutare screenshot o creatività e fornire insight su layout, posizionamento degli oggetti e potenziali problemi. Ciò è particolarmente rilevante quando si valutano diverse categorie di asset visivi.
Ad esempio, Comeen utilizza Gemini IA per generare sottotitoli multilingue per video aziendali in 40 lingue con un solo clic, eliminando il processo multi-giorno e multi-fornitore che in precedenza rendeva i contenuti obsoleti prima della pubblicazione. 9
Aggiungi come fonte preferitaPanorama comparativo: i principali attori e i loro approcci
Chance IA
Chance IA è tra i primi strumenti commerciali costruiti attorno a una comprensione vision-first. Il suo sistema di ragionamento visivo analizza le immagini attraverso lenti culturali, storiche, funzionali ed estetiche. Invece di assegnare semplici etichette, fornisce insight strutturati che spiegano perché un oggetto, una figura o una scena sono importanti, come lo stile, il simbolismo e il contesto storico dell'opera d'arte, insieme al suo soggetto.
Il design dà priorità all'esperienza utente consentendo un'esplorazione guidata dal significato attraverso le immagini senza query digitate. Ciò va oltre la visione artificiale tradizionale verso l'interpretazione, la narrazione e la spiegazione simile a quella umana, rendendola particolarmente rilevante per le industrie creative, l'istruzione e il turismo, dove il contesto aggiunge valore oltre il riconoscimento.10
Meta IA
Il framework UniBench di Meta ha introdotto un approccio unificato alla valutazione del ragionamento visivo combinando oltre cinquanta benchmark per la comprensione spaziale, il ragionamento compositivo e il conteggio. Testando quasi sessanta modelli vision-language, Meta ha scoperto che aumentare la scala dei dati e dei modelli migliora la percezione ma non il ragionamento, con persino i modelli avanzati che falliscono in compiti semplici come il riconoscimento di cifre e il conteggio di oggetti.
Questi risultati hanno cambiato il modo in cui si misura il progresso nel ragionamento visivo, evidenziando la necessità di dati di qualità superiore, obiettivi mirati e apprendimento strutturato piuttosto che affidarsi esclusivamente a modelli più grandi. Per le aziende, UniBench offre un modo trasparente per confrontare le prestazioni di ragionamento nei compiti multimodali prima dell'implementazione.11
Figura 6: Il grafico mostra la prestazione mediana di 59 VLM su 53 benchmark, rivelando che, nonostante i progressi, molti modelli ottengono ancora prestazioni vicine al caso, in particolare in compiti come Winoground, iNaturalist, DSPR e altri (blu: mediana zero-shot; grigio: livello del caso).12
OpenAI
OpenAI ha fatto progredire il ragionamento visivo con i modelli o3 e o4-mini, che possono pensare con le immagini integrando la manipolazione delle immagini nel loro ragionamento. Durante l'analisi, ingrandiscono, ritagliano o ruotano le immagini per concentrarsi sui dettagli rilevanti, rispecchiando il modo in cui gli esseri umani regolano l'attenzione visiva quando interpretano diagrammi o disegni.
Testati su benchmark multimodali come l'interpretazione di grafici, la risoluzione di problemi visivi e il ragionamento matematico, i modelli hanno mostrato chiari guadagni in accuratezza e comprensione contestuale. Tuttavia, i risultati hanno anche esposto limitazioni, tra cui ragionamento incoerente ed errori percettivi occasionali, sottolineando la sfida continua dell'affidabilità nei sistemi di ragionamento visivo.
Figura 7: Il grafico mostra i risultati di tutti i modelli valutati con impostazioni di "sforzo di ragionamento" elevato.13
Sforzi accademici e di ricerca aperta
VisuLogic: Un Benchmark per la Valutazione del Ragionamento Visivo nei Modelli Linguistici Multimodali di Grandi Dimensioni
Questo articolo introduce VisuLogic, un benchmark per valutare le prestazioni dei modelli multimodali nei compiti di ragionamento visivo. Combina oltre cinquanta dataset che coprono vari tipi di ragionamento, tra cui relazioni spaziali, logica compositiva e conteggio di oggetti.
Gli autori analizzano decine di modelli esistenti e scoprono che aumentare le dimensioni o la scala dei dati migliora il riconoscimento delle immagini ma non il ragionamento. I modelli spesso rilevano pattern senza comprendere le relazioni tra gli oggetti. L'articolo sottolinea che un addestramento specifico per il ragionamento, una migliore qualità dei dati e una valutazione dettagliata sono essenziali per un progresso significativo.
VisuLogic offre un framework unificato che aiuta ricercatori e aziende ad analizzare le capacità di ragionamento piuttosto che affidarsi esclusivamente alle metriche di percezione, rendendolo una risorsa preziosa per valutare i sistemi di ragionamento multimodale.14
Spiega Prima di Rispondere: Un'Indagine sul Ragionamento Visivo Compositivo
Questa indagine esamina gli approcci attuali al ragionamento visivo compositivo, concentrandosi su come i modelli combinano indizi visivi e testuali per giungere a una risposta corretta. Identifica le debolezze nei metodi esistenti che si basano sul riconoscimento piuttosto che sul ragionamento strutturato.
Gli autori propongono di addestrare i modelli a spiegare prima di rispondere, garantendo che ogni processo di ragionamento sia trasparente e interpretabile. Discutono le tecniche per allineare le rappresentazioni visive e linguistiche in modo che i modelli possano comprendere meglio diagrammi, figure e associazioni di oggetti.
L'articolo conclude che un ragionamento allineato e spiegabile migliora l'affidabilità e l'interpretabilità nei compiti multimodali. Evidenzia che il futuro della ricerca sul ragionamento visivo dipende dall'integrazione dell'apprendimento basato sulla spiegazione nella progettazione dei modelli.15
Sfide nelle capacità di ragionamento visivo degli LLM
Il progresso nel ragionamento visivo comporta anche sfide tecniche ed etiche che devono essere considerate.
L'affidabilità rimane una preoccupazione fondamentale. Come visto nel nostro benchmark, i modelli faticano con visualizzazioni densamente raggruppate, fallendo nella mappatura barra-anno e nella percezione dell'altezza relativa nei grafici complessi, portando a errori sistematici nell'identificazione dei trend. Anche i modelli avanzati falliscono in compiti semplici come il riconoscimento di cifre e il conteggio di oggetti, e aumentare la scala dei dati migliora la percezione ma non il ragionamento.
I problemi di bias e interpretazione sono diffusi. I modelli di ragionamento visivo apprendono e riflettono i bias presenti nei loro dati di addestramento quando interpretano le immagini. I modelli riflettono presupposti culturali e stereotipi dai dati di addestramento, inclusi bias di genere, razza, età e disabilità. Ad esempio, quando prevedono le professioni delle persone in un'immagine o interpretano scenari, questi bias possono distorcere i risultati.
La spiegabilità è fondamentale per la fiducia. I modelli dovrebbero spiegare il loro processo di ragionamento in modo trasparente, specialmente in applicazioni ad alto rischio come sanità, assunzioni e giustizia penale dove output distorti causano danni.
Metodologia del benchmark
Tutti i modelli sono stati valutati tramite l'API di OpenRouter con parametri standardizzati: temperatura impostata a 0,8 e il parametro max token non è stato impostato per evitare di limitare le capacità di ragionamento. Ai modelli è stato chiesto di rispondere solo con una singola lettera (A-E) senza spiegazioni, anche se alcuni modelli hanno comunque fornito ragionamenti dettagliati, che abbiamo analizzato per estrarre le risposte finali. La valutazione è stata eseguita in parallelo su tutti i modelli simultaneamente. Ogni domanda è stata eseguita 5 volte per garantire risultati coerenti e affidabili.
Il benchmark era composto da 200 domande suddivise in due categorie: Comprensione dei Grafici (100 domande) che coprono grafici a barre, grafici a linee, diagrammi a dispersione e visualizzazioni di dati complesse, e Logica Visiva (10 domande) che testano riconoscimento di pattern, ragionamento spaziale e logica visiva matematica. Tutte le domande sono state presentate in formato a scelta multipla con cinque opzioni (A-E), richiedendo ai modelli di analizzare le immagini e selezionare la risposta corretta.
Questions:
1. Comprensione dei grafici Abbiamo valutato i modelli sulla loro capacità di estrarre, interpretare e analizzare informazioni da varie visualizzazioni di dati:
- Grafici a barre: Configurazioni orizzontali e verticali, formati impilati e raggruppati
- Grafici a linee: Trend a serie singola e multipla, dati di serie temporali
- Diagrammi a dispersione: Analisi di correlazione, identificazione di pattern con assi etichettati
- Grafici a torta: Distribuzioni percentuali e ragionamento proporzionale
- Visualizzazioni complesse: Grafici combinati, grafici a doppio asse e visualizzazioni a pannelli multipli
2. Logica visiva Abbiamo valutato il ragionamento astratto e l'intelligenza spaziale attraverso:
- Riconoscimento di pattern: Identificazione di sequenze e completamento di pattern visivi
- Ragionamento spaziale: Visualizzazione 3D, sviluppo di cubi e trasformazioni geometriche
- Logica matematica: Pattern numerici, ragionamento algebrico e calcolo combinatorio
- Pensiero astratto: Manipolazione di simboli, deduzione logica e inferenza di regole
Formato delle domande
- Formato di risposta: Scelta multipla (A, B, C, D, E)
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{ermut2026,
author = {Ermut, Sıla and Şipi, Nazlı},
title = {{Confronta i Modelli IA Multimodali sul Ragionamento Visivo}},
year = {2026},
month = feb,
howpublished = {\url{https://aimultiple.com/visual-reasoning}},
note = {AIMultiple. Consultato il 20 Febbraio 2026}
}Collegamenti di riferimento
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.