Grandi Modelli Multimodali (LMM) vs LLM
Abbiamo valutato le prestazioni dei Grandi Modelli Multimodali (LMM) in compiti di ragionamento finanziario utilizzando un dataset accuratamente selezionato. Analizzando un sottoinsieme di campioni finanziari di alta qualità, valutiamo le capacità dei modelli nell'elaborazione e nel ragionamento con dati multimodali nel dominio finanziario.
La sezione metodologica fornisce approfondimenti dettagliati sul dataset e sul quadro di valutazione impiegato.
Esplora i grandi modelli multimodali e confrontali con i grandi modelli linguistici.
Perché i modelli hanno ottenuto risultati diversi?
La variazione dei tassi di successo riflette le differenze nel modo in cui ogni modello elabora i compiti finanziari multimodali. Poiché il benchmark utilizza campioni del dataset FinMME, che richiedono l'integrazione di testo e immagini finanziarie come grafici e documenti strutturati, le prestazioni dipendono fortemente dall'architettura del modello, dalla qualità dell'addestramento e dall'allineamento multimodale.
Architettura del modello e progettazione dei parametri
I modelli differiscono nel modo in cui combinano encoder di testo e immagini, nel numero di parametri attivi e nella complessità del loro routing esperto.
- Llama 4 Maverick, ad esempio, utilizza un design esperto più ampio, consentendo un ragionamento più solido.
- I modelli più piccoli o orientati all'efficienza hanno meno parametri allineati al ragionamento multimodale, il che limita le prestazioni.
Queste distinzioni architettoniche influenzano la capacità di ciascun modello di interpretare relazioni numeriche, strutture di grafici e elementi visivi specifici del dominio.
Copertura dei dati di addestramento
Alcuni modelli sono addestrati su dataset multimodali estesi, mentre altri si basano principalmente su dati generici.
- I modelli delle famiglie Claude 4 e Qwen 2.5 incorporano dati visivi e testuali su larga scala, migliorando la loro capacità di allineare segnali numerici e visivi.
- I modelli addestrati su corpora multimodali più limitati hanno difficoltà con i grafici finanziari e i diagrammi strutturati.
I dati di addestramento influenzano direttamente l'affidabilità con cui un modello gestisce i concetti finanziari cross-modali.
Fine-tuning per il ragionamento cross-modale
Il benchmark richiede un coordinamento tra l'interpretazione delle immagini e il ragionamento testuale.
- I modelli Claude 4 sono descritti come validi nei compiti che coinvolgono grafici e diagrammi.
- I modelli senza un fine-tuning cross-modale dedicato possono rilevare correttamente le caratteristiche visive, ma risultano carenti quando devono collegarle al linguaggio o alla logica finanziaria.
La strategia di fine-tuning di un modello influisce sulla sua capacità di unire segnali testuali e visivi durante l'analisi.
Capacità di gestione del contesto
I campioni finanziari contengono spesso più elementi che devono essere letti insieme, come grafici in più parti o descrizioni lunghe.
- I modelli con finestre di contesto più ampie possono mantenere le relazioni tra input lunghi.
- I modelli più limitati potrebbero non cogliere le dipendenze, riducendo l'accuratezza nei compiti che richiedono il tracciamento di più componenti visive e testuali.
La dimensione della finestra di contesto influenza la capacità del modello di mantenere l'allineamento tra dettagli quantitativi e visivi.
Dimensioni del modello e priorità di efficienza
Alcuni modelli sono deliberatamente progettati per un'implementazione leggera piuttosto che per un ragionamento ad alta complessità.
- Phi-4 multimodale e modelli simili danno priorità all'efficienza, limitando la profondità dell'elaborazione multimodale.
- I modelli più grandi mantengono una maggiore capacità per compiti di ragionamento che coinvolgono una comprensione dettagliata dei grafici.
Questo compromesso si traduce in punteggi inferiori per i modelli più piccoli.
Differenze nella comprensione visiva
La valutazione include compiti che richiedono una lettura accurata dei grafici, l'identificazione di oggetti all'interno di documenti finanziari e l'estrazione di dettagli visivi.
- I modelli con pipeline visive avanzate, come le varianti Qwen 2.5-VL, gestiscono questi compiti in modo più efficace.
- Altri possono gestire bene le immagini generiche, ma hanno prestazioni inconsistenti con elementi visivi finanziari strutturati.
La forza del ragionamento visivo influisce notevolmente sui risultati su campioni in stile FinMME.
Caratteristiche del dataset di valutazione
Il dataset si concentra sul ragionamento multimodale finanziario piuttosto che su compiti generici.
- I modelli addestrati o sottoposti a fine-tuning per compiti finanziari, numerici o basati su grafici ottengono risultati migliori.
- I modelli generalisti senza esposizione al dominio mostrano una precisione inferiore sui dataset finanziari.
La specializzazione del dataset rende le prestazioni più sensibili alla qualità del ragionamento cross-modale.
Cosa sono i grandi modelli multimodali open source?
LMM open source con il loro numero di stelle GitHub:
Il grafico mostra che la popolarità su GitHub di vari LMM open source è in aumento, con alcuni modelli che hanno registrato una rapida adozione poco dopo il loro rilascio.
La serie Janus di DeepSeek ha guadagnato migliaia di stelle GitHub in pochi giorni dopo il rilascio di Janus-Pro il 27 gennaio 2025, superando i suoi concorrenti, che hanno impiegato mesi per raggiungere numeri simili. Questa rapida ascesa non è stata dovuta solo al successo di Janus-Pro, ma anche influenzata dallo slancio creato da DeepSeek-R1.
- Gemma 3 di Google: Gemma 3 è una famiglia di modelli open weight, leggeri e all'avanguardia, derivati dalla tecnologia Gemini 2.0. Questi modelli offrono capacità avanzate di ragionamento testuale e visivo, una finestra di contesto di 128k token, supporto per function calling e versioni quantizzate per prestazioni ottimizzate. Include ShieldGemma 2 per la sicurezza delle immagini e supporta diversi strumenti e opzioni di implementazione.1
- Janus-Pro di DeepSeek: Janus-Pro è una versione avanzata del modello Janus, progettato per comprendere e generare sia testo che immagini. Presenta una strategia di addestramento ottimizzata, dati di addestramento ampliati e una dimensione del modello maggiore, migliorandone le capacità multimodali.2
- Qwen2.5-VL di Alibaba: Qwen2.5-VL di Alibaba è un'estensione multimodale del modello linguistico Qwen2.5, progettato per la comprensione di testo e immagini. Vanta un pre-addestramento su larga scala (fino a 18T token), una finestra di contesto estesa (fino a 128K token), una migliore capacità di seguire le istruzioni e un solido supporto multilingue, rendendolo adatto a compiti come la generazione di didascalie per immagini e il visual question answering. 3
- Basandosi sulla serie Qwen2.5-VL, Alibaba ha ottimizzato e reso open source Qwen2.5-VL-32B-Instruct, un modello VL da 32B che incorpora una comprensione e un ragionamento delle immagini migliorati e più dettagliati. Ciò si traduce in prestazioni migliori e analisi dettagliate in compiti come l'analisi delle immagini, il riconoscimento dei contenuti e la deduzione logica visiva.4
- CLIP (Contrastive Language–Image Pretraining) di OpenAI: CLIP è progettato per comprendere le immagini nel contesto del linguaggio naturale. Può eseguire compiti come la classificazione di immagini zero-shot, dove può classificare accuratamente le immagini anche in categorie per cui non è stato esplicitamente addestrato, comprendendo le descrizioni testuali.5
- Basandosi sulla serie Qwen2.5-VL, Alibaba ha ottimizzato e reso open source Qwen2.5-VL-32B-Instruct, un modello VL da 32B che incorpora una comprensione e un ragionamento delle immagini migliorati e più dettagliati. Ciò si traduce in prestazioni migliori e analisi dettagliate in compiti come l'analisi delle immagini, il riconoscimento dei contenuti e la deduzione logica visiva.6
- Flamingo di DeepMind: Flamingo è progettato per sfruttare i punti di forza della comprensione sia linguistica che visiva, rendendolo capace di eseguire compiti che richiedono l'interpretazione e l'integrazione di informazioni provenienti da testo e immagini.7
Figura 1: Un esempio tratto da Chip Huyen8
Quali sono i principali LMM?
Interfaccia utente e funzionalità API degli LLM generici
I fornitori sono selezionati tra gli LLM multimodali più diffusi in base a comparabilità, disponibilità dei dati e tempestività.
LMM con il loro prezzo per token:
Per selezionare il modello più adatto, considera fattori come il tuo budget, le capacità e il livello di prestazioni richiesti e il volume previsto di token di input/output necessari per il tuo specifico caso d'uso.
Scopri di più sui prezzi degli LLM.
Quali sono gli ultimi progressi nei modelli multimodali?
I recenti progressi nei modelli multimodali hanno introdotto nuove capacità ed efficienze nello sviluppo dell'IA.
Modelli di base multimodali incentrati sul video
I modelli di base multimodali incentrati sul video stanno andando oltre la generazione di didascalie o riassunti ad alto livello e stanno invece imparando a localizzare esplicitamente le evidenze all'interno dei video.
Invece di dire cosa succede, possono identificare quando succede (timestamp) e dove succede (bounding box intorno a oggetti o regioni).
Questo spostamento verso il grounding spazio-temporale rende la comprensione video più precisa e verificabile. Consente inoltre compiti come trovare momenti esatti, tracciare oggetti nel tempo, modificare video utilizzando il linguaggio naturale e supportare la robotica e i sistemi critici per la sicurezza.
Ad esempio, Vidi9 è un progetto open source di ByteDance incentrato su grandi modelli multimodali per la comprensione e la modifica video.
Il repo ospita il codice e le risorse per una famiglia di modelli (es. Vidi-7B, Vidi1.5-9B, Vidi2 e Vidi2.5) che prendono input visivi, audio e testuali per eseguire compiti come:
- Recupero temporale (trovare i segmenti temporali in un video che corrispondono a una query testuale)
- Grounding spazio-temporale (individuare oggetti nel tempo con bounding box)
- Video question answering
Rilascio del modello frontier multimodale Mistral 3
Mistral AI ha sviluppato una nuova famiglia di modelli IA open source chiamata Mistral 3. La suite Mistral 3 comprende sia modelli frontier multimodali/multilingue che modelli più piccoli ed efficienti progettati per funzionare su una gamma di dispositivi, dal cloud all'edge, e persino su singole GPU.
Rilasciati sotto una licenza open source permissiva (Apache 2.0), questi modelli mirano a democratizzare l'accesso all'IA avanzata, consentire la personalizzazione e la flessibilità di implementazione e rafforzare la posizione dell'Europa nello sviluppo dell'IA, dove si teme un ritardo rispetto a Stati Uniti e Cina nelle tecnologie all'avanguardia.10
Modelli MoE vision-language open source
Kimi-VL (di Moonshot AI) è un modello multimodale vision-language open source costruito con un'architettura Mixture-of-Experts (MoE), che funziona su compiti che combinano testo, immagini e video mantenendo un calcolo efficiente.
Ha una backbone da 16 B di parametri totali, ma in genere attiva solo circa 2,8 B di parametri durante l'inferenza, il che aiuta a bilanciare capacità e costi.
Kimi-VL è progettato per il ragionamento multimodale avanzato, la comprensione di contesti lunghi (fino a circa 128 K token) e le interazioni in stile agente, e compete bene con modelli più grandi su benchmark come la comprensione video, il riconoscimento ottico dei caratteri (OCR), il ragionamento matematico e i compiti multi-immagine.
Varianti come Kimi-VL-A3B-Thinking sono ulteriormente ottimizzate per compiti di catena di pensiero e ragionamento, mentre l'encoder visivo MoonViT supporta la comprensione di input ad alta risoluzione.
Figura 2: Design dell'architettura Kimi-VL.11
La serie Claude 4 di Anthropic
La serie Claude 4 di Anthropic integra una comprensione visiva avanzata con il suo motore di ragionamento testuale, incorporando la visione direttamente nei flussi di lavoro di problem-solving.
I modelli Claude 4 dimostrano prestazioni elevate su benchmark di ragionamento multimodale come MMMU, in particolare nell'interpretazione di grafici, diagrammi e dati visivi complessi. Una caratteristica distintiva di Claude Opus 4.1 è la sua capacità di valutare le qualità estetiche all'interno delle immagini, estendendosi oltre il riconoscimento a valutazioni più sfumate.
Queste capacità, combinate con le funzioni agestiche di Claude, rendono la serie efficace per compiti come sintetizzare ricerche da report con testo ed elementi visivi misti o assistere nella progettazione di interfacce attraverso l'analisi di mockup visivi.
Gemini 3 di Google
Google ha rilasciato Gemini 3 a novembre 2025, con Gemini 3 Pro disponibile immediatamente e la modalità Gemini 3 Deep Think in distribuzione per gli abbonati a Google AI Ultra poco dopo. Gemini 3 è posizionato da Google come il suo modello multimodale più intelligente e capace, con supporto nativo per testo, immagini, video, audio e codice all'interno di un'unica architettura.
Gemini 3 Pro viene fornito con una finestra di contesto di 1 milione di token e ottiene ottimi risultati nei benchmark multimodali, inclusi l'81% su MMMU-Pro e l'87,6% su Video-MMMU. Ha raggiunto la vetta della classifica LMArena al momento del rilascio con un punteggio di 1501 Elo e ha ottenuto il 91,9% su GPQA Diamond per il ragionamento a livello universitario e il 76,2% su SWE-bench Verified per compiti di codifica agentica.
Gemini 3 Deep Think è una modalità di ragionamento avanzata che migliora ulteriormente le prestazioni nei compiti più impegnativi, ottenendo il 41,0% su Humanity's Last Exam (senza strumenti) e il 45,1% su ARC-AGI-2. Insieme a Gemini 3, Google ha rilasciato anche Google Antigravity, una piattaforma di sviluppo agentico che abbina Gemini 3 al modello Gemini 2.5 Computer Use per il controllo del browser e al modello di editing delle immagini Nano Banana, consentendo flussi di lavoro di sviluppo software end-to-end in cui il modello può pianificare, codificare e convalidare le attività in modo autonomo.12
GPT-5 di OpenAI
GPT-5 introduce una multimodalità nativa migliorata tra testo, voce, immagine e video. A differenza dei sistemi precedenti che si basavano fortemente sui plugin, GPT-5 integra queste modalità all'interno di un'architettura unificata, con il risultato di un'interazione più fluida. Il modello si adatta flessibilmente a vari tipi di input e può passare dall'uno all'altro.
Una caratteristica degna di nota è la sua modalità vocale in tempo reale, che può regolare tono, ritmo e stile in base alle istruzioni dell'utente. Ciò crea un'esperienza conversazionale più naturale e adattiva. Anche l'elaborazione visiva è migliorata, riducendo le allucinazioni nell'interpretare o generare immagini, diagrammi e grafici. Un altro progresso risiede nelle sue capacità di memoria, che consentono al sistema di richiamare input precedenti e mantenere il contesto durante interazioni prolungate.
Questi miglioramenti rendono GPT-5 particolarmente prezioso per interfacce multimodali accessibili, specialmente per le persone con disabilità sensoriali.
Modelli multimodali per la robotica di Google DeepMind
Google DeepMind ha sviluppato Gemini Robotics e Gemini Robotics-ER, modelli progettati per integrare visione, linguaggio e azione all'interno dei sistemi robotici. Questi modelli consentono ai robot di eseguire compiti in ambienti non strutturati, come piegare la carta o svitare i tappi delle bottiglie.
Una caratteristica fondamentale di questi modelli è il loro meccanismo di sicurezza. Prima di eseguire le azioni, il sistema esegue controlli integrati per ridurre al minimo i rischi e garantire la gestione appropriata delle attività. Questo approccio affronta una delle sfide significative della robotica: colmare il divario tra il ragionamento avanzato dell'IA e un'esecuzione sicura e affidabile nel mondo reale.
Llama 4 Scout e Llama 4 Maverick di Meta AI
Llama 4 Scout è un modello multimodale con 17 miliardi di parametri attivi e 16 esperti. Questo modello supera i modelli Llama della generazione precedente ed è progettato per funzionare su una singola GPU H100. Dispone di una finestra di contesto di 10 milioni di token per elaborare grandi quantità di informazioni. I risultati dei benchmark indicano che Llama 4 Scout ottiene risultati migliori di Gemma 3, Gemini 2.0 Flash-Lite e Mistral 3.1 in una serie di benchmark ampiamente riportati.
Llama 4 Maverick è un modello multimodale con 17 miliardi di parametri attivi e 128 esperti. Questo modello è presentato come il migliore nella sua classe, superando GPT-4o e Gemini 2.0 Flash in una serie di benchmark. Raggiunge prestazioni comparabili a DeepSeek v3 nel ragionamento e nella codifica, pur utilizzando meno parametri attivi. Una versione chat sperimentale di Llama 4 Maverick ha raggiunto un punteggio ELO di 1417 sulla piattaforma LMArena.
4o Image Generation di OpenAI
L'ultimo modello di generazione di immagini di OpenAI, integrato in GPT-4o, unisce la creazione di testo e immagini in un sistema unificato. Questa capacità multimodale consente a GPT-4 di generare immagini attingendo alla sua conoscenza testuale e al contesto della chat, creando un'interazione tra linguaggio ed elementi visivi.
Attraverso la generazione multi-turno, gli utenti possono perfezionare le immagini in modo conversazionale, come mostrato nelle figure sottostanti. Il modello si basa su input testuali precedenti e immagini caricate per mantenere la coerenza. Analizzando le immagini fornite dall'utente e apprendendo nel contesto, GPT-4o si adatta a dettagli specifici, migliorando la sua capacità di produrre immagini consapevoli del contesto.
Figura 3: Richiedere la creazione di un disegno utilizzando riferimenti e istruire sulle caratteristiche del testo per l'immagine.
Figura 4: Richiedere la creazione di una foto dal disegno e inserirla in una scena.13
Qwen3-VL di Alibaba
La serie Qwen3-VL di Alibaba, rilasciata a partire da settembre 2025, si basa sul modello linguistico Qwen3 aggiungendo capacità di percezione visiva e ragionamento più profonde. La famiglia include varianti dense da 2B a 32B parametri e varianti Mixture-of-Experts fino a 235B parametri totali (22B attivi), tutte rilasciate sotto licenza Apache 2.0.
Le caratteristiche principali includono una finestra di contesto nativa di 256K (espandibile a 1 milione di token), OCR multilingue esteso in 32 lingue, grounding di oggetti 2D e 3D per il ragionamento spaziale e l'IA incarnata, comprensione video di ore con indicizzazione al secondo e capacità di agente visivo per il controllo GUI.
Le varianti Thinking sono ottimizzate per il ragionamento STEM e multimodale, mentre le varianti Instruct sono destinate a compiti generali di visione-linguaggio come l'analisi di documenti, l'estrazione di grafici e il visual question answering.
Gemma 3 di Google
Gemma 3 di Google si basa sulla tecnologia dei loro modelli Gemini 2.0. È disponibile in quattro dimensioni (1B, 4B, 12B e 27B) per diversi requisiti hardware e offre una finestra di contesto di 128k token. Gemma 3 funziona bene su configurazioni a singolo acceleratore e include ragionamento testuale e visivo, function calling e supporto per oltre 35 lingue, con pre-addestramento per più di 140. Le versioni quantizzate riducono le dimensioni del modello e le esigenze di calcolo. Il sistema ShieldGemma 2 fornisce la classificazione della sicurezza dei contenuti.
Phi-4-multimodal di Microsoft
Phi-4-multimodal di Microsoft è un modello da 5,6 miliardi di parametri che elabora voce, visione e testo in un'architettura unificata. Utilizza l'apprendimento cross-modale per interazioni consapevoli del contesto tra diversi tipi di input. Il modello gestisce più formati di input senza richiedere sistemi di elaborazione separati ed è progettato per l'implementazione su dispositivo e l'edge computing. Le applicazioni includono IA per smartphone, sistemi automobilistici e servizi multilingue.
Cos'è un grande modello multimodale (LMM)?
Un grande modello multimodale è un tipo avanzato di modello di intelligenza artificiale in grado di elaborare e comprendere più tipi di modalità di dati. Questi dati multimodali possono includere testo, immagini, audio, video e potenzialmente altri. La caratteristica principale di un modello multimodale è la sua capacità di integrare e interpretare informazioni da queste diverse fonti di dati, spesso simultaneamente.
Questi possono essere intesi come versioni più avanzate dei grandi modelli linguistici (LLM) che possono lavorare con il testo e anche con diversi tipi di dati. Inoltre, gli output dei modelli linguistici multimodali sono progettati per essere non solo testuali ma anche visivi, uditivi e così via.
I modelli linguistici multimodali sono considerati il passo successivo verso il raggiungimento dell'intelligenza artificiale generale.
Cos'è un agente AI multimodale?
Gli agenti AI multimodali sono sistemi progettati per interagire con il mondo utilizzando vari tipi di dati, tra cui immagini, video e testo, consentendo loro di operare sia in ambienti digitali che fisici. I modelli multimodali sono il componente principale di questi agenti, consentendo loro di percepire e comprendere informazioni da fonti diverse.
Ad esempio, modelli come Magma utilizzano la comprensione visivo-linguistica e l'intelligenza spaziale, ottenute attraverso tecniche come Set-of-Mark e Trace-of-Mark durante il pre-addestramento su dataset multimodali.
Ciò consente all'agente di eseguire compiti che vanno dalla comprensione di contenuti video e la risposta a domande, alla navigazione di interfacce utente e al controllo di robot, dimostrando le versatili capacità che i modelli multimodali apportano agli agenti AI sfruttando diverse modalità di dati. L'illustrazione sottostante mostra Magma che pianifica le traiettorie del robot per portare a termine i compiti, mostrando la sua intelligenza spaziale in azione.14
Qual è la differenza tra LMM e LLM?
1. Modalità dei dati
- LMM: Sono progettati per comprendere ed elaborare più tipi di input di dati, o modalità. Questo include testo, immagini, audio, video e talvolta altri tipi di dati come i dati sensoriali. La capacità chiave degli LMM è la loro capacità di integrare e dare un senso a questi diversi formati di dati, spesso simultaneamente.
- LLM: Questi modelli sono specializzati nell'elaborazione e generazione di dati testuali. Sono addestrati principalmente su grandi corpora di testo e sono abili nel comprendere e generare il linguaggio umano in una varietà di contesti. Non elaborano intrinsecamente dati non testuali come immagini o audio.
2. Applicazioni e compiti
- LMM: A causa della loro natura multimodale, questi modelli possono essere applicati a compiti che richiedono la comprensione e l'integrazione di informazioni attraverso diversi tipi di dati. Ad esempio, un LMM potrebbe analizzare un articolo di notizie (testo), le sue fotografie di accompagnamento (immagini) e le clip video correlate per ottenere una comprensione completa.
- LLM: Le loro applicazioni sono incentrate su compiti che coinvolgono il testo, come scrivere articoli, tradurre lingue, rispondere a domande, riassumere documenti e creare contenuti testuali.
Aggiungi come fonte preferitaQuali sono le modalità di dati dei grandi modelli multimodali?
Testo
Questo include qualsiasi forma di contenuto scritto, come libri, articoli, pagine web e post sui social media. Il modello può comprendere, interpretare e generare contenuti testuali, inclusi compiti di elaborazione del linguaggio naturale come traduzione, riassunto e risposta a domande.
Immagini
Questi modelli possono analizzare e generare dati visivi. Ciò include la comprensione del contenuto e del contesto di fotografie, illustrazioni e altre rappresentazioni grafiche. Compiti come la classificazione delle immagini, il rilevamento di oggetti e la generazione di immagini da descrizioni testuali rientrano in questa categoria.
Audio
Questo comprende registrazioni sonore, musica e linguaggio parlato. I modelli possono essere addestrati per riconoscere il parlato, la musica, i suoni ambientali e altri input uditivi. Possono trascrivere il parlato, comprendere comandi vocali e persino generare parlato o musica sintetici.
Video
Combinando elementi visivi e uditivi, l'elaborazione video implica la comprensione di immagini in movimento e dei loro suoni di accompagnamento. Ciò può includere l'analisi del contenuto video, il riconoscimento di azioni o eventi nei video e la generazione di clip video.
Mentre la maggior parte degli attuali grandi modelli linguistici multimodali può elaborare solo testo e immagini, la ricerca futura mira a includere input di dati audio e video.
Come vengono addestrati i grandi modelli multimodali?
L'addestramento dei grandi modelli multimodali (LMM) differisce significativamente dall'addestramento dei grandi modelli linguistici (LLM) in diversi aspetti chiave:
1. Raccolta e preparazione dei dati
- LLM: Si concentrano sui dati testuali da libri, siti web e fonti scritte, con un'enfasi sulla diversità linguistica per le fonti di dati di addestramento degli LLM.
- LMM: Richiedono dati di testo, immagini, audio e video. La raccolta è più complessa a causa dei formati vari. L'annotazione dei dati e l'allineamento tra le modalità sono essenziali.
2. Progettazione dell'architettura del modello
- LLM: Utilizzano architetture transformer ottimizzate per l'elaborazione sequenziale del testo.
- LMM: Impiegano architetture più complesse che integrano più tipi di reti neurali (CNN per immagini, transformer per testo) con meccanismi per collegare queste modalità.
3. Pre-addestramento
- LLM: Pre-addestrano su corpora testuali utilizzando tecniche come la modellazione linguistica mascherata.
- LMM: Pre-addestrano su più tipi di dati, imparando a correlare il testo con le immagini o a comprendere sequenze video.
4. Fine-tuning
- LLM: Fanno fine-tuning su dataset testuali specializzati per compiti specifici.
- LMM: Richiedono fine-tuning sia su dataset specifici per modalità che su dataset cross-modali per stabilire relazioni tra diversi tipi di dati.
5. Valutazione e iterazione
- LLM: Le metriche di valutazione si concentrano su compiti di comprensione e generazione linguistica, tra cui fluidità, coerenza e rilevanza.
- LMM: Valutati su metriche più ampie che coprono il riconoscimento delle immagini, l'elaborazione audio e le capacità di integrazione cross-modale.
Come funzionano gli LMM?
I grandi modelli multimodali condividono somiglianze con i grandi modelli linguistici nel loro processo di addestramento, progettazione e funzionamento. Utilizzano la stessa architettura transformer e le stesse strategie di addestramento. I grandi modelli multimodali sono addestrati su:
- Dati testuali
- Milioni o miliardi di immagini con descrizioni testuali
- Clip video
- Snippet audio
- Altri dati di input, come il codice
Questo addestramento comporta l'apprendimento simultaneo di più modalità di dati, consentendo al modello di:
- Riconoscere una foto di un gatto
- Identificare una parola in una clip audio
- Comprendere concetti e dettagli sensoriali oltre il testo
In questo modo, gli utenti possono caricare:
- Un'immagine per:
- Ottenere una descrizione di ciò che sta accadendo
- Usare l'immagine come parte di un prompt per generare testo o immagini
- Fare domande di follow-up su elementi specifici dell'immagine
- Tradurre il testo dell'immagine in una lingua diversa (es. Menù)
Figura 5: Caricamento di un'immagine di un gatto su ChatGPT per descriverlo.
- Grafici e diagrammi per:
- Fare domande di follow-up complicate su ciò che mostrano
- Mockup di design per:
- Ottenere il codice HTML e CSS necessario per crearlo.
Figura 6: Richiedere l'immagine nello stile del film di Wes Anderson. ChatGPT inserisce il prompt in un modello di generazione di immagini (come DALL·E), che interpreta la richiesta e produce l'immagine stilizzata.
Dopo il processo di addestramento, i modelli potrebbero incorporare stereotipi malsani e idee tossiche. Per perfezionarli, possono essere utilizzate tecniche come:
- Apprendimento per rinforzo con feedback umano (RLHF)
- Modelli di IA di supervisione
- Red teaming (testare la robustezza del modello).
Inoltre, gli strumenti di governance dell'IA e gli strumenti di IA responsabile, che funzionano come soluzioni di conformità dell'IA, possono anche consentire l'ottimizzazione dell'inventario dell'IA, aiutando a prevenire i pregiudizi dell'IA e altri dilemmi etici. Ecco un esempio di come questi strumenti affrontano le preoccupazioni sul copyright dell'IA generativa:
Figura 7: ChatGPT rifiuta la mia richiesta a causa delle linee guida sulla politica dei contenuti per proteggere i diritti d'autore.
L'obiettivo è sviluppare un sistema multimodale funzionale in grado di gestire:
- Sintesi da testo a immagine
- Generazione di didascalie per immagini
- Recupero di immagini basato su testo
- Visual question answering.
In questo modo, l'IA multimodale può integrare varie modalità, fornendo capacità avanzate per compiti che coinvolgono sia il linguaggio che la visione.
Quali sono i limiti dei grandi modelli linguistici?
- Requisiti dei dati e pregiudizi: Questi modelli richiedono dataset massicci e diversificati per l'addestramento. Tuttavia, la disponibilità e la qualità di tali dataset possono essere una sfida. Inoltre, se i dati di addestramento contengono pregiudizi, è probabile che il modello li erediti e possibilmente li amplifichi, portando a risultati ingiusti o non etici.
- Risorse computazionali: L'addestramento e l'esecuzione di grandi modelli multimodali richiedono risorse computazionali significative, rendendoli costosi e meno accessibili per organizzazioni più piccole o ricercatori indipendenti.
- Interpretabilità e spiegabilità: Come per i modelli di IA complessi, capire come prendono le decisioni può essere difficile. Questa mancanza di trasparenza può essere un problema critico, specialmente in applicazioni sensibili come la sanità o le forze dell'ordine.
- Integrazione delle modalità: Integrare efficacemente diversi tipi di dati (come testo, immagini e audio) in modo da comprendere veramente le sfumature di ciascuna modalità è estremamente impegnativo. Il modello potrebbe non cogliere sempre accuratamente il contesto o le sottigliezze della comunicazione umana che derivano dalla combinazione di queste modalità.
- Generalizzazione e overfitting: Mentre questi modelli sono addestrati su vasti dataset, potrebbero avere difficoltà a generalizzare a dati nuovi e mai visti o a scenari che differiscono significativamente dai loro dati di addestramento. Al contrario, potrebbero fare overfitting sui dati di addestramento, catturando rumore e anomalie come schemi.
Per saperne di più, esplora le sfide e i rischi associati ai modelli generativi e linguistici.
Metodologia di benchmark per gli LMM
Abbiamo valutato le prestazioni dei Grandi Modelli Multimodali (LMM) utilizzando un sottoinsieme del dataset FinMME15 , un benchmark completo progettato per valutare le capacità di ragionamento multimodale finanziario. FinMME comprende oltre 11.000 campioni finanziari di alta qualità in 18 domini finanziari e 6 classi di attività, fornendo un quadro robusto per la valutazione degli LMM nel dominio finanziario.
Per questo benchmarking, abbiamo utilizzato una selezione curata di 100 campioni dal dataset FinMME per analizzare la capacità dei modelli di elaborare e ragionare con dati finanziari multimodali.
Disclaimer
Questa valutazione ha utilizzato un sottoinsieme curato di 100 campioni da un dataset più ampio per il benchmarking degli LMM. Per una valutazione completa delle prestazioni del modello, devono essere considerati tutti i campioni nel dataset di benchmark completo.
Conclusione
I grandi modelli multimodali (LMM) stanno integrando diversi tipi di dati, come testo, immagini, audio e video, superando così le capacità esclusivamente testuali dei grandi modelli linguistici (LLM). Con progressi come Llama 4 di Meta AI, GPT-4o di OpenAI e Qwen2.5-VL di Alibaba, gli LMM consentono applicazioni più ricche, dal ragionamento visivo alla generazione di immagini consapevole del contesto.
Tuttavia, la loro complessità, le elevate richieste computazionali e le sfide legate all'integrazione dei dati e alla mitigazione dei pregiudizi rimangono ostacoli. Man mano che gli LMM si evolvono, aprono la strada ad agenti AI più versatili, avvicinandoci all'intelligenza artificiale generale. Per le organizzazioni e i ricercatori, selezionare il modello giusto comporta il raggiungimento di un equilibrio tra prestazioni, costi e le esigenze specifiche del caso d'uso.
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Grandi Modelli Multimodali (LMM) vs LLM}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/large-multimodal-models}},
note = {AIMultiple. Consultato il 22 Maggio 2026}
}Collegamenti di riferimento
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.