Multimodale Embedding Models: Apple vs Meta vs OpenAI
I models di embedding multimodale eccellono nell'identificare gli oggetti ma hanno difficoltà con le relazioni. I models attuali faticano a distinguere “telefono su una mappa” da “mappa su un telefono”. Abbiamo valutato 7 principali models su MS-COCO e Winoground per misurare questa specifica limitazione.
Per garantire un confronto equo, abbiamo valutato ogni model in condizioni identiche utilizzando hardware NVIDIA A40 e precisione bfloat16. Questa configurazione deterministica rivela quali models comprendono effettivamente la struttura della scena e quali sono semplicemente sofisticati abbinatori di parole chiave.
Risultati del benchmark dei models di embedding multimodale
Metriche spiegate
- T2I R@1 (Text-to-Image recall@1): Data una didascalia, il model può classificare l'immagine corretta come numero uno tra 5.000 candidate? Questa è la metrica di retrieval più difficile perché non viene dato alcun punteggio parziale per il secondo posto.
- I2T R@1 (Image-to-Text recall@1): Data un'immagine, il model può classificare una qualsiasi delle cinque didascalie ground-truth come numero uno tra 25.000? I punteggi sono circa 20 punti percentuali più alti del T2I perché ci sono cinque risposte valide invece di una.
- Winoground image: Date due immagini e due didascalie che differiscono solo nella struttura (“telefono su una mappa” contro “mappa su un telefono”), il model può abbinare correttamente entrambe le coppie? La probabilità casuale è del 25 percento.
Risultati principali
- Apple DFN5B-H raggiunge la massima accuratezza di retrieval (50.1 percento T2I R@1) e il punteggio di ragionamento composizionale più alto (35.2 percento su Winoground).
- Il ragionamento composizionale rimane scarso in tutti i models. Anche la performance del 35.2 percento di Apple supera di poco la baseline casuale del 25 percento.
- OpenAI CLIP mostra la sua età, rimanendo indietro di 10-16 punti percentuali rispetto ai models moderni nonostante un'architettura simile.
Nota: I punteggi I2T sono circa 20 punti percentuali più alti del T2I a causa di un artefatto del protocollo. Ogni immagine ha cinque didascalie valide, mentre ogni didascalia corrisponde a una sola immagine valida. Vedi la sezione metodologia del benchmark di embedding multimodale per i dettagli.
Come funzionano i models di embedding multimodale
Prima di addentrarci nei dettagli del benchmark, è essenziale capire cosa fanno effettivamente questi models e dove si rompono.
Il meccanismo centrale
Un model di embedding multimodale converte sia le immagini che il testo in vettori numerici, che sono liste di numeri che occupano lo stesso spazio geometrico. I concetti simili si raggruppano insieme, mentre quelli dissimili sono più distanti.
Per cercare, si calcola quale vettore immagine è più vicino al vettore testo. Questo è il motivo per cui la ricerca basata su embedding è veloce: si confrontano numeri, non si “capisce” il significato in senso umano.
Dove si rompe
Guarda cosa succede con didascalie composizionalmente diverse:
I vettori sono quasi identici. Entrambe le didascalie contengono gli stessi concetti: {telefono, mappa, su}. Il model codifica ciò che è presente ma perde le relazioni.
Questo è il problema del bag-of-words. Il model vede gli stessi “ingredienti” e produce embedding simili, anche se le scene sono completamente diverse. In una, il telefono è sopra. Nell'altra, la mappa è sopra. La struttura relazionale svanisce durante la codifica.
Compiti di valutazione: Retrieval vs ragionamento
MS-COCO: Trovare un ago in un pagliaio
Il Setup:
Una galleria di 5.000 immagini contiene gruppi di contenuti simili, tra cui centinaia di scene all'aperto, dozzine di veicoli e numerose aree di stoccaggio e strutture. Ogni immagine ha cinque didascalie diverse scritte da diversi annotatori, per un totale di 25.000 didascalie.
La Query: “Una motocicletta parcheggiata sotto una struttura di legno con altri oggetti.”
L'immagine:
La stessa immagine potrebbe anche essere descritta come:
- “Motocicletta nera seduta sotto una tettoia all'aperto.”
- “Motocicletta parcheggiata sotto un'area coperta in un cortile recintato.”
Ogni didascalia viene testata separatamente e il model deve trovare l'immagine corretta indipendentemente da come è formulata.
Il compito:
Trovare l'unica immagine specifica che corrisponde. Non una qualsiasi motocicletta, non una qualsiasi struttura di legno, ma questa esatta scena tra 5.000 candidate.
La metrica: Recall@1
Binaria e senza compromessi. Immagine corretta classificata #1 = Centro. Classificata #2 = Mancato. Nessun punteggio parziale.
Winoground: Capire chi ha fatto cosa a chi
Il Setup:
400 coppie avversariali. Ogni coppia contiene 2 immagini e 2 didascalie che differiscono solo nella struttura composizionale.
La Query:
- Didascalia A: “c'è un telefono su una mappa”
- Didascalia B: “c'è una mappa su un telefono“
Entrambe le didascalie contengono esattamente gli stessi concetti: {telefono, mappa, su}. L'unica differenza è quale oggetto sta sopra quale.
L'immagine:
Il Compito:
Abbinare entrambe le didascalie alle immagini corrette simultaneamente. La didascalia A deve corrispondere all'Immagine A (telefono appoggiato su mappa), e la didascalia B deve corrispondere all'Immagine B (mappa visualizzata su telefono). Nessun punteggio parziale: fare solo una giusta conta come fallimento.
La Metrica: Image Score
Binaria e senza compromessi. Entrambe le coppie abbinate correttamente = Centro. Una o zero corrette = Mancato. Probabilità casuale 25%.
Altri esempi da Winoground:
Perché i models falliscono nella composizione
I bassi punteggi Winoground (30-40% vs. baseline casuale del 25%) indicano che i models attuali hanno difficoltà con questo tipo specifico di ragionamento composizionale. Tuttavia, ci sono diverse avvertenze:
- Dimensione del campione ridotta: Winoground contiene solo 400 esempi, producendo intervalli di confidenza di circa ±5 punti percentuali. Questo lo rende utile come indicatore ma non una prova definitiva delle capacità composizionali.
- Ambito del compito specifico ma diversificato: Winoground testa molteplici tipi di ragionamento composizionale tra cui relazioni spaziali (su/sopra/sotto), scambi agente-paziente (chi fa cosa a chi), binding degli attributi (assegnazioni colore/dimensione), quantificatori (più/meno, conteggio), coordinazione delle azioni (sedersi/alzarsi), ordinamento temporale (prima/dopo), negazione (con/senza) e ambiguità di ambito. Questa diversità rende Winoground un'efficace sonda della comprensione composizionale attraverso molteplici fenomeni linguistici.
Analisi tecnica e raccomandazioni per il deployment
La qualità dei dati batte la scala del model
Apple, LAION e MetaCLIP utilizzano tutte la stessa backbone ViT-H/14 (630M parametri).
Il vantaggio di +3,8 punti percentuali di Apple sembra derivare principalmente dal suo approccio Data Filtering Network (DFN).
- Curation automatizzata: Invece di usare solo didascalie sintetiche, Apple ha addestrato un teacher model per filtrare aggressivamente i dati di addestramento. Il model ha imparato a identificare e scartare coppie immagine-testo rumorose dall'enorme pool web.
- L'implicazione: Alla frontiera, i miglioramenti provengono dalla qualità della curation (scegliere i dati giusti) piuttosto che dalla sola sintesi o scala grezza.
L'implicazione: alla frontiera, i miglioramenti provengono da dati migliori, non da architetture più grandi.
Comprendere il livello di performance del 50%
MS-COCO è stato progettato con immagini distinte e curate dove ogni didascalia descrive una scena specifica. Sebbene esistano piccole ambiguità (ad es., due scene di parcheggio simili), i creatori del dataset hanno selezionato intenzionalmente immagini visivamente distinguibili.
L'accuratezza del 50% riflette il fatto che i models falliscono effettivamente nel classificare per prima l'immagine corretta, non una penalizzazione ingiusta per la selezione di alternative ugualmente valide.
Perché il CLIP di OpenAI è indietro di 10-16 punti percentuali
Il CLIP-L di OpenAI (2021) ottiene un T2I R@1 del 34.4%, mentre i models moderni con architetture ViT simili raggiungono il 44-50%. Questo divario di 10-16 punti percentuali riflette tre anni di progresso:
Mentre i principi architetturali di base rimangono simili (vision transformer con apprendimento contrastivo), i models moderni sono raddoppiati in dimensioni. Tuttavia, la maggior parte dei miglioramenti delle prestazioni deriva da una migliore cura dei dati e tecniche di addestramento piuttosto che dalla sola innovazione architetturale.
ColPali: Scambiare velocità per flessibilità architetturale
ColPali rappresenta un approccio architetturale diverso: invece di codificare ogni immagine in un singolo vettore, produce 1.030 patch embeddings utilizzando late interaction. Questa scelta progettuale crea diversi compromessi:
Vantaggi:
- Retrieval più simmetrico: ColPali mostra solo un divario di 3,9pp tra I2T (48.8%) e T2I (44.9%), rispetto a divari di 16-24pp nei dense models. Ciò suggerisce che codifica la struttura dell'immagine in modo più uniforme.
- Flessibilità architetturale: La late interaction consente un matching fine-grained tra i token di testo e i patch d'immagine, il che può avvantaggiare domini specializzati.
Svantaggi:
- Sovraccarico di archiviazione: Ogni immagine richiede 1.030 vettori invece di 1, aumentando la dimensione dell'indice di ~1000×.
- Prestazioni complessive inferiori: ColPali si classifica 4° nel nostro benchmark (44.9% T2I), rimanendo indietro di 5,2pp rispetto ai migliori dense models (vs. Apple DFN5B-H al 50.1%).
Costo computazionale: Richiede dimensioni di batch 4× più piccole (4 vs. 32) a causa del sovraccarico di memoria di 1.030 embeddings per immagine. Questo si traduce in indicizzazione più lenta e costi di serving più elevati in scala.
Quale Model Dovresti Usare?
Aggiungi come fonte preferitaMetodologia del benchmark di embedding multimodale
Hardware e software
- GPU: NVIDIA A40 (48GB VRAM) via RunPod
- Precisione: bfloat16
- Framework: PyTorch 2.4.0, CUDA 12.1
- Librerie:
transformers==4.44.0,datasets==2.20.0
Models valutati
Abbiamo utilizzato i seguenti pesi specifici dei model dall'Hugging Face Hub. Tutti i models sono stati caricati in precisione bfloat16 direttamente da questi repository senza modifiche.
Protocollo di inferenza
I dense models (CLIP/SigLIP) sono stati valutati con batch size 32, poiché un singolo vettore per immagine consente un alto parallelismo. ColPali ha utilizzato batch size 4, poiché i suoi 1.030 patch embeddings per immagine richiedono molta più memoria.
Protocollo di valutazione
- Zero-Shot: Models valutati out-of-the-box utilizzando i pesi di Hugging Face. Nessun fine-tuning.
- Deterministico: Seme casuale fissato a 42. Stesso ordine del dataset per tutti i models.
- Split Standard: test yerevann/coco-karpathy (5.000 immagini), validazione facebook/winoground.
Il divario I2T vs. T2I
I punteggi I2T sono costantemente ~20pp più alti del T2I a causa della probabilità statistica, non di un errore del model.
- T2I (Text-to-Image): Il model deve trovare 1 immagine specifica tra 5.000. (Pool target = 1).
- I2T (Image-to-Text): Il model può abbinare una qualsiasi delle 5 didascalie valide associate a quell'immagine. (Pool target = 5).
Poiché il task I2T offre cinque risposte 'corrette' distinte per ogni query, il tasso di successo è naturalmente gonfiato rispetto al rigoroso mapping uno-a-uno richiesto in T2I.
Limitazioni
Dimensione del campione Winoground
400 campioni producono intervalli di confidenza ~±5pp al 35% di accuratezza. I risultati sono indicativi, non definitivi. Esistono benchmark più grandi (ARO, SugarCrepe) ma richiedono infrastrutture diverse.
Solo Zero-Shot
Nessun fine-tuning di dominio. Le applicazioni mediche, legali o satellitari potrebbero vedere miglioramenti di 5-10pp con un addestramento specifico per il dominio.
Limitazioni del dataset:
MS-COCO e Winoground testano aspetti specifici della comprensione multimodale. Le prestazioni su questi benchmark non garantiscono risultati simili su compiti specifici di dominio o altri test di ragionamento composizionale.
Conclusione
I current models di embedding multimodale sono bravi nel riconoscimento degli oggetti ma faticano con il ragionamento composizionale.
Per il retrieval standard (“trova foto di motociclette”), qualsiasi model tra i primi 3 funziona bene. Per query relazionali (“telefono su una mappa” vs. “mappa su un telefono”), aspettati al massimo un'accuratezza del 30-40%.
Sulla base dei nostri risultati e delle attuali tendenze di ricerca, diversi approcci possono migliorare le prestazioni:
- Qualità dei dati rispetto alla scala: Il vantaggio di +3,8pp di Apple utilizzando la stessa architettura ViT-H suggerisce che la cura dei dati di addestramento contribuisce significativamente, sebbene ciò sia basato su un singolo confronto.
- Dati di addestramento composizionali: Includere hard negatives con variazioni relazionali durante l'addestramento potrebbe teoricamente migliorare la sensibilità composizionale, anche se ciò rimane in gran parte non testato su larga scala.
- Architetture ibride: Le pipeline a due fasi (retrieval denso → riordinamento late-interaction) combinano velocità e precisione, anche se il nostro benchmark mostra che questo non supera ancora i dense models su questi compiti.
Finché i paradigmi di addestramento non cambieranno, la comprensione composizionale rimane una frontiera aperta.
Ulteriori letture
Esplora altri benchmark RAG, come:
- Embedding Models: OpenAI vs Gemini vs Cohere
- Top Vector Database for RAG: Qdrant vs Weaviate vs Pinecone
- Agentic RAG benchmark: multi-database routing and query generation
- 11 Open Source Embedding Models for RAG
Cita questa ricerca
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{Multimodale Embedding Models: Apple vs Meta vs OpenAI}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/multimodal-embeddings}},
note = {AIMultiple. Consultato il 20 Maggio 2026}
}
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.