Models d'embedding multimodaux: Apple vs Meta vs OpenAI

Les models d’embedding multimodaux excellent à identifier les objets, mais peinent à saisir les relations. Les models actuels ont du mal à distinguer « un téléphone sur une carte » de « une carte sur un téléphone ». Nous avons benchmarké 7 models de premier plan sur MS-COCO et Winoground pour mesurer cette limitation spécifique.

Afin de garantir une comparaison équitable, nous avons évalué chaque model dans des conditions identiques sur du matériel NVIDIA A40 et en précision bfloat16. Cette configuration déterministe révèle quels models comprennent réellement la structure de la scène et lesquels se contentent d’être des outils sophistiqués de correspondance de mots-clés.

Résultats du benchmark des models d’embedding multimodaux

Métriques expliquées

• T2I R@1 (Text-to-Image recall@1) : À partir d’une légende, le model peut-il classer la bonne image en première position parmi 5 000 candidates ? Il s’agit de la métrique de retrieval la plus difficile, car il n’y a aucun crédit partiel pour la deuxième place.
• I2T R@1 (Image-to-Text recall@1) : À partir d’une image, le model peut-il classer l’une des cinq légendes de vérité terrain en première position parmi 25 000 ? Les scores sont environ 20 points de pourcentage plus élevés que le T2I, car il y a cinq réponses valides au lieu d’une seule.
• Image Winoground : Étant donné deux images et deux légendes qui ne diffèrent que par leur structure (« un téléphone sur une carte » versus « une carte sur un téléphone »), le model peut-il apparier correctement les deux paires ? Le hasard est de 25 pour cent.

Principaux enseignements

• Apple DFN5B-H obtient la meilleure précision de retrieval (50.1 pour cent en T2I R@1) et le meilleur score de raisonnement compositionnel (35.2 pour cent sur Winoground).
• Le raisonnement compositionnel reste faible dans tous les models. Même la performance de Apple à 35.2 pour cent dépasse à peine la base aléatoire de 25 pour cent.
• OpenAI CLIP montre son âge, accusant un retard de 10 à 16 points de pourcentage sur les models modernes malgré une architecture similaire.

Remarque : Les scores I2T sont environ 20 points de pourcentage plus élevés que le T2I en raison d’un artefact de protocole. Chaque image possède cinq légendes valides, tandis que chaque légende correspond à une seule image valide. Consultez la section méthodologie du benchmark d’embedding multimodal pour plus de détails.

Comment fonctionnent les models d’embedding multimodaux

Avant d’entrer dans les détails du benchmark, il est essentiel de comprendre ce que font réellement ces models et où ils échouent.

Le mécanisme central

Un model d’embedding multimodal convertit les images et le texte en vecteurs numériques, c’est-à-dire des listes de nombres qui occupent le même espace géométrique. Les concepts similaires se regroupent, tandis que les concepts dissemblables sont plus éloignés.

Pour effectuer une recherche, vous calculez quel vecteur d’image est le plus proche de votre vecteur texte. C’est pourquoi la recherche basée sur l’embedding est rapide : vous comparez des nombres, et non une « compréhension » du sens au sens humain.

Là où il échoue

Observez ce qui se passe avec des légendes différentes sur le plan compositionnel :

Les vecteurs sont presque identiques. Les deux légendes contiennent les mêmes concepts : {téléphone, carte, sur}. Le model encode ce qui est présent, mais perd la manière dont les choses sont liées.

C’est le problème du sac de mots. Le model voit les mêmes « ingrédients » et produit des embeddings similaires, même si les scènes sont complètement différentes. Dans l’une, le téléphone est au-dessus. Dans l’autre, c’est la carte. La structure relationnelle disparaît lors de l’encodage.

Tâches d’évaluation : retrieval vs raisonnement

MS-COCO : Trouver une aiguille dans une botte de foin

Le dispositif :
Une galerie de 5 000 images contient des grappes de contenu similaire, notamment des centaines de scènes extérieures, des dizaines de véhicules et de nombreux espaces de stockage et structures. Chaque image possède cinq légendes différentes rédigées par différents annotateurs, pour un total de 25 000 légendes.

La requête : « Une moto garée sous une structure en bois avec d’autres objets. »

L’image :

La même image pourrait aussi être décrite comme :

• « Moto noire stationnée sous un auvent à l’extérieur. »
• « Moto garée sous une zone couverte dans une cour clôturée. »

Chaque légende est testée séparément, et le model doit trouver la bonne image quelle que soit la formulation.

La tâche :
Trouver l’image spécifique unique qui correspond. Pas n’importe quelle moto, pas n’importe quelle structure en bois, mais cette scène précise parmi 5 000 candidates.

La métrique : Recall@1
Binaire et sans pardon. Image correcte classée n°1 = succès. Classée n°2 = échec. Aucun crédit partiel.

Winoground : Comprendre qui a fait quoi à qui

Le dispositif :
400 paires adverses. Chacune contient 2 images et 2 légendes ne différant que par la structure compositionnelle.

La requête :

• Légende A : « il y a un téléphone sur une carte »
• Légende B : « il y a une carte sur un téléphone »
  

Les deux légendes contiennent exactement les mêmes concepts : {téléphone, carte, sur}. La seule différence est quel objet est au-dessus de l’autre.

L’image :

La tâche :
Associer les deux légendes à leurs images correctes simultanément. La légende A doit correspondre à l’image A (téléphone posé sur la carte), et la légende B doit correspondre à l’image B (carte affichée sur le téléphone). Aucun crédit partiel : n’en réussir qu’une seule est considéré comme un échec.

La métrique : Image Score
Binaire et sans pardon. Les deux paires correctement appariées = succès. Une ou zéro correcte = échec. Le hasard est de 25 %.

D’autres exemples de Winoground :

Pourquoi les models échouent à la composition

Les faibles scores Winoground (30-40 % contre 25 % de base aléatoire) indiquent que les models actuels peinent avec ce type spécifique de raisonnement compositionnel. Toutefois, plusieurs réserves s’appliquent :

• Taille d’échantillon réduite : Winoground ne contient que 400 exemples, ce qui donne des intervalles de confiance d’environ ±5 points de pourcentage. Cela en fait un indicateur utile, mais pas une preuve définitive des capacités compositionnelles.
• Périmètre de tâche spécifique mais diversifié : Winoground teste plusieurs types de raisonnement compositionnel, notamment les relations spatiales (sur/au-dessus/en dessous), les permutations agent-patient (qui fait quoi à qui), la liaison d’attributs (affectations couleur/taille), les quantificateurs (plus/moins, comptage), la coordination d’actions (s’assied/se lève), l’ordre temporel (avant/après), la négation (avec/sans) et l’ambiguïté de portée. Cette diversité fait de Winoground une sonde efficace de la compréhension compositionnelle à travers de multiples phénomènes linguistiques.

Analyse technique & recommandations de déploiement

La qualité des données prime sur l’échelle des models

Apple, LAION et MetaCLIP utilisent tous le même backbone ViT-H/14 (630M paramètres).

L’avantage de Apple de +3.8pp semble provenir principalement de son approche Data Filtering Network (DFN).

• Curation automatisée : Plutôt que d’utiliser uniquement des légendes synthétiques, Apple a entraîné un model enseignant à filtrer agressivement les données d’entraînement. Le model a appris à identifier et à écarter les paires image-texte bruyantes de l’immense corpus web.
  
• L’implication : À la frontière, les améliorations viennent de la qualité de la curation (choisir les bonnes données) plutôt que de la simple synthèse ou de l’échelle brute.

L’implication : à la frontière, les améliorations viennent de meilleures données, et non d’architectures plus grandes.

Comprendre le niveau de performance de 50 %

MS-COCO a été conçu avec des images distinctes et sélectionnées où chaque légende décrit une scène précise. Bien qu’il existe des ambiguïtés mineures (par exemple, deux scènes de parking similaires), les créateurs du dataset ont intentionnellement sélectionné des images visuellement distinguables.

La précision de 50 % reflète une réelle incapacité des models à classer la bonne image en premier, et non une pénalisation injuste pour avoir sélectionné des alternatives tout aussi valides.

Pourquoi OpenAI CLIP accuse un retard de 10-16pp

OpenAI’s CLIP-L (2021) obtient 34.4 % en T2I R@1, tandis que les models modernes utilisant des architectures ViT similaires atteignent 44-50 %. Cet écart de 10-16 points de pourcentage reflète trois années de progrès :

Bien que les principes architecturaux de base soient restés similaires (vision transformers avec apprentissage contrastif), les models modernes ont doublé de taille. Cependant, la plupart des gains de performance proviennent d’une meilleure curation des données et de techniques d’entraînement plutôt que de la seule innovation architecturale.

ColPali : sacrifier la vitesse au profit de la flexibilité architecturale

ColPali représente une approche architecturale différente : au lieu d’encoder chaque image dans un vecteur unique, il produit 1 030 patch embeddings à l’aide d’une interaction tardive. Ce choix de conception crée plusieurs compromis :

Avantages :

• Retrieval plus symétrique : ColPali ne présente qu’un écart de 3.9pp entre l’I2T (48.8 %) et le T2I (44.9 %), contre des écarts de 16-24pp dans les models denses. Cela suggère qu’il encode la structure de l’image de manière plus uniforme.
• Flexibilité architecturale : L’interaction tardive permet une correspondance fine entre les tokens de texte et les patchs d’image, ce qui peut bénéficier aux domaines spécialisés.

Inconvénients :

• Surcharge de stockage : Chaque image nécessite 1 030 vecteurs au lieu d’un seul, ce qui augmente la taille de l’index d’environ 1000×.
• Performances globales inférieures : ColPali se classe 4e dans notre benchmark (44.9 % en T2I), derrière les meilleurs models denses de 5.2pp (contre Apple DFN5B-H à 50.1 %).

Coût computationnel : Nécessite des tailles de batch 4 fois plus petites (4 contre 32) en raison de la surcharge mémoire due aux 1 030 embeddings par image. Cela se traduit par une indexation plus lente et des coûts de serving plus élevés à grande échelle.

Quel model devriez-vous utiliser ?

Méthodologie du benchmark d’embedding multimodal

Matériel & logiciel

• GPU : NVIDIA A40 (48GB VRAM) via RunPod
• Précision : bfloat16
• Framework : PyTorch 2.4.0, CUDA 12.1
• Bibliothèques : transformers==4.44.0, datasets==2.20.0

Models évalués

Nous avons utilisé les poids de model spécifiques suivants depuis le Hugging Face Hub. Tous les models ont été chargés en précision bfloat16 directement depuis ces dépôts, sans modification.

Protocole d’inference

Les models denses (CLIP/SigLIP) ont été évalués avec une taille de batch de 32, car un seul vecteur par image permet un parallélisme élevé. ColPali a utilisé une taille de batch de 4, car ses 1 030 patch embeddings par image nécessitent nettement plus de mémoire.

Protocole d’évaluation

• Zero-Shot : Models évalués tels quels à l’aide des poids Hugging Face. Pas de fine-tuning.
• Déterministe : Graine aléatoire fixée à 42. Même ordre de dataset pour tous les models.
• Splits standard : yerevann/coco-karpathy test (5 000 images), facebook/winoground validation.

L’écart I2T vs. T2I

Les scores I2T sont systématiquement ~20pp plus élevés que le T2I en raison de la probabilité statistique, et non d’une erreur du model.

• T2I (Text-to-Image) : Le model doit trouver 1 image spécifique parmi 5 000. (Pool cible = 1).
• I2T (Image-to-Text) : Le model peut associer n’importe laquelle des 5 légendes valides associées à cette image. (Pool cible = 5).

Comme la tâche I2T offre cinq réponses « correctes » distinctes pour chaque requête, le taux de succès est naturellement gonflé par rapport à la correspondance stricte bijective requise en T2I.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Limites

Taille de l’échantillon Winoground

400 échantillons donnent des intervalles de confiance d’environ ±5pp à une précision de 35 %. Les résultats sont indicatifs, et non définitifs. Des benchmarks plus grands (ARO, SugarCrepe) existent, mais nécessitent une infrastructure différente.

Zero-Shot uniquement

Pas de fine-tuning de domaine. Les applications médicales, juridiques ou satellites pourraient connaître des améliorations de 5-10pp avec un entraînement spécifique au domaine.

Limites du dataset :

MS-COCO et Winoground testent des aspects spécifiques de la compréhension multimodale. La performance sur ces benchmarks ne garantit pas des résultats similaires sur des tâches spécifiques à un domaine ou d’autres tests de raisonnement compositionnel.

Lectures complémentaires

Explorez d’autres benchmarks RAG, tels que :

• Models d’embedding : OpenAI vs Gemini vs Cohere
• Meilleure base de données vectorielle pour RAG : Qdrant vs Weaviate vs Pinecone
• Benchmark de RAG agentique : routage multi-bases de données et génération de requêtes
• 11 models d’embedding open source pour RAG

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Models d'embedding multimodaux: Apple vs Meta vs OpenAI}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/multimodal-embeddings}},
  note   = {AIMultiple. Consulté le 14 Août 2026}
}

Ekrem Sarı

Chercheur en IA

Suivre

Ekrem est chercheur en IA et scientifique des données chez AIMultiple. Il conçoit et exécute des benchmarks pratiques pour les systèmes d'IA et de LLM.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire