Modèles d'embedding multimodaux: Apple vs Meta vs OpenAI

Les modèles d’embedding multimodaux excellent à identifier les objets mais peinent avec les relations. Les modèles actuels ont du mal à distinguer « téléphone sur une carte » de « carte sur un téléphone ». Nous avons évalué 7 modèles de premier plan sur MS-COCO et Winoground pour mesurer cette limitation spécifique.

Pour garantir une comparaison équitable, nous avons évalué chaque modèle dans des conditions identiques en utilisant du matériel NVIDIA A40 et une précision bfloat16. Cette configuration déterministe révèle quels modèles comprennent réellement la structure des scènes et lesquels ne sont que d’élégants matcheurs de mots-clés.

Résultats de l’évaluation des modèles d’embedding multimodaux

Explication des métriques

• T2I R@1 (Rappel texte-image, recall@1) : Étant donné une légende, le modèle peut-il classer l’image correcte en première position parmi 5 000 candidats ? C’est la métrique la plus difficile car il n’y a pas de crédit partiel pour être classé deuxième.
• I2T R@1 (Rappel image-texte, recall@1) : Étant donné une image, le modèle peut-il classer l’une des cinq légendes de référence en première position parmi 25 000 ? Les scores sont environ 20 points de pourcentage plus élevés que le T2I car il y a cinq réponses valides au lieu d’une seule.
• Image Winoground : Étant donné deux images et deux légendes qui ne diffèrent que par leur structure (« téléphone sur une carte » contre « carte sur un téléphone »), le modèle peut-il apparier correctement les deux paires ? Le hasard donne une probabilité de 25 pour cent.

Principales conclusions

• Apple DFN5B-H obtient la plus haute précision de récupération (50.1 pour cent pour T2I R@1) et le meilleur score de raisonnement compositionnel (35.2 pour cent sur Winoground).
• Le raisonnement compositionnel reste médiocre pour tous les modèles. Même la performance de Apple à 35.2 pour cent dépasse à peine le seuil aléatoire de 25 pour cent.
• OpenAI CLIP accuse son âge, accusant un retard de 10 à 16 points de pourcentage par rapport aux modèles modernes malgré une architecture similaire.

Remarque : Les scores I2T sont environ 20 points de pourcentage plus élevés que le T2I en raison d’un artefact de protocole. Chaque image a cinq légendes valides, tandis que chaque légende correspond à une seule image valide. Voir la section méthodologie de l’évaluation des modèles d’embedding multimodaux pour plus de détails.

Comment fonctionnent les modèles d’embedding multimodaux

Avant d’entrer dans les détails de l’évaluation, il est essentiel de comprendre ce que ces modèles font réellement et où ils échouent.

Le mécanisme central

Un modèle d’embedding multimodal convertit à la fois les images et le texte en vecteurs numériques, qui sont des listes de nombres occupant le même espace géométrique. Les concepts similaires se regroupent, tandis que les concepts dissemblables sont plus éloignés.

Pour effectuer une recherche, vous calculez quel vecteur d’image est le plus proche de votre vecteur de texte. C’est pourquoi la recherche basée sur les embeddings est rapide : vous comparez des nombres, et non « comprendre » le sens au sens humain.

Où ça échoue

Regardez ce qui se passe avec des légendes compositionnellement différentes :

Les vecteurs sont presque identiques. Les deux légendes contiennent les mêmes concepts : {téléphone, carte, sur}. Le modèle encode ce qui est présent mais perd la manière dont les éléments sont liés.

C’est le problème du sac de mots. Le modèle voit les mêmes « ingrédients » et produit des embeddings similaires, même si les scènes sont complètement différentes. Dans l’une, le téléphone est au-dessus. Dans l’autre, c’est la carte. La structure relationnelle disparaît lors de l’encodage.

Tâches d’évaluation : Récupération vs raisonnement

MS-COCO : Trouver une aiguille dans une botte de foin

Configuration :
Un ensemble de 5 000 images contient des groupes de contenu similaire, comprenant des centaines de scènes extérieures, des dizaines de véhicules et de nombreuses zones de stockage et structures. Chaque image est accompagnée de cinq légendes différentes écrites par différents annotateurs, pour un total de 25 000 légendes.

La requête : « Une moto garée sous une structure en bois avec d’autres objets. »

L’image :

La même image pourrait également être décrite comme :

• « Motocyclette noire assise sous un surplomb extérieur. »
• « Moto garée sous une zone couverte dans une cour clôturée. »

Chaque légende est testée séparément, et le modèle doit trouver l’image correcte quelle que soit sa formulation.

La tâche :
Trouver l’unique image spécifique qui correspond. Pas n’importe quelle moto, pas n’importe quelle structure en bois, mais cette scène exacte parmi 5 000 candidates.

La métrique : Recall@1
Binaire et sans pitié. Image correcte classée #1 = Réussite. Classée #2 = Échec. Aucun crédit partiel.

Winoground : Comprendre qui fait quoi à qui

Configuration :
400 paires antagonistes. Chacune contient 2 images et 2 légendes ne différant que par leur structure compositionnelle.

La requête :

• Légende A : « il y a un téléphone sur une carte »
• Légende B : « il y a une carte sur un téléphone »
  

Les deux légendes contiennent exactement les mêmes concepts : {téléphone, carte, sur}. La seule différence est l’objet qui est au-dessus de l’autre.

L’image :

La tâche :
Faire correspondre les deux légendes à leurs images correctes simultanément. La légende A doit correspondre à l’Image A (téléphone posé sur la carte), et la légende B doit correspondre à l’Image B (carte affichée sur le téléphone). Aucun crédit partiel : obtenir une seule bonne réponse compte comme un échec.

La métrique : Score d’image
Binaire et sans pitié. Les deux paires appariées correctement = Réussite. Une ou zéro correcte = Échec. Le hasard donne 25 %.

Plus d’exemples de Winoground :

Pourquoi les modèles échouent en compositionnalité

Les faibles scores Winoground (30-40 % contre un seuil aléatoire de 25 %) indiquent que les modèles actuels peinent avec ce type spécifique de raisonnement compositionnel. Cependant, plusieurs réserves s’appliquent :

• Petite taille d’échantillon : Winoground ne contient que 400 exemples, ce qui donne des intervalles de confiance d’environ ±5 points de pourcentage. Cela le rend utile comme indicateur mais pas comme preuve définitive des capacités compositionnelles.
• Portée des tâches spécifique mais diversifiée : Winoground teste plusieurs types de raisonnement compositionnel, notamment les relations spatiales (sur/au-dessus/en dessous), les permutations agent-patient (qui fait quoi à qui), la liaison d’attributs (assignations de couleur/taille), les quantificateurs (plus/moins, comptage), la coordination d’actions (assis/debout), l’ordre temporel (avant/après), la négation (avec/sans) et l’ambiguïté de portée. Cette diversité fait de Winoground une sonde efficace de la compréhension compositionnelle à travers de multiples phénomènes linguistiques.

Analyse technique et recommandations de déploiement

La qualité des données prime sur l’échelle du modèle

Apple, LAION et MetaCLIP utilisent tous le même backbone ViT-H/14 (630M paramètres).

L’avantage de Apple de +3.8pp semble provenir principalement de son approche Data Filtering Network (DFN).

• Conservation automatisée : Plutôt que d’utiliser simplement des légendes synthétiques, Apple a entraîné un modèle enseignant pour filtrer de manière agressive les données d’entraînement. Le modèle a appris à identifier et à rejeter les paires image-texte bruyantes du vaste pool web.
  
• La conséquence : À la frontière, les améliorations viennent de la qualité de la curation (choisir les bonnes données) plutôt que de la simple synthèse ou de l’échelle brute.

La conséquence : à la frontière, les améliorations proviennent de meilleures données, pas de plus grandes architectures.

Comprendre le niveau de performance de 50 %

MS-COCO a été conçu avec des images distinctes et sélectionnées où chaque légende décrit une scène spécifique. Bien qu’il existe de légères ambiguïtés (par exemple, deux scènes de parking similaires), les créateurs du jeu de données ont intentionnellement choisi des images visuellement distinctes.

La précision de 50 % reflète l’incapacité réelle des modèles à classer l’image correcte en premier, et non une pénalisation injuste pour avoir sélectionné des alternatives tout aussi valides.

Pourquoi OpenAI CLIP accuse un retard de 10-16pp

Le CLIP-L de OpenAI (2021) obtient 34.4 % de T2I R@1, tandis que les modèles modernes utilisant des architectures ViT similaires atteignent 44-50 %. Cet écart de 10-16 points de pourcentage reflète trois années de progrès :

Bien que les principes architecturaux de base soient restés similaires (transformateurs de vision avec apprentissage contrastif), les modèles modernes ont doublé de taille. Cependant, la plupart des gains de performance proviennent de l’amélioration de la curation des données et des techniques d’entraînement plutôt que de la seule innovation architecturale.

ColPali : échanger la vitesse contre la flexibilité architecturale

ColPali représente une approche architecturale différente : au lieu d’encoder chaque image en un seul vecteur, il produit 1 030 embeddings de patch en utilisant une interaction tardive. Ce choix de conception crée plusieurs compromis :

Avantages :

• Récupération plus symétrique : ColPali ne présente qu’un écart de 3.9pp entre I2T (48.8 %) et T2I (44.9 %), contre des écarts de 16-24pp dans les modèles denses. Cela suggère qu’il encode la structure de l’image de manière plus uniforme.
• Flexibilité architecturale : L’interaction tardive permet une correspondance fine entre les tokens de texte et les patchs d’image, ce qui peut bénéficier à des domaines spécialisés.

Inconvénients :

• Surcharge de stockage : Chaque image nécessite 1 030 vecteurs au lieu d’un seul, augmentant la taille de l’index d’environ 1000×.

• Performances globales inférieures : ColPali se classe en 4e position dans notre évaluation (44.9 % T2I), à 5,2pp des meilleurs modèles denses (contre Apple DFN5B-H à 50.1 %).

Coût de calcul : Nécessite des tailles de lots 4× plus petites (4 contre 32) en raison de la surcharge mémoire due aux 1 030 embeddings par image. Cela se traduit par une indexation plus lente et des coûts de service plus élevés à grande échelle.

Quel modèle devriez-vous utiliser ?

Méthodologie de l’évaluation des modèles d’embedding multimodaux

Matériel et logiciel

• GPU : NVIDIA A40 (48GB VRAM) via RunPod
• Précision : bfloat16
• Framework : PyTorch 2.4.0, CUDA 12.1
• Bibliothèques : transformers==4.44.0, datasets==2.20.0

Modèles évalués

Nous avons utilisé les poids de modèles spécifiques suivants provenant du Hub Hugging Face. Tous les modèles ont été chargés en précision bfloat16 directement à partir de ces dépôts sans modification.

Protocole d’inférence

Les modèles denses (CLIP/SigLIP) ont été évalués avec une taille de lot de 32, car un seul vecteur par image permet un parallélisme élevé. ColPali a utilisé une taille de lot de 4, car ses 1 030 embeddings de patch par image nécessitent nettement plus de mémoire.

Protocole d’évaluation

• Zero-Shot : Modèles évalués tels quels en utilisant les poids Hugging Face. Pas de fine-tuning.
• Déterministe : Graine aléatoire fixée à 42. Même ordre de jeu de données pour tous les modèles.
• Découpages standard : test yerevann/coco-karpathy (5 000 images), validation facebook/winoground.

L’écart I2T vs T2I

Les scores I2T sont constamment environ 20pp plus élevés que le T2I en raison de la probabilité statistique, et non d’une erreur du modèle.

• T2I (Texte-à-Image) : Le modèle doit trouver 1 image spécifique parmi 5 000. (Cible = 1).
• I2T (Image-à-Texte) : Le modèle peut faire correspondre n’importe laquelle des 5 légendes valides associées à cette image. (Cible = 5).

Parce que la tâche I2T offre cinq réponses « correctes » distinctes pour chaque requête, le taux de réussite est naturellement gonflé par rapport à la correspondance stricte un-à-un requise en T2I.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Limites

Taille d’échantillon de Winoground

400 échantillons donnent des intervalles de confiance d’environ ±5pp à une précision de 35 %. Les résultats sont indicatifs, pas définitifs. Des benchmarks plus grands (ARO, SugarCrepe) existent mais nécessitent une infrastructure différente.

Zero-Shot uniquement

Pas de fine-tuning de domaine. Les applications médicales, juridiques ou satellitaires pourraient voir des améliorations de 5-10pp avec un entraînement spécifique au domaine.

Limites du jeu de données : 

MS-COCO et Winoground testent des aspects spécifiques de la compréhension multimodale. Les performances sur ces benchmarks ne garantissent pas des résultats similaires sur des tâches spécifiques à un domaine ou d’autres tests de raisonnement compositionnel.

Pour en savoir plus

Explorez d’autres benchmarks RAG, tels que :

• Modèles d’embedding : OpenAI vs Gemini vs Cohere
• Meilleure base de données vectorielle pour RAG : Qdrant vs Weaviate vs Pinecone
• Benchmark de RAG agentique : routage multi-bases de données et génération de requêtes
• 11 modèles d’embedding open source pour RAG

Citer cette recherche

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Modèles d'embedding multimodaux: Apple vs Meta vs OpenAI}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/multimodal-embeddings}},
  note   = {AIMultiple. Consulté le 4 Août 2026}
}

Ekrem Sarı

Chercheur en IA

Suivre

Ekrem est chercheur en IA et analyste de données chez AIMultiple. Il conçoit et exécute des benchmarks pratiques pour les systèmes d'IA et de LLM.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire