Modèles d'embedding multimodaux: Apple vs Meta vs OpenAI
Les modèles d'embedding multimodaux excellent dans l'identification d'objets mais peinent avec les relations. Les modèles actuels ont du mal à distinguer « un téléphone sur une carte » d'« une carte sur un téléphone ». Nous avons évalué 7 modèles de premier plan sur MS-COCO et Winoground pour mesurer cette limitation spécifique.
Pour assurer une comparaison équitable, nous avons évalué chaque modèle dans des conditions identiques en utilisant le matériel NVIDIA A40 et la précision bfloat16. Cette configuration déterministe révèle quels modèles comprennent réellement la structure de la scène et lesquels sont simplement des matcheurs de mots-clés sophistiqués.
Résultats du benchmark des modèles d'embedding multimodaux
Explication des métriques
- T2I R@1 (Rappel texte-vers-image@1) : Étant donné une légende, le modèle peut-il classer l'image correcte en numéro un parmi 5 000 candidats ? C'est la métrique de récupération la plus difficile car il n'y a pas de points partiels pour un classement deuxième.
- I2T R@1 (Rappel image-vers-texte@1) : Étant donné une image, le modèle peut-il classer l'une des cinq légendes de vérité terrain en numéro un parmi 25 000 ? Les scores sont environ 20 points de pourcentage plus élevés que T2I car il y a cinq réponses valides au lieu d'une.
- Winoground image : Étant donné deux images et deux légendes qui ne diffèrent que par la structure (« un téléphone sur une carte » contre « une carte sur un téléphone »), le modèle peut-il correctement appairer les deux paires ? Le hasard pur est de 25 pour cent.
Principales conclusions
- Apple DFN5B-H atteint la précision de récupération la plus élevée (50,1 % T2I R@1) et le score de raisonnement compositionnel le plus élevé (35,2 % sur Winoground).
- Le raisonnement compositionnel reste faible pour tous les modèles. Même la performance de 35,2 % d'Apple dépasse à peine la base aléatoire de 25 %.
- OpenAI CLIP montre son âge, traînant derrière les modèles modernes de 10 à 16 points de pourcentage malgré une architecture similaire.
Note : Les scores I2T sont environ 20 points de pourcentage plus élevés que T2I en raison d'un artefact de protocole. Chaque image a cinq légendes valides, tandis que chaque légende correspond à une seule image valide. Voir la section méthodologie du benchmark d'embedding multimodal pour plus de détails.
Fonctionnement des modèles d'embedding multimodaux
Avant de plonger dans les détails du benchmark, il est essentiel de comprendre ce que font réellement ces modèles et où ils échouent.
Le mécanisme de base
Un modèle d'embedding multimodal convertit à la fois les images et le texte en vecteurs numériques, qui sont des listes de nombres occupant le même espace géométrique. Les concepts similaires se regroupent, tandis que les concepts dissimilaires sont plus éloignés.
Pour rechercher, vous calculez quel vecteur d'image est le plus proche de votre vecteur de texte. C'est pourquoi la recherche basée sur l'embedding est rapide : vous comparez des nombres, pas en « comprenant » le sens dans un sens humain.
Où cela échoue
Voyez ce qui se passe avec des légendes compositionnellement différentes :
Les vecteurs sont presque identiques. Les deux légendes contiennent les mêmes concepts : {téléphone, carte, sur}. Le modèle encode ce qui est présent mais perd comment les choses sont liées.
Ceci est le problème du sac de mots. Le modèle voit les mêmes « ingrédients » et produit des embeddings similaires, même si les scènes sont complètement différentes. Dans l'un, le téléphone est au-dessus. Dans l'autre, c'est la carte. La structure relationnelle disparaît lors du codage.
Tâches d'évaluation : Récupération vs raisonnement
MS-COCO : Trouver une aiguille dans une botte de foin
La configuration :
Une galerie de 5 000 images contient des clusters de contenu similaire, y compris des centaines de scènes extérieures, des dizaines de véhicules et de nombreuses zones de stockage et structures. Chaque image a cinq légendes différentes écrites par différents annotateurs, soit un total de 25 000 légendes.
La requête : « Une moto garée sous une structure en bois avec d'autres objets. »
L'image :
La même image pourrait aussi être décrite comme :
- « Moto noire assise sous un auvent à l'extérieur. »
- « Moto garée sous une zone couverte dans une cour clôturée. »
Chaque légende est testée séparément, et le modèle doit trouver l'image correcte quelle que soit la formulation.
La tâche :
Trouver l'image spécifique unique qui correspond. Pas n'importe quelle moto, pas n'importe quelle structure en bois, mais exactement cette scène parmi 5 000 candidats.
La métrique : Rappel@1
Binaire et impitoyable. Image correcte classée #1 = Succès. Classée #2 = Échec. Pas de points partiels.
Winoground : Comprendre qui a fait quoi à qui
La configuration :
400 paires adverses. Chacune contient 2 images et 2 légendes ne différant que par la structure compositionnelle.
La requête :
- Légende A : « il y a un téléphone sur une carte »
- Légende B : « il y a une carte sur un téléphone »
Les deux légendes contiennent exactement les mêmes concepts : {téléphone, carte, sur}. La seule différence est quel objet est au-dessus de l'autre.
L'image :
La tâche :
Apparier les deux légendes à leurs images correctes simultanément. La légende A doit correspondre à l'image A (téléphone posé sur la carte), et la légende B doit correspondre à l'image B (carte affichée sur le téléphone). Pas de points partiels : n'en avoir qu'un seul correct compte comme un échec.
La métrique : Score image
Binaire et impitoyable. Les deux paires appariées correctement = Succès. Un ou zéro correct = Échec. Le hasard pur est de 25 %.
Plus d'exemples de Winoground :
Pourquoi les modèles échouent en composition
Les scores Winoground bas (30-40 % contre 25 % de base aléatoire) indiquent que les modèles actuels peinent avec ce type spécifique de raisonnement compositionnel. Cependant, plusieurs réserves s'appliquent :
- Petite taille d'échantillon : Winoground ne contient que 400 exemples, donnant des intervalles de confiance d'environ ±5 points de pourcentage. Cela le rend utile comme indicateur mais pas comme preuve définitive des capacités compositionnelles.
- Portée de tâche spécifique mais diversifiée : Winoground teste plusieurs types de raisonnement compositionnel, y compris les relations spatiales (sur/au-dessus/en-dessous), les échanges agent-patient (qui fait quoi à qui), la liaison d'attributs (assignations de couleur/taille), les quantificateurs (plus/moins, comptage), la coordination d'actions (s'assoit/se tient), l'ordre temporel (avant/après), la négation (avec/sans) et l'ambiguïté de portée. Cette diversité fait de Winoground une sonde efficace de la compréhension compositionnelle à travers plusieurs phénomènes linguistiques.
Analyse technique et recommandations de déploiement
La qualité des données bat l'échelle du modèle
Apple, LAION et MetaCLIP utilisent tous la même colonne vertébrale ViT-H/14 (630M paramètres).
L'avantage de +3,8pp d'Apple semble provenir principalement de son approche de Data Filtering Network (DFN).
- Curation automatisée : Plutôt que d'utiliser simplement des légendes synthétiques, Apple a entraîné un modèle enseignant pour filtrer agressivement les données d'entraînement. Le modèle a appris à identifier et rejeter les paires image-texte bruyantes du vaste pool web.
- L'implication : À la frontière, les améliorations proviennent de la qualité de la curation (choisir les bonnes données) plutôt que simplement de la synthèse ou de l'échelle brute.
L'implication : à la frontière, les améliorations proviennent de meilleures données, pas d'architectures plus grandes.
Comprendre le niveau de performance de 50 %
MS-COCO a été conçu avec des images distinctes et curées où chaque légende décrit une scène spécifique. Bien que de légères ambiguïtés existent (par exemple, deux scènes de parking similaires), les créateurs du jeu de données ont intentionnellement sélectionné des images visuellement distinguables.
La précision de 50 % reflète le fait que les modèles échouent réellement à classer l'image correcte en premier, et non une pénalisation injuste pour avoir sélectionné des alternatives également valides.
Pourquoi OpenAI CLIP traîne de 10-16pp
OpenAI's CLIP-L (2021) obtient 34,4 % T2I R@1, tandis que les modèles modernes utilisant des architectures ViT similaires atteignent 44-50 %. Cet écart de 10-16 points de pourcentage reflète trois ans de progrès :
Bien que les principes architecturaux de base soient restés similaires (transformateurs de vision avec apprentissage contrastif), les modèles modernes ont doublé de taille. Cependant, la plupart des gains de performance provenaient de l'amélioration de la curation des données et des techniques d'entraînement plutôt que de l'innovation architecturale seule.
ColPali : Échanger la vitesse contre la flexibilité architecturale
ColPali représente une approche architecturale différente : au lieu d'encoder chaque image en un seul vecteur, il produit 1 030 embeddings de patchs en utilisant une interaction tardive. Ce choix de conception crée plusieurs compromis :
Avantages :
- Récupération plus symétrique : ColPali montre un écart de seulement 3,9pp entre I2T (48,8 %) et T2I (44,9 %), contre des écarts de 16-24pp dans les modèles denses. Cela suggère qu'il encode la structure de l'image plus uniformément.
- Flexibilité architecturale : L'interaction tardive permet un appariement fin entre les tokens de texte et les patchs d'image, ce qui peut bénéficier à des domaines spécialisés.
Inconvénients :
- Surcharge de stockage : Chaque image nécessite 1 030 vecteurs au lieu de 1, augmentant la taille de l'index d'environ 1000×.
- Performance globale inférieure : ColPali se classe 4e dans notre benchmark (44,9 % T2I), traînant derrière les meilleurs modèles denses de 5,2pp (contre Apple DFN5B-H à 50,1 %).
Coût computationnel : Nécessite des tailles de lot 4× plus petites (4 contre 32) en raison de la surcharge mémoire de 1 030 embeddings par image. Cela se traduit par un indexage plus lent et des coûts de service plus élevés à grande échelle.
Quel modèle devriez-vous utiliser ?
Méthodologie du benchmark d'embedding multimodal
Matériel et logiciel
- GPU : NVIDIA A40 (48 Go VRAM) via RunPod
- Précision : bfloat16
- Framework : PyTorch 2.4.0, CUDA 12.1
- Bibliothèques :
transformers==4.44.0,datasets==2.20.0
Modèles évalués
Nous avons utilisé les poids de modèle spécifiques suivants du Hub Hugging Face. Tous les modèles ont été chargés en précision bfloat16 directement depuis ces dépôts sans modification.
Protocole d'inférence
Les modèles denses (CLIP/SigLIP) ont été évalués avec une taille de lot de 32, car un seul vecteur par image permet un parallélisme élevé. ColPali a utilisé une taille de lot de 4, car ses 1 030 embeddings de patchs par image nécessitent beaucoup plus de mémoire.
Protocole d'évaluation
- Zéro-shot : Modèles évalués hors de la boîte en utilisant les poids Hugging Face. Aucun fine-tuning.
- Déterministe : Graine aléatoire fixée à 42. Même ordre de jeu de données pour tous les modèles.
- Splits standards : yerevann/coco-karpathy test (5 000 images), facebook/winoground validation.
L'écart I2T vs T2I
Les scores I2T sont systématiquement ~20pp plus élevés que T2I en raison de la probabilité statistique, et non d'une erreur du modèle.
- T2I (Texte-vers-image) : Le modèle doit trouver 1 image spécifique parmi 5 000. (Pool cible = 1).
- I2T (Image-vers-texte) : Le modèle peut correspondre à n'importe laquelle des 5 légendes valides associées à cette image. (Pool cible = 5).
Parce que la tâche I2T offre cinq réponses « correctes » distinctes pour chaque requête, le taux de réussite est naturellement gonflé par rapport à la correspondance stricte un-à-un requise dans T2I.
Ajouter comme source préféréeLimitations
Taille d'échantillon Winoground
400 échantillons donnent des intervalles de confiance d'environ ±5pp à 35 % de précision. Les résultats sont indicatifs, pas définitifs. Des benchmarks plus grands (ARO, SugarCrepe) existent mais nécessitent une infrastructure différente.
Zéro-shot uniquement
Aucun fine-tuning de domaine. Les applications médicales, juridiques ou satellites pourraient voir des améliorations de 5-10pp avec un entraînement spécifique au domaine.
Limitations du jeu de données :
MS-COCO et Winoground testent des aspects spécifiques de la compréhension multimodale. La performance sur ces benchmarks ne garantit pas des résultats similaires sur des tâches spécifiques au domaine ou d'autres tests de raisonnement compositionnel.
Conclusion
Les modèles d'embedding multimodaux actuels sont bons pour la reconnaissance d'objets mais peinent avec le raisonnement compositionnel.
Pour la récupération standard (« trouver des photos de motos »), n'importe quel modèle top-3 fonctionne bien. Pour les requêtes relationnelles (« téléphone sur une carte » contre « carte sur un téléphone »), attendez une précision de 30-40 % au mieux.
Sur la base de nos découvertes et des tendances de recherche actuelles, plusieurs approches pourraient améliorer la performance :
- Qualité des données plutôt que l'échelle : L'avantage de +3,8pp d'Apple en utilisant la même architecture ViT-H suggère que la curation des données d'entraînement contribue de manière significative, bien que cela soit basé sur une seule comparaison.
- Données d'entraînement compositionnelles : Inclure des négatifs durs avec des variations relationnelles pendant l'entraînement pourrait théoriquement améliorer la sensibilité compositionnelle, bien que cela reste largement inexploré à grande échelle.
- Architectures hybrides : Les pipelines en deux étapes (récupération dense → re-classement par interaction tardive) combinent vitesse et précision, bien que notre benchmark montre que cela ne surpasse pas encore les modèles denses sur ces tâches.
Jusqu'à ce que les paradigmes d'entraînement changent, la compréhension compositionnelle reste une frontière ouverte.
Pour aller plus loin
Explorez d'autres benchmarks RAG, tels que :
- Modèles d'embedding : OpenAI vs Gemini vs Cohere
- Meilleure base de données vectorielle pour RAG : Qdrant vs Weaviate vs Pinecone
- Benchmark Agentic RAG : routage multi-bases de données et génération de requêtes
- 11 modèles d'embedding open source pour RAG
Citer cette recherche
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{Modèles d'embedding multimodaux: Apple vs Meta vs OpenAI}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/multimodal-embeddings}},
note = {AIMultiple. Consulté le 20 Mai 2026}
}
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.