Multimodale Embedding-Modelle: Apple vs Meta vs OpenAI
Multimodale Embedding-Modelle sind hervorragend darin, Objekte zu identifizieren, haben aber Schwierigkeiten mit Beziehungen. Aktuelle Modelle können nicht zwischen „Telefon auf einer Karte“ und „Karte auf einem Telefon“ unterscheiden. Wir haben 7 führende Modelle an MS-COCO und Winoground getestet, um diese spezifische Einschränkung zu messen.
Um einen fairen Vergleich zu gewährleisten, haben wir jedes Modell unter identischen Bedingungen mit NVIDIA A40-Hardware und bfloat16-Präzision evaluiert. Dieses deterministische Setup zeigt, welche Modelle die Szenenstruktur tatsächlich verstehen und welche lediglich ausgefeilte Keyword-Matcher sind.
Ergebnisse des Benchmarks für multimodale Embedding-Modelle
Metriken erklärt
- T2I R@1 (Text-to-Image recall@1): Kann das Modell bei gegebener Bildunterschrift das richtige Bild unter 5.000 Kandidaten als Nummer eins rangieren? Dies ist die schwierigste Retrieval-Metrik, da es keine Teilpunkte für den zweiten Platz gibt.
- I2T R@1 (Image-to-Text recall@1): Kann das Modell bei gegebenem Bild eine der fünf Ground-Truth-Bildunterschriften unter 25.000 als Nummer eins rangieren? Die Werte liegen etwa 20 Prozentpunkte höher als bei T2I, da es fünf gültige Antworten statt einer gibt.
- Winoground-Bild: Kann das Modell bei zwei Bildern und zwei Bildunterschriften, die sich nur in der Struktur unterscheiden („Telefon auf einer Karte“ versus „Karte auf einem Telefon“), beide Paare korrekt zuordnen? Die Zufallswahrscheinlichkeit liegt bei 25 Prozent.
Hauptergebnisse
- Apple DFN5B-H erzielt die höchste Retrieval-Genauigkeit (50,1 Prozent T2I R@1) und die höchste Punktzahl für kompositionelles Reasoning (35,2 Prozent bei Winoground).
- Kompositionelles Reasoning bleibt bei allen Modellen schlecht. Selbst Apples Leistung von 35,2 Prozent übertrifft die 25-prozentige Zufallsbasis kaum.
- OpenAI CLIP zeigt sein Alter, und liegt trotz ähnlicher Architektur um 10 bis 16 Prozentpunkte hinter modernen Modellen.
Hinweis: I2T-Werte liegen aufgrund eines Protokollartefakts etwa 20 Prozentpunkte höher als T2I-Werte. Jedes Bild hat fünf gültige Bildunterschriften, während jede Bildunterschrift nur einem gültigen Bild zugeordnet ist. Weitere Informationen finden Sie im Abschnitt Methodik des Benchmarks für multimodale Embeddings.
Funktionsweise multimodaler Embedding-Modelle
Bevor wir in die Details des Benchmarks einsteigen, ist es wichtig zu verstehen, was diese Modelle tatsächlich tun und wo sie versagen.
Der Kernmechanismus
Ein multimodales Embedding-Modell wandelt sowohl Bilder als auch Text in numerische Vektoren um, also Listen von Zahlen, die denselben geometrischen Raum einnehmen. Ähnliche Konzepte gruppieren sich zusammen, während unähnliche Konzepte weiter voneinander entfernt sind.
Beim Suchen berechnen Sie, welcher Bildvektor Ihrem Textvektor am nächsten liegt. Deshalb ist die suchbasierte Suche schnell: Sie vergleichen Zahlen und „verstehen“ die Bedeutung nicht im menschlichen Sinne.
Wo es versagt
Beobachten Sie, was bei kompositionell unterschiedlichen Bildunterschriften passiert:
Die Vektoren sind nahezu identisch. Beide Bildunterschriften enthalten dieselben Konzepte: {Telefon, Karte, auf}. Das Modell kodiert, was vorhanden ist, verliert aber, wie Dinge zusammenhängen.
Dies ist das Bag-of-Words-Problem. Das Modell sieht dieselben „Zutaten“ und erzeugt ähnliche Embeddings, obwohl die Szenen völlig unterschiedlich sind. In der einen liegt das Telefon oben. In der anderen die Karte. Die relationale Struktur verschwindet während der Kodierung.
Evaluierungsaufgaben: Retrieval vs. Reasoning
MS-COCO: Eine Nadel im Heuhaufen finden
Das Setup:
Eine Galerie mit 5.000 Bildern enthält Cluster ähnlicher Inhalte, darunter Hunderte von Außenszenen, Dutzende von Fahrzeugen sowie zahlreiche Lagerbereiche und Strukturen. Jedes Bild hat fünf verschiedene Bildunterschriften, die von verschiedenen Annotatoren verfasst wurden, insgesamt also 25.000 Bildunterschriften.
Die Abfrage: „Ein Motorrad, das unter einer Holzkonstruktion mit anderen Gegenständen geparkt ist.“
Das Bild:
Dasselbe Bild könnte auch so beschrieben werden:
- „Schwarzes Motorrad, das sich im Freien unter einem Vordach befindet.“
- „Motorrad geparkt unter einem überdachten Bereich in einem eingezäunten Hof.“
Jede Bildunterschrift wird separat getestet, und das Modell muss das richtige Bild finden, unabhängig davon, wie es formuliert ist.
Die Aufgabe:
Finden Sie das einzelne spezifische Bild, das passt. Nicht irgendein Motorrad, nicht irgendeine Holzkonstruktion, sondern genau diese Szene unter 5.000 Kandidaten.
Die Metrik: Recall@1
Binär und unerbittlich. Richtiges Bild auf Platz #1 = Treffer. Auf Platz #2 = Fehlschlag. Keine Teilpunkte.
Winoground: Verstehen, wer was wem angetan hat
Das Setup:
400 adversative Paare. Jedes enthält 2 Bilder und 2 Bildunterschriften, die sich nur in der kompositionellen Struktur unterscheiden.
Die Abfrage:
- Bildunterschrift A: „da ist ein Telefon auf einer Karte“
- Bildunterschrift B: „da ist eine Karte auf einem Telefon“
Beide Bildunterschriften enthalten exakt dieselben Konzepte: {Telefon, Karte, auf}. Der einzige Unterschied ist welches Objekt oben auf welchem liegt.
Das Bild:
Die Aufgabe:
Weisen Sie beide Bildunterschriften gleichzeitig ihren korrekten Bildern zu. Bildunterschrift A muss Bild A (Telefon auf Karte) und Bildunterschrift B muss Bild B (Karte auf Telefon) zugeordnet werden. Keine Teilpunkte: Nur eine richtige Zuordnung gilt als Fehlschlag.
Die Metrik: Bildpunktzahl
Binär und unerbittlich. Beide Paare korrekt zugeordnet = Treffer. Eins oder null korrekt = Fehlschlag. Die Zufallswahrscheinlichkeit liegt bei 25 %.
Weitere Beispiele aus Winoground:
Warum Modelle bei der Komposition versagen
Die niedrigen Winoground-Punktzahlen (30-40 % gegenüber 25 % Zufallsbasis) deuten darauf hin, dass aktuelle Modelle Schwierigkeiten mit dieser spezifischen Art von kompositionellem Reasoning haben. Allerdings gelten einige Einschränkungen:
- Kleine Stichprobengröße: Winoground enthält nur 400 Beispiele, was zu Konfidenzintervallen von etwa ±5 Prozentpunkten führt. Dies macht es als Indikator nützlich, aber nicht als endgültigen Beweis für kompositionelle Fähigkeiten.
- Spezifischer, aber vielfältiger Aufgabenbereich: Winoground testet mehrere Arten von kompositionellem Reasoning, einschließlich räumlicher Beziehungen (auf/über/unter), Akteur-Patient-Tausch (wer tut was wem), Attributbindung (Farbe/Größe-Zuweisungen), Quantoren (mehr/weniger, Zählen), Aktionskoordination (sitzt/steht), zeitliche Reihenfolge (vor/nach), Negation (mit/ohne) und Bedeutungsunschärfe. Diese Vielfalt macht Winoground zu einer effektiven Sonde für das Verständnis von Komposition über mehrere sprachliche Phänomene hinweg.
Technische Analyse & Implementierungsempfehlungen
Datenqualität schlägt Modellgröße
Apple, LAION und MetaCLIP verwenden alle denselben ViT-H/14-Rückgrat (630M Parameter).
Apples Vorteil von +3,8 pp scheint hauptsächlich auf seinen Data Filtering Network (DFN)-Ansatz zurückzuführen zu sein.
- Automatisierte Kuratierung: Anstatt nur synthetische Bildunterschriften zu verwenden, trainierte Apple ein Lehrermodell, um die Trainingsdaten aggressiv zu filtern. Das Modell lernte, verrauschte Bild-Text-Paare aus dem riesigen Webpool zu identifizieren und zu verwerfen.
- Die Implikation: An der Grenze kommen Verbesserungen aus der Kuratierungsqualität (Auswahl der richtigen Daten) und nicht nur aus Synthese oder roher Größe.
Die Implikation: An der Grenze kommen Verbesserungen aus besseren Daten, nicht aus größeren Architekturen.
Verstehen des 50 %-Leistungslevels
MS-COCO wurde mit distinct, kuratierten Bildern entwickelt, bei denen jede Bildunterschrift eine spezifische Szene beschreibt. Obwohl es geringe Mehrdeutigkeiten gibt (z. B. zwei ähnliche Parkplattszenen), haben die Ersteller des Datensatzes absichtlich visuell unterscheidbare Bilder ausgewählt.
Die 50 %-Genauigkeit spiegelt wider, dass Modelle das richtige Bild tatsächlich nicht an erster Stelle rangieren können, und nicht eine unfaire Bestrafung für die Auswahl gleichwertiger Alternativen.
Warum OpenAI CLIP um 10-16 pp zurückliegt
OpenAI CLIP-L (2021) erzielt 34,4 % T2I R@1, während moderne Modelle mit ähnlichen ViT-Architekturen 44-50 % erreichen. Diese Lücke von 10-16 Prozentpunkten spiegelt drei Jahre Fortschritt wider:
Während die grundlegenden Architekturprinzipien ähnlich blieben (Vision Transformer mit kontrastivem Lernen), haben sich moderne Modelle in der Größe verdoppelt. Die meisten Leistungsgewinne stammten jedoch aus verbesserter Datenkuratierung und Trainingstechniken und nicht allein aus architektonischen Innovationen.
ColPali: Geschwindigkeit gegen architektonische Flexibilität tauschen
ColPali repräsentiert einen anderen architektonischen Ansatz: Anstatt jedes Bild in einen einzigen Vektor zu kodieren, erzeugt es 1.030 Patch-Embeddings mittels später Interaktion. Diese Designentscheidung schafft mehrere Kompromisse:
Vorteile:
- Mehr symmetrisches Retrieval: ColPali zeigt nur eine Lücke von 3,9 pp zwischen I2T (48,8 %) und T2I (44,9 %), verglichen mit Lücken von 16-24 pp bei dichten Modellen. Dies deutet darauf hin, dass es die Bildstruktur einheitlicher kodiert.
- Architektonische Flexibilität: Späte Interaktion ermöglicht eine feingranulare Zuordnung zwischen Text-Token und Bild-Patches, was spezialisierten Domänen zugutekommen kann.
Nachteile:
- Speicher-Overhead: Jedes Bild erfordert 1.030 Vektoren statt 1, was die Indexgröße um ~1000× erhöht.
- Geringere Gesamtleistung: ColPali rangiert in unserem Benchmark auf Platz 4 (44,9 % T2I) und liegt um 5,2 pp hinter den besten dichten Modellen zurück (im Vergleich zu Apple DFN5B-H mit 50,1 %).
Rechenkosten: Erfordert 4× kleinere Batch-Größen (4 vs. 32) aufgrund des Speicher-Overheads von 1.030 Embeddings pro Bild. Dies führt zu langsamerem Indexieren und höheren Servierkosten im großen Maßstab.
Welches Modell sollten Sie verwenden?
Methodik des Benchmarks für multimodale Embeddings
Hardware & Software
- GPU: NVIDIA A40 (48 GB VRAM) über RunPod
- Präzision: bfloat16
- Framework: PyTorch 2.4.0, CUDA 12.1
- Bibliotheken:
transformers==4.44.0,datasets==2.20.0
Evaluierte Modelle
Wir haben die folgenden spezifischen Modellgewichte vom Hugging Face Hub verwendet. Alle Modelle wurden in bfloat16-Präzision direkt aus diesen Repositories ohne Änderung geladen.
Inferenzprotokoll
Dichte Modelle (CLIP/SigLIP) wurden mit einer Batch-Größe von 32 evaluiert, da ein einzelner Vektor pro Bild eine hohe Parallelisierung ermöglicht. ColPali verwendete eine Batch-Größe von 4, da seine 1.030 Patch-Embeddings pro Bild deutlich mehr Speicher erfordern.
Evaluierungsprotokoll
- Zero-Shot: Modelle out-of-the-box mit Hugging Face-Gewichten evaluiert. Kein Fine-Tuning.
- Deterministisch: Zufallssamen auf 42 festgelegt. Gleiche Datensatzreihenfolge für alle Modelle.
- Standard-Splits: yerevann/coco-karpathy Test (5.000 Bilder), facebook/winoground Validierung.
Die Lücke zwischen I2T und T2I
I2T-Werte liegen aufgrund von statistischer Wahrscheinlichkeit und nicht aufgrund von Modellfehlern konsistent etwa 20 pp höher als T2I.
- T2I (Text-to-Image): Das Modell muss 1 spezifisches Bild unter 5.000 finden. (Zielpool = 1).
- I2T (Image-to-Text): Das Modell kann beliebiges der 5 gültigen Bildunterschriften zuordnen, die mit diesem Bild verknüpft sind. (Zielpool = 5).
Weil die I2T-Aufgabe für jede Abfrage fünf verschiedene „korrekte“ Antworten bietet, ist die Erfolgsrate im Vergleich zur strengen Eins-zu-Eins-Zuordnung, die bei T2I erforderlich ist, natürlich erhöht.
Als bevorzugte Quelle hinzufügenEinschränkungen
Winoground-Stichprobengröße
400 Stichproben ergeben bei 35 % Genauigkeit Konfidenzintervalle von etwa ±5 pp. Die Ergebnisse sind indikativ, nicht endgültig. Größere Benchmarks (ARO, SugarCrepe) existieren, erfordern jedoch eine andere Infrastruktur.
Nur Zero-Shot
Kein Domänen-Fine-Tuning. Medizinische, juristische oder satellitengestützte Anwendungen könnten mit domänenspezifischem Training Verbesserungen von 5-10 pp erzielen.
Einschränkungen des Datensatzes:
MS-COCO und Winoground testen spezifische Aspekte des multimodalen Verständnisses. Die Leistung in diesen Benchmarks garantiert keine ähnlichen Ergebnisse bei domänenspezifischen Aufgaben oder anderen Tests für kompositionelles Reasoning.
Fazit
Aktuelle multimodale Embedding-Modelle sind gut in der Objekterkennung, haben aber Schwierigkeiten mit kompositionellem Reasoning.
Für Standard-Retrieval („Finde Fotos von Motorrädern“) funktioniert jedes der Top-3-Modelle gut. Für relationale Abfragen („Telefon auf einer Karte“ vs. „Karte auf einem Telefon“) erwarten Sie bestenfalls 30-40 % Genauigkeit.
Basierend auf unseren Erkenntnissen und aktuellen Forschungstrends können mehrere Ansätze die Leistung verbessern:
- Datenqualität vor Größe: Apples Vorteil von +3,8 pp bei Verwendung derselben ViT-H-Architektur deutet darauf hin, dass die Kuratierung der Trainingsdaten erheblich beiträgt, obwohl dies auf einem einzigen Vergleich basiert.
- Kompositionelle Trainingsdaten: Die Einbeziehung harter Negative mit relationalen Variationen während des Trainings könnte theoretisch die Empfindlichkeit für Komposition verbessern, obwohl dies im großen Maßstab weitgehend ungetestet bleibt.
- Hybridarchitekturen: Zweistufige Pipelines (dichtes Retrieval → späte Interaktion Neuordnung) kombinieren Geschwindigkeit mit Präzision, obwohl unser Benchmark zeigt, dass dies bei diesen Aufgaben dichte Modelle noch nicht übertrifft.
Bis sich Trainingsparadigmen ändern, bleibt das Verständnis von Komposition eine offene Grenze.
Weiterführende Literatur
Entdecken Sie weitere RAG-Benchmarks, wie:
- Embedding-Modelle: OpenAI vs Gemini vs Cohere
- Top Vector-Datenbank für RAG: Qdrant vs Weaviate vs Pinecone
- Agentic RAG-Benchmark: Multi-Datenbank-Routing und Abfragegenerierung
- 11 Open-Source-Embedding-Modelle für RAG
Diese Forschung zitieren
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{Multimodale Embedding-Modelle: Apple vs Meta vs OpenAI}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/multimodal-embeddings}},
note = {AIMultiple. Abgerufen am 20. Mai 2026}
}
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.