Multimodale Embedding-Modelle: Apple vs Meta vs OpenAI

Multimodale Embedding-Modelle erkennen Objekte hervorragend, haben aber Schwierigkeiten mit Beziehungen. Aktuelle Modelle tun sich schwer, „Telefon auf einer Karte“ von „Karte auf einem Telefon“ zu unterscheiden. Wir haben 7 führende Modelle über MS-COCO und Winoground einem Benchmark unterzogen, um diese spezifische Einschränkung zu messen.

Um einen fairen Vergleich zu gewährleisten, haben wir jedes Modell unter identischen Bedingungen mit NVIDIA-A40-Hardware und bfloat16-Präzision evaluiert. Dieser deterministische Aufbau zeigt, welche Modelle tatsächlich Szenenstruktur verstehen und welche lediglich ausgefeilte Schlüsselwort-Matcher sind.

Benchmark-Ergebnisse multimodaler Embedding-Modelle

Metriken erklärt

• T2I R@1 (Text-to-Image Recall@1): Kann das Modell bei gegebener Bildunterschrift das richtige Bild unter 5.000 Kandidaten auf Platz eins einordnen? Dies ist die schwierigste Retrieval-Metrik, da es für den zweiten Platz keine Teilpunkte gibt.
• I2T R@1 (Image-to-Text Recall@1): Kann das Modell bei gegebenem Bild eine der fünf Ground-Truth-Bildunterschriften unter 25.000 auf Platz eins einordnen? Die Werte liegen etwa 20 Prozentpunkte höher als bei T2I, weil es fünf gültige Antworten gibt statt einer.
• Winoground-Bild: Kann das Modell bei zwei Bildern und zwei Bildunterschriften, die sich nur in der Struktur unterscheiden („Telefon auf einer Karte“ versus „Karte auf einem Telefon“), beide Paare korrekt zuordnen? Die Zufallswahrscheinlichkeit liegt bei 25 Prozent.

Wichtigste Erkenntnisse

• Apple DFN5B-H erreicht die höchste Retrieval-Genauigkeit (50.1 Prozent T2I R@1) und den höchsten Wert für kompositorisches Schlussfolgern (35.2 Prozent bei Winoground).
• Kompositorisches Schlussfolgern bleibt bei allen Modellen schwach. Selbst Apples 35.2 Prozent Leistung übersteigt kaum die 25 Prozent Zufallsbasis.
• OpenAI CLIP zeigt sein Alter, hinkt modernen Modellen um 10 bis 16 Prozentpunkte hinterher, obwohl es eine ähnliche Architektur hat.

Hinweis: Die I2T-Werte liegen aufgrund eines Protokollartefakts etwa 20 Prozentpunkte höher als T2I. Jedes Bild hat fünf gültige Bildunterschriften, während jede Bildunterschrift nur einem gültigen Bild zugeordnet ist. Einzelheiten finden Sie im Abschnitt Methodik des multimodalen Embedding-Benchmarks.

Wie multimodale Embedding-Modelle funktionieren

Bevor wir uns den Benchmark-Details zuwenden, ist es wichtig zu verstehen, was diese Modelle tatsächlich tun und wo sie an ihre Grenzen stoßen.

Der Kernmechanismus

Ein multimodales Embedding-Modell wandelt sowohl Bilder als auch Text in numerische Vektoren um, also Listen von Zahlen, die denselben geometrischen Raum einnehmen. Ähnliche Konzepte gruppieren sich, während unähnliche Konzepte weiter voneinander entfernt sind.

Für die Suche berechnen Sie, welcher Bildvektor Ihrem Textvektor am nächsten liegt. Deshalb ist die embeddingbasierte Suche schnell: Sie vergleichen Zahlen, statt Bedeutung in einem menschlichen Sinne zu „verstehen“.

Wo es scheitert

Beobachten Sie, was bei kompositorisch unterschiedlichen Bildunterschriften passiert:

Die Vektoren sind nahezu identisch. Beide Bildunterschriften enthalten dieselben Konzepte: {Telefon, Karte, auf}. Das Modell kodiert, was vorhanden ist, verliert aber, wie die Dinge zueinander in Beziehung stehen.

Dies ist das Bag-of-Words-Problem. Das Modell sieht dieselben „Zutaten“ und erzeugt ähnliche Embeddings, obwohl die Szenen völlig unterschiedlich sind. In der einen liegt das Telefon oben. In der anderen die Karte. Die relationale Struktur geht bei der Kodierung verloren.

Evaluierungsaufgaben: Retrieval vs. Schlussfolgern

MS-COCO: Die Nadel im Heuhaufen finden

Das Setup:
Eine Galerie mit 5.000 Bildern enthält Cluster ähnlicher Inhalte, darunter Hunderte von Außenszenen, Dutzende Fahrzeuge und zahlreiche Lagerbereiche und Strukturen. Jedes Bild hat fünf verschiedene Bildunterschriften, die von verschiedenen Annotatoren verfasst wurden, insgesamt 25.000 Bildunterschriften.

Die Abfrage: „Ein Motorrad, das unter einer Holzkonstruktion zusammen mit anderen Gegenständen geparkt ist.“

Das Bild:

Dasselbe Bild könnte auch beschrieben werden als:

• „Schwarzes Motorrad, das im Freien unter einem Überhang steht.“
• „Motorrad, das auf einem umzäunten Hof unter einem überdachten Bereich geparkt ist.“

Jede Bildunterschrift wird separat getestet, und das Modell muss das richtige Bild finden, unabhängig davon, wie es formuliert ist.

Die Aufgabe:
Finden Sie das eine bestimmte Bild, das passt. Nicht irgendein Motorrad, nicht irgendeine Holzkonstruktion, sondern genau diese Szene unter 5.000 Kandidaten.

Die Metrik: Recall@1
Binär und unerbittlich. Korrektes Bild auf Platz #1 = Treffer. Platz #2 = Fehlschlag. Keine Teilpunkte.

Winoground: Verstehen, wer was mit wem tut

Das Setup:
400 adversariale Paare. Jedes enthält 2 Bilder und 2 Bildunterschriften, die sich nur in der kompositorischen Struktur unterscheiden.

Die Abfrage:

• Bildunterschrift A: „Da ist ein Telefon auf einer Karte“
• Bildunterschrift B: „Da ist eine Karte auf einem Telefon“
  

Beide Bildunterschriften enthalten exakt dieselben Konzepte: {Telefon, Karte, auf}. Der einzige Unterschied ist welches Objekt auf welchem liegt.

Das Bild:

Die Aufgabe:
Ordnen Sie beide Bildunterschriften gleichzeitig ihren richtigen Bildern zu. Bildunterschrift A muss zu Bild A passen (Telefon liegt auf Karte), und Bildunterschrift B muss zu Bild B passen (Karte wird auf Telefon angezeigt). Keine Teilpunkte: Nur eine richtige Zuordnung gilt als Fehlschlag.

Die Metrik: Image Score
Binär und unerbittlich. Beide Paare richtig zugeordnet = Treffer. Eines oder keins richtig = Fehlschlag. Die Zufallswahrscheinlichkeit beträgt 25 %.

Weitere Beispiele aus Winoground:

Warum Modelle bei Komposition scheitern

Die niedrigen Winoground-Werte (30-40 % gegenüber 25 % Zufallsbasis) zeigen, dass aktuelle Modelle mit dieser speziellen Art des kompositorischen Schlussfolgerns Schwierigkeiten haben. Es gelten jedoch mehrere Einschränkungen:

• Kleine Stichprobengröße: Winoground enthält nur 400 Beispiele, was zu Konfidenzintervallen von etwa ±5 Prozentpunkten führt. Das macht es als Indikator nützlich, aber nicht als endgültigen Beweis für kompositorische Fähigkeiten.
• Spezifischer, aber vielfältiger Aufgabenbereich: Winoground testet mehrere Arten des kompositorischen Schlussfolgerns, darunter räumliche Beziehungen (auf/über/unter), Agens-Patiens-Tausch (wer tut was mit wem), Attributbindung (Farb-/Größenzuweisungen), Quantoren (mehr/weniger, Zählen), Handlungskoordination (sitzt/steht), zeitliche Reihenfolge (vor/nach), Negation (mit/ohne) und Skopusambiguität. Diese Vielfalt macht Winoground zu einer effektiven Sonde für kompositorisches Verständnis über mehrere sprachliche Phänomene hinweg.

Technische Analyse & Einsatzempfehlungen

Datenqualität schlägt Modellskalierung

Apple, LAION und MetaCLIP verwenden alle dasselbe ViT-H/14-Backbone (630M Parameter).

Apples +3.8pp Vorteil scheint vor allem aus seinem Data Filtering Network (DFN)-Ansatz zu stammen.

• Automatisierte Kuratierung: Statt nur synthetische Bildunterschriften zu verwenden, trainierte Apple ein Teacher-Modell, um die Trainingsdaten aggressiv zu filtern. Das Modell lernte, verrauschte Bild-Text-Paare aus dem riesigen Web-Pool zu identifizieren und zu verwerfen.
  
• Die Implikation: An der Spitze kommen Verbesserungen von der Kuratierungsqualität (Auswahl der richtigen Daten) und nicht nur von Synthese oder reiner Skalierung.

Die Implikation: An der Spitze kommen Verbesserungen von besseren Daten, nicht von größeren Architekturen.

Das 50 %-Leistungsniveau verstehen

MS-COCO wurde mit unterschiedlichen, kuratierten Bildern entwickelt, bei denen jede Bildunterschrift eine bestimmte Szene beschreibt. Zwar gibt es geringfügige Mehrdeutigkeiten (z. B. zwei ähnliche Parkplatzszenen), aber die Ersteller des Datensatzes haben absichtlich visuell unterscheidbare Bilder ausgewählt.

Die 50 %-Genauigkeit spiegelt wider, dass die Modelle tatsächlich nicht in der Lage sind, das richtige Bild an die erste Stelle zu setzen, und nicht etwa eine unfaire Bestrafung für die Auswahl gleichermaßen gültiger Alternativen.

Warum OpenAI CLIP um 10-16pp zurückliegt

OpenAIs CLIP-L (2021) erreicht 34.4 % T2I R@1, während moderne Modelle mit ähnlichen ViT-Architekturen 44-50 % erzielen. Diese Lücke von 10-16 Prozentpunkten spiegelt drei Jahre Fortschritt wider:

Während die grundlegenden Architekturprinzipien ähnlich blieben (Vision Transformers mit kontrastivem Lernen), haben sich moderne Modelle in der Größe verdoppelt. Die meisten Leistungssteigerungen stammten jedoch von verbesserter Datenkuratierung und Trainingstechniken und nicht allein von architektonischer Innovation.

ColPali: Geschwindigkeit gegen architektonische Flexibilität tauschen

ColPali stellt einen anderen Architekturansatz dar: Statt jedes Bild in einen einzigen Vektor zu kodieren, erzeugt es mithilfe von Late Interaction 1.030 Patch-Embeddings. Diese Designentscheidung bringt mehrere Kompromisse mit sich:

Vorteile:

• Symmetrischeres Retrieval: ColPali weist nur eine Lücke von 3.9pp zwischen I2T (48.8 %) und T2I (44.9 %) auf, verglichen mit Lücken von 16-24pp bei dichten Modellen. Dies deutet darauf hin, dass es die Bildstruktur gleichmäßiger kodiert.
• Architektonische Flexibilität: Late Interaction ermöglicht feinkörniges Matching zwischen Text-Tokens und Bild-Patches, was spezialisierten Domänen zugutekommen kann.

Nachteile:

• Speicheraufwand: Jedes Bild benötigt 1.030 Vektoren statt 1, wodurch sich die Indexgröße um etwa 1000× erhöht.
• Geringere Gesamtleistung: ColPali belegt in unserem Benchmark den 4th Platz (44.9 % T2I) und liegt 5.2pp hinter den besten dichten Modellen zurück (gegenüber Apple DFN5B-H mit 50.1 %).

Rechenkosten: Erfordert 4× kleinere Batch-Größen (4 gegenüber 32) aufgrund des Speichermehraufwands durch 1.030 Embeddings pro Bild. Dies führt zu langsamerer Indizierung und höheren Serving-Kosten im großen Maßstab.

Welches Modell sollten Sie verwenden?

Methodik des multimodalen Embedding-Benchmarks

Hardware & Software

• GPU: NVIDIA A40 (48GB VRAM) über RunPod
• Präzision: bfloat16
• Framework: PyTorch 2.4.0, CUDA 12.1
• Bibliotheken: transformers==4.44.0, datasets==2.20.0

Evaluierte Modelle

Wir haben die folgenden spezifischen Modellgewichte aus dem Hugging Face Hub verwendet. Alle Modelle wurden ohne Modifikation direkt aus diesen Repositories in bfloat16-Präzision geladen.

Inferenzprotokoll

Dense-Modelle (CLIP/SigLIP) wurden mit einer Batch-Größe von 32 evaluiert, da ein einzelner Vektor pro Bild eine hohe Parallelisierung ermöglicht. ColPali verwendete eine Batch-Größe von 4, da seine 1.030 Patch-Embeddings pro Bild deutlich mehr Speicher benötigen.

Evaluierungsprotokoll

• Zero-Shot: Modelle wurden out-of-the-box mit den Gewichten von Hugging Face evaluiert. Kein Fine-Tuning.
• Deterministisch: Zufalls-Seed festgelegt auf 42. Gleiche Datensatz-Reihenfolge für alle Modelle.
• Standard-Splits: yerevann/coco-karpathy Test (5.000 Bilder), facebook/winoground Validierung.

Die Lücke zwischen I2T und T2I

Die I2T-Werte liegen durchweg etwa 20pp höher als T2I, was auf statistische Wahrscheinlichkeit und nicht auf Modellfehler zurückzuführen ist.

• T2I (Text-to-Image): Das Modell muss 1 bestimmtes Bild unter 5.000 finden. (Ziel-Pool = 1).
• I2T (Image-to-Text): Das Modell kann eine beliebige der 5 gültigen Bildunterschriften zuordnen, die mit diesem Bild verknüpft sind. (Ziel-Pool = 5).

Da die I2T-Aufgabe für jede Abfrage fünf verschiedene „richtige“ Antworten bietet, ist die Erfolgsquote im Vergleich zur strikten Eins-zu-eins-Zuordnung bei T2I naturgemäß erhöht.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Einschränkungen

Stichprobengröße von Winoground

400 Stichproben ergeben bei einer Genauigkeit von 35 % Konfidenzintervalle von ~±5pp. Die Ergebnisse sind indikativ, nicht endgültig. Größere Benchmarks (ARO, SugarCrepe) existieren, erfordern jedoch eine andere Infrastruktur.

Nur Zero-Shot

Kein domänenspezifisches Fine-Tuning. Medizinische, juristische oder Satellitenanwendungen könnten mit domänenspezifischem Training Verbesserungen von 5-10pp erzielen.

Einschränkungen des Datensatzes:

MS-COCO und Winoground testen bestimmte Aspekte des multimodalen Verständnisses. Die Leistung bei diesen Benchmarks garantiert keine ähnlichen Ergebnisse bei domänenspezifischen Aufgaben oder anderen Tests zum kompositorischen Schlussfolgern.

Weiterführende Literatur

Entdecken Sie andere RAG-Benchmarks, zum Beispiel:

• Embedding-Modelle: OpenAI vs Gemini vs Cohere
• Top-Vektordatenbanken für RAG: Qdrant vs Weaviate vs Pinecone
• Agentic-RAG-Benchmark: Multi-Datenbank-Routing und Abfragegenerierung
• 11 Open-Source-Embedding-Modelle für RAG

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Multimodale Embedding-Modelle: Apple vs Meta vs OpenAI}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/multimodal-embeddings}},
  note   = {AIMultiple. Abgerufen am 14. August 2026}
}

Ekrem Sarı

KI-Forscher

Folgen auf

Ekrem ist KI-Forscher und Datenwissenschaftler bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten