Multimodale Embedding-Modelle: Apple vs Meta vs OpenAI

Multimodale Embedding-Modelle erkennen Objekte hervorragend, haben aber Schwierigkeiten mit Beziehungen. Aktuelle Modelle können kaum zwischen „Telefon auf einer Karte“ und „Karte auf einem Telefon“ unterscheiden. Wir haben 7 führende Modelle über MS-COCO und Winoground hinweg getestet, um diese spezifische Einschränkung zu messen.

Um einen fairen Vergleich zu gewährleisten, haben wir jedes Modell unter identischen Bedingungen mit NVIDIA A40-Hardware und bfloat16-Präzision evaluiert. Dieser deterministische Aufbau zeigt, welche Modelle tatsächlich Szenenstruktur verstehen und welche lediglich ausgefeilte Schlüsselwort-Matcher sind.

Benchmark-Ergebnisse multimodaler Embedding-Modelle

Metriken erklärt

• T2I R@1 (Text-to-Image Recall@1): Kann das Modell bei einer gegebenen Bildunterschrift das richtige Bild als Nummer eins unter 5.000 Kandidaten einstufen? Dies ist die härteste Retrieval-Metrik, da es keine Teilpunkte für den zweiten Platz gibt.
• I2T R@1 (Image-to-Text Recall@1): Kann das Modell bei einem gegebenen Bild eine der fünf Ground-Truth-Bildunterschriften als Nummer eins unter 25.000 einstufen? Die Ergebnisse liegen etwa 20 Prozentpunkte höher als bei T2I, da es fünf gültige Antworten statt einer gibt.
• Winoground-Bild: Kann das Modell bei zwei Bildern und zwei Bildunterschriften, die sich nur in der Struktur unterscheiden („Telefon auf einer Karte“ versus „Karte auf einem Telefon“), beide Paare korrekt zuordnen? Die Zufallswahrscheinlichkeit liegt bei 25 Prozent.

Kernergebnisse

• Apple DFN5B-H erzielt die höchste Retrieval-Genauigkeit (50,1 Prozent T2I R@1) und die höchste kompositorische Denkleistung (35,2 Prozent bei Winoground).
• Kompositorisches Denken bleibt bei allen Modellen schwach. Selbst Apples 35,2 Prozent Leistung übersteigen kaum die Zufallsbasislinie von 25 Prozent.
• OpenAI CLIP zeigt sein Alter, es liegt 10 bis 16 Prozentpunkte hinter modernen Modellen zurück, obwohl es eine ähnliche Architektur aufweist.

Hinweis: Die I2T-Ergebnisse liegen aufgrund eines Protokollartefakts etwa 20 Prozentpunkte höher als T2I. Jedes Bild hat fünf gültige Bildunterschriften, während jede Bildunterschrift nur einem gültigen Bild zugeordnet ist. Siehe den Abschnitt Methodik des multimodalen Embedding-Benchmarks für Details.

Wie multimodale Embedding-Modelle funktionieren

Bevor wir uns in die Benchmark-Details vertiefen, ist es wichtig zu verstehen, was diese Modelle tatsächlich tun und wo sie versagen.

Der Kernmechanismus

Ein multimodales Embedding-Modell wandelt sowohl Bilder als auch Text in numerische Vektoren um, also Zahlenlisten, die denselben geometrischen Raum einnehmen. Ähnliche Konzepte gruppieren sich zusammen, während unähnliche Konzepte weiter voneinander entfernt sind.

Für die Suche berechnet man, welcher Bildvektor dem Textvektor am nächsten liegt. Deshalb ist die embedding-basierte Suche schnell: Man vergleicht Zahlen und „versteht“ keine Bedeutung im menschlichen Sinne.

Wo es versagt

Beobachten Sie, was mit kompositorisch unterschiedlichen Bildunterschriften passiert:

Die Vektoren sind nahezu identisch. Beide Bildunterschriften enthalten dieselben Konzepte: {Telefon, Karte, auf}. Das Modell kodiert, was vorhanden ist, verliert aber, wie die Dinge zueinander in Beziehung stehen.

Dies ist das Bag-of-Words-Problem. Das Modell sieht dieselben „Zutaten“ und erzeugt ähnliche Embeddings, obwohl die Szenen völlig unterschiedlich sind. In der einen liegt das Telefon oben. In der anderen die Karte. Die relationale Struktur verschwindet während der Kodierung.

Evaluierungsaufgaben: Retrieval vs. Reasoning

MS-COCO: Die Nadel im Heuhaufen finden

Der Aufbau:
Eine Galerie mit 5.000 Bildern enthält Cluster ähnlicher Inhalte, darunter Hunderte von Außenszenen, Dutzende von Fahrzeugen und zahlreiche Lagerbereiche und Strukturen. Jedes Bild hat fünf verschiedene Bildunterschriften, die von verschiedenen Annotatoren geschrieben wurden, insgesamt 25.000 Bildunterschriften.

Die Anfrage: „Ein Motorrad, das unter einer Holzkonstruktion mit anderen Gegenständen geparkt ist.“

Das Bild:

Dasselbe Bild könnte auch beschrieben werden als:

• „Schwarzes Motorrad, das im Freien unter einem Überhang steht.“
• „Motorrad, geparkt unter einem überdachten Bereich in einem eingezäunten Hof.“

Jede Bildunterschrift wird separat getestet, und das Modell muss das richtige Bild finden, unabhängig davon, wie es formuliert ist.

Die Aufgabe:
Finden Sie das einzelne spezifische Bild, das übereinstimmt. Nicht irgendein Motorrad, nicht irgendeine Holzkonstruktion, sondern genau diese Szene unter 5.000 Kandidaten.

Die Metrik: Recall@1
Binär und unerbittlich. Richtiges Bild auf Platz 1 = Treffer. Platz 2 = Fehlschlag. Keine Teilpunkte.

Winoground: Verstehen, wer was mit wem gemacht hat

Der Aufbau:
400 gegnerische Paare. Jedes enthält 2 Bilder und 2 Bildunterschriften, die sich nur in der kompositorischen Struktur unterscheiden.

Die Anfrage:

• Bildunterschrift A: „Auf einer Karte liegt ein Telefon“
• Bildunterschrift B: „Auf einem Telefon ist eine Karte“
  

Beide Bildunterschriften enthalten genau dieselben Konzepte: {Telefon, Karte, auf}. Der einzige Unterschied ist, welches Objekt auf welchem liegt.

Das Bild:

Die Aufgabe:
Ordnen Sie beide Bildunterschriften gleichzeitig den richtigen Bildern zu. Bildunterschrift A muss zu Bild A passen (Telefon liegt auf Karte), und Bildunterschrift B muss zu Bild B passen (Karte auf Telefon angezeigt). Keine Teilpunkte: Nur eine richtig zu haben, zählt als Fehlschlag.

Die Metrik: Image Score
Binär und unerbittlich. Beide Paare korrekt zugeordnet = Treffer. Eins oder null richtig = Fehlschlag. Zufallswahrscheinlichkeit liegt bei 25 %.

Weitere Beispiele aus Winoground:

Warum Modelle bei Komposition versagen

Die niedrigen Winoground-Ergebnisse (30-40 % vs. 25 % Zufallsbasislinie) deuten darauf hin, dass aktuelle Modelle mit dieser spezifischen Art des kompositorischen Denkens Schwierigkeiten haben. Es gelten jedoch einige Einschränkungen:

• Kleine Stichprobengröße: Winoground enthält nur 400 Beispiele, was zu Konfidenzintervallen von etwa ±5 Prozentpunkten führt. Dies macht es als Indikator nützlich, aber nicht als definitiven Beweis für kompositorische Fähigkeiten.
• Spezifischer, aber vielfältiger Aufgabenbereich: Winoground testet mehrere Arten des kompositorischen Denkens, einschließlich räumlicher Beziehungen (auf/über/unter), Agens-Patiens-Tausch (wer macht was mit wem), Attributbindung (Farb-/Größenzuweisungen), Quantoren (mehr/weniger, Zählen), Handlungskoordination (sitzt/steht), zeitlicher Ordnung (vor/nach), Negation (mit/ohne) und Skopus-Ambiguität. Diese Vielfalt macht Winoground zu einer effektiven Sonde für kompositorisches Verständnis über mehrere linguistische Phänomene hinweg.

Technische Analyse & Einsatzempfehlungen

Datenqualität übertrumpft Modellgröße

Apple, LAION und MetaCLIP verwenden alle dasselbe ViT-H/14-Backbone (630M Parameter).

Apples +3,8pp-Vorteil scheint hauptsächlich auf den Data Filtering Network (DFN)-Ansatz zurückzuführen zu sein.

• Automatisierte Kuratierung: Anstatt nur synthetische Bildunterschriften zu verwenden, trainierte Apple ein Teacher-Modell, um die Trainingsdaten aggressiv zu filtern. Das Modell lernte, verrauschte Bild-Text-Paare aus dem massiven Web-Pool zu identifizieren und zu verwerfen.
  
• Die Implikation: An der Grenze kommen Verbesserungen von der Kuratierungsqualität (Auswahl der richtigen Daten) und nicht nur von Synthese oder reiner Skalierung.

Die Implikation: An der Grenze kommen Verbesserungen von besseren Daten, nicht von größeren Architekturen.

Das 50 %-Leistungsniveau verstehen

MS-COCO wurde mit eindeutigen, kuratierten Bildern entwickelt, bei denen jede Bildunterschrift eine bestimmte Szene beschreibt. Obwohl geringfügige Mehrdeutigkeiten existieren (z. B. zwei ähnliche Parkplatzszenen), haben die Datensatzersteller bewusst visuell unterscheidbare Bilder ausgewählt.

Die 50%ige Genauigkeit spiegelt wider, dass Modelle tatsächlich nicht in der Lage sind, das richtige Bild an die erste Stelle zu setzen, und nicht eine unfaire Bestrafung für die Auswahl gleichwertiger Alternativen.

Warum OpenAI CLIP um 10-16pp zurückliegt

OpenAIs CLIP-L (2021) erreicht 34,4 % T2I R@1, während moderne Modelle mit ähnlichen ViT-Architekturen 44-50 % erreichen. Diese Lücke von 10-16 Prozentpunkten spiegelt drei Jahre Fortschritt wider:

Während die architektonischen Kernprinzipien ähnlich blieben (Vision Transformers mit kontrastivem Lernen), haben sich moderne Modelle in der Größe verdoppelt. Die meisten Leistungssteigerungen kamen jedoch von verbesserter Datenkuratierung und Trainingstechniken und nicht allein von architektonischer Innovation.

ColPali: Geschwindigkeit gegen architektonische Flexibilität tauschen

ColPali repräsentiert einen anderen architektonischen Ansatz: Anstatt jedes Bild in einen einzelnen Vektor zu kodieren, erzeugt es 1.030 Patch-Embeddings mittels Late Interaction. Diese Designentscheidung schafft mehrere Kompromisse:

Vorteile:

• Symmetrischeres Retrieval: ColPali zeigt nur eine Lücke von 3,9pp zwischen I2T (48,8 %) und T2I (44,9 %), verglichen mit Lücken von 16-24pp bei dichten Modellen. Dies deutet darauf hin, dass es die Bildstruktur einheitlicher kodiert.
• Architektonische Flexibilität: Late Interaction ermöglicht feinkörniges Matching zwischen Text-Tokens und Bild-Patches, was spezialisierten Domänen zugutekommen kann.

Nachteile:

• Speicheraufwand: Jedes Bild benötigt 1.030 Vektoren statt 1, was die Indexgröße um ~1000× erhöht.

• Geringere Gesamtleistung: ColPali rangiert auf Platz 4 in unserem Benchmark (44,9 % T2I) und liegt 5,2pp hinter den besten dichten Modellen (vs. Apple DFN5B-H mit 50,1 %).

Rechenkosten: Erfordert 4× kleinere Batch-Größen (4 vs. 32) aufgrund des Speicheraufwands von 1.030 Embeddings pro Bild. Dies führt zu langsamerer Indizierung und höheren Serving-Kosten im großen Maßstab.

Welches Modell sollten Sie verwenden?

Methodik des multimodalen Embedding-Benchmarks

Hardware & Software

• GPU: NVIDIA A40 (48GB VRAM) über RunPod
• Präzision: bfloat16
• Framework: PyTorch 2.4.0, CUDA 12.1
• Bibliotheken: transformers==4.44.0, datasets==2.20.0

Evaluierte Modelle

Wir haben die folgenden spezifischen Modellgewichte vom Hugging Face Hub verwendet. Alle Modelle wurden direkt aus diesen Repositories ohne Modifikation in bfloat16-Präzision geladen.

Inferenzprotokoll

Dichte Modelle (CLIP/SigLIP) wurden mit Batch-Größe 32 evaluiert, da ein einzelner Vektor pro Bild hohe Parallelität ermöglicht. ColPali verwendete Batch-Größe 4, da seine 1.030 Patch-Embeddings pro Bild deutlich mehr Speicher benötigen.

Evaluierungsprotokoll

• Zero-Shot: Modelle wurden out-of-the-box mit Hugging Face-Gewichten evaluiert. Kein Fine-Tuning.
• Deterministisch: Zufallsseed auf 42 festgelegt. Gleiche Datensatzreihenfolge für alle Modelle.
• Standard-Splits: yerevann/coco-karpathy Test (5.000 Bilder), facebook/winoground Validierung.

Die I2T vs. T2I-Lücke

I2T-Ergebnisse sind konsistent ~20pp höher als T2I aufgrund statistischer Wahrscheinlichkeit, nicht aufgrund von Modellfehlern.

• T2I (Text-to-Image): Das Modell muss 1 bestimmtes Bild unter 5.000 finden. (Zielpool = 1).
• I2T (Image-to-Text): Das Modell kann jede der 5 gültigen Bildunterschriften zuordnen, die mit diesem Bild verknüpft sind. (Zielpool = 5).

Da die I2T-Aufgabe fünf verschiedene ‚richtige‘ Antworten für jede Abfrage bietet, ist die Erfolgsquote im Vergleich zur strengen Eins-zu-eins-Zuordnung, die bei T2I erforderlich ist, natürlich aufgebläht.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Einschränkungen

Winoground-Stichprobengröße

400 Stichproben ergeben ~±5pp Konfidenzintervalle bei 35 % Genauigkeit. Die Ergebnisse sind indikativ, nicht definitiv. Größere Benchmarks (ARO, SugarCrepe) existieren, erfordern aber andere Infrastruktur.

Nur Zero-Shot

Kein domainspezifisches Fine-Tuning. Medizinische, juristische oder Satellitenanwendungen könnten Verbesserungen von 5-10pp mit domainspezifischem Training erzielen.

Datensatzeinschränkungen:

MS-COCO und Winoground testen spezifische Aspekte des multimodalen Verständnisses. Die Leistung bei diesen Benchmarks garantiert keine ähnlichen Ergebnisse bei domainspezifischen Aufgaben oder anderen kompositorischen Denktests.

Weiterführende Literatur

Entdecken Sie weitere RAG-Benchmarks, wie zum Beispiel:

• Embedding-Modelle: OpenAI vs Gemini vs Cohere
• Top-Vektordatenbank für RAG: Qdrant vs Weaviate vs Pinecone
• Agentic RAG-Benchmark: Multi-Datenbank-Routing und Abfragegenerierung
• 11 Open-Source-Embedding-Modelle für RAG

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Multimodale Embedding-Modelle: Apple vs Meta vs OpenAI}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/multimodal-embeddings}},
  note   = {AIMultiple. Abgerufen am 4. August 2026}
}

Ekrem Sarı

KI-Forscher

Folgen auf

Ekrem ist KI-Forscher und Datenanalyst bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM Systeme durch.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten