Embedding-Modelle: OpenAI vs Gemini vs Voyage

Wir haben 15 englische Text-Embedding-Modelle und eine BM25-Baseline an über 500 manuell kuratierten Abfragen in drei Abrufdomänen getestet: rechtliche Verträge (CUAD), Kundensupport (IBM TechQA) und Gesundheitswesen (MedRAG PubMed).

Voyage-3.5 rangiert insgesamt an erster Stelle. Perplexity Embed V1 0.6b erreicht in unserem Benchmark die obere Mittelschicht zum niedrigsten Preisniveau.

Ergebnisse des Embedding-Modelle-Benchmarks

Erklärung der Metriken

nDCG@3: Normalisierter Discounted Cumulative Gain bei Cutoff 3. Bei einem relevanten Dokument pro Abfrage beträgt der Wert 1 / log2(rank + 1), wenn das Gold-Dokument in den Top 3 landet, andernfalls 0. Rang 1 erzielt 1.000, Rang 2 erzielt 0.631, Rang 3 erzielt 0.500. Wir verwenden nDCG@3 als primäre Metrik, da Produktions-RAG-Pipelines die Top 3 bis 5 Chunks an den LLM übergeben und der Primacy-Bias dazu führt, dass Rang 1 unverhältnismäßig wichtig ist.

nDCG@10: Gleiche Formel mit Cutoff 10.

Recall@10: Anteil der Abfragen, bei denen das Gold-Dokument in den Top 10 erscheint.

MRR@10: Mean Reciprocal Rank bei Cutoff 10. Gold bei Rang 1 erzielt 1.000, Rang 2 erzielt 0.500 und Rang 10 erzielt 0.100. Ähnliche Intention wie nDCG@3, jedoch mit einer steileren Rangsstrafe.

Top-1-Treffer: Anteil der Abfragen, bei denen das gold-relevante Dokument das einzige Top-Ergebnis ist. Die strengste Metrik und diejenige, die einem No-LLM-Lookup-Workflow am nächsten kommt.

nDCG@3 nach Domäne

Recht (CUAD, 246 Abfragen, 509 Verträge): Recht ist die einzige Domäne, in der der Spezialist voyage-law-2 gewinnt; seine CUAD-abgestimmten Trainingsdaten zahlen sich durch +0.040 nDCG@3 gegenüber voyage-4-large aus. openai/text-embedding-3-large rangiert mit 0.6430 an 11. Stelle, unterhalb von sechs günstigeren Modellen. BM25-Boden: 0.5844.

Kundensupport (TechQA, 151 Abfragen, 28.000 IBM Technotes): Die Lücke von voyage-4-lite zum nächsten Modell beträgt 0.018. gemini-embedding-001 fällt auf Platz 7 (0.8856), 0.045 hinter seinem neueren Geschwistermodell bei TechQA, obwohl es die anderen beiden Domänen gewinnt. BM25-Boden: 0.6097.

Gesundheitswesen (MedRAG-PubMed, 154 Abfragen, 50.000 Abstracts): Das Gesundheitswesen ist der engste Cluster in unserem Benchmark (14 Modelle erzielen über 0.88), da der medizinische Wortschatz keyword-dicht ist, was die meisten Abfragen in den Top-Cluster drückt. BM25-Boden: 0.7862, innerhalb von 0.02 des schwächsten dichten Modells. gemini-embedding-001 schlägt hier auch gemini-embedding-2-preview mit dem größten Abstand (+0.013).

Die domänenspezifischen Umkehrungen rechtfertigen die 3-Domänen-Durchschnitts-Darstellung: Keine einzelne Domäne ist ein fairer Proxy dafür, „welches Modell das beste ist", und ein Käufer, der sich auf eine Domäne stützt, wird bei den anderen falsch rangieren.

Per-Modell-95%-Bootstrap-Konfidenzintervalle für jede Domänenzelle sowie die vier paarweisen Bindungen, die die Punktschätzungs-Rankings verbergen, sind im Methodik-Abschnitt detailliert beschrieben.

Genauigkeit vs. Preis: Kosten pro 1M Token

Erklärung der Metriken

Preis pro 1M Eingabe-Token ist der Listenpreis für das Embedding von 1M Eingabe-Token, Stand 2026-04-23. Voyage-Preise stammen von der Voyage-Direktpreis-Seite. Über OpenRouter bereitgestellte Modelle verwenden den OpenRouter-Katalog-Snapshot desselben Tages. Abfrage- und Dokument-Token werden bei jedem getesteten Anbieter zum gleichen Satz berechnet. BM25 wird für die Log-Achsen-Darstellung bei 0,001 $/M dargestellt. Die tatsächlichen Selbsthosting-Kosten betragen 0 $.

3-Domänen-Durchschnitt nDCG@3 ist der ungewichtete Mittelwert des pro-Domänen-nDCG@3 über die drei Korpora. Jede Domäne trägt unabhängig von der Abfrageanzahl gleichmäßig zum Durchschnitt bei.

• Für kostenorientierte RAG-Plattformen ist pplx-embed-v1-0.6b die klare Wahl. Mit 0,004 $/M ist es 30-50-mal günstiger als jedes der kommerziellen Flaggschiffe und liefert 92 % der Qualität von voyage-3.5 (0.8604 / 0.9429). Kein anderes Modell in unserem Benchmark konkurriert an seinem Preisniveau.

• Für qualitätsorientierte Unternehmens-RAG übernimmt voyage-3.5 über das Voyage-Direkt-SDK den oberen Pareto-Punkt. Sie tauschen eine zusätzliche API-Integration (gegenüber einem OpenRouter-Only-Stack) gegen ein marginal besseres Modell als Voyages eigenes Flaggschiff zum halben Preis. Der Instinkt „immer das Neueste und Größte wählen" ist im Voyage-Katalog falsch.

• Für OSS / selbsthostbare / On-Prem-Bereitstellungen gewinnt qwen3-embedding-8b. Es ist das günstigste nicht-triviale Embedding-Modell in unserem Benchmark mit 0,010 $/M, entspricht oder schlägt jede andere von uns getestete OSS-Encoder-Familie und wird mit selbsthostbaren Gewichten ausgeliefert.

• Die Premium-Flaggschiffe (openai-3-large, gemini-2-preview, voyage-4-large, gemini-001) verlieren alle gegen voyage-3.5 im 3-Domänen-Durchschnitt, obwohl voyage-3.5 2-3-mal günstiger ist als jedes von ihnen.

Wichtige Erkenntnisse aus dem Embedding-Benchmark

voyage-3.5 gewinnt den 3-Domänen-Durchschnitt und schlägt das voyage-4-large-Flaggschiff zum halben Preis

voyage-3.5 erzielt im Durchschnitt 0.9429 nDCG@3 über Recht, Kundensupport und Gesundheitswesen. Das Flaggschiff voyage-4-large erzielt im Durchschnitt 0.9416 bei 0,12 $ pro 1M Token, das Doppelte des voyage-3.5-Preises von 0,06 $. Das Flaggschiff gewinnt TechQA mit 0.002 und MedRAG mit 0.032. Es verliert CUAD mit 0.037 (0.8730 vs 0.9102), genug, damit sein 3-Domänen-Durchschnitt unter voyage-3.5 liegt. In Voyages Sortiment ist das ältere Mittelklasse-Modell die bessere Allzweck-Wahl. Das Flaggschiff verdient sein Premium nur im Gesundheitswesen.

Voyage belegte in allen drei Domänen den ersten Platz und holte sich die Top-2 bei CUAD und TechQA. Bei MedRAG brach gemini-embedding-001 auf Platz 2 ein (0.9814, hinter voyage-4-larges 0.9855), vor jedem anderen Voyage-Modell. gemini-001 erreicht auch bei CUAD den dritten Platz. Kein anderes Nicht-Voyage-Modell erreicht in einer einzelnen Domäne die Top-2.

Ein altes Gemini-Modell schlägt sein neueres „Preview"-Geschwistermodell in zwei von drei Domänen

google/gemini-embedding-001 (veröffentlicht im Juni 2025) übertrifft google/gemini-embedding-2-preview sowohl bei CUAD (0.8980 vs 0.8958) als auch bei MedRAG (0.9814 vs 0.9685). Das neuere Modell gewinnt nur TechQA (0.9301 vs 0.8856), eine Lücke von 0.04, die mit einer Preiserhöhung von 33 % einhergeht (0,20 $ vs 0,15 $ pro 1M Eingabe-Token). Das Framing des „neueren multimodalen Upgrades" von Gemini 2 hält bei der englischen Textsuche in rechtlichen oder medizinischen Korpora nicht stand.

Für RAG-Workloads in diesen beiden Domänen ist gemini-embedding-001 die richtige Gemini-Wahl. Die Umkehrung bei MedRAG (001 auf Platz 2, 2-Preview auf Platz 3) ist groß genug, dass ein Käufer, der sich auf das „neueste" Modell verlässt, messbare Qualität verliert.

OpenAI text-embedding-3-large ist im Mittelbereich bei Recht und Kundensupport

openai/text-embedding-3-large rangiert bei CUAD mit 0.6430 nDCG@3 an 11. Stelle von 15 dichten Modellen. Acht strikt günstigere Modelle schlagen es bei rechtlichen Verträgen: beide 0,12 $ Voyage-4-Serie-Flaggschiffe, voyage-3.5 zum halben Preis, voyage-4-lite zum 1/6-Preis, beide Qwen3-Embedding-Varianten, intfloat/e5-large-v2 zum 1/13-Preis und perplexity/pplx-embed-v1-0.6b (0.8031) zum 1/32-Preis. OpenAIs Flaggschiff liegt bei TechQA auf Platz 9 (0.8581) und bei MedRAG auf Platz 11 (0.9296). Das Gesundheitswesen bringt es in einen engen Top-Cluster (Spanne von Platz 2 bis 11: 0.05 nDCG@3). Bei Recht ist die Lücke groß und teuer.

Mit 0,13 $ pro 1M Eingabe-Token ist es 32-mal teurer als pplx-embed-v1-0.6b. Teams, die sich aufgrund von „es ist die sichere Wahl" für OpenAI entscheiden, zahlen eine Prämie, die die 3-Domänen-Daten nicht rechtfertigen.

pplx-embed-v1-0.6b erreicht die Top-Klasse zum einunddreißigsten Teil des Preises vergleichbarer Flaggschiffe

perplexity/pplx-embed-v1-0.6b mit 0,004 $ pro 1M Token erzielt im Durchschnitt 0.8604 nDCG@3 über die drei Domänen, hinter nur den vier Voyage-Modellen, den beiden Gemini-Varianten und qwen/qwen3-embedding-8b. Es schlägt jedes OpenAI- und OSS-Modell im Sortiment. Es schlägt auch openai/text-embedding-3-large bei CUAD um 0.16 nDCG@3, verliert bei TechQA um 0.012 (0.8457 vs 0.8581) und gewinnt bei MedRAG um 0.003. Das nächstgünstigste Top-10-Modell ist qwen/qwen3-embedding-8b mit 0,010 $ (2,5-mal mehr), ebenfalls über OpenRouter bereitgestellt.

Für kostenorientierte RAG-Plattformen, bei denen Embedding ein wesentlicher Posten ist, ist pplx-0.6b die klare Wahl. Die 30-50-fache Lücke zu Flaggschiff-Preisen bringt bei diesen drei Domänen nichts an Abrufqualität.

BM25 liegt bei medizinischen Abstracts innerhalb von 0,02 des schwächsten dichten Modells

Bei MedRAG-PubMed erzielt BM25 0.7862 nDCG@3 gegen baai/bge-m3 (dichter Modus) mit 0.8038, eine Lücke von 0.02. Die lexikalische Suche liegt bei diesem Korpus innerhalb von 0.15 von sieben der fünfzehn dichten Modelle (bge-m3, e5-base-v2, openai-3-small, e5-large-v2, openai-3-large, pplx-0.6b, qwen3-4b). Der Grund ist strukturell: Medizinische Abfragen sind von Natur aus keyword-dicht (Arzneimittelnamen, Krankheitsnamen, Studiendesign-Begriffe, Gensymbole), und diese Token tragen das meiste Abrufsignal. Ein Lucene-ähnlicher Scorer passt sie direkt an, ohne semantischen Kontext zu benötigen.

Ein Reranker auf BM25 ist eine plausible, günstigere Alternative zu einem Premium-dichten Embedder für keyword-dichte Korpora: die Abruflücke, die BM25 lässt (0.2 nDCG@3 zur Top-Klasse bei MedRAG), ist die Art von Lücke, die ein Cohere- oder Voyage-Reranker schließen kann. Bei CUAD beträgt die Lücke von BM25 zum besten dichten Modell 0.33, bei TechQA 0.36, bei MedRAG 0.20. Die Dichte des Domänenwortschatzes ist der größte Bestimmungsfaktor dafür, wie sehr dichte Embeddings helfen.

Domänenspezialisten vs. Generalisten über Anbieter hinweg

Voyage bietet voyage-law-2 mit 0,12 $/M an, identisch mit voyage-4-large. Die beiden Modelle teilen sich Anbieter, Tokenizer, SDK und asymmetrisches Aufrufschema. Nur die Betonung der Trainingsdaten unterscheidet sich. Das Ausführen beider gegenüber Generalisten über CUAD, TechQA und MedRAG isoliert den Effekt des rechtlichen Trainings.

Bei CUAD rangiert voyage-law-2 mit 0.9126 an 1. Stelle: 0.0024 über voyage-3.5, 0.0146 über gemini-embedding-001, 0.040 über voyage-4-large, 0.097 über qwen3-embedding-8b und 0.270 über openai/text-embedding-3-large (0.6430). Bei TechQA rangiert voyage-law-2 mit 0.9020 an 4. Stelle, 0.064 hinter voyage-4-large und 0.063 hinter voyage-3.5. Bei MedRAG rangiert es mit 0.9409 an 6. Stelle, 0.045 hinter voyage-4-large und 0.041 hinter gemini-embedding-001. Das rechtliche Training erhöht nDCG@3 bei CUAD und senkt es in den anderen beiden Domänen.

Ein Rechtsteam, das CUAD-ähnlichen Abruf mit openai/text-embedding-3-large bereitstellt, läuft mit 0.6430 nDCG@3 gegen voyage-law-2 mit 0.9126, eine Lücke von 0.27. Ein Gesundheits- oder Support-Team, das voyage-law-2 auswählt, weil es bei CUAD an erster Stelle rangierte, verliert bei MedRAG 0.045 gegenüber voyage-4-large und 0.064 bei TechQA. Domänenspezialisten-Embedding-Modelle sind keine Drop-in-Upgrades für generischen Abruf. Eine einzelne „beste Modell"-Empfehlung über Branchen hinweg wählt in mindestens einer Richtung falsch.

Wann voyage-law-2 wählen: Vertragsabruf bei kommerziellen rechtlichen Korpora, die strukturell CUAD ähneln. Wann nicht: alles andere in diesem Benchmark. voyage-3.5 kostet 0,06 $/M, liegt bei CUAD 0.0024 unter voyage-law-2 und übertrifft es sowohl bei TechQA als auch bei MedRAG.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Wie die Embedding-Abruf-Pipeline bewertet wurde

Jedes Modell kodiert einen Abfrage-Vektor und N Dokument-Vektoren über einen Bi-Encoder. Wir berechnen die Kosinus-Ähnlichkeit zwischen dem Abfrage-Vektor und jedem Dokument-Vektor und sortieren dann die Top-k für diese Abfrage. Bei einem Gold-Dokument pro Abfrage und binärer Relevanz prüft der Auswerter, ob das Gold in den Top-k erscheint und an welchem Rang. Dieser Rang fließt in nDCG@3 (unseren primären), nDCG@10 (für BEIR/MTEB-Vergleichbarkeit), Recall@10 und die Top-1-Trefferquote ein.

Abfrage- und Dokument-Encoder sind nicht immer dieselbe Funktion. Einige Modelle werden asymmetrisch trainiert: die Abfrage-Seite wendet eine Transformation an, die Dokument-Seite eine andere. Das symmetrische Aufrufen dieser Modelle („einfach den Text übergeben") verschlechtert die Abrufqualität stillschweigend um 0.05-0.45 nDCG@10. Unser Sortiment teilt sich in vier Wege auf:

Warum nDCG@3 als Primär. Produktions-RAG-Pipelines geben die Top 3 bis 5 Chunks an den LLM ab, nicht die Top 10. Der Primacy-Bias in langkontextigen LLMs macht Rang 1 wichtiger als Rang 3, und jeder Ablenker, der über dem Gold im LLM-Kontext landet, ist ein Kandidat für Halluzination. Reranker würden diesen Effekt glätten, aber die meisten Produktions-RAGs laufen ohne einen aus Kosten- und Latenzgründen, sodass der Rang des Embedders DER endgültige Rang ist.

Bei MedRAG erreichte Recall@10 die 1.000-Obergrenze für drei Voyage-Modelle und für qwen3-8b; nDCG@3 bewahrte eine 0.10-Spanne bei denselben Abfragen. nDCG@10 behält die BEIR-Vergleichbarkeit bei, mildert aber die Unterschiede an der Spitze der Liste, die operationell wichtig sind.

Methodik des Embedding-Modelle-Benchmarks

Korpora (Domänenauswahl + warum)

Wir wählten drei Domänen aus, die unterschiedliche Abrufeigenschaften betonen und die drei häufigsten Unternehmens-RAG abdecken. Jedes Korpus ist SHA256-verankert, sodass jeder Leser die exakte Zelle reproduzieren kann, die wir ausgeführt haben.

PM209 (Herstellungsanleitungen) wurde gestrichen: nur 209 Dokumente, zu klein, um das BM25-Entitäten-Shortcut-Problem bei 150 Abfragen zu verhindern.

Abfragegenerierung: 3-LLM-Konsensprotokoll

Unsere Abfragen werden von einem LLM generiert, wobei Schreiber-Validierer-Trennung besteht: der LLM, der eine Abfrage entwirft, bewertet niemals sein eigenes Abrufziel, sodass Selbst-Bias strukturell ausgeschlossen ist. Nur die beiden Nicht-Schreiber-Validierer, die die 20 Kandidaten ohne Hinweis darauf sehen, welche das Grounding-Dokument des Schreibers war, entscheiden über die Annahme. Zusätzlich zum LLM-Konsens haben wir etwa 25 % des akzeptierten Abfrage-Sets manuell stichprobenartig überprüft (Autorenprüfung der Abfrage-Natürlichkeit, Ziel-Dokument-Ausrichtung und R9-Konformität, unabhängig von der Validierer-Stimme).

Jede Abfrage durchlief folgende Pipeline, bevor sie in den Produktions-Satz aufgenommen wurde:

1. Schreiber entwirft eine einzelne Abfrage, die auf einem zufällig ausgewählten Dokument basiert. Der Schreiber rotiert zwischen Claude Sonnet 4.6, Qwen3.6-plus und Gemini 3 Flash Preview, damit kein einzelnes Modell den linguistischen Fingerabdruck dominiert.
2. Scorer (fest: Claude Sonnet 4.6) bewertet die Abfrage nach einem Spezifitäts-Rubrik. Wir forderten semantic_bridge ≥ 4 (die Abfrage muss semantisch beschreiben, was das Dokument behauptet, nicht nur Namen übereinstimmen) und unique_referent in 3-5 (die deskriptiven Anker müssen ungefähr ein bis fünf Kandidatendokumente im Korpus identifizieren, nicht Tausende oder genau eines).
3. Hard-Negative-Check: Wir ziehen die BM25-Top-19-Ablenk-Dokumente plus das Ziel und führen ein Near-Duplicate-Jaccard-Gate durch (>0.5 → lehnen die gesamte Abfrage als mehrdeutige Ground Truth ab).
4. Validierer (2 Modelle, niemals einschließlich des Schreibers) wählen unabhängig das Ziel-Dokument aus dem gemischten 20-Kandidaten-Satz. Beide Validierer müssen dem exakten Ziel-Slot zustimmen, sonst wird die Abfrage verworfen. „Keines der oben Genannten" und „mehrere richtige Antworten" sind gültige Validierer-Antworten und werfen die Abfrage ebenfalls weg.
5. Cohens Kappa berechnet pro Validierer-Paar. Jede Abfrage hatte genau 2 Bewerter (die Nicht-Schreiber aus dem 3-Modell-Pool), sodass die 3 möglichen schreiber-exkludierten Paare uns 3 separate Kappa-Werte pro Domäne geben. Wir berichten sie einzeln und als n-gewichtetes Mittel.

Pro-Paar-Cohens Kappa mit beobachteter Übereinstimmung po und erwarteter Zufalls-Übereinstimmung pe, berechnet für akzeptierte Abfragen plus alle consensus_fail-Ablehnungen, bei denen beide Validierer eine Entscheidung trafen. Zellen zeigen n / po / pe / κ:

Das n-gewichtete Mittel ist eine deskriptive Zusammenfassung, keine inferenzstatistische Statistik. Es fasst die drei pro-Paar-Kappas in einer Zahl zusammen, gewichtet danach, wie viele Abfragen jedes Paar beurteilt hat; es ist selbst kein Kappa-Wert für einen gepoolten Datensatz, und CI darauf müsste via Bootstrap-Resampling auf Abfrageebene berechnet werden (auf v2.1 verschoben).

Wir verwendeten Cohens Kappa (nicht Fleiss' Kappa oder Krippendorffs Alpha), weil jede Abfrage genau 2 Bewerter hatte: die natürliche Rahmung hier sind 3 paarweise Cohen-Berechnungen, da wir wissen wollen, ob zwei spezifische Modelle übereinstimmen, nicht ob ein Panel von 3 Bewertern kohärent ist. Krippendorffs Alpha würde eine einzige Zahl ergeben, aber die drei Paare vermischen und die paarweise Varianz verbergen.

CUAD speziell: claude × qwen erreicht κ=0.974, während claude × gemini und gemini × qwen bei κ=0.86 liegen, was Gemini-3-flash-preview als den verrauschtesten Richter bei rechtlichen Verträgen isoliert. Diese Information ist ein Methodik-Signal, das es wert ist, hervorgehoben zu werden, nicht weggemittelt.

Wir haben eine Domäne nach dem Produktionsstart befördert, nachdem das n-gewichtete Mittel-Kappa 0.85 überschritten hatte. Alle drei haben es geschafft. MedRAGs 0.986 ist effektiv die Obergrenze: die zwei Uneinigkeiten über 156 Versuche hinweg betrafen medizinisch mehrdeutige Ziele, bei denen beide Validierer intern konsistent waren, aber einer ein verwandtes, aber nicht-goldenes Abstract wählte.

R9-Entitäten-Anonymisierungs-Regelsatz (pro Domäne)

R9 ist eine harte Einschränkung zur Abfragegenerierungszeit. Ohne sie steigt BM25 über 0.97 nDCG@10, da benannte Entitäten als perfekte Keyword-Shortcuts wirken; dichte Embeddings haben keinen semantischen Vorteil zu messen. Die Regel ist pro Domäne angepasst, sodass die Anker, die in dieser Domäne tatsächlich das Abrufsignal tragen, verwendbar bleiben:

• CUAD streng. Alle benannten Entitäten verbieten: Parteinamen, US-Staatsnamen, Personal, Geldbeträge in exakten Dollar, spezifische Produktnamen. Erzwingen Sie deskriptive Einzigartigkeit: Branche + Rolle + zeitliches Zeitalter + Geldbereich + geografischer Umfang. BM25-Obergrenze sank von 0.97 auf 0.591, nachdem R9 durchgesetzt wurde.
• TechQA Option X. IBM-Produktnamen erlaubt (sie sind das primäre Abrufsignal für einen Sysadmin), WENN die Abfrage auch einen sekundären Nicht-Produkt-deskriptiven Anker enthält (Symptomklasse, Fehlercode-Familie, Versionszeitalter, Bereitstellungs-Kontext). Kundennamen, US-Staaten, Personal immer noch verboten. BM25-Obergrenze: 0.664.
• MedRAG medizinisch-entspannt + halluzinationssicher. Arzneimittelnamen, Krankheitsbegriffe, Anatomie, Gensymbole wortwörtlich aus der Quelle beibehalten, da der Ersatz von Arzneimittelklassen-Labels das Risiko von Pharmakologie-Halluzinationen birgt („p-Chloroamphetamin" ist ein Amphetamin-Klassen-Serotonin-Freisetzer, aber LLM-Label-Übersetzungen seltener Arzneimittel fallen stillschweigend aus). Die Abfrage muss ≥2 Nicht-Arzneimittel-Anker enthalten, damit ein reiner Arzneimittelnamen-Keyword-Match das Ergebnis nicht trägt. BM25-Obergrenze: 0.809 (strukturelle Eigenschaft der Domäne, kein Methodik-Fehler).

Beispielabfragen

Für jedes Beispiel ist die Abfrage der Text, den wir dem Embedding-Modell zuführen. Das Gold-Dokument ist das einzelne Element im Korpus (von 509 CUAD-Verträgen, 28.000 TechQA-Technotes oder 50.000 PubMed-Abstracts), das die Abfrage tatsächlich beantwortet. Die Abrufaufgabe lautet: Embed die Abfrage, berechne die Kosinus-Ähnlichkeit gegenüber jedem Dokument im Korpus und rangiere sie. Wenn das Gold-Dokument auf Rang 1 landet, erzielt die Abfrage 1.000 auf nDCG@3; Rang 2 erzielt 0.631; Rang 3 erzielt 0.500; unterhalb Top-3 erzielt 0.

CUAD (Recht)

Abfrage:

Gold-Dokument (1 von 509 CUAD-Verträgen): ANIXABIOSCIENCESINC_06_09_2020-EX-10.1-COLLABORATION AGREEMENT. Es ist eine 2020er-Kollaboration zwischen einer deutschen Firma und einem US-Biotech für COVID-19-Arzneimittelforschung; der Vertrag spezifiziert eine Meilensteinzahlung, die fällig wird, wenn der erste Patient in Phase I einer klinischen Studie eintritt. Die Abfrage enthält keine Parteinamen, keine Geldbeträge und keine Geografien außer zwei Länder-Token; das Abrufsignal ist Branche + zeitlich + Meilenstein-Struktur.

TechQA (Kundensupport)

Abfrage:

Gold-Dokument (1 von 28.000 IBM-Technotes): swg1IY43185, das genau diesen WebSEAL-Bug dokumentiert und den Patch benennt, der ihn behebt. IBM-Produktname (WebSEAL) ist unter unserer TechQA-R9-Variante erlaubt, aber der Diskriminator ist das Verhaltensmuster des Bugs und der Bestellungsanker, nicht der Produktname allein.

MedRAG (Gesundheitswesen)

Abfrage:

Gold-Dokument (1 von 50.000 PubMed-Abstracts): PMID:231299, eine klinische Studie, die Abbruchraten aufgrund von Nebenwirkungen zwischen Cephradin und Pivmecillinam bei schwangeren Frauen mit Harnwegsinfektionen vergleicht. Arzneimittelnamen werden beibehalten, da der Arzneimittel-gegen-Arzneimittel-Vergleich das Abrufsignal ist, aber die Abfrage fügt Patientenpopulation + Behandlungsdauer + Nebenwirkungs-Rahmen hinzu, damit ein reiner Arzneimittelnamen-BM25-Match das Ziel nicht allein landet.

Statistisches Protokoll

Bootstrap-95%-Konfidenzintervalle verwenden 10.000 Resamples, Perzentil-Methode, seed=2026 auf dem pro-Abfrage-Metrikvektor. Gepaartes Bootstrap auf denselben Abfrage-Indizes für paarweise Signifikanz zwischen Modell A und Modell B (Behauptung erfordert ≥95 % der Resamples, bei denen A > B).

Einzelner Lauf pro (Modell, Domäne)-Zelle. Eine 3-Lauf-Cross-Session-Varianzschicht wird aus Kostengründen auf v2.1 verschoben. Innerhalb-Session-Embedding-API-Aufrufe sind innerhalb weniger Millionstel Kosinus-Unterschied deterministisch, an Stichproben überprüft; Bootstrap-CI erfasst daher Abfrage-Level-Rauschen, was die dominante Varianzquelle bei n=150-246 ist.

Indizierung und Bewertung

Keine Vektordatenbank. Jedes Modell kodiert jedes Korpus-Dokument einmal; die Kosinus-Ähnlichkeit wird direkt in NumPy als dichtes Matrixprodukt von L2-normalisierten Embeddings berechnet. Dies ist exakt, nicht approximativ, sodass Rang-Bindungen echte Modell-Bindungen und keine ANN-Artefakte sind.

Pro-Modell-Chunking-Regel: 512-ctx-Modelle chunken 512+64 Overlap; 8K-20K-ctx-Modelle chunken bis zum Kontext ohne Overlap; 32K+-ctx-Modelle konsumieren das gesamte Dokument, wenn es passt (CUADs 9 % Long-Tail überschreitet jedes Nicht-Nemotron-Kontextfenster und fällt auf Chunking zurück; modellübergreifende Fairness wird durch Anwendung derselben pro-Kontext-Größenrichtlinie auf jedes Modell erhalten).

Pro-Modell-asymmetrischer-Abruf-Aufruf ist das einzelne wichtigste Methodik-Detail und verdient einen dedizierten Abschnitt. Es ist der Grund, warum gemini-embedding-2-preview unter OpenRouters dokumentiertem Code-Beispiel 0.46 nDCG@10 erzielt versus 0.91 unter Googles Vertex AI-Format. Siehe „Wie die Embedding-Abruf-Pipeline bewertet wurde" oben für die pro-Familie-Tabelle.

Evaluierungs-Framework: ranx als primäre Metrik-Engine; trec_eval-ähnliche Ausgabe kompatibel mit MTEB-Leaderboard-Einreichungen. Bootstrap-CI berechnet durch scripts/bootstrap_ci.py über die pro-Abfrage-Metriks-Arrays, die beim Evaluierungsdurchlauf gespeichert wurden.

Getestete Modelle

Preise sind Stand 2026-04-23 aus dem OpenRouter-Katalog und der Voyage-Direktpreis-Seite.

Pro-Modell nDCG@3 mit 95% Bootstrap-CI

Bootstrap-95%-Konfidenzintervalle berechnet via 10.000 Resamples des pro-Abfrage-Metrikvektors (Perzentil-Methode, seed=2026). CI-Breiten von 0.03-0.07 bei diesen Stichprobengrößen (n=154-246) bedeuten, dass Punktschätzungs-Lücken unter ~0.03 innerhalb des Rauschens liegen und als Bindungen behandelt werden sollten. Sortiert nach 3-Domänen-Durchschnitt nDCG@3:

Vier statistische Bindungen, bei denen Punktschätzungs-Rankings bei 95% CI nicht signifikant sind:

Einschränkungen

Menschliche Überprüfung durch einen Autor: Ein Autor hat etwa 25 % der final akzeptierten Abfragen auf Natürlichkeit, Ziel-Ausrichtung und R9-Konformität stichprobenartig überprüft.

Weiterführende Literatur

Entdecken Sie andere RAG-Benchmarks, wie:

• Top 10 mehrsprachige Embedding-Modelle für RAG
• Top 16 Open-Source-Embedding-Modelle für RAG
• Top Vektordatenbank für RAG: Qdrant vs Weaviate vs Pinecone
• Reranker-Benchmark: Top 8 Modelle verglichen
• Multimodale Embedding-Modelle: Apple vs Meta vs OpenAI
• Hybrid-RAG: Steigerung der RAG-Genauigkeit
• Graph-RAG vs Vektor-RAG

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{sar2026,
  author = {Sarı, Ekrem},
  title  = {{Embedding-Modelle: OpenAI vs Gemini vs Voyage}},
  year   = {2026},
  month  = apr,
  howpublished    = {\url{https://aimultiple.com/embedding-models}},
  note   = {AIMultiple. Abgerufen am 25. April 2026}
}

Ekrem Sarı

KI-Forscher

Folgen auf

Ekrem ist KI-Forscher bei AIMultiple und konzentriert sich auf intelligente Automatisierung, GPUs, KI-Agenten und RAG-Frameworks.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten