Embedding-Models: OpenAI vs. Gemini vs. Voyage

Wir benchmarkten 15 englische Text-Embedding-Models und eine BM25-Baseline an über 500 manuell kuratierten Queries über drei Retrieval-Domänen: Rechtsverträge (CUAD), Kundensupport (IBM TechQA) und Gesundheitswesen (MedRAG PubMed).

Voyage-3.5 belegt insgesamt den ersten Platz. Perplexity Embed V1 0.6b erreicht die obere Mittelklasse zum niedrigsten Preispunkt in unserem Benchmark.

Ergebnisse des Embedding-Models-Benchmarks

Erläuterung der Metriken

nDCG@3: Normalisierter diskontierter kumulativer Gewinn bei Cutoff 3. Mit einem relevanten Dokument pro Query beträgt der Wert 1 / log2(Rang + 1), wenn das Gold-Dokument in den Top 3 landet, und 0 andernfalls. Rang 1 ergibt 1.000, Rang 2 ergibt 0.631, Rang 3 ergibt 0.500. Wir verwenden nDCG@3 als primäre Metrik, da Produktions-RAG-Pipelines die Top-3-bis-5-Chunks an das LLM weitergeben und der Primacy Bias Rang 1 überproportional wichtig macht.

nDCG@10: Dieselbe Formel mit Cutoff 10.

Recall@10: Anteil der Queries, bei denen das Gold-Dokument in den Top 10 erscheint.

MRR@10: Mittlerer reziproker Rang bei Cutoff 10. Gold auf Rang 1 ergibt 1.000, Rang 2 ergibt 0.500 und Rang 10 ergibt 0.100. Ähnliche Aussage wie nDCG@3, aber mit steilerer Rangstrafe.

Top-1-Treffer: Anteil der Queries, bei denen das gold-relevante Dokument das einzige Top-Ergebnis ist. Die strengste Metrik und diejenige, die einem Workflow ohne LLM-Lookup am nächsten kommt.

nDCG@3 nach Domäne

Recht (CUAD, 246 Queries, 509 Verträge): Recht ist die einzige Domäne, in der das Spezialisten-Model voyage-law-2 gewinnt; seine CUAD-abgestimmten Trainingsdaten zahlen sich mit +0.040 nDCG@3 gegenüber voyage-4-large aus. openai/text-embedding-3-large liegt auf Platz 11 bei 0.6430, unter sechs günstigeren Models. BM25-Untergrenze: 0.5844.

Kundensupport (TechQA, 151 Queries, 28.000 IBM-Technotes): Der Abstand von voyage-4-lite zum nächsten Model beträgt 0.018. gemini-embedding-001 fällt auf Platz 7 (0.8856) zurück, 0.045 hinter seinem neueren Schwestermodell bei TechQA, obwohl es die anderen beiden Domänen gewinnt. BM25-Untergrenze: 0.6097.

Gesundheitswesen (MedRAG-PubMed, 154 Queries, 50.000 Abstracts): Das Gesundheitswesen ist das engste Cluster in unserem Benchmark (14 Models erzielen über 0.88), da das medizinische Vokabular keyword-dicht ist, was die meisten Queries in das obere Cluster drückt. BM25-Untergrenze: 0.7862, innerhalb von 0.02 des schwächsten Dense-Models. gemini-embedding-001 schlägt gemini-embedding-2-preview hier außerdem mit seinem größten Abstand (+0.013).

Die domänenspezifischen Umkehrungen rechtfertigen die Betrachtung des 3-Domänen-Durchschnitts: Keine einzelne Domäne ist ein fairer Proxy für „welches Model das beste ist“, und ein Käufer, der nach einer Domäne auswählt, wird bei den anderen falsch einstufen.

Pro-Model-95 %-Bootstrap-Konfidenzintervalle für jede Domänenzelle sowie die vier paarweisen Gleichstände, die Punktschätzungs-Rankings verbergen, sind im Methodik-Abschnitt detailliert beschrieben.

Genauigkeit vs. Preis: Kosten pro 1M Tokens

Erläuterung der Metriken

Preis pro 1M Input-Tokens ist der Listenpreis für das Embedding von 1M Tokens an Eingabe, Stand 2026-04-23. Die Voyage-Preise stammen von der direkten Voyage-Preisseite. Über OpenRouter bereitgestellte Models verwenden den OpenRouter-Katalog-Snapshot desselben Tages. Query- und Dokument-Tokens werden bei jedem getesteten Anbieter zum gleichen Satz berechnet. BM25 wird für die logarithmische Achsen-Darstellung bei $0,001/M eingezeichnet. Die tatsächlichen Self-Hosting-Kosten betragen $0.

3-Domänen-Durchschnitt-nDCG@3 ist der ungewichtete Mittelwert des Pro-Domänen-nDCG@3 über die drei Korpora. Jede Domäne trägt unabhängig von der Query-Anzahl gleichermaßen zum Durchschnitt bei.

• Für kostenorientierte RAG-Plattformen ist pplx-embed-v1-0.6b die klare Wahl. Mit $0,004/M ist es 30-50x günstiger als jedes der kommerziellen Flaggschiffe und liefert 92 % der Qualität von voyage-3.5 (0.8604 / 0.9429). Kein anderes Model in unserem Benchmark kann bei diesem Preispunkt mithalten.
• Für qualitätsorientierte Enterprise-RAG nimmt voyage-3.5 über das direkte Voyage-SDK den obersten Pareto-Punkt ein. Man tauscht eine zusätzliche API-Integration (gegenüber einem reinen OpenRouter-Stack) gegen ein geringfügig besseres Model als Voyages eigenes Flaggschiff zum halben Preis. Der Instinkt „immer das Neueste und Größte zu wählen“ ist innerhalb des Voyage-Katalogs falsch.
• Für OSS-/selbst-hostbare/On-Premise-Bereitstellungen gewinnt qwen3-embedding-8b. Es ist der günstigste nicht-triviale Embedder in unserem Benchmark bei $0,010/M, erreicht oder übertrifft jede andere von uns getestete OSS-Encoder-Familie und wird mit selbst-hostbaren Gewichten ausgeliefert.
• Die Premium-Flaggschiffe (openai-3-large, gemini-2-preview, voyage-4-large, gemini-001) verlieren alle gegen voyage-3.5 beim 3-Domänen-Durchschnitt, obwohl voyage-3.5 2-3x günstiger ist als jedes davon.

Wichtigste Erkenntnisse aus dem Embedding-Benchmark

voyage-3.5 gewinnt den 3-Domänen-Durchschnitt und schlägt das voyage-4-large-Flaggschiff zum halben Preis

voyage-3.5 erreicht durchschnittlich 0.9429 nDCG@3 über Recht, Kundensupport und Gesundheitswesen. Das Flaggschiff voyage-4-large erreicht durchschnittlich 0.9416 bei $0,12 pro 1M Tokens, das 2x des 0.06-Dollar-Preises von voyage-3.5. Das Flaggschiff gewinnt TechQA mit 0.002 und gewinnt MedRAG mit 0.032. Es verliert CUAD mit 0.037 (0.8730 gegenüber 0.9102), genug, dass sein 3-Domänen-Durchschnitt unter voyage-3.5 liegt. Innerhalb von Voyages Lineup ist das ältere Mid-Tier-Model die bessere Allzweck-Wahl. Das Flaggschiff rechtfertigt seinen Aufpreis nur im Gesundheitswesen.

Voyage belegte den Spitzenplatz in allen drei Domänen und sicherte sich die Top 2 bei CUAD und TechQA. Bei MedRAG stieß gemini-embedding-001 auf Platz 2 vor (0.9814, hinter voyage-4-larges 0.9855), vor jedem anderen Voyage-Model. gemini-001 erreicht bei CUAD außerdem den dritten Platz. Kein anderes Nicht-Voyage-Model erreicht die Top 2 in einer einzelnen Domäne.

Ein älteres Gemini-Model schlägt sein neueres „Preview“-Schwestermodell in zwei von drei Domänen

google/gemini-embedding-001 (veröffentlicht im Juni 2025) übertrifft google/gemini-embedding-2-preview sowohl bei CUAD (0.8980 gegenüber 0.8958) als auch bei MedRAG (0.9814 gegenüber 0.9685). Das neuere Model gewinnt nur TechQA (0.9301 gegenüber 0.8856), ein Abstand von 0.04, der mit einer Preiserhöhung von 33 % einhergeht ($0,20 gegenüber $0,15 pro 1M Input-Tokens). Die Darstellung von Gemini 2 als „neueres multimodales Upgrade“ hält bei englischer Text-Retrieval auf Rechts- oder Gesundheitskorpora nicht stand.

Für RAG-Workloads in diesen beiden Domänen ist gemini-embedding-001 heute die richtige Gemini-Wahl. Die Umkehrung bei MedRAG (001 auf Platz 2, 2-preview auf Platz 3) ist groß genug, dass ein Käufer, der standardmäßig das „neueste“ Model wählt, messbar Qualität verliert.

OpenAI text-embedding-3-large ist im Rechts- und Kundensupport-Bereich Mid-Tier

openai/text-embedding-3-large liegt auf Platz 11 von 15 Dense-Models bei CUAD mit 0.6430 nDCG@3. Acht strikt günstigere Models schlagen es bei Rechtsverträgen: beide $0,12-Voyage-4er-Flaggschiffe, voyage-3.5 zum halben Preis, voyage-4-lite zu einem Sechstel des Preises, beide Qwen3-Embedding-Varianten, intfloat/e5-large-v2 zu 1/13 des Preises und perplexity/pplx-embed-v1-0.6b (0.8031) zu 1/32 des Preises. OpenAIs Flaggschiff ist 9. bei TechQA (0.8581) und 11. bei MedRAG (0.9296). Im Gesundheitswesen landet es in einem engen Spitzencluster (Spanne von Platz 2 bis 11: 0.05 nDCG@3). Im Rechtsbereich ist der Abstand groß und teuer.

Bei $0,13 pro 1M Input-Tokens ist es 32x teurer als pplx-embed-v1-0.6b. Teams, die standardmäßig zu OpenAI greifen, weil „es die sichere Wahl“ sei, zahlen einen Aufpreis, den die 3-Domänen-Daten nicht rechtfertigen.

pplx-embed-v1-0.6b erreicht die Spitzenklasse zu einem Dreißigstel des Preises vergleichbarer Flaggschiffe

perplexity/pplx-embed-v1-0.6b erreicht bei $0,004 pro 1M Tokens durchschnittlich 0.8604 nDCG@3 über die drei Domänen, nur hinter den vier Voyage-Models, den beiden Gemini-Varianten und qwen/qwen3-embedding-8b. Es schlägt jedes OpenAI- und OSS-Model im Lineup. Außerdem schlägt es openai/text-embedding-3-large um 0.16 nDCG@3 bei CUAD, verliert um 0.012 bei TechQA (0.8457 gegenüber 0.8581) und gewinnt um 0.003 bei MedRAG. Das nächstgünstigere Top-10-Model ist qwen/qwen3-embedding-8b bei $0,010 (2.5x teurer), ebenfalls über OpenRouter bereitgestellt.

Für kostenorientierte RAG-Plattformen, bei denen Embedding ein wesentlicher Kostenfaktor ist, ist pplx-0.6b die klare Wahl. Der 30-50x-Abstand zu Flaggschiff-Preisen bringt keinerlei Retrieval-Qualitätsgewinn, im Wesentlichen in diesen drei Domänen.

BM25 liegt innerhalb von 0.02 des schwächsten Dense-Models bei medizinischen Abstracts

Bei MedRAG-PubMed erzielt BM25 0.7862 nDCG@3 gegenüber baai/bge-m3 (Dense-Modus) mit 0.8038, ein Abstand von 0.02. Die lexikalische Suche kommt bei diesem Korpus innerhalb von 0.15 an sieben der fünfzehn Dense-Models heran (bge-m3, e5-base-v2, openai-3-small, e5-large-v2, openai-3-large, pplx-0.6b, qwen3-4b). Der Grund ist strukturell bedingt: Medizinische Queries sind von Natur aus keyword-dicht (Arzneimittelnamen, Krankheitsnamen, Studiendesign-Begriffe, Gensymbole), und diese Tokens tragen den größten Teil des Retrieval-Signals. Ein Lucene-artiger Scorer gleicht sie direkt ab, ohne semantischen Kontext zu benötigen.

Ein Reranker auf Basis von BM25 ist eine plausible, günstigere Alternative zu einem Premium-Dense-Embedder für keyword-dichte Korpora: Die Retrieval-Lücke, die BM25 hinterlässt (0.2 nDCG@3 zur Spitzenklasse bei MedRAG), ist die Art von Lücke, die ein Cohere- oder Voyage-Reranker schließen kann. Bei CUAD beträgt der Abstand von BM25 zum besten Dense-Model 0.33, bei TechQA 0.36, bei MedRAG 0.20. Die Dichte des Domänenvokabulars ist der wichtigste Einzelfaktor dafür, wie sehr Dense-Embeddings helfen.

Domänenspezialisten vs. Generalisten über Anbieter hinweg

Voyage preist voyage-law-2 mit $0,12/M ein, identisch zu voyage-4-large. Die beiden Models teilen sich Anbieter, Tokenizer, SDK und das asymmetrische Aufrufschema. Nur der Schwerpunkt der Trainingsdaten unterscheidet sich. Der Vergleich beider gegen Generalisten über CUAD, TechQA und MedRAG isoliert den Effekt des Rechtstrainings.

Bei CUAD liegt voyage-law-2 auf Platz 1 mit 0.9126: 0.0024 über voyage-3.5, 0.0146 über gemini-embedding-001, 0.040 über voyage-4-large, 0.097 über qwen3-embedding-8b und 0.270 über openai/text-embedding-3-large (0.6430). Bei TechQA liegt voyage-law-2 auf Platz 4 mit 0.9020, 0.064 hinter voyage-4-large und 0.063 hinter voyage-3.5. Bei MedRAG liegt es auf Platz 6 mit 0.9409, 0.045 hinter voyage-4-large und 0.041 hinter gemini-embedding-001. Das Rechtstraining erhöht nDCG@3 bei CUAD und senkt es in den beiden anderen Domänen.

Ein Rechtsteam, das CUAD-artige Retrieval auf openai/text-embedding-3-large einsetzt, arbeitet mit 0.6430 nDCG@3 gegenüber voyage-law-2 mit 0.9126, ein Abstand von 0.27. Ein Gesundheits- oder Support-Team, das voyage-law-2 wählt, weil es bei CUAD auf Platz eins lag, verliert 0.045 an voyage-4-large bei MedRAG und 0.064 bei TechQA. Domänenspezifische Embedding-Models sind keine Drop-in-Upgrades für generische Retrieval. Eine branchenübergreifende „Best-Model“-Empfehlung wählt in mindestens einer Richtung falsch.

Wann voyage-law-2 zu wählen ist: Vertrags-Retrieval auf kommerziellen Rechtskorpora, die strukturell CUAD ähneln. Wann nicht: alles andere in diesem Benchmark. voyage-3.5 kostet $0,06/M, liegt 0.0024 unter voyage-law-2 bei CUAD und übertrifft es sowohl bei TechQA als auch bei MedRAG.

Wie die Embedding-Retrieval-Pipeline evaluiert wurde

Jedes Model kodiert einen Query-Vektor und N Dokument-Vektoren über einen Bi-Encoder. Wir berechnen die Kosinus-Ähnlichkeit zwischen dem Query-Vektor und jedem Dokument-Vektor und sortieren dann die Top-k für diese Query. Mit einem Gold-Dokument pro Query und binärer Relevanz prüft der Evaluator, ob das Gold in den Top-k erscheint und auf welchem Rang. Dieser Rang fließt in nDCG@3 (unsere primäre Metrik), nDCG@10 (für BEIR/MTEB-Vergleichbarkeit), Recall@10 und die Top-1-Trefferquote ein.

Query- und Dokument-Encoder sind nicht immer dieselbe Funktion. Einige Models werden asymmetrisch trainiert: Die Query-Seite wendet eine Transformation an, die Dokument-Seite eine andere. Diese Models symmetrisch aufzurufen („einfach den Text übergeben“) verschlechtert die Retrieval-Qualität stillschweigend um 0.05-0.45 nDCG@10. Unser Lineup teilt sich in vier Gruppen:

Warum nDCG@3 als primäre Metrik. Produktions-RAG-Pipelines geben die Top-3-bis-5-Chunks an das LLM weiter, nicht die Top 10. Der Primacy Bias bei LLMs mit langem Kontext macht Rang 1 wichtiger als Rang 3, und jeder Distraktor, der im LLM-Kontext über dem Gold landet, ist ein Kandidat für Konfabulation. Reranker würden diesen Effekt abflachen, aber die meisten Produktions-RAGs laufen aus Kosten- und Latenzgründen ohne einen, sodass der Rang des Embedders DER endgültige Rang IST.

Bei MedRAG erreichte Recall@10 die 1.000-Obergrenze für drei Voyage-Models und für qwen3-8b; nDCG@3 bewahrte auf denselben Queries eine Spanne von 0.10. nDCG@10 behält die BEIR-Vergleichbarkeit bei, verwischt aber die Unterschiede am Listenanfang, die operativ relevant sind.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Methodik des Embedding-Models-Benchmarks

Korpora (Domänenauswahl + warum)

Wir wählten drei Domänen, die unterschiedliche Retrieval-Eigenschaften beanspruchen und die drei häufigsten Enterprise-RAG-Bereiche abdecken. Jeder Korpus ist SHA256-gepinnt, sodass jeder Leser die exakte Zelle, die wir ausgeführt haben, reproduzieren kann.

PM209 (Fertigungshandbücher) wurde verworfen: nur 209 Dokumente, zu wenige, um das BM25-Entitäts-Abkürzungsproblem bei 150 Queries zu verhindern.

Query-Generierung: 3-LLM-Konsensprotokoll

Unsere Queries werden unter Writer-Validator-Trennung LLM-generiert: Das LLM, das eine Query entwirft, beurteilt nie sein eigenes Retrieval-Ziel, sodass Selbstverzerrung strukturell ausgeschlossen ist. Nur die beiden Nicht-Writer-Validatoren, die 20 Kandidaten gemischt ohne Hinweis darauf sehen, welches das Grounding-Dokument des Writers war, entscheiden über die Annahme. Zusätzlich zum LLM-Konsens haben wir etwa 25 % des akzeptierten Query-Sets manuell stichprobenartig geprüft (Autorenprüfung der Natürlichkeit der Query, der Ziel-Dokument-Ausrichtung und der R9-Konformität, unabhängig vom Validator-Votum).

Jede Query durchlief die folgende Pipeline, bevor sie in das Produktionsset aufgenommen wurde:

1. Writer entwirft eine einzelne Query, die in einem zufällig ausgewählten Dokument verankert ist. Der Writer rotiert über Claude Sonnet 4.6, Qwen3.6-plus und Gemini 3 Flash Preview, sodass kein einzelnes Model den linguistischen Fingerabdruck dominiert.
2. Scorer (fest: Claude Sonnet 4.6) bewertet die Query anhand einer Spezifitäts-Rubrik. Wir verlangten semantic_bridge ≥ 4 (die Query muss semantisch beschreiben, was das Dokument aussagt, nicht nur Namensübereinstimmung) und unique_referent in 3-5 (die deskriptiven Anker müssen ungefähr ein bis fünf Kandidatendokumente im Korpus identifizieren, nicht tausende oder genau eines).
3. Hard-Negative-Prüfung: Wir ziehen die BM25-Top-19-Distraktordokumente plus das Ziel und führen ein Near-Duplicate-Jaccard-Gate durch (>0.5 → die gesamte Query als mehrdeutige Ground Truth ablehnen).
4. Validatoren (2 Models, niemals einschließlich des Writers) wählen unabhängig das Zieldokument aus dem gemischten 20-Kandidaten-Set. Beide Validatoren müssen auf den exakten Ziel-Slot übereinstimmen, sonst wird die Query verworfen. „Nichts davon“ und „mehrere richtige Antworten“ sind gültige Validator-Antworten und verwerfen die Query ebenfalls.
5. Cohens Kappa pro Validator-Paar berechnet. Jede Query hatte genau 2 Rater (die Nicht-Writer aus dem 3-Model-Pool), sodass die 3 möglichen Writer-ausgeschlossenen Paare uns 3 separate Kappa-Werte pro Domäne liefern. Wir berichten sie einzeln und als n-gewichteten Mittelwert.

Pro-Paar-Cohens-Kappa mit beobachteter Übereinstimmung po und zufallserwarteter pe, berechnet auf akzeptierten Queries plus allen consensus_fail-Ablehnungen, bei denen beide Validatoren zu einer Entscheidung kamen. Die Zellen zeigen n / po / pe / κ:

Der n-gewichtete Mittelwert ist eine deskriptive Zusammenfassung, keine inferenzstatistische Größe. Er verdichtet die drei Pro-Paar-Kappas zu einer Zahl, gewichtet nach der Anzahl der Queries, die jedes Paar beurteilt hat; er ist selbst kein Kappa-Wert für einen gepoolten Dataset, und ein CI dafür müsste per Bootstrap-Resampling auf Query-Ebene berechnet werden (auf v2.1 verschoben).

Wir verwendeten Cohens Kappa (nicht Fleiss’ Kappa oder Krippendorffs Alpha), weil jede Query genau 2 Rater hatte: Die natürliche Betrachtung sind hier 3 paarweise Cohen-Berechnungen, da wir wissen wollen, ob zwei bestimmte Models übereinstimmen, nicht ob ein Panel aus 3 Ratern kohärent ist. Krippendorffs Alpha würde eine einzelne Zahl liefern, aber die drei Paare vermischen und die Varianz auf Paarebene verbergen.

CUAD im Speziellen: Claude × Qwen erreicht κ=0.974, während Claude × Gemini und Gemini × Qwen bei etwa κ=0.86 liegen, was Gemini-3-Flash-Preview als den unzuverlässigsten Beurteiler bei Rechtsverträgen isoliert. Diese Information ist ein Methodik-Signal, das es wert ist, hervorgehoben und nicht wegermittelt zu werden.

Wir haben eine Domäne erst in Produktion genommen, nachdem das n-gewichtete Mittel-Kappa 0.85 überschritten hatte. Alle drei haben es überschritten. MedRAGs 0.986 ist praktisch die Obergrenze: Die zwei Uneinigkeiten bei 156 Versuchen betrafen medizinisch mehrdeutige Ziele, bei denen beide Validatoren intern konsistent waren, aber einer ein verwandtes, aber nicht goldenes Abstract wählte.

R9-Entitäts-Anonymisierungs-Regelwerk (pro Domäne)

R9 ist eine harte Einschränkung zum Zeitpunkt der Query-Generierung. Ohne sie steigt BM25 über 0.97 nDCG@10, da benannte Entitäten als perfekte Keyword-Abkürzungen wirken; Dense-Embeddings hätten keinen semantischen Vorteil zu messen. Die Regel ist pro Domäne zugeschnitten, sodass die Anker, die in dieser Domäne tatsächlich Retrieval-Signal tragen, nutzbar bleiben:

• CUAD strikt. Verbot aller benannten Entitäten: Parteinamen, US-Bundesstaatennamen, Personal, Geldbeträge in exakten Dollar, spezifische Produktnamen. Erzwingung deskriptiver Eindeutigkeit: Branche + Rolle + zeitliche Ära + Geldspanne + geografischer Umfang. Die BM25-Obergrenze sank nach Durchsetzung von R9 von 0.97 auf 0.591.
• TechQA Option X. IBM-Produktnamen erlaubt (sie sind das primäre Retrieval-Signal für einen Systemadministrator), WENN die Query auch einen sekundären nicht-produktbezogenen deskriptiven Anker enthält (Symptomklasse, Fehlercode-Familie, Versionsära, Bereitstellungskontext). Kundennamen, US-Bundesstaaten, Personal weiterhin verboten. BM25-Obergrenze: 0.664.
• MedRAG medizinisch-gelockert + halluzinationssicher. Arzneimittelnamen, Krankheitsbegriffe, Anatomie, Gensymbole werden wortwörtlich aus der Quelle übernommen, da die Ersetzung durch Wirkstoffklassen-Labels das Risiko pharmakologischer Halluzination birgt („p-Chloramphetamin“ ist ein Serotonin-Freisetzer der Amphetamin-Klasse, aber LLM-Label-Übersetzungen seltenerer Medikamente scheitern stillschweigend). Die Query muss ≥2 nicht-medikamentöse Anker enthalten, damit reine Medikamentennamen-Keyword-Treffer das Ergebnis nicht allein tragen. BM25-Obergrenze: 0.809 (strukturelle Eigenschaft der Domäne, kein Methodikfehler).

Beispiel-Queries

Für jedes Beispiel ist die Query der Text, den wir dem Embedding-Model übergeben. Das Gold-Dokument ist das einzelne Element im Korpus (aus 509 CUAD-Verträgen, 28.000 TechQA-Technotes oder 50.000 PubMed-Abstracts), das die Query tatsächlich beantwortet. Die Retrieval-Aufgabe ist: Query einbetten, Kosinus-Ähnlichkeit mit jedem Dokument im Korpus berechnen und sie ordnen. Wenn das Gold-Dokument auf Rang 1 landet, erzielt die Query 1.000 bei nDCG@3; Rang 2 ergibt 0.631; Rang 3 ergibt 0.500; unter Top 3 ergibt 0.

CUAD (Recht)

Query:

Gold-Dokument (1 von 509 CUAD-Verträgen): ANIXABIOSCIENCESINC_06_09_2020-EX-10.1-COLLABORATION AGREEMENT. Es handelt sich um eine Zusammenarbeit aus dem Jahr 2020 zwischen einem deutschen Unternehmen und einem US-Biotech-Unternehmen zur COVID-19-Medikamentenentwicklung; der Vertrag legt eine Meilensteinzahlung fest, die fällig wird, wenn der erste Patient in Phase I einer klinischen Studie eintritt. Die Query enthält keine Parteinamen, keine Geldbeträge und keine Geografien außer zwei Länder-Tokens; das Retrieval-Signal ist Branche + Zeit + Meilensteinstruktur.

TechQA (Kundensupport)

Query:

Gold-Dokument (1 von 28.000 IBM-Technotes): swg1IY43185, das genau diesen WebSEAL-Bug dokumentiert und den Patch benennt, der ihn behebt. Der IBM-Produktname (WebSEAL) ist unter unserer TechQA-R9-Variante erlaubt, aber der Diskriminator ist das Verhaltensmuster des Bugs und der Request-Ordering-Anker, nicht der Produktname allein.

MedRAG (Gesundheitswesen)

Query:

Gold-Dokument (1 von 50.000 PubMed-Abstracts): PMID:231299, eine klinische Studie, die Abbruchraten aufgrund unerwünschter Reaktionen zwischen Cephradin und Pivmecillinam bei schwangeren Frauen mit Harnwegsinfektionen vergleicht. Arzneimittelnamen werden beibehalten, weil der Medikament-gegen-Medikament-Vergleich das Retrieval-Signal ist, aber die Query fügt Patientenpopulation + Behandlungsdauer + Unerwünschte-Ereignisse-Rahmung hinzu, damit eine reine Medikamentennamen-BM25-Treffer das Ziel nicht allein erreicht.

Statistisches Protokoll

Bootstrap-95 %-Konfidenzintervalle verwenden 10.000 Resamples, Perzentilmethode, Seed=2026 auf dem Pro-Query-Metrik-Vektor. Gepaarter Bootstrap auf denselben Query-Indizes für paarweise Signifikanz zwischen Model A und Model B (Behauptung erfordert ≥95 % der Resamples, bei denen A > B).

Einzelner Lauf pro (Model, Domäne)-Zelle. Eine 3-Lauf-Cross-Session-Varianzschicht wird aus Kostengründen auf v2.1 verschoben. Embedding-API-Aufrufe innerhalb einer Session sind bis auf wenige Teile pro Million Kosinus-Differenz deterministisch, per Stichprobe verifiziert; das Bootstrap-CI erfasst daher Query-Level-Rauschen, das bei n=150-246 die dominante Varianzquelle ist.

Indizierung und Bewertung

Keine Vektordatenbank. Jedes Model kodiert jedes Korpusdokument einmal; die Kosinus-Ähnlichkeit wird direkt in NumPy als dichtes Matrixprodukt L2-normalisierter Embeddings berechnet. Dies ist exakt, nicht approximativ, daher sind Ranggleichstände echte Model-Gleichstände und keine ANN-Artefakte.

Pro-Model-Chunking-Regel: 512-ctx-Models chunkten mit 512+64 Überlappung; 8K-20K-ctx-Models chunkten bis zum Kontext ohne Überlappung; 32K+-ctx-Models übernehmen das vollständige Dokument, wenn es passt (CUADs 9 %-Long-Tail überschreitet jedes Nicht-Nemotron-Kontextfenster und fällt auf Chunking zurück; die Cross-Model-Fairness wird durch Anwendung derselben Pro-Kontextgrößen-Policy auf jedes Model gewahrt).

Der Pro-Model-Aufruf mit asymmetrischer Retrieval ist das wichtigste Methodik-Detail und verdient einen eigenen Abschnitt. Er ist der Grund, warum gemini-embedding-2-preview 0.46 nDCG@10 mit dem dokumentierten Codebeispiel von OpenRouter erzielt, gegenüber 0.91 mit Googles Vertex-KI-Format. Siehe „Wie die Embedding-Retrieval-Pipeline evaluiert wurde“ oben für die Tabelle pro Familie.

Evaluierungs-Framework: ranx als primäre Metrik-Engine; trec_eval-artige Ausgabe, kompatibel mit MTEB-Leaderboard-Einreichungen. Bootstrap-CI berechnet durch scripts/bootstrap_ci.py über die beim Evaluierungslauf gespeicherten Pro-Query-Metrik-Arrays.

Getestete Models

Preise Stand 2026-04-23 aus dem OpenRouter-Katalog und der direkten Voyage-Preisseite.

Pro-Model nDCG@3 mit 95 % Bootstrap-CI

Bootstrap-95 %-Konfidenzintervalle, berechnet über 10.000 Resamples des Pro-Query-Metrik-Vektors (Perzentilmethode, Seed=2026). CI-Breiten von 0.03-0.07 bei diesen Stichprobengrößen (n=154-246) bedeuten, dass Punktschätzungs-Abstände unter ~0.03 im Rauschen liegen und als Gleichstände behandelt werden sollten. Sortiert nach 3-Domänen-Durchschnitt-nDCG@3:

Vier statistische Gleichstände, bei denen Punktschätzungs-Rankings bei 95 % CI nicht signifikant sind:

Einschränkungen

Menschliche Prüfung durch einen Autor: Ein Autor hat etwa 25 % der final akzeptierten Queries stichprobenartig auf Natürlichkeit, Zielausrichtung und R9-Konformität geprüft.

Weiterführende Lektüre

Entdecken Sie weitere RAG-Benchmarks, wie zum Beispiel:

• Top 10 mehrsprachige Embedding-Models für RAG
• Top 16 Open-Source-Embedding-Models für RAG
• Top-Vektordatenbank für RAG: Qdrant vs. Weaviate vs. Pinecone
• Reranker-Benchmark: Top 8 Models im Vergleich
• Multimodale Embedding-Models: Apple vs. Meta vs. OpenAI

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Embedding-Models: OpenAI vs. Gemini vs. Voyage}},
  year   = {2026},
  month  = apr,
  howpublished    = {\url{https://aimultiple.com/embedding-models}},
  note   = {AIMultiple. Abgerufen am 25. April 2026}
}

Änderungsprotokoll

5 Aktualisierungen

1. 202629. Jun

   Top-1-Treffer-Metrikdefinition zur Embedding-Benchmark-Methodik hinzugefügt.

2. 24. Apr

   Ersetzte den Benchmark durch 15 Modelle und eine BM25-Baseline, getestet an Rechts-, Kundensupport- und Gesundheitskorpora.

3. 202525. Nov

   Der Abschnitt Potenzielle Gründe für die Leistungsunterschiede des Einbettungsmodells wurde hinzugefügt.

4. 18. Jul

   Der Abschnitt „Fazit“ wurde mit neuen Modellempfehlungen aktualisiert.

5. 10. Jul

   Google wurde in der Einleitung durch Gemini ersetzt.

Ekrem Sarı

KI-Forscher

Folgen auf

Ekrem ist KI-Forscher und Datenwissenschaftler bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten