Embedding-Modelle: OpenAI vs. Gemini vs. Voyage

Wir haben 15 englische Text-Embedding-Modelle und eine BM25-Baseline an über 500 manuell kuratierten Abfragen in drei Retrieval-Domänen einem Benchmark unterzogen: Vertragsrecht (CUAD), Kundensupport (IBM TechQA) und Gesundheitswesen (MedRAG PubMed).

Voyage-3.5 liegt insgesamt auf Platz 1. Perplexity Embed V1 0.6b erreicht das obere Mittelfeld zum niedrigsten Preis in unserem Benchmark.

Ergebnisse des Embedding-Modelle-Benchmarks

Erläuterung der Metriken

nDCG@3: Normalized discounted cumulative gain bei Cutoff 3. Mit einem relevanten Dokument pro Abfrage beträgt er 1 / log2(Rang + 1), wenn das Gold-Dokument in den Top 3 landet, andernfalls 0. Rang 1 erzielt 1.000, Rang 2 erzielt 0.631, Rang 3 erzielt 0.500. Wir verwenden nDCG@3 als primäre Metrik, weil Produktions-RAG-Pipelines die Top-3- bis Top-5-Chunks an das LLM übergeben und der Primacy Bias Rang 1 überproportional wichtig macht.

nDCG@10: Dieselbe Formel mit Cutoff 10.

Recall@10: Anteil der Abfragen, bei denen das Gold-Dokument unter den Top 10 erscheint.

MRR@10: Mean Reciprocal Rank bei Cutoff 10. Gold auf Rang 1 erzielt 1.000, Rang 2 erzielt 0.500 und Rang 10 erzielt 0.100. Ähnliche Intention wie nDCG@3, aber mit einer stärkeren Rangabstufung.

Top-1-Treffer: Anteil der Abfragen, bei denen das gold-relevante Dokument das einzige Top-Ergebnis ist. Die strengste Metrik und diejenige, die einem Suchworkflow ohne LLM am nächsten kommt.

nDCG@3 nach Domäne

Recht (CUAD, 246 Abfragen, 509 Verträge): Recht ist die einzige Domäne, in der das Spezialmodell voyage-law-2 gewinnt; seine CUAD-abgestimmten Trainingsdaten zahlen sich mit +0.040 nDCG@3 gegenüber voyage-4-large aus. openai/text-embedding-3-large liegt auf Rang 11 mit 0.6430, hinter sechs günstigeren Modellen. BM25-Untergrenze: 0.5844.

Kundensupport (TechQA, 151 Abfragen, 28.000 IBM-Technotes): Der Abstand von voyage-4-lite zum nächsten Modell beträgt 0.018. gemini-embedding-001 fällt auf Rang 7 (0.8856), 0.045 hinter seinem neueren Geschwistermodell bei TechQA, obwohl es die anderen beiden Domänen gewinnt. BM25-Untergrenze: 0.6097.

Gesundheitswesen (MedRAG-PubMed, 154 Abfragen, 50.000 Abstracts): Das Gesundheitswesen ist das engste Cluster in unserem Benchmark (14 Modelle erzielen über 0.88), weil medizinisches Vokabular keyword-dicht ist, was die meisten Abfragen in das oberste Cluster drückt. BM25-Untergrenze: 0.7862, innerhalb von 0.02 des schwächsten dichten Modells. gemini-embedding-001 schlägt gemini-embedding-2-preview hier außerdem mit dem größten Abstand (+0.013).

Die Umkehrungen auf Domänenebene rechtfertigen den Rahmen des 3-Domänen-Durchschnitts: Keine einzelne Domäne ist ein fairer Proxy für „welches Modell das beste ist“, und wer anhand einer Domäne auswählt, wird die anderen falsch einstufen.

Die Bootstrap-Konfidenzintervalle pro Modell und Domänenzelle von 95 % sowie die vier paarweisen Gleichstände, die Punktschätz-Rankings verbergen, sind im Abschnitt zur Methodik detailliert beschrieben.

Genauigkeit vs. Preis: Kosten pro 1M Tokens

Erläuterung der Metriken

Preis pro 1M Eingabetokens ist der Listenpreis für das Embedding von 1M Eingabetokens, Stand 2026-04-23. Die Voyage-Preise stammen von der direkten Voyage-Preisseite. Über OpenRouter bereitgestellte Modelle verwenden den Katalog-Snapshot von OpenRouter vom selben Tag. Abfrage- und Dokument-Tokens werden bei allen getesteten Anbietern gleich bepreist. BM25 wird für die logarithmische Achse bei $0.001/M eingezeichnet. Die tatsächlichen Selbsthosting-Kosten betragen $0.

3-Domänen-Durchschnitt nDCG@3 ist der ungewichtete Mittelwert des nDCG@3 pro Domäne über die drei Korpora hinweg. Jede Domäne trägt unabhängig von der Abfrageanzahl gleich zum Durchschnitt bei.

• Für kostenorientierte RAG-Plattformen ist pplx-embed-v1-0.6b die klare Wahl. Mit $0.004/M ist es 30- bis 50-mal günstiger als jedes der kommerziellen Flaggschiffe und liefert 92 % der Qualität von voyage-3.5 (0.8604 / 0.9429). Kein anderes Modell in unserem Benchmark konkurriert auf diesem Preisniveau.
• Für qualitätsorientierte Enterprise-RAG nimmt voyage-3.5 über das direkte Voyage-SDK den obersten Pareto-Punkt ein. Man tauscht eine zusätzliche API-Integration (gegenüber einem reinen OpenRouter-Stack) gegen ein geringfügig besseres Modell als das eigene Flaggschiff von Voyage zum halben Preis. Der Instinkt „immer das Neueste und Größte wählen“ ist im Voyage-Katalog falsch.
• Für OSS- / selbst hostbare / On-Prem-Bereitstellungen gewinnt qwen3-embedding-8b. Es ist der günstigste nicht-triviale Embedder in unserem Benchmark zu $0.010/M, erreicht oder übertrifft jede andere von uns getestete OSS-Encoder-Familie und wird mit selbst hostbaren Gewichten ausgeliefert.
• Die Premium-Flaggschiffe (openai-3-large, gemini-2-preview, voyage-4-large, gemini-001) verlieren alle gegen voyage-3.5 im 3-Domänen-Durchschnitt, obwohl voyage-3.5 2- bis 3-mal günstiger ist als jedes von ihnen.

Kernergebnisse des Embedding-Benchmarks

voyage-3.5 gewinnt den 3-Domänen-Durchschnitt und schlägt das Flaggschiff voyage-4-large zum halben Preis

voyage-3.5 erreicht im Durchschnitt 0.9429 nDCG@3 über Recht, Kundensupport und Gesundheitswesen. Das Flaggschiff voyage-4-large erreicht im Durchschnitt 0.9416 bei $0.12 pro 1M Tokens, also 2x so viel wie der $0.06-Preis von voyage-3.5. Das Flaggschiff gewinnt TechQA um 0.002 und MedRAG um 0.032. Es verliert CUAD um 0.037 (0.8730 vs. 0.9102), genug, dass der 3-Domänen-Durchschnitt unter voyage-3.5 liegt. Innerhalb der Voyage-Produktpalette ist das ältere Mittelklassemodell die bessere Allzweckwahl. Das Flaggschiff rechtfertigt seinen Aufpreis nur im Gesundheitswesen.

Voyage belegte in allen drei Domänen den Spitzenplatz und sicherte sich auf CUAD und TechQA die Top 2. Bei MedRAG stieß gemini-embedding-001 auf Platz 2 vor (0.9814, hinter voyage-4-large mit 0.9855), vor allen anderen Voyage-Modellen. gemini-001 erreicht auf CUAD außerdem den dritten Platz. Kein anderes Nicht-Voyage-Modell erreicht in einer einzelnen Domäne die Top 2.

Ein älteres Gemini-Modell schlägt sein neueres „Preview“-Geschwistermodell in zwei von drei Domänen

google/gemini-embedding-001 (veröffentlicht im Juni 2025) übertrifft google/gemini-embedding-2-preview sowohl bei CUAD (0.8980 vs. 0.8958) als auch bei MedRAG (0.9814 vs. 0.9685). Das neuere Modell gewinnt nur TechQA (0.9301 vs. 0.8856), ein Abstand von 0.04, der mit einer Preiserhöhung von 33 % einhergeht ($0.20 vs. $0.15 pro 1M Eingabetokens). Das Framing „neueres multimodales Upgrade“ von Gemini 2 hält bei englischer Textsuche in Rechts- oder Gesundheitskorpora nicht stand.

Für RAG-Workloads in diesen beiden Domänen ist gemini-embedding-001 heute die richtige Gemini-Wahl. Der Wechsel bei MedRAG (001 auf Platz 2, 2-preview auf Platz 3) ist groß genug, dass ein Käufer, der standardmäßig zum „neuesten“ Modell greift, messbar Qualität verliert.

OpenAI text-embedding-3-large liegt im Mittelfeld bei Recht und Kundensupport

openai/text-embedding-3-large liegt auf Rang 11 von 15 dichten Modellen bei CUAD mit 0.6430 nDCG@3. Acht strikt günstigere Modelle schlagen es bei Vertragsrecht: beide Voyage-Flaggschiffe der 4er-Serie für $0.12, voyage-3.5 zum halben Preis, voyage-4-lite zu einem Sechstel des Preises, beide Qwen3-Embedding-Varianten, intfloat/e5-large-v2 zu einem 13tel des Preises und perplexity/pplx-embed-v1-0.6b (0.8031) zu einem 32tel des Preises. Das Flaggschiff von OpenAI liegt bei TechQA auf Rang 9 (0.8581) und bei MedRAG auf Rang 11 (0.9296). Im Gesundheitswesen landet es in einem engen oberen Cluster (Spanne von Platz 2 bis Platz 11: 0.05 nDCG@3). Im Recht ist die Lücke groß und teuer.

Bei $0.13 pro 1M Eingabetokens ist es 32x teurer als pplx-embed-v1-0.6b. Teams, die standardmäßig zu OpenAI greifen, weil „es die sichere Wahl ist“, zahlen einen Aufpreis, den die 3-Domänen-Daten nicht rechtfertigen.

pplx-embed-v1-0.6b erreicht die oberste Kategorie zu einem Dreißigstel des Preises vergleichbarer Flaggschiffe

perplexity/pplx-embed-v1-0.6b erreicht zu $0.004 pro 1M Tokens im Durchschnitt 0.8604 nDCG@3 über die drei Domänen, hinter nur den vier Voyage-Modellen, den beiden Gemini-Varianten und qwen/qwen3-embedding-8b. Es schlägt jedes OpenAI- und OSS-Modell im Teilnehmerfeld. Es schlägt außerdem openai/text-embedding-3-large bei CUAD um 0.16 nDCG@3, verliert bei TechQA um 0.012 (0.8457 vs. 0.8581) und gewinnt bei MedRAG um 0.003. Das nächstgünstigste Top-10-Modell ist qwen/qwen3-embedding-8b zu $0.010 (2.5x mehr), ebenfalls über OpenRouter bereitgestellt.

Für kostenorientierte RAG-Plattformen, bei denen Embedding ein wesentlicher Kostenfaktor ist, ist pplx-0.6b die klare Wahl. Der Abstand von 30- bis 50x zu Flaggschiff-Preisen bringt in diesen drei Domänen im Wesentlichen keinerlei Retrieval-Qualität.

BM25 liegt bei medizinischen Abstracts innerhalb von 0.02 des schwächsten dichten Modells

Bei MedRAG-PubMed erreicht BM25 0.7862 nDCG@3 gegenüber baai/bge-m3 (dichter Modus) mit 0.8038, ein Abstand von 0.02. Die lexikalische Suche kommt bei diesem Korpus auf 0.15 an sieben der fünfzehn dichten Modelle heran (bge-m3, e5-base-v2, openai-3-small, e5-large-v2, openai-3-large, pplx-0.6b, qwen3-4b). Der Grund ist strukturell: Medizinische Abfragen sind naturgemäß keyword-dicht (Arzneimittelnamen, Krankheitsnamen, Studiendesign-Begriffe, Gensymbole), und diese Tokens tragen den größten Teil des Retrieval-Signals. Ein Lucene-artiger Scorer trifft sie direkt, ohne semantischen Kontext zu benötigen.

Ein Reranker auf BM25 ist eine plausible, günstigere Alternative zu einem Premium-Dense-Embedder für keyword-dichte Korpora: Die Retrieval-Lücke, die BM25 hinterlässt (0.2 nDCG@3 zur Spitzengruppe bei MedRAG), ist die Art von Lücke, die ein Cohere- oder Voyage-Reranker schließen kann. Bei CUAD beträgt die Lücke von BM25 zum besten dichten Modell 0.33, bei TechQA 0.36, bei MedRAG 0.20. Die Dichte des Domänenvokabulars ist der größte Einzelfaktor dafür, wie viel dichte Embeddings helfen.

Domänenspezialisten vs. Generalisten über Anbieter hinweg

Voyage bepreist voyage-law-2 mit $0.12/M, identisch zu voyage-4-large. Die beiden Modelle teilen sich Anbieter, Tokenizer, SDK und asymmetrisches Aufrufschema. Nur die Schwerpunktsetzung der Trainingsdaten unterscheidet sich. Der Lauf beider Modelle gegen Generalisten über CUAD, TechQA und MedRAG isoliert den Effekt des juristischen Trainings.

Bei CUAD liegt voyage-law-2 auf Rang 1 mit 0.9126: 0.0024 über voyage-3.5, 0.0146 über gemini-embedding-001, 0.040 über voyage-4-large, 0.097 über qwen3-embedding-8b und 0.270 über openai/text-embedding-3-large (0.6430). Bei TechQA liegt voyage-law-2 auf Rang 4 mit 0.9020, 0.064 hinter voyage-4-large und 0.063 hinter voyage-3.5. Bei MedRAG liegt es auf Rang 6 mit 0.9409, 0.045 hinter voyage-4-large und 0.041 hinter gemini-embedding-001. Das juristische Training erhöht nDCG@3 auf CUAD und senkt es in den anderen beiden Domänen.

Ein Rechtsteam, das CUAD-artige Retrieval mit openai/text-embedding-3-large produktiv einsetzt, arbeitet mit 0.6430 nDCG@3 gegenüber voyage-law-2 mit 0.9126, eine Lücke von 0.27. Ein Gesundheits- oder Support-Team, das voyage-law-2 wählt, weil es auf CUAD auf Platz 1 lag, verliert bei MedRAG 0.045 an voyage-4-large und bei TechQA 0.064. Domänenspezifische Embedding-Modelle sind keine Drop-in-Upgrades für generisches Retrieval. Eine branchenübergreifende „Bestes-Modell“-Empfehlung wählt in mindestens einer Richtung falsch.

Wann voyage-law-2 wählen: Vertrags-Retrieval in kommerziellen Rechtskorpora, die strukturell CUAD ähneln. Wann nicht: alles andere in diesem Benchmark. voyage-3.5 kostet $0.06/M, liegt auf CUAD 0.0024 unter voyage-law-2 und übertrifft es sowohl bei TechQA als auch bei MedRAG.

Wie die Embedding-Retrieval-Pipeline evaluiert wurde

Jedes Modell kodiert einen Abfragevektor und N Dokumentvektoren über einen Bi-Encoder. Wir berechnen die Kosinusähnlichkeit zwischen dem Abfragevektor und jedem Dokumentvektor und sortieren dann die Top-k für diese Abfrage. Mit einem Gold-Dokument pro Abfrage und binärer Relevanz prüft der Evaluator, ob das Gold-Dokument in den Top-k erscheint und auf welchem Rang. Dieser Rang fließt in nDCG@3 (unsere primäre Metrik), nDCG@10 (für BEIR/MTEB-Vergleichbarkeit), Recall@10 und die Top-1-Trefferquote ein.

Abfrage- und Dokumentencoder sind nicht immer dieselbe Funktion. Einige Modelle werden asymmetrisch trainiert: Die Abfrageseite wendet eine Transformation an, die Dokumentseite eine andere. Werden diese Modelle symmetrisch aufgerufen („einfach den Text übergeben“), sinkt die Retrieval-Qualität still um 0.05-0.45 nDCG@10. Unser Testfeld teilt sich in vier Wege:

Warum nDCG@3 als primäre Metrik. Produktions-RAG-Pipelines übergeben die obersten 3 bis 5 Chunks an das LLM, nicht die Top 10. Der Primacy Bias in LLMs mit langem Kontext macht Rang 1 wichtiger als Rang 3, und jeder Distraktor, der im LLM-Kontext über dem Gold landet, ist ein Kandidat für Konfabulation. Reranker würden diesen Effekt abflachen, aber die meisten Produktions-RAGs laufen aus Kosten- und Latenzgründen ohne einen, daher ist der Rang des Embedders der endgültige Rang.

Bei MedRAG erreichte Recall@10 die Obergrenze von 1.000 für drei Voyage-Modelle und für qwen3-8b; nDCG@3 bewahrte bei denselben Abfragen eine Spannweite von 0.10. nDCG@10 behält die BEIR-Vergleichbarkeit bei, mildert aber die operativ relevanten Unterschiede am Listenanfang ab.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Methodik des Embedding-Modelle-Benchmarks

Korpora (Domänenauswahl + Warum)

Wir haben drei Domänen gewählt, die unterschiedliche Retrieval-Eigenschaften belasten und die drei häufigsten Enterprise-RAG abdecken. Jedes Korpus ist SHA256-fixiert, sodass jeder Leser die exakte Zelle reproduzieren kann, die wir ausgeführt haben.

PM209 (Fertigungshandbücher) wurde verworfen: nur 209 Dokumente, zu wenige, um das BM25-Problem der Entity-Abkürzungen bei 150 Abfragen zu verhindern.

Abfragegenerierung: 3-LLM-Konsensprotokoll

Unsere Abfragen werden unter Trennung von Writer und Validator LLM-generiert: Das LLM, das eine Abfrage entwirft, beurteilt niemals sein eigenes Retrieval-Ziel, wodurch Self-Bias strukturell ausgeschlossen ist. Nur die beiden Nicht-Writer-Validatoren entscheiden über die Annahme, nachdem sie die 20 Kandidaten gemischt sehen, ohne Hinweis darauf, welches das Grounding-Dokument des Writers war. Zusätzlich zum LLM-Konsens haben wir etwa 25 % des akzeptierten Abfragesatzes manuell stichprobenartig überprüft (Autorenprüfung von Natürlichkeit der Abfrage, Ausrichtung am Zieldokument und R9-Konformität, unabhängig vom Validator-Votum).

Jede Abfrage durchlief die folgende Pipeline, bevor sie in den Produktionssatz aufgenommen wurde:

1. Writer entwirft eine einzelne Abfrage, die in einem zufällig gesampelten Dokument verankert ist. Der Writer rotiert über Claude Sonnet 4.6, Qwen3.6-plus und Gemini 3 Flash Preview, sodass kein einzelnes Modell den linguistischen Fingerabdruck dominiert.
2. Scorer (fest: Claude Sonnet 4.6) bewertet die Abfrage anhand einer Spezifitäts-Rubrik. Wir forderten semantic_bridge ≥ 4 (die Abfrage muss semantisch beschreiben, was das Dokument aussagt, nicht nur Namensübereinstimmung) und unique_referent in 3-5 (die deskriptiven Anker müssen ungefähr ein bis fünf Kandidatendokumente im Korpus identifizieren, nicht Tausende oder genau eines).
3. Hard-Negative-Check: Wir ziehen die BM25-Top-19-Distraktordokumente plus das Ziel und lassen ein Near-Duplicate-Jaccard-Gate laufen (>0.5 → die gesamte Abfrage als mehrdeutige Ground Truth ablehnen).
4. Validatoren (2 Modelle, niemals einschließlich des Writers) wählen unabhängig das Zieldokument aus dem gemischten 20-Kandidatensatz. Beide Validatoren müssen auf den exakten Zielslot einigen, sonst wird die Abfrage verworfen. „Keines der oben genannten“ und „mehrere richtige Antworten“ sind gültige Validator-Antworten und verwerfen die Abfrage ebenfalls.
5. Cohens Kappa wird pro Validator-Paar berechnet. Jede Abfrage hatte genau 2 Rater (die Nicht-Writer aus dem 3-Modell-Pool), daher ergeben die 3 möglichen writer-ausgeschlossenen Paare 3 separate Kappa-Werte pro Domäne. Wir berichten sie einzeln und als n-gewichteten Mittelwert.

Cohens Kappa pro Paar mit beobachteter Übereinstimmung po und zufallserwarteter Übereinstimmung pe, berechnet auf akzeptierten Abfragen plus allen consensus_fail-Ablehnungen, bei denen beide Validatoren zu einer Entscheidung kamen. Zellen zeigen n / po / pe / κ:

Der n-gewichtete Mittelwert ist eine deskriptive Zusammenfassung, keine inferenzstatistische Größe. Er verdichtet die drei Kappas pro Paar zu einer Zahl, gewichtet nach der Anzahl der Abfragen, die jedes Paar beurteilt hat; er ist selbst kein Kappa-Wert für einen gepoolten Datensatz, und ein CI dafür müsste per Bootstrap-Resampling auf Abfrageebene berechnet werden (auf v2.1 verschoben).

Wir haben Cohens Kappa verwendet (nicht Fleiss’ Kappa oder Krippendorffs Alpha), weil jede Abfrage genau 2 Rater hatte: Die natürliche Betrachtung sind hier 3 paarweise Cohen-Berechnungen, da wir wissen wollen, ob zwei bestimmte Modelle übereinstimmen, und nicht, ob ein Gremium aus 3 Ratern kohärent ist. Krippendorffs Alpha würde eine einzige Zahl liefern, aber die drei Paare vermischen und die Varianz auf Paarebene verdecken.

Speziell bei CUAD: Claude × Qwen erreicht κ=0.974, während Claude × Gemini und Gemini × Qwen bei etwa κ=0.86 liegen, was Gemini-3-flash-preview als lautesten Richter bei Rechtsverträgen isoliert. Diese Information ist ein Methodik-Signal, das es wert ist, gezeigt statt weggeglättet zu werden.

Wir haben eine Domäne erst in Produktion genommen, nachdem der n-gewichtete Mittelwert von Kappa die Schwelle von 0.85 überschritten hatte. Alle drei überschritten sie. MedRAGs 0.986 ist praktisch die Obergrenze: Die beiden Uneinigkeiten über 156 Versuche betrafen medizinisch mehrdeutige Ziele, bei denen beide Validatoren intern konsistent waren, aber einer ein verwandtes, aber nicht goldenes Abstract wählte.

R9-Regelwerk zur Entitätsanonymisierung (pro Domäne)

R9 ist eine harte Einschränkung zum Zeitpunkt der Abfragegenerierung. Ohne sie steigt BM25 über 0.97 nDCG@10, weil benannte Entitäten als perfekte Keyword-Abkürzungen wirken; dichte Embeddings haben keinen semantischen Vorteil, der gemessen werden könnte. Die Regel ist pro Domäne zugeschnitten, damit die Anker, die in dieser Domäne tatsächlich Retrieval-Signal tragen, nutzbar bleiben:

• CUAD streng. Alle benannten Entitäten verbieten: Parteinamen, Namen von US-Bundesstaaten, Personal, Geldbeträge in exakten Dollar, spezifische Produktnamen. Deskriptive Eindeutigkeit erzwingen: Branche + Rolle + zeitliche Ära + Geldspanne + geografischer Umfang. Die BM25-Obergrenze sank nach Durchsetzung von R9 von 0.97 auf 0.591.
• TechQA Option X. IBM-Produktnamen sind erlaubt (sie sind das primäre Retrieval-Signal für einen Systemadministrator), WENN die Abfrage auch einen sekundären, nicht produktbezogenen deskriptiven Anker enthält (Symptomklasse, Fehlercode-Familie, Versionsära, Bereitstellungskontext). Kundennamen, US-Bundesstaaten und Personal bleiben verboten. BM25-Obergrenze: 0.664.
• MedRAG medizinisch-gelockert + halluzinationssicher. Arzneimittelnamen, Krankheitsbegriffe, Anatomie und Gensymbole werden wörtlich aus der Quelle übernommen, da das Ersetzen von Wirkstoffklassen-Labels das Risiko pharmakologischer Halluzination birgt („p-chloroamphetamine“ ist ein Serotonin-Freisetzer aus der Amphetaminklasse, aber LLM-Labelübersetzungen seltenerer Wirkstoffe scheitern still). Die Abfrage muss ≥2 Nicht-Arzneimittel-Anker enthalten, damit ein reiner Wirkstoffnamen-Keyword-Match das Ergebnis nicht trägt. BM25-Obergrenze: 0.809 (strukturelle Eigenschaft der Domäne, kein Methodikfehler).

Beispielabfragen

In jedem Beispiel ist die Abfrage der Text, den wir dem Embedding-Modell übergeben. Das Gold-Dokument ist das einzelne Element im Korpus (aus 509 CUAD-Verträgen, 28.000 TechQA-Technotes oder 50.000 PubMed-Abstracts), das die Abfrage tatsächlich beantwortet. Die Retrieval-Aufgabe lautet: Abfrage einbetten, Kosinusähnlichkeit mit jedem Dokument im Korpus berechnen und diese einordnen. Wenn das Gold-Dokument auf Rang 1 landet, erzielt die Abfrage 1.000 bei nDCG@3; Rang 2 erzielt 0.631; Rang 3 erzielt 0.500; unterhalb der Top 3 beträgt der Wert 0.

CUAD (Recht)

Abfrage:

Gold-Dokument (1 von 509 CUAD-Verträgen): ANIXABIOSCIENCESINC_06_09_2020-EX-10.1-COLLABORATION AGREEMENT. Es handelt sich um eine Zusammenarbeit aus dem Jahr 2020 zwischen einem deutschen Unternehmen und einem US-Biotech-Unternehmen zur Arzneimittelforschung gegen COVID-19; der Vertrag legt eine Meilensteinzahlung fest, die fällig wird, wenn der erste Patient in Phase I einer klinischen Studie eintritt. Die Abfrage enthält keine Parteinamen, keine Geldbeträge und keine geografischen Angaben außer zwei Ländertokens; das Retrieval-Signal besteht aus Branche + Zeit + Meilensteinstruktur.

TechQA (Kundensupport)

Abfrage:

Gold-Dokument (1 von 28.000 IBM-Technotes): swg1IY43185, das genau diesen WebSEAL-Bug dokumentiert und den Patch benennt, der ihn behebt. Der IBM-Produktname (WebSEAL) ist unter unserer TechQA-R9-Variante erlaubt, aber das Unterscheidungsmerkmal ist das Verhaltensmuster des Bugs und der Anker der Anfrage-Reihenfolge, nicht der Produktname allein.

MedRAG (Gesundheitswesen)

Abfrage:

Gold-Dokument (1 von 50.000 PubMed-Abstracts): PMID:231299, eine klinische Studie, die Abbruchraten aufgrund unerwünschter Reaktionen zwischen Cephradin und Pivmecillinam bei schwangeren Frauen mit Harnwegsinfektionen vergleicht. Arzneimittelnamen werden beibehalten, weil der Vergleich von Arzneimittel gegen Arzneimittel das Retrieval-Signal ist, aber die Abfrage ergänzt Patientenpopulation + Behandlungsdauer + Rahmen unerwünschter Ereignisse, sodass ein reiner BM25-Match über den Arzneimittelnamen das Ziel nicht allein erreicht.

Statistisches Protokoll

Bootstrap-Konfidenzintervalle von 95 % verwenden 10.000 Resamples, Perzentilmethode, Seed=2026, auf dem Metrikvektor pro Abfrage. Gepaartes Bootstrap auf denselben Abfrageindizes für paarweise Signifikanz zwischen Modell A und Modell B (die Behauptung erfordert ≥95 % der Resamples, bei denen A > B).

Ein einzelner Lauf pro Zelle (Modell, Domäne). Eine Varianzebene über 3 Läufe und Sitzungen hinweg wird aus Kostengründen auf v2.1 verschoben. Innerhalb einer Sitzung sind Embedding-API-Aufrufe bis auf wenige Teile pro Million Kosinusdifferenz deterministisch, per Stichprobe verifiziert; das Bootstrap-CI erfasst daher das Abfragelevel-Rauschen, das bei n=150-246 die dominante Varianzquelle ist.

Indexierung und Bewertung

Keine Vektordatenbank. Jedes Modell kodiert jedes Korpusdokument einmal; die Kosinusähnlichkeit wird direkt in NumPy als dichtes Matrixprodukt L2-normalisierter Embeddings berechnet. Das ist exakt, nicht approximativ, daher sind Ranggleichstände echte Modellgleichstände und keine ANN-Artefakte.

Chunking-Regel pro Modell: Modelle mit 512 Kontext chunkieren 512+64 Überlappung; Modelle mit 8K-20K Kontext chunkieren ohne Überlappung; Modelle mit 32K+-Kontext nehmen das gesamte Dokument auf, wenn es passt (der 9 %-Long-Tail von CUAD überschreitet jedes Nicht-Nemotron-Kontextfenster und fällt auf Chunking zurück; modellübergreifende Fairness wird gewahrt, indem dieselbe Richtlinie pro Kontextgröße auf jedes Modell angewendet wird).

Der Aufruf der asymmetrischen Embedding-Retrieval pro Modell ist das mit Abstand wichtigste Methodikdetail und verdient einen eigenen Abschnitt. Er ist der Grund, warum gemini-embedding-2-preview im dokumentierten Codebeispiel von OpenRouter 0.46 nDCG@10 erreicht, gegenüber 0.91 im Vertex-KI-Format von Google. Siehe oben „Wie die Embedding-Retrieval-Pipeline evaluiert wurde“ für die Tabelle pro Familie.

Evaluierungsframework: ranx als primäre Metrik-Engine; trec_eval-artige Ausgabe kompatibel mit MTEB-Leaderboard-Einreichungen. Das Bootstrap-CI wird von scripts/bootstrap_ci.py über die pro Abfrage gespeicherten Metrik-Arrays aus dem Evaluierungslauf berechnet.

Getestete Modelle

Die Preise sind Stand 2026-04-23 aus dem OpenRouter-Katalog und der direkten Voyage-Preisseite.

nDCG@3 pro Modell mit 95 % Bootstrap-CI

Bootstrap-Konfidenzintervalle von 95 %, berechnet über 10.000 Resamples des Metrikvektors pro Abfrage (Perzentilmethode, Seed=2026). CI-Breiten von 0.03-0.07 bei diesen Stichprobengrößen (n=154-246) bedeuten, dass Punktschätz-Abstände unter ~0.03 im Rauschen liegen und als Gleichstände behandelt werden sollten. Sortiert nach dem 3-Domänen-Durchschnitt nDCG@3:

Vier statistische Gleichstände, bei denen Punktschätz-Rankings bei 95 % CI nicht signifikant sind:

Einschränkungen

Menschliche Überprüfung durch einen Autor: Ein Autor hat stichprobenartig etwa 25 % der endgültig akzeptierten Abfragen auf Natürlichkeit, Zielausrichtung und R9-Konformität überprüft.

Weiterführende Literatur

Entdecken Sie weitere RAG-Benchmarks, wie zum Beispiel:

• Top 10 mehrsprachige Embedding-Modelle für RAG
• Top 16 Open-Source-Embedding-Modelle für RAG
• Top-Vektordatenbank für RAG: Qdrant vs. Weaviate vs. Pinecone
• Reranker-Benchmark: Top 8 Modelle im Vergleich
• Multimodale Embedding-Modelle: Apple vs. Meta vs. OpenAI
• Hybrides RAG: RAG-Genauigkeit steigern
• Graph-RAG vs. Vektor-RAG

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Embedding-Modelle: OpenAI vs. Gemini vs. Voyage}},
  year   = {2026},
  month  = apr,
  howpublished    = {\url{https://aimultiple.com/embedding-models}},
  note   = {AIMultiple. Abgerufen am 25. April 2026}
}

Ekrem Sarı

KI-Forscher

Folgen auf

Ekrem ist KI-Forscher und Datenanalyst bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten