Embedding-Modelle: OpenAI vs Gemini vs Voyage

Wir haben 15 englische Text-Embedding-Modelle und eine BM25-Baseline mit über 500 manuell kuratierten Abfragen in drei Retrieval-Domänen verglichen: Verträge (CUAD), Kundensupport (IBM TechQA) und Gesundheitswesen (MedRAG PubMed).

Voyage-3.5 belegt insgesamt den ersten Platz. Perplexity Embed V1 0.6b erreicht das obere Mittelfeld zum niedrigsten Preis in unserem Benchmark.

Embedding-Modelle Benchmark-Ergebnisse

Metriken erklärt

nDCG@3: Normalisierter diskontierter kumulierter Gewinn bei Cutoff 3. Bei einem relevanten Dokument pro Abfrage ist er 1 / log2(Rang + 1), wenn das Gold-Dokument unter den Top-3 landet, sonst 0. Rang 1 ergibt 1.000, Rang 2 ergibt 0.631, Rang 3 ergibt 0.500. Wir verwenden nDCG@3 als primäre Metrik, weil Produktions-RAG-Pipelines die Top-3 bis 5 Chunks an das LLM weitergeben und der Primacny-Bias Rang 1 unverhältnismäßig stark gewichtet.

nDCG@10: Gleiche Formel mit Cutoff 10.

Recall@10: Anteil der Abfragen, bei denen das Gold-Dokument unter den Top 10 erscheint.

MRR@10: Mittlerer reziproker Rang bei Cutoff 10. Gold auf Rang 1 ergibt 1.000, Rang 2 ergibt 0.500 und Rang 10 ergibt 0.100. Ähnlich beabsichtigt wie nDCG@3, jedoch mit steilerer Rangstrafe.

Top-1-Treffer: Anteil der Abfragen, bei denen das gold-relevante Dokument das einzige Top-Ergebnis ist. Die strengste Metrik und diejenige, die einem No-LLM-Lookup-Workflow am nächsten kommt.

nDCG@3 nach Domäne

Recht (CUAD, 246 Abfragen, 509 Verträge): Recht ist die einzige Domäne, in der Spezialist voyage-law-2 gewinnt; seine CUAD-optimierten Trainingsdaten zahlen sich mit +0.040 nDCG@3 gegenüber voyage-4-large aus. openai/text-embedding-3-large rangiert auf Platz 11 mit 0.6430, unter sechs günstigeren Modellen. BM25-Untergrenze: 0.5844.

Kundensupport (TechQA, 151 Abfragen, 28.000 IBM Technotes): Der Abstand von voyage-4-lite zum nächsten Modell beträgt 0.018. gemini-embedding-001 fällt auf Platz 7 (0.8856), 0.045 hinter seinem neueren Geschwistermodell bei TechQA, obwohl es die anderen beiden Domänen gewinnt. BM25-Untergrenze: 0.6097.

Gesundheitswesen (MedRAG-PubMed, 154 Abfragen, 50.000 Abstracts): Das Gesundheitswesen ist das dichteste Cluster in unserem Benchmark (14 Modelle erzielen über 0.88), da medizinisches Vokabular schlüsselwortdicht ist und die meisten Abfragen in das obere Cluster drückt. BM25-Untergrenze: 0.7862, innerhalb von 0.02 des schwächsten dichten Modells. gemini-embedding-001 schlägt gemini-embedding-2-preview hier mit seinem größten Vorsprung (+0.013).

Die domänenspezifischen Wechsel rechtfertigen die Durchschnittsbildung über die drei Domänen: Keine einzelne Domäne ist ein fairer Proxy für „welches Modell das beste ist“, und ein Käufer, der nur eine Domäne auswählt, wird die anderen falsch einordnen.

Pro-Modell 95% Bootstrap-Konfidenzintervalle für jede Domänenzelle sowie die vier paarweisen Gleichstände, die Punktschätzungs-Rangfolgen verbergen, sind im Methodik-Abschnitt detailliert beschrieben.

Genauigkeit vs. Preis: Kosten pro 1M Tokens

Metriken erklärt

Preis pro 1M Eingabetokens ist der Listenpreis für das Embedden von 1M Eingabetokens, Stand 2026-04-23. Voyage-Preise stammen von der direkten Voyage-Preisseite. Über OpenRouter bereitgestellte Modelle verwenden den Katalog-Schnappschuss von OpenRouter desselben Tages. Abfrage- und Dokument-Tokens werden bei jedem getesteten Anbieter zum gleichen Satz bepreist. BM25 ist bei $0.001/M für die logarithmische Skalierung eingezeichnet. Die tatsächlichen Selbsthosting-Kosten betragen $0.

3-Domänen-Durchschnitt nDCG@3 ist das ungewichtete Mittel der domänenspezifischen nDCG@3 über die drei Korpora. Jede Domäne trägt unabhängig von der Abfrageanzahl gleich zum Durchschnitt bei.

• Für kostengünstige RAG-Plattformen ist pplx-embed-v1-0.6b die klare Wahl. Mit $0.004/M ist es 30-50x günstiger als jedes der kommerziellen Flaggschiffe und liefert 92% der Qualität von voyage-3.5 (0.8604 / 0.9429). Kein anderes Modell in unserem Benchmark konkurriert auf diesem Preisniveau.

• Für qualitätsorientierte Unternehmens-RAG-Systeme belegt voyage-3.5 über das native Voyage-SDK den obersten Pareto-Punkt. Man tauscht eine zusätzliche API-Integration (gegenüber einem reinen OpenRouter-Stack) gegen ein marginal besseres Modell als Voyages eigenes Flaggschiff zum halben Preis. Der Instinkt „immer das neueste und größte zu wählen“ ist innerhalb von Voyages Katalog falsch.

• Für OSS- / selbst-hostbare / On-Premise-Bereitstellungen gewinnt qwen3-embedding-8b. Es ist der günstigste nicht-triviale Embedder in unserem Benchmark mit $0.010/M, erreicht oder übertrifft jede andere von uns getestete OSS-Encoder-Familie und wird mit selbst-hostbaren Gewichten ausgeliefert.

• Die Premium-Flaggschiffe (openai-3-large, gemini-2-preview, voyage-4-large, gemini-001) verlieren alle im 3-Domänen-Durchschnitt gegen voyage-3.5, obwohl voyage-3.5 2-3x günstiger ist als jedes von ihnen.

Wichtige Erkenntnisse aus dem Embedding-Benchmark

voyage-3.5 gewinnt den 3-Domänen-Durchschnitt und schlägt das Flaggschiff voyage-4-large zum halben Preis

voyage-3.5 erreicht im Durchschnitt 0.9429 nDCG@3 über Recht, Kundensupport und Gesundheitswesen. Das Flaggschiff voyage-4-large erreicht im Durchschnitt 0.9416 bei $0.12 pro 1M Tokens, dem 2x-fachen des Preises von voyage-3.5 mit $0.06. Das Flaggschiff gewinnt TechQA um 0.002 und MedRAG um 0.032. Es verliert CUAD um 0.037 (0.8730 vs 0.9102), genug, dass sein 3-Domänen-Durchschnitt unter voyage-3.5 liegt. Innerhalb von Voyages Produktlinie ist das ältere Mittelklassemodell die bessere Allzweckwahl. Das Flaggschiff rechtfertigt seinen Aufpreis nur im Gesundheitswesen.

Voyage belegte den Spitzenplatz in allen drei Domänen und holte die Top-2-Plätze bei CUAD und TechQA. Bei MedRAG drang gemini-embedding-001 auf Platz 2 vor (0.9814, hinter voyage-4-larges 0.9855) und lag damit vor jedem anderen Voyage-Modell. gemini-001 erreicht außerdem Platz 3 bei CUAD. Kein anderes Nicht-Voyage-Modell erreicht in einer einzelnen Domäne die Top 2.

Ein älteres Gemini-Modell schlägt sein neueres „Preview“-Geschwistermodell in zwei von drei Domänen

google/gemini-embedding-001 (veröffentlicht im Juni 2025) übertrifft google/gemini-embedding-2-preview sowohl bei CUAD (0.8980 vs 0.8958) als auch bei MedRAG (0.9814 vs 0.9685). Das neuere Modell gewinnt nur TechQA (0.9301 vs 0.8856), eine Lücke von 0.04, die mit einem Preisanstieg von 33% einhergeht ($0.20 vs $0.15 pro 1M Eingabetokens). Die Darstellung von Gemini 2 als „neueres multimodales Upgrade“ hält bei der englischen Textabfrage auf juristischen oder medizinischen Korpora nicht stand.

Für RAG-Workloads in diesen beiden Domänen ist gemini-embedding-001 heute die richtige Gemini-Wahl. Der Wechsel bei MedRAG (001 auf Platz 2, 2-preview auf Platz 3) ist so groß, dass ein Käufer, der standardmäßig das „neueste“ Modell wählt, messbare Qualität einbüßt.

OpenAI text-embedding-3-large ist bei Recht und Kundensupport im Mittelfeld

openai/text-embedding-3-large rangiert auf Platz 11 von 15 dichten Modellen bei CUAD mit 0.6430 nDCG@3. Acht strikt günstigere Modelle schlagen es bei Verträgen: beide $0.12 Voyage 4-Serien-Flaggschiffe, voyage-3.5 zum halben Preis, voyage-4-lite zu einem Sechstel des Preises, beide Qwen3-Embedding-Varianten, intfloat/e5-large-v2 zu 1/13 des Preises und perplexity/pplx-embed-v1-0.6b (0.8031) zu 1/32 des Preises. OpenAIs Flaggschiff ist auf Platz 9 bei TechQA (0.8581) und auf Platz 11 bei MedRAG (0.9296). Im Gesundheitswesen befindet es sich in einem engen oberen Cluster (Spreizung von Platz 2 bis 11: 0.05 nDCG@3). Bei Recht ist die Lücke groß und teuer.

Bei $0.13 pro 1M Eingabetokens ist es 32x teurer als pplx-embed-v1-0.6b. Teams, die standardmäßig OpenAI wählen, weil es „die sichere Wahl“ ist, zahlen einen Aufpreis, den die Daten über die drei Domänen nicht rechtfertigen.

pplx-embed-v1-0.6b erreicht die Spitzengruppe zu einem Dreißigstel des Preises vergleichbarer Flaggschiffe

perplexity/pplx-embed-v1-0.6b zu $0.004 pro 1M Tokens erreicht im Durchschnitt 0.8604 nDCG@3 über die drei Domänen, nur hinter den vier Voyage-Modellen, den beiden Gemini-Varianten und qwen/qwen3-embedding-8b. Es schlägt jedes OpenAI- und OSS-Modell im Feld. Es schlägt zudem openai/text-embedding-3-large um 0.16 nDCG@3 bei CUAD, verliert um 0.012 bei TechQA (0.8457 vs 0.8581) und gewinnt um 0.003 bei MedRAG. Das nächstgünstigere Top-10-Modell ist qwen/qwen3-embedding-8b zu $0.010 (2.5x mehr), ebenfalls über OpenRouter.

Für kostenoptimierte RAG-Plattformen, bei denen das Embedding ein wesentlicher Kostenfaktor ist, ist pplx-0.6b die klare Wahl. Der 30-50x-Abstand zur Flaggschiff-Preisgestaltung bringt in diesen drei Domänen keinerlei Retrieval-Qualitätsvorteil.

BM25 liegt innerhalb von 0.02 des schwächsten dichten Modells bei medizinischen Abstracts

Auf MedRAG-PubMed erzielt BM25 0.7862 nDCG@3 gegenüber baai/bge-m3 (dichter Modus) mit 0.8038, eine Differenz von 0.02. Die lexikalische Suche kommt innerhalb von 0.15 an sieben der fünfzehn dichten Modelle auf diesem Korpus heran (bge-m3, e5-base-v2, openai-3-small, e5-large-v2, openai-3-large, pplx-0.6b, qwen3-4b). Der Grund ist strukturell: Medizinische Abfragen sind per Design schlüsselwortdicht (Medikamentennamen, Krankheitsnamen, Studien-Design-Begriffe, Gensymbole), und diese Tokens tragen den Großteil des Retrieval-Signals. Ein Lucene-ähnlicher Scorer trifft sie direkt, ohne semantischen Kontext zu benötigen.

Ein Reranker auf BM25-Basis ist eine plausible, günstigere Alternative zu einem Premium-Dichteinbetter für schlüsselwortdichte Korpora: Die Abruflücke, die BM25 hinterlässt (0.2 nDCG@3 zur Spitzengruppe bei MedRAG), ist die Art von Lücke, die ein Cohere- oder Voyage-Reranker schließen kann. Bei CUAD beträgt die Lücke von BM25 zum besten dichten Modell 0.33, bei TechQA 0.36, bei MedRAG 0.20. Die Dichte des Domänenvokabulars ist der entscheidendste Faktor dafür, wie viel Hilfe dichte Embeddings tatsächlich bieten.

Domänen-Spezialisten vs. Generalisten bei den Anbietern

Voyage bepreist voyage-law-2 mit $0.12/M, identisch mit voyage-4-large. Die beiden Modelle teilen sich Anbieter, Tokenizer, SDK und asymmetrisches Aufrufschema. Nur der Schwerpunkt der Trainingsdaten unterscheidet sich. Beide gegen Generalisten über CUAD, TechQA und MedRAG laufen zu lassen, isoliert den Effekt des juristischen Trainings.

Auf CUAD rangiert voyage-law-2 auf Platz 1 mit 0.9126: 0.0024 über voyage-3.5, 0.0146 über gemini-embedding-001, 0.040 über voyage-4-large, 0.097 über qwen3-embedding-8b und 0.270 über openai/text-embedding-3-large (0.6430). Bei TechQA rangiert voyage-law-2 auf Platz 4 mit 0.9020, 0.064 hinter voyage-4-large und 0.063 hinter voyage-3.5. Bei MedRAG rangiert es auf Platz 6 mit 0.9409, 0.045 hinter voyage-4-large und 0.041 hinter gemini-embedding-001. Das juristische Training erhöht nDCG@3 auf CUAD und senkt es in den anderen beiden Domänen.

Ein juristisches Team, das CUAD-artige Abfragen auf openai/text-embedding-3-large ausführt, arbeitet mit 0.6430 nDCG@3 gegenüber voyage-law-2 mit 0.9126, eine Lücke von 0.27. Ein Gesundheits- oder Support-Team, das voyage-law-2 wählt, weil es bei CUAD auf Platz 1 lag, verliert 0.045 gegenüber voyage-4-large bei MedRAG und 0.064 bei TechQA. Domänenspezifische Embedding-Modelle sind keine Drop-in-Upgrades für generisches Retrieval. Eine einzige „bestes Modell“-Empfehlung für alle Branchen wählt in mindestens einer Richtung falsch.

Wann voyage-law-2 wählen: Vertragssuche auf kommerziellen juristischen Korpora, die CUAD strukturell ähneln. Wann nicht: alles andere in diesem Benchmark. voyage-3.5 kostet $0.06/M, liegt 0.0024 unter voyage-law-2 bei CUAD und übertrifft es sowohl bei TechQA als auch bei MedRAG.

Wie die Embedding-Retrieval-Pipeline evaluiert wurde

Jedes Modell kodiert einen Abfragevektor und N Dokumentvektoren über einen Bi-Encoder. Wir berechnen die Kosinus-Ähnlichkeit zwischen dem Abfragevektor und jedem Dokumentvektor und sortieren dann die top-k für diese Abfrage. Mit einem Gold-Dokument pro Abfrage und binärer Relevanz prüft der Evaluator, ob das Gold-Dokument in den top-k erscheint und auf welchem Rang. Dieser Rang fließt in nDCG@3 (unser primäres Maß), nDCG@10 (für BEIR/MTEB-Vergleichbarkeit), Recall@10 und die Top-1-Trefferquote ein.

Abfrage- und Dokument-Encoder sind nicht immer dieselbe Funktion. Einige Modelle sind asymmetrisch trainiert: Der Abfragepfad wendet eine Transformation an, der Dokumentpfad eine andere. Diese Modelle symmetrisch aufzurufen („einfach den Text übergeben“) verschlechtert die Retrieval-Qualität stillschweigend um 0.05-0.45 nDCG@10. Unsere Modellpalette teilt sich in vier Gruppen:

Weshalb nDCG@3 als primäre Metrik. Produktions-RAG-Pipelines füttern die obersten 3 bis 5 Chunks an das LLM, nicht die obersten 10. Der Primacy-Bias in Langkontext-LLMs sorgt dafür, dass Rang 1 mehr zählt als Rang 3, und jeder Distraktor, der im LLM-Kontext über dem Gold landet, ein Kandidat für Konfabulation ist. Reranker würden diesen Effekt abflachen, aber die meisten Produktions-RAG-Systeme verzichten aus Kosten- und Latenzgründen darauf, daher ist der Rang des Embedders der endgültige Rang.

Auf MedRAG erreichte Recall@10 die Decke von 1.000 für drei Voyage-Modelle und für qwen3-8b; nDCG@3 bewahrte eine Spanne von 0.10 bei denselben Abfragen. nDCG@10 behält die BEIR-Vergleichbarkeit, glättet aber die operativ relevanten Unterschiede an der Listenspitze.

Entdecken Sie weitere unserer Benchmarks und datengestützten Erkenntnisse in der Google-Suche.

Als bevorzugte Quelle hinzufügen

Embedding-Modelle Benchmark-Methodik

Korpora (Domänenauswahl + Warum)

Wir wählten drei Domänen, die verschiedene Retrieval-Eigenschaften beanspruchen und die drei häufigsten Enterprise-RAG-Anwendungen abdecken. Jeder Korpus ist SHA256-gepinnt, sodass jeder Leser genau die von uns ausgeführte Zelle reproduzieren kann.

PM209 (Fertigungshandbücher) wurde fallengelassen: nur 209 Dokumente, zu klein, um das BM25-Entitäts-Shortcut-Problem bei 150 Abfragen zu verhindern.

Abfragegenerierung: 3-LLM-Konsensprotokoll

Unsere Abfragen sind LLM-generiert unter Trennung von Autor und Validator: Das LLM, das eine Abfrage entwirft, beurteilt niemals sein eigenes Retrieval-Ziel, sodass Selbstverzerrung strukturell ausgeschlossen ist. Nur die beiden nicht-autorisierenden Validatoren, die 20 Kandidaten gemischt ohne Hinweis darauf sehen, welches das Grundierungsdokument des Autors war, entscheiden über die Annahme. Zusätzlich zum LLM-Konsens haben wir etwa 25% des akzeptierten Abfragesatzes stichprobenartig von Hand überprüft (Autor-Review von Abfrage-Natürlichkeit, Ziel-Dokument-Ausrichtung und R9-Konformität, unabhängig von der Validator-Abstimmung).

Jede Abfrage durchlief die folgende Pipeline, bevor sie in den Produktionssatz aufgenommen wurde:

1. Autor entwirft eine einzelne Abfrage, die in einem zufällig ausgewählten Dokument verankert ist. Der Autor wechselt zwischen Claude Sonnet 4.6, Qwen3.6-plus und Gemini 3 Flash Preview, damit kein einzelnes Modell den linguistischen Fingerabdruck dominiert.
2. Bewerter (fest: Claude Sonnet 4.6) bewertet die Abfrage anhand einer Spezifitätsrubrik. Wir verlangten semantic_bridge ≥ 4 (die Abfrage muss semantisch beschreiben, was das Dokument behauptet, nicht nur namentlich übereinstimmen) und unique_referent im Bereich 3-5 (die beschreibenden Anker müssen ungefähr ein bis fünf Kandidatendokumente im Korpus identifizieren, nicht Tausende oder genau eins).
3. Hard-Negative-Check: Wir ziehen die BM25-Top-19 Distraktor-Dokumente plus das Ziel und führen ein Nahezu-Duplikat-Jaccard-Gatter aus (>0.5 → gesamte Abfrage als mehrdeutige Grundwahrheit ablehnen).
4. Validatoren (2 Modelle, niemals einschließlich des Autors) wählen unabhängig das Zieldokument aus dem gemischten 20-Kandidaten-Set. Beide Validatoren müssen sich auf den exakten Ziel-Slot einigen, sonst wird die Abfrage verworfen. „Keine der obigen“ und „mehrere richtige Antworten“ sind gültige Validator-Antworten und führen ebenfalls zur Verwerfung der Abfrage.
5. Cohens Kappa pro Validator-Paar berechnet. Jede Abfrage hatte genau 2 Rater (die Nicht-Autoren aus dem 3-Modell-Pool), sodass die 3 möglichen autor-ausgeschlossenen Paare 3 separate Kappa-Werte pro Domäne ergeben. Wir berichten sie einzeln und als n-gewichteten Mittelwert.

Cohens Kappa pro Paar mit beobachteter Übereinstimmung po und zufällig erwarteter pe, berechnet auf akzeptierten Abfragen plus allen consensus_fail-Ablehnungen, bei denen beide Validatoren zu einer Entscheidung kamen. Zellen zeigen n / po / pe / κ:

Das n-gewichtete Mittel ist eine deskriptive Zusammenfassung, keine inferenzstatistische Größe. Es verdichtet die drei Kappas pro Paar zu einer Zahl, gewichtet nach der Anzahl der von jedem Paar beurteilten Abfragen; es ist selbst kein Kappa-Wert für einen gepoolten Datensatz, und ein KI dafür müsste mittels Bootstrap-Resampling auf Abfrageebene berechnet werden (für v2.1 zurückgestellt).

Wir verwendeten Cohens Kappa (nicht Fleiss‘ Kappa oder Krippendorffs Alpha), weil jede Abfrage genau 2 Rater hatte: Die natürliche Darstellung sind hier 3 paarweise Cohen-Berechnungen, da wir wissen wollen, ob zwei bestimmte Modelle übereinstimmen, und nicht, ob ein Gremium von 3 Ratern kohärent ist. Krippendorffs Alpha würde eine einzelne Zahl liefern, aber die drei Paare vermischen und die Varianz auf Paarebene verbergen.

CUAD spezifisch: Claude × Qwen erreicht κ=0.974, während Claude × Gemini und Gemini × Qwen um κ=0.86 liegen, was Gemini-3-flash-preview als den unzuverlässigsten Beurteiler bei Verträgen isoliert. Diese Information ist ein methodologisches Signal, das es wert ist, aufgezeigt zu werden, und nicht wegzumitteln.

Wir haben eine Domäne in die Produktion übernommen, nachdem das n-gewichtete Mittel-Kappa 0.85 überschritten hatte. Alle drei haben es überschritten. MedRAGs 0.986 liegt effektiv an der Decke: Die beiden Unstimmigkeiten bei 156 Versuchen betrafen medizinisch mehrdeutige Ziele, bei denen beide Validatoren intern konsistent waren, aber einer ein verwandtes, aber nicht goldenes Abstract wählte.

R9-Entitätsanonymisierungs-Regelsatz (pro Domäne)

R9 ist eine harte Einschränkung zum Zeitpunkt der Abfragegenerierung. Ohne sie steigt BM25 auf über 0.97 nDCG@10, weil benannte Entitäten als perfekte Keyword-Abkürzungen wirken; dichte Embeddings hätten keinen semantischen Vorteil zu messen. Die Regel ist pro Domäne zugeschnitten, sodass die Anker, die tatsächlich das Abrufsignal in dieser Domäne tragen, nutzbar bleiben:

• CUAD strikt. Verbot aller benannten Entitäten: Parteinamen, US-Bundesstaaten, Personal, Geldbeträge in genauen Dollar, spezifische Produktnamen. Erzwungene deskriptive Einzigartigkeit: Branche + Rolle + zeitliche Ära + Geldspanne + geografischer Umfang. Die BM25-Obergrenze fiel von 0.97 auf 0.591, nachdem R9 durchgesetzt wurde.
• TechQA Option X. IBM-Produktnamen erlaubt (sie sind das primäre Abrufsignal für einen Systemadministrator), WENN die Abfrage auch einen sekundären, nicht produktbezogenen deskriptiven Anker enthält (Symptomklasse, Fehlercode-Familie, Versionsära, Bereitstellungskontext). Kundennamen, US-Bundesstaaten, Personal weiterhin verboten. BM25-Obergrenze: 0.664.
• MedRAG medizinisch-gelockert + halluzinationssicher. Arzneimittelnamen, Krankheitsbegriffe, Anatomie, Gensymbole werden wortwörtlich aus der Quelle beibehalten, da das Ersetzen von Wirkstoffklassen-Labels das Risiko von Pharmakologie-Halluzinationen birgt („p-Chloramphetamin“ ist ein Serotonin-Wiederaufnahmehemmer der Amphetaminklasse, aber LLM-Label-Übersetzungen seltenerer Medikamente scheitern stillschweigend). Die Abfrage muss ≥2 nicht-medikamentöse Anker enthalten, damit ein reiner Wirkstoffnamen-Keyword-Match das Ergebnis nicht allein trägt. BM25-Obergrenze: 0.809 (strukturelle Eigenschaft der Domäne, kein methodischer Fehler).

Beispielabfragen

Für jedes Beispiel ist die Abfrage der Text, den wir dem Embedding-Modell übergeben. Das Gold-Dokument ist das einzige Element im Korpus (von 509 CUAD-Verträgen, 28.000 TechQA-Technotes oder 50.000 PubMed-Abstracts), das die Abfrage tatsächlich beantwortet. Die Retrieval-Aufgabe besteht darin: Die Abfrage einzubetten, die Kosinus-Ähnlichkeit zu jedem Dokument im Korpus zu berechnen und sie zu ordnen. Landet das Gold-Dokument auf Rang 1, erzielt die Abfrage 1.000 bei nDCG@3; Rang 2 ergibt 0.631; Rang 3 ergibt 0.500; unterhalb der Top-3 ergibt 0.

CUAD (Recht)

Abfrage:

Gold-Dokument (1 von 509 CUAD-Verträgen): ANIXABIOSCIENCESINC_06_09_2020-EX-10.1-COLLABORATION AGREEMENT. Es handelt sich um eine Zusammenarbeit zwischen einer deutschen Firma und einem US-Biotech-Unternehmen aus dem Jahr 2020 zur Arzneimittelforschung gegen COVID-19; der Vertrag spezifiziert eine Meilensteinzahlung, die fällig wird, wenn der erste Patient in Phase I einer klinischen Studie eintritt. Die Abfrage enthält keine Parteinamen, keine Geldbeträge und keine Geografien außer zwei Länder-Tokens; das Retrieval-Signal ist Branche + zeitlich + Meilensteinstruktur.

TechQA (Kundensupport)

Abfrage:

Gold-Dokument (1 von 28.000 IBM Technotes): swg1IY43185, das genau diesen WebSEAL-Bug dokumentiert und den Patch benennt, der ihn behebt. Der IBM-Produktname (WebSEAL) ist gemäß unserer TechQA-R9-Variante erlaubt, aber der Unterscheidungsfaktor ist das Verhaltensmuster des Bugs und der Anker der Anforderungsreihenfolge, nicht der Produktname allein.

MedRAG (Gesundheitswesen)

Abfrage:

Gold-Dokument (1 von 50.000 PubMed-Abstracts): PMID:231299, eine klinische Studie, die Abbruchraten aufgrund von Nebenwirkungen zwischen Cephradin und Pivmecillinam bei schwangeren Frauen mit Harnwegsinfektionen vergleicht. Arzneimittelnamen werden beibehalten, weil der Wirkstoff-gegen-Wirkstoff-Vergleich das Retrieval-Signal ist, aber die Abfrage fügt Patientenpopulation + Behandlungsdauer + Nebenwirkungs-Rahmen hinzu, sodass ein reiner Wirkstoffnamen-BM25-Match das Ziel nicht allein erreicht.

Statistisches Protokoll

Bootstrap 95%-Konfidenzintervalle verwenden 10.000 Resamples, Perzentilmethode, Seed=2026 auf dem Pro-Abfrage-Metrikvektor. Gepaartes Bootstrap auf denselben Abfrageindizes für paarweise Signifikanz zwischen Modell A und Modell B (Behauptung erfordert ≥95% der Resamples, in denen A > B).

Einzellauf pro (Modell, Domäne)-Zelle. Eine Schicht mit 3-Lauf-Über-Sitzungs-Varianz wird aus Kostengründen auf v2.1 verschoben. Innerhalb einer Sitzung sind Embedding-API-Aufrufe deterministisch innerhalb weniger Teile pro Million Kosinus-Differenz, per Stichprobe verifiziert; Bootstrap-CI erfasst daher das Abfrage-Rauschen, das bei n=150-246 die dominierende Varianzquelle ist.

Indizierung und Bewertung

Keine Vektordatenbank. Jedes Modell kodiert jedes Korpusdokument einmal; die Kosinus-Ähnlichkeit wird direkt in NumPy als dichtes Matrixprodukt L2-normalisierter Embeddings berechnet. Dies ist exakt, nicht approximativ, sodass Ranggleichstände echte Modellgleichstände und keine ANN-Artefakte sind.

Pro-Modell-Chunking-Regel: 512-Kontext-Modelle chunkieren 512+64 Überlappung; 8K-20K-Kontext-Modelle chunkieren auf Kontext ohne Überlappung; 32K+-Kontext-Modelle nehmen das gesamte Dokument auf, wenn es passt (die 9% langen Ausläufer von CUAD überschreiten jedes Nicht-Nemotron-Kontextfenster und fallen auf Chunking zurück; die modellübergreifende Fairness wird durch Anwendung derselben Pro-Kontextgrößen-Richtlinie auf jedes Modell gewahrt).

Der asymmetrische Retrieval-Aufruf pro Modell ist das methodisch einflussreichste Detail und verdient einen eigenen Abschnitt. Er ist der Grund, warum gemini-embedding-2-preview 0.46 nDCG@10 unter dem dokumentierten Code-Beispiel von OpenRouter erzielt, gegenüber 0.91 unter dem Vertex-KI-Format von Google. Siehe „Wie die Embedding-Retrieval-Pipeline evaluiert wurde“ weiter oben für die Tabelle pro Familie.

Evaluierungs-Framework: ranx als primäre Metrik-Engine; trec_eval-kompatible Ausgabe, kompatibel mit MTEB-Leaderboard-Einreichungen. Bootstrap-CI berechnet durch scripts/bootstrap_ci.py über die beim Evaluierungsdurchlauf gespeicherten Pro-Abfrage-Metrik-Arrays.

Getestete Modelle

Preise Stand 2026-04-23 aus dem OpenRouter-Katalog und der direkten Voyage-Preisseite.

Pro-Modell nDCG@3 mit 95% Bootstrap-CI

Bootstrap 95%-Konfidenzintervalle, berechnet mittels 10.000 Resamples des Pro-Abfrage-Metrikvektors (Perzentilmethode, Seed=2026). CI-Breiten von 0.03-0.07 bei diesen Stichprobengrößen (n=154-246) bedeuten, dass Punktschätzungsabstände unter ~0.03 im Rauschen liegen und als Gleichstände behandelt werden sollten. Sortiert nach 3-Domänen-Durchschnitt nDCG@3:

Vier statistische Gleichstände, bei denen die Punktschätzungs-Rangfolgen beim 95%-KI nicht signifikant sind:

Einschränkungen

Menschliche Überprüfung durch einen Autor: Ein Autor hat etwa 25% der endgültig akzeptierten Abfragen stichprobenartig auf Natürlichkeit, Zielausrichtung und R9-Konformität überprüft.

Weiterführende Lektüre

Erkunden Sie weitere RAG-Benchmarks, wie etwa:

• Top 10 mehrsprachige Embedding-Modelle für RAG
• Top 16 Open-Source-Embedding-Modelle für RAG
• Top Vektordatenbank für RAG: Qdrant vs Weaviate vs Pinecone
• Reranker-Benchmark: Top 8 Modelle im Vergleich
• Multimodale Embedding-Modelle: Apple vs Meta vs OpenAI
• Hybrid-RAG: Steigerung der RAG-Genauigkeit
• Graph-RAG vs Vektor-RAG

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Embedding-Modelle: OpenAI vs Gemini vs Voyage}},
  year   = {2026},
  month  = apr,
  howpublished    = {\url{https://aimultiple.com/embedding-models}},
  note   = {AIMultiple. Abgerufen am 25. April 2026}
}

Ekrem Sarı

KI-Forscher

Folgen auf

Ekrem ist KI-Forscher und Datenanalyst bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten