Open-Source-Embedding-Model-Benchmark für RAG
Wir haben 14 Open-Source-Embedding-Modelle getestet, die selbst auf einer einzelnen H100 gehostet wurden, über 500+ manuell kuratierte Abfragen, die Rechtsverträge, technische Notizen des Kundensupports und medizinische Abstracts umfassen. NVIDIA Llama-Embed-Nemotron-8B führt in der Genauigkeit. Bei den Kosten läuft Google’s EmbeddingGemma-300m etwa 4x günstiger als Nemotron, allerdings mit einem kleinen Genauigkeitsverlust.
Ergebnisse des Benchmarks für Open-Source-Embedding-Modelle
Erklärung der Metriken
nDCG@3: Normalisierter Discounted Cumulative Gain bei Cutoff 3. Mit einem relevanten Dokument pro Abfrage beträgt er 1 / log2(rank + 1), wenn das Gold-Dokument in den Top 3 landet, und 0 sonst. Rang 1 erzielt 1,000, Rang 2 erzielt 0,631 und Rang 3 erzielt 0,500. Wir verwenden nDCG@3 als primäre Metrik, da Produktions-RAG-Pipelines die Top 3 bis 5 Chunks an den LLM übergeben und der Primärbias dazu führt, dass Rang 1 unverhältnismäßig wichtig ist.
nDCG@10: Gleiche Formel mit Cutoff 10.
Recall@10: Anteil der Abfragen, bei denen das Gold-Dokument in den Top 10 erscheint.
MRR@10: Mean Reciprocal Rank bei Cutoff 10. Gold bei Rang 1 erzielt 1,000, Rang 2 erzielt 0,500 und Rang 10 erzielt 0,100. Ähnlicher Zweck wie nDCG@3, jedoch mit einer steileren Rangstrafe.
Top-1-Treffer: Anteil der Abfragen, bei denen das gold-relevante Dokument das einzige Top-Ergebnis ist. Die strengste Metrik und diejenige, die einem no-LLM-Such-Workflow am nächsten kommt.
nDCG@3-Ergebnisse nach Bereich
Die AVG-Rangfolge verbirgt Bereichsinversionen. Harrier gewinnt CUAD, landet aber auf Platz sieben bei TechQA. SFR-2 rangiert auf Platz zwei bei TechQA, aber nur auf Platz vier bei CUAD. KaLM-12B ist Fünfter bei MedRAG und Neunter bei TechQA. Bereichsspezifisches nDCG@3:
BM25 ist bei MedRAG wettbewerbsfähig (0,7862, besser als PubMedBERT und das mehrsprachige Granite) und bei CUAD schwach (0,5844, wo 11 von 14 dichten Modellen es übertreffen). Rechtsverträge enthalten dichte Entitätssprache, die lexikalische Übereinstimmung belohnt. Bei medizinischen Abstracts übertreffen die Top-dichten Modelle (Nemotron 0,9629, SFR-2 0,9620, jina-v5 0,9523) BM25 um 0,17 bis 0,18 nDCG@3 absolute Punkte.
Bootstrap-95%-Konfidenzintervalle pro (Modell, Bereich)-Zelle, einschließlich eines Vier-Wege-MedRAG-Tiegs an der Spitze und einer Harrier-Nemotron-CUAD-Überlappung, die die Punktschätzung-Rangfolge glättet, sind im Abschnitt Benchmark-Methodik berichtet.
Kosten pro Million Token
Die selbst gehosteten Kosten sind GPU-amortisiert: der Stundensatz geteilt durch die pro Stunde verarbeiteten Token. Der Pod, den wir verwendeten, war ein RunPod Community-Cloud-H100 80GB SXM5 zu 2,99 $/Std. Die Wanduhrzeit pro Modell über den 551-Abfragen, 3-Korpora-Durchlauf (~46,2M Token insgesamt) ergibt folgende $/1M-Token-Schätzungen:
Die Formel:
GPU $/Std. = 2,99 $ (der RunPod Community-H100 80GB SXM5-Satz des Pods, den wir verwendeten). wall_seconds = die gesamte Wanduhrzeit jedes Modells über den 551-Abfragen, 3-Korpora-Durchlauf. total_tokens ≈ 46,22M (Summe von 3 Korpora + 551 Abfragen, Zeichenanzahl ÷ 4-Heuristik).
Durchgerechnetes Beispiel, Nemotron-8B: (2,99 $ / 3600) × (1247,8 × 1.000.000 / 46.220.000) = 0,0224 $ pro 1M Token.
Fünf Modelle führen ihre Kostenschicht an (keine andere Zeile kostet weniger und erzielt gleichzeitig höhere Werte): Granite-278m-multilingual am unteren Ende der Kostenleiter, dann Granite-small-r2, EmbeddingGemma-300m, jina-v5-text-small und Nemotron-8B am oberen Ende der Qualitätsleiter. Die Endpunkte erstrecken sich über 13x in Kosten (0,0017 $/M bis 0,0224 $/M) und 0,23 nDCG@3 absolute (0,6952 bis 0,9249).
Bereichsspezialisten vs. Generalisten
PubMedBERT, feinabgestimmt auf PubMed-Titel-Abstract-Paare, ist das offensichtliche „richtige Werkzeug" für medizinische RAG-Abfragen auf PubMed. Es erzielt nDCG@3 = 0,7084 bei MedRAG, was unter der BM25-lexikalischen Basislinie (0,7862) auf demselben Korpus liegt. Moderne Open-Source-Generalisten übertreffen es um 0,22 bis 0,25 absolute Punkte in seinem Trainingsdatenbereich:
Der Grund, warum der Spezialist unterdurchschnittlich abschneidet, ist Alter und Rezept. PubMedBERT ist ein 2022 110M-Parameter-BERT mit symmetrischem Mean-Pooling und keinem Instruktionspräfix. Die Generalisten von 2024-2026 basieren auf größeren Backbones, asymmetrischen Abfrage- und Dokumentenpräfixen und instruktionsabgestimmten Retrieval-Zielen. Die architektonische Lücke ist wichtiger als die Bereichsübereinstimmung: Ein 4 Jahre altes Fine-Tune kann mit einem aktuellen instruktionsabgestimmten Retriever nicht mithalten, selbst auf dem eigenen Trainingskorpus des Fine-Tunes.
Die Käuferregel lautet, einen Bereichsspezialisten vor dem Einsatz an repräsentativen Abfragen gegen einen modernen Generalisten zu testen. Die Annahme „Der Spezialist wird in seinem Bereich gewinnen" ist für Open-Source-Embedding-Modelle im Jahr 2026 nicht mehr sicher.
Erkenntnisse aus dem Open-Source-Embedding-Benchmark
Nemotron-8Bs TechQA-Führung ist statistisch vom zweiten Platz getrennt
Nemotron-8B AVG nDCG@3 = 0,9249. Bereichsspezifisch landet es bei 0,8602 auf CUAD, 0,9515 auf TechQA und 0,9629 auf MedRAG. Das TechQA-Ergebnis (0,9515 0,923, 0,977) überlappt nicht mit dem zweitplatzierten SFR-Embedding-2_R (0,9109 0,869, 0,949). Die Bootstrap-CIs sind sauber getrennt. Das 8B Llama-3.1-Basis, für Retrieval mit einem Abfrage-seitigen Instruct: …\nQuery: …-Präfix und einem symmetrischen Dokumenten-seitigen Präfix instruktionsabgestimmt, treibt einen 0,04 absoluten nDCG@3-Vorsprung vor der nächsten Zeile bei Langdokumenten-Support-Workloads.
Die beiden Bereiche, in denen Nemotron eindeutig gewinnt (TechQA, MedRAG), sind die Langdokument-Korpora, bei denen die Asymmetrie des Instruktionspräfixes am wichtigsten ist. CUAD ist der einzige Bereich, in dem es nicht führt: Microsoft’s Harrier-oss-v1-0.6b (0,8720) übertreffen Nemotron (0,8602) bei Rechtsverträgen, obwohl es 13x kleiner ist, obwohl sich die CIs überlappen und der Vorsprung bei dieser Stichprobengröße nicht statistisch getrennt ist.
Ein 0,6B Microsoft Harrier-Modell übertreffen jedes offene Modell unter 7B Parametern
Microsoft Harrier-oss-v1-0.6b (veröffentlicht 2026-04 mit einer Qwen3-0.6B-Basis und einer MIT-Lizenz) landet bei AVG nDCG@3 = 0,8911, insgesamt Vierte. Es übertreffen das 12B Tencent KaLM-Gemma3 (0,8057, Tencent Community-Lizenz), das 7B Salesforce SFR-Embedding-2_R auf CUAD (0,8421 vs. Harrier 0,8720) und Google’s EmbeddingGemma-300m (0,8706). Bei einem Architekturvergleich sitzt Harrier-0.6b (0,8911) 0,074 nDCG@3 über Qwen3-Embedding-0.6B (0,8168), das auf der identischen Qwen3-0.6B-Basis aufgebaut ist. Das Trainingskorpus und das Instruktionsrezept trieben die Lücke, nicht die Parameteranzahl.
Für Käufer ist Harrier die am höchsten bewertete Open-Source-Zeile, die mit einer Lizenz geliefert wird, die für die kommerzielle Nutzung ohne Einschränkungen geeignet ist. SFR-2 (CC-BY-NC), Nemotron (NSCL-v1) und jina-v5 (CC-BY-NC) übertreffen es in der AVG-Leiter, aber alle drei sind nur für Forschungszwecke oder nicht-kommerziell.
Ein medizinischer Spezialisten-Embedder verliert gegen BM25
NeuML’s PubMedBERT-base-embeddings wurde auf PubMed-Titel-Abstract-Paare feinabgestimmt. Es ist das offensichtliche „richtige Werkzeug" für einen medizinischen RAG-Benchmark auf PubMed. Es erzielt nDCG@3 = 0,7084 auf MedRAG, was 0,078 absolut unter der BM25-lexikalischen Basislinie (0,7862) auf demselben Korpus liegt. Die Top-Open-Source-Generalisten auf MedRAG landen weit über beiden: Nemotron-8B 0,9629, SFR-Embedding-2_R 0,9620, Harrier-oss 0,9605, jina-v5 0,9523, KaLM-Gemma3-12B 0,9453.
Dies ist die Inversion, die ändern sollte, wie ein Käufer einen Bereichsspezialisten auswählt. PubMedBERT ist ein 2022 110M-Parameter-BERT mit symmetrischem Mean-Pooling und keinem Instruktionspräfix. Das Generalisten-Feld von 2024 bis 2026 basiert auf größeren Backbones, asymmetrischen Abfrage- und Dokumentenpräfixen und instruktionsabgestimmten Retrieval-Zielen. Bei MedRAG-Abfragen, die bereits medizinisches Vokabular enthalten, ist BM25s lexikalische Übereinstimmung natürlich stark, und PubMedBERTs Spezialisierung fügt nichts darüber hinaus hinzu.
Die praktische Schlussfolgerung ist nicht, einen Spezialisten-Embedder allein nach Namen auszuwählen. Testen Sie ihn an Ihren eigenen Abfragen, bevor Sie sich festlegen.
Snowflake Arctic schwankt um 0,32 nDCG@3 über Bereiche
Snowflake’s snowflake-arctic-embed-l-v2.0 (568M, Apache-2.0, bge-m3-retromae-Derivat, mehrsprachig) erzielt nDCG@3 = 0,5846 auf CUAD-Rechtsverträgen und 0,9053 auf MedRAG-medizinischen Abstracts. Dasselbe Modell, dasselbe Rezept, dasselbe Abfrageformat, mit einer 0,32-Punkte-Schwankung über zwei Bereiche. Andere Modelle in der Liste schwanken weniger: SFR-2 erstreckt sich von 0,8421 bis 0,9620 (Lücke 0,12), Nemotron erstreckt sich von 0,8602 bis 0,9629 (Lücke 0,10), Harrier erstreckt sich von 0,8408 bis 0,9605 (Lücke 0,12).
Der Mechanismus ist die Zusammensetzung der Trainingsdaten. Arctic wurde auf BEIR, MIRACL und CLEF abgestimmt; Rechtsverträge sind nicht vertreten. Für eine vertikale Retrieval-Workload ist die Bereichs-Trainingsdaten wichtiger als die Parameteranzahl oder die Kontextlänge.
Als bevorzugte Quelle hinzufügenWie Open-Source-Embedding-Inferenz funktioniert
Open-Source-Embedding-Modelle laufen in diesem Benchmark in zwei Backends: sentence-transformers (12 Modelle) und vLLM (4 Modelle). Die Aufteilung geht nicht um Qualität; sie geht um Laufzeiteffizienz bei 8B-und-größeren Modellen, bei denen der Standard-Python-Inferenzschleife von sentence-transformers zu langsam ist, um praktikabel zu sein.
Die pro-Modell-Rezeptur ist wichtiger als die Wahl des Backends. Moderne Retrieval-Modelle verwenden asymmetrische Präfixe: die Abfrage-Seite ist in einem Instruct-Stil-Prompt (Instruct: Given a question, retrieve passages...\nQuery: <text>) eingewickelt, während die Dokumenten-Seite einfach ist. Der Pooling-Typ variiert: BERT-abgeleitete Modelle verwenden CLS-Pooling; LLM-abgeleitete Modelle (Llama, Mistral, Qwen3, Gemma3-Basis) verwenden Last-Token-Pooling; mehrsprachige Modelle verwenden oft Mean-Pooling. Die HuggingFace-Karte für jedes Modell ist die Quelle der Wahrheit, welche Präfix- und Pooling-Kombination korrekt ist.
Backend-Tier:
- vLLM: Nemotron-8B, KaLM-Gemma3-12B, jina-v5-text-small
- sentence-transformers: Qwen3-0.6B, EmbeddingGemma-300m, Granite-Trio, SFR-2, Conan-v1, PubMedBERT, GIST, Snowflake Arctic, Microsoft Harrier
Beobachtete asymmetrische Präfixmuster:
- Instruct + Query/Document: SFR-2, KaLM-Gemma3, Nemotron-8B, Qwen3-Embedding
- Eingebautes encode_query / encode_document: EmbeddingGemma, KaLM-Gemma3, Nemotron-8B
- task / prompt_name (sentence-transformers-Parameter): jina-v5, Snowflake Arctic, Harrier
- Kein Präfix (symmetrisch): Granite-Trio, Conan, PubMedBERT, GIST
Pooling-Typ nach Basisarchitektur:
- CLS-Pooling: Granite r2-Trio, Snowflake Arctic
- Last-Token-Pooling: Nemotron, KaLM-Gemma3, SFR-2, jina-v5, Qwen3-Embedding, Harrier
- Mean-Pooling: EmbeddingGemma, Granite-mehrsprachig, Conan, PubMedBERT, GIST
Die Verwendung des falschen Rezepts verschlechtert die Retrieval-Qualität stillschweigend, ohne abzustürzen. Jeder Benchmark von Open-Source-Embeddern sollte einen Sanity-Boden enthalten (Recall@10 unter 0,5 über alle Bereiche für jedes Modell ist ein rotes Flag für eine Fehlkonfiguration, nicht ein Ergebnis).
Open-Source-Embedding-Model-Benchmark-Methodik
Drei Retrieval-Bereiche wurden bewertet: CUAD-Rechtsverträge (246 Abfragen, 509 Verträge), TechQA-Kundensupport-Technotes (151 Abfragen, 28000 IBM Technotes), MedRAG-PubMed-Gesundheits-Abstracts (154 Abfragen, 50000 Abstracts). Insgesamt 551 Abfragen.
Die Methodik des Datensatzaufbaus wird mit unserem vorherigen englischen Embedding-Model-Benchmark geteilt: Protocol-A 3-LLM-Konsens-Abfragegenerierung (rotierender Schreiberpool, fester Bewerter, zwei Nicht-Schreiber-Validatoren pro Versuch), Korpus-Pinning durch SHA-256-Hash, bereichsspezifische Entitäts-verbotene-Token-Whitelists, um BM25-lexikalische Abkürzungen zu verhindern, Cohens κ-Inter-Rater-Übereinstimmung pro Validatorenpaar berichtet, BM25-Basislinien-Ränge synthetisiert aus dem bm25_rank_at_target-Feld, das bereits in jedem JSON vorhanden ist (Pyserini-äquivalent). Primäre Metrik nDCG@3 (RAG-realistisch, was Produktions-RAG-Systeme konsumieren); sekundäre Metriken nDCG@10, Recall@10, Recall@100, MRR@10, Top-1-Treffer.
Open-Source-spezifische Spezifikationen:
- GPU: 1 x NVIDIA H100 80GB SXM5 über RunPod Community Cloud
- Pod-Vorlage:
runpod/pytorch:1.0.2-cu1281-torch280-ubuntu2404
- Stack: PyTorch 2.10.0+cu128, vLLM 0.19.1, transformers 5.6.2, sentence-transformers 5.4.1
- Pro-Modell-Dispatch: HF-Modellkarte primärer Pfad. ST für 12 Modelle, vLLM für Nemotron-8B, KaLM-Gemma3-12B, jina-v5-text-small.
- Pro-Modell-Chunking: Zeichenbasierte Trunkierung bei
max_seq_length x 4Zeichen pro Token, dann trunkiert das Tokenizer des Modells auf seine tatsächliche maximale Sequenzlänge.
- Asymmetrisches Retrieval: Jedes Modell, das es unterstützt, erhält das HF-Karte-dokumentierte Abfrage- und Dokumentenpräfix. Kein Präfix ist das dokumentierte Standard für einige.
- L2-Normalisierung: einheitlich nach dem Pooling angewendet. Einige Modelle tun dies intern. Wir normalisieren erneut, um Parität über die Liste hinweg sicherzustellen.
- Embedding-Cache-Schlüssel: enthält Präfix + Aufgabe + prompt_name + max_seq + Backend, damit ein Präfix-Tausch mitten im Lauf keine veralteten Embeddings stillschweigend laden kann.
- Statistisches Protokoll: 10K Bootstrap-Resamples pro (Modell, Bereich, Metrik)-Zelle, Perzentil 95% CI, seed=2026.
Getestete Modelle
Sortiert nach AVG nDCG@3-Rang. Backend-Spalte: ST = sentence-transformers, vLLM = vLLM 0.19.
Bootstrap-95%-Konfidenzintervall-Ergebnisse
Die vollständige Rangliste oben ist ein einzelner Lauf pro (Modell, Bereich)-Zelle. Cross-Session-Modell-Init-Variation wird nicht gemessen. Um die innerhalb des Laufs auf Abfrageebene zu erfassen, resampling wir den pro-Abfrage-Rangvektor für jede (Modell, Bereich)-Zelle 10.000 Mal mit Zurücklegen (Perzentilmethode, seed=2026, Stichprobengrößen CUAD n=246, TechQA n=151, MedRAG n=154). Bereichsspezifisches Bootstrap-95%-CI auf nDCG@3:
Die CIs ändern, welche Inversionen die Daten unterstützen. Bei CUAD überlappen Harrier (0,8720, [0,836, 0,906]) und Nemotron (0,8602, [0,821, 0,897]), sodass der Harrier-auf-CUAD-Vorsprung bei dieser Stichprobengröße nicht sauber getrennt ist. Bei TechQA überlappen Nemotron (0,9515, [0,923, 0,977]) und SFR-2 (0,9109, [0,869, 0,949]) nicht, sodass Nemotrons TechQA-Führung statistisch getrennt ist. Bei MedRAG sind die Top-Vier (Nemotron 0,9629, SFR-2 0,9620, Harrier 0,9605, jina-v5 0,9523) innerhalb der CIs der anderen und bilden ein Vier-Wege-statistisches Unentschieden. Die PubMedBERT-unter-BM25-Inversion auf MedRAG (0,7084 [0,641, 0,772] vs. BM25 0,7862) liegt am Rand der Überlappung. Die zentrale Tendenz setzt den Spezialisten eindeutig unter BM25, aber ein 3-Lauf-Cross-Session-Durchgang ist erforderlich, um dies als getrennt statt überlappend zu lösen.
Einschränkungen
Einzelner Lauf pro (Modell, Bereich)-Zelle. Die Bootstrap-CI-Tabelle oben erfasst die innerhalb des Laufs auf Abfrageebene (10K Resamples, Perzentilmethode, seed=2026), aber Cross-Session-Modell-Init-Variation wird nicht gemessen. Ein 3-Lauf-Cross-Mitternacht-Durchgang ist für v2.1 geplant. Die engeren Bindungen, die durch die CI-Tabelle aufgedeckt wurden (z. B. das Vier-Wege-MedRAG-Unentschieden an der Spitze, die Harrier-Nemotron-CUAD-Überlappung, die PubMedBERT-gegen-BM25-marginalen Inversion) würden am meisten vom Multi-Lauf-Durchgang profitieren.
Pro-Modell-Kontextlängen-Verwechslung. Modelle mit 512-Token-Kontextfenstern (Granite-278m-multilingual, PubMedBERT, Conan, GIST) sehen nur die ersten ~2K Zeichen jedes Dokuments. Modelle mit 8K oder 32K Kontext (Nemotron, KaLM-12B, jina-v5, Harrier, Granite r2 english) sehen das gesamte Dokument. Dies begünstigt Langkontext-Modelle bei TechQA (lange Technotes) und MedRAG (lange Abstracts).
MedRAG-Trainingsdaten-Kontaminationsrisiko. Mehrere der bewerteten Modelle wurden auf PubMed-abgeleiteten Daten trainiert (PubMedBERT per Definition, möglicherweise Granite-278m-multilingual, möglicherweise Qwen3-Basis). Einige MedRAG nDCG@3-Boosts könnten auf Trainingsdaten-Überlappung statt auf Retrieval-Qualität zurückzuführen sein.
Conan-v1 ist chinesisches Training. Die Einbeziehung in rein englische Bereiche ist ein lehrreicher Datenpunkt zur Sprachmismatch und nicht ein fairer Kopf-an-Kopf-Vergleich der englischen Retrieval-Qualität. Wir erwarten eine Unterleistung gegenüber englisch trainierten Kollegen, und das zeigen die Daten.
Fazit
NVIDIA Llama-Embed-Nemotron-8B führt bei AVG nDCG@3 = 0,9249 mit statistisch getrennten TechQA- und MedRAG-Siegen. Die am höchsten bewertete Open-Source-Auswahl unter einer uneingeschränkten Lizenz (MIT) ist Microsoft Harrier-oss-v1-0.6b bei AVG 0,8911. Google EmbeddingGemma-300m läuft bei etwa 4x niedrigeren Kosten für einen kleinen Genauigkeitsschlag.
Weiterführende Literatur
Entdecken Sie weitere RAG-Benchmarks, wie:
- Top 10 mehrsprachige Embedding-Modelle für RAG
- Embedding-Modelle: OpenAI vs Gemini vs Voyage
- Top Vector-Datenbank für RAG: Qdrant vs Weaviate vs Pinecone
- Reranker-Benchmark: Top 8 Modelle verglichen
- Multimodale Embedding-Modelle: Apple vs Meta vs OpenAI
- Hybrid-RAG: Steigerung der RAG-Genauigkeit
- Graph-RAG vs. Vector-RAG
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{sar2026,
author = {Sarı, Ekrem},
title = {{Open-Source-Embedding-Model-Benchmark für RAG}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/open-source-embedding-models}},
note = {AIMultiple. Abgerufen am 3. Juli 2026}
}
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.