Benchmark der Open-Source-Embedding-Modelle für RAG

NVIDIA Llama-Embed-Nemotron-8B führt bei der Genauigkeit. Bei den Kosten läuft Googles EmbeddingGemma-300m etwa 4x günstiger als Nemotron, bei einem kleinen Genauigkeitsverlust.

Benchmark-Ergebnisse der Open-Source-Embedding-Modelle

Erläuterung der Metriken

nDCG@3: Normalisierter diskontierter kumulativer Gewinn bei Cutoff 3. Bei einem relevanten Dokument pro Abfrage beträgt er 1 / log2(Rang + 1), wenn das Golddokument unter den Top 3 landet, andernfalls 0. Rang 1 erzielt 1.000, Rang 2 erzielt 0.631 und Rang 3 erzielt 0.500. Wir verwenden nDCG@3 als primäre Metrik, da Produktions-RAG-Pipelines die obersten 3 bis 5 Chunks an das LLM übergeben und der Primacy Bias Rang 1 überproportional wichtig macht.

nDCG@10: Gleiche Formel mit Cutoff 10.

Recall@10: Anteil der Abfragen, bei denen das Golddokument in den Top 10 erscheint.

MRR@10: Mittlerer reziproker Rang bei Cutoff 10. Gold auf Rang 1 erzielt 1.000, Rang 2 erzielt 0.500 und Rang 10 erzielt 0.100. Ähnliche Aussage wie nDCG@3, aber mit steilerer Rangstrafe.

Top-1-Treffer: Anteil der Abfragen, bei denen das goldrelevante Dokument das einzige Top-Ergebnis ist. Die strengste Metrik und diejenige, die einem Workflow ohne LLM-Lookup am nächsten kommt.

nDCG@3-Ergebnisse nach Domäne

Das AVG-Ranking verdeckt Domäneninversionen. Harrier gewinnt bei CUAD, landet aber bei TechQA auf dem siebten Platz. SFR-2 rangiert bei TechQA auf Platz zwei, bei CUAD jedoch nur auf Platz vier. KaLM-12B ist bei MedRAG Fünfter und bei TechQA Neunter. nDCG@3 nach Domäne:

BM25 ist bei MedRAG wettbewerbsfähig (0.7862 und schlägt PubMedBERT sowie das mehrsprachige Granite) und bei CUAD schwach (0.5844, wo 11 von 14 dichten Modellen besser abschneiden). Rechtsverträge enthalten dichte Entitätensprache, die lexikalische Treffer belohnt. Bei medizinischen Abstracts übertreffen die besten dichten Modelle (Nemotron 0.9629, SFR-2 0.9620, jina-v5 0.9523) BM25 um 0.17 bis 0.18 absolute nDCG@3-Punkte.

Bootstrap-95 %-Konfidenzintervalle pro (Modell-, Domänen-)Zelle, einschließlich eines Vierfach-Gleichstands bei MedRAG an der Spitze und einer Harrier-Nemotron-Überlappung bei CUAD, die das Punktschätzungsranking abflacht, werden im Abschnitt Benchmark-Methodik berichtet.

Kosten pro Million Tokens

Die selbst gehosteten Kosten sind GPU-amortisiert: der Stundensatz geteilt durch die pro Stunde verarbeiteten Tokens. Der verwendete Pod war eine RunPod-Community-Cloud-H100-80GB-SXM5 zum Preis von $2.99/Std.. Die Gesamtlaufzeit pro Modell über den Durchlauf mit 551 Abfragen und 3 Korpora (insgesamt ~46.2M Tokens) ergibt die folgenden Schätzungen in $/1M Tokens:

Die Formel:

GPU-$/Std. = $2.99 (der RunPod-Community-Tarif für H100 80GB SXM5 des verwendeten Pods). wall_seconds = die Gesamtlaufzeit jedes Modells über den Durchlauf mit 551 Abfragen und 3 Korpora. total_tokens ≈ 46.22M (Summe aus 3 Korpora + 551 Abfragen, Zeichenzahl ÷ 4 als Heuristik).

Rechenbeispiel, Nemotron-8B: ($2.99 / 3600) × (1247.8 × 1.000.000 / 46.220.000) = $0.0224 pro 1M Tokens.

Fünf Modelle führen ihre Kostenstufe an (keine andere Zeile kostet weniger und schneidet zugleich besser ab): Granite-278m-multilingual am unteren Ende der Kostenleiter, dann Granite-small-r2, EmbeddingGemma-300m, jina-v5-text-small und Nemotron-8B am oberen Ende der Qualitätsleiter. Die Endpunkte erstrecken sich über einen Kostenfaktor von 13x ($0.0017/M bis $0.0224/M) und 0.23 absolute nDCG@3-Punkte (0.6952 bis 0.9249).

Domänenspezialisten vs. Generalisten

PubMedBERT, feinabgestimmt auf PubMed-Titel-Abstract-Paaren, ist offensichtlich das „richtige Werkzeug“ für die medizinische RAG-Retrieval auf PubMed. Es erreicht nDCG@3 = 0.7084 bei MedRAG und liegt damit unter der lexikalischen BM25-Baseline (0.7862) im selben Korpus. Moderne Open-Source-Generalisten übertreffen es um 0.22 bis 0.25 absolute Punkte in seiner Trainingsdatendomäne:

Der Grund, warum der Spezialist schlechter abschneidet, sind Alter und Rezept. PubMedBERT ist ein 110M-Parameter-BERT aus dem Jahr 2022 mit symmetrischem Mean-Pooling und ohne Instruktionspräfix. Die Generalisten von 2024–2026 basieren auf größeren Backbones, asymmetrischen Abfrage- und Dokumentpräfixen sowie instruktionsabgestimmten Retrieval-Zielen. Die architektonische Lücke wiegt schwerer als die Domänenübereinstimmung: Ein vier Jahre alter Fine-Tune kann nicht mit einem aktuellen, instruktionsabgestimmten Retriever mithalten, selbst nicht auf dem eigenen Trainingskorpus des Fine-Tunes.

Die Käuferregel lautet, einen Domänenspezialisten vor der Bereitstellung anhand repräsentativer Abfragen gegen einen modernen Generalisten zu testen. Die Annahme „Der Spezialist gewinnt in seiner Domäne“ ist für Open-Source-Embedding-Modelle im Jahr 2026 nicht mehr sicher.

Ergebnisse aus dem Open-Source-Embedding-Benchmark

Nemotron-8Bs TechQA-Vorsprung ist statistisch vom zweiten Platz getrennt

Nemotron-8B AVG nDCG@3 = 0.9249. Nach Domänen liegt es bei 0.8602 bei CUAD, 0.9515 bei TechQA und 0.9629 bei MedRAG. Das TechQA-Ergebnis (0.9515 0.923, 0.977) überschneidet sich nicht mit dem zweitplatzierten SFR-Embedding-2_R (0.9109 0.869, 0.949). Die Bootstrap-CIs trennen sich sauber. Die 8B-Llama-3.1-Basis, die für Retrieval mit einem abfrageseitigen Präfix „Instruct: …\nQuery: …“ und einem symmetrischen dokumentseitigen Präfix instruktionsabgestimmt ist, sorgt für einen absoluten nDCG@3-Vorsprung von 0.04 gegenüber der nächsten Zeile bei Workloads zur Unterstützung langer Dokumente.

Die beiden Domänen, in denen Nemotron klar gewinnt (TechQA, MedRAG), sind die Langdokument-Korpora, in denen die Asymmetrie der Instruktionspräfixe am wichtigsten ist. CUAD ist die einzige Domäne, in der es nicht führt: Microsofts Harrier-oss-v1-0.6b (0.8720) übertrifft Nemotron (0.8602) bei Rechtsverträgen, obwohl es 13x kleiner ist, wenngleich die CIs sich überschneiden und der Vorsprung bei dieser Stichprobengröße nicht statistisch getrennt ist.

Ein 0.6B-Microsoft-Harrier-Modell übertrifft jedes offene Modell mit unter 7B Parametern

Microsoft Harrier-oss-v1-0.6b (veröffentlicht 2026-04 mit einer Qwen3-0.6B-Basis und einer MIT-Lizenz) landet bei AVG nDCG@3 = 0.8911, insgesamt Platz vier. Es übertrifft das 12B-Tencent-Modell KaLM-Gemma3 (0.8057, Tencent-Community-Lizenz), das 7B-Salesforce-Modell SFR-Embedding-2_R bei CUAD (0.8421 gegenüber Harrier 0.8720) und Googles EmbeddingGemma-300m (0.8706). Bei einem Vergleich mit gleicher Architektur liegt Harrier-0.6b (0.8911) um 0.074 nDCG@3 über Qwen3-Embedding-0.6B (0.8168), das auf derselben Qwen3-0.6B-Basis aufbaut. Den Abstand verursachten Trainingskorpus und Instruktionsrezept, nicht die Parameterzahl.

Für Käufer ist Harrier die am höchsten platzierte Open-Source-Zeile, die mit einer Lizenz ausgeliefert wird, die ohne Einschränkungen für die kommerzielle Nutzung geeignet ist. SFR-2 (CC-BY-NC), Nemotron (NSCL-v1) und jina-v5 (CC-BY-NC) übertreffen es auf der AVG-Leiter, aber alle drei sind nur für Forschungszwecke oder nichtkommerziell.

Ein medizinischer Spezialisten-Embedder verliert gegen BM25

NeuMLs PubMedBERT-base-embeddings wurde auf PubMed-Titel-Abstract-Paaren feinabgestimmt. Es ist offensichtlich das „richtige Werkzeug“ für einen medizinischen RAG-Benchmark auf PubMed. Es erreicht nDCG@3 = 0.7084 bei MedRAG, was 0.078 absolut unter der lexikalischen BM25-Baseline (0.7862) im selben Korpus liegt. Die besten Open-Source-Generalisten bei MedRAG liegen deutlich über beiden: Nemotron-8B 0.9629, SFR-Embedding-2_R 0.9620, Harrier-oss 0.9605, jina-v5 0.9523, KaLM-Gemma3-12B 0.9453.

Dies ist die Umkehrung, die ändern sollte, wie ein Käufer einen Domänenspezialisten auswählt. PubMedBERT ist ein 110M-Parameter-BERT aus dem Jahr 2022 mit symmetrischem Mean-Pooling und ohne Instruktionspräfix. Das Generalistenfeld von 2024 bis 2026 basiert auf größeren Backbones, asymmetrischen Abfrage- und Dokumentpräfixen sowie instruktionsabgestimmten Retrieval-Zielen. Bei MedRAG-Abfragen, die bereits medizinisches Vokabular enthalten, ist die lexikalische Übereinstimmung von BM25 naturgemäß stark, und die Spezialisierung von PubMedBERT trägt nichts Zusätzliches dazu bei.

Die praktische Schlussfolgerung lautet, einen Spezialisten-Embedder nicht allein nach dem Namen auszuwählen. Benchmarken Sie ihn anhand Ihrer eigenen Abfragen, bevor Sie sich festlegen.

Snowflake Arctic schwankt 0.32 nDCG@3 zwischen den Domänen

Snowflakes snowflake-arctic-embed-l-v2.0 (568M, Apache-2.0, bge-m3-retromae-Derivat, mehrsprachig) erreicht nDCG@3 = 0.5846 bei CUAD-Rechtsverträgen und 0.9053 bei MedRAG-Abstracts aus der Medizin. Dasselbe Modell, dasselbe Rezept, dasselbe Abfrageformat, mit einer Schwankung von 0.32 Punkten über zwei Domänen. Andere Modelle im Feld schwanken weniger: SFR-2 erstreckt sich von 0.8421 bis 0.9620 (Abstand 0.12), Nemotron von 0.8602 bis 0.9629 (Abstand 0.10), Harrier von 0.8408 bis 0.9605 (Abstand 0.12).

Der Mechanismus liegt in der Zusammensetzung der Trainingsdaten. Arctic wurde auf BEIR, MIRACL und CLEF abgestimmt; Rechtsverträge sind nicht vertreten. Für eine vertikale Retrieval-Workload zählen Domänen-Trainingsdaten mehr als Parameterzahl oder Kontextlänge.

Wie Open-Source-Embedding-Inferenz funktioniert

Open-Source-Embedding-Modelle werden in diesem Benchmark in zwei Backends ausgeführt: Sentence-Transformers (12 Modelle) und vLLM (4 Modelle). Die Aufteilung hat nichts mit Qualität zu tun, sondern mit der Laufzeiteffizienz bei 8B- und größeren Modellen, wo die Standard-Python-Inferenzschleife von Sentence-Transformers zu langsam ist, um praktikabel zu sein.

Das Rezept pro Modell ist wichtiger als die Wahl des Backends. Moderne Retrieval-Modelle verwenden asymmetrische Präfixe: Die Abfrageseite wird in einen Instruct-artigen Prompt (Instruct: Given a question, retrieve passages...\nQuery: <text>) eingebettet, während die Dokumentseite unverändert bleibt. Der Pooling-Typ variiert: Von BERT abgeleitete Modelle verwenden CLS-Pooling; von LLM abgeleitete Modelle (Llama, Mistral, Qwen3, Gemma3-Basis) verwenden Last-Token-Pooling; mehrsprachige Modelle verwenden häufig Mean-Pooling. Die HuggingFace-Karte jedes Modells ist die maßgebliche Quelle dafür, welche Präfix- und Pooling-Kombination korrekt ist.

Backend-Stufe:

• vLLM: Nemotron-8B, KaLM-Gemma3-12B, jina-v5-text-small
• Sentence-Transformers: Qwen3-0.6B, EmbeddingGemma-300m, Granite-Trio, SFR-2, Conan-v1, PubMedBERT, GIST, Snowflake Arctic, Microsoft Harrier

Beobachtete asymmetrische Präfixmuster:

• Instruct + Abfrage/Dokument: SFR-2, KaLM-Gemma3, Nemotron-8B, Qwen3-Embedding
• Integriertes encode_query / encode_document: EmbeddingGemma, KaLM-Gemma3, Nemotron-8B
• task / prompt_name (Sentence-Transformers-Parameter): jina-v5, Snowflake Arctic, Harrier
• Kein Präfix (symmetrisch): Granite-Trio, Conan, PubMedBERT, GIST

Pooling-Typ nach Basisarchitektur:

• CLS-Pooling: Granite-r2-Trio, Snowflake Arctic
• Last-Token-Pooling: Nemotron, KaLM-Gemma3, SFR-2, jina-v5, Qwen3-Embedding, Harrier
• Mean-Pooling: EmbeddingGemma, Granite-multilingual, Conan, PubMedBERT, GIST

Die Verwendung des falschen Rezepts verschlechtert die Retrieval-Qualität still, ohne abzustürzen. Jeder Benchmark von Open-Source-Embeddern sollte eine Sanity-Untergrenze enthalten (Recall@10 unter 0.5 über alle Domänen hinweg für ein Modell ist ein Warnsignal für eine Fehlkonfiguration, kein Ergebnis).

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Methodik des Benchmarks für Open-Source-Embedding-Modelle

Es wurden drei Retrieval-Domänen ausgewertet: CUAD-Rechtsverträge (246 Abfragen, 509 Verträge), TechQA-Kundensupport-Technotes (151 Abfragen, 28000 IBM-Technotes), MedRAG-PubMed-Gesundheitsabstracts (154 Abfragen, 50000 Abstracts). Insgesamt 551 Abfragen.

Die Methodik zur Datensatzerstellung teilen wir mit unserem früheren Benchmark englischer Embedding-Modelle: Protokoll-A-3-LLM-Konsens-Abfragegenerierung (rotierender Autorenpool, fester Scorer, zwei Nicht-Autoren-Validatoren pro Versuch), Korpus-Pinning per SHA-256-Hash, domänenspezifische Whitelists mit Entity-verbotenen Tokens zur Verhinderung lexikalischer BM25-Abkürzungen, Cohens κ-Interrater-Übereinstimmung je Validatorenpaar, synthetisierte BM25-Basisränge aus dem in jeder Abfrage bereits vorhandenen bm25_rank_at_target-Feld (JSON, Pyserini-äquivalent). Primäre Metrik nDCG@3 (RAG-realistisch, was Produktions-RAG-Systeme konsumieren); sekundäre Metriken nDCG@10, Recall@10, Recall@100, MRR@10, Top-1-Treffer.

Open-Source-spezifische Spezifikationen:

• GPU: 1 x NVIDIA H100 80GB SXM5 über RunPod Community Cloud
• Pod-Vorlage: runpod/pytorch:1.0.2-cu1281-torch280-ubuntu2404
• Stack: PyTorch 2.10.0+cu128, vLLM 0.19.1, Transformers 5.6.2, Sentence-Transformers 5.4.1
• Pro-Modell-Dispatch: Primärpfad der HF-Modellkarte. ST für 12 Modelle, vLLM für Nemotron-8B, KaLM-Gemma3-12B, jina-v5-text-small.
• Pro-Modell-Chunking: zeichenbasierte Trunkierung bei max_seq_length x 4 Zeichen pro Token; anschließend trunkiert der Tokenizer des Modells auf seine tatsächliche maximale Sequenzlänge.
• Asymmetrisches Retrieval: Jedes Modell, das dies unterstützt, erhält das in der HF-Karte dokumentierte Abfrage- und Dokumentpräfix. Für einige ist kein Präfix der dokumentierte Standard.
• L2-Normalisierung: einheitlich nach dem Pooling angewendet. Einige Modelle tun dies intern. Wir normalisieren erneut, um Gleichheit über das gesamte Feld sicherzustellen.
• Embedding-Cache-Schlüssel: umfasst Präfix + Task + prompt_name + max_seq + Backend, sodass ein Präfixwechsel während des Laufs keine veralteten Embeddings still laden kann.
• Statistisches Protokoll: 10K Bootstrap-Resamples pro (Modell-, Domänen-, Metrik-)Zelle, Perzentil-95 %-Konfidenzintervall, Seed=2026.

Getestete Modelle

Sortiert nach AVG-nDCG@3-Rang. Backend-Spalte: ST = Sentence-Transformers, vLLM = vLLM 0.19.

Ergebnisse der Bootstrap-95 %-Konfidenzintervalle

Die vollständige Bestenliste oben ist ein Einzellauf pro (Modell-, Domänen-)Zelle. Die sitzungsübergreifende Varianz der Modellinitialisierung wird nicht gemessen. Um die abfragebezogene Varianz innerhalb eines Laufs zu erfassen, ziehen wir den Pro-Abfrage-Rangvektor für jede (Modell-, Domänen-)Zelle 10.000-mal mit Zurücklegen (Perzentilmethode, Seed=2026, Stichprobengrößen CUAD n=246, TechQA n=151, MedRAG n=154). Bootstrap-95 %-KI je Domäne für nDCG@3:

Die KIs ändern durchaus, welche Umkehrungen die Daten stützen. Bei CUAD überschneiden sich Harrier (0.8720, [0.836, 0.906]) und Nemotron (0.8602, [0.821, 0.897]), sodass der Harrier-Vorsprung bei CUAD bei dieser Stichprobengröße nicht sauber getrennt ist. Bei TechQA überschneiden sich Nemotron (0.9515, [0.923, 0.977]) und SFR-2 (0.9109, [0.869, 0.949]) nicht, sodass Nemotrons TechQA-Vorsprung statistisch getrennt ist. Bei MedRAG liegen die vier besten (Nemotron 0.9629, SFR-2 0.9620, Harrier 0.9605, jina-v5 0.9523) innerhalb der KIs der anderen und bilden ein statistisches Vierfach-Unentschieden. Die Umkehrung PubMedBERT unter BM25 bei MedRAG (0.7084 [0.641, 0.772] gegenüber BM25 0.7862) liegt an der Grenze der Überlappung. Die zentrale Tendenz stellt den Spezialisten klar unter BM25, aber ein 3-Lauf-Sitzungsübergreifender Durchgang ist nötig, um dies als getrennt statt überlappend aufzulösen.

Einschränkungen

Einzellauf pro (Modell-, Domänen-)Zelle. Die obige Bootstrap-KI-Tabelle erfasst die abfragebezogene Varianz innerhalb eines Laufs (10K Resamples, Perzentilmethode, Seed=2026), aber die sitzungsübergreifende Varianz der Modellinitialisierung wird nicht gemessen. Für v2.1 ist ein 3-Lauf-Durchgang über Mitternacht geplant. Die engeren Gleichstände, die KI-Tabelle zeigt (z. B. der Vierfach-Gleichstand bei MedRAG an der Spitze, die Harrier-Nemotron-Überlappung bei CUAD, die marginale Umkehrung PubMedBERT gegenüber BM25), würden am stärksten von einem Mehrlauf-Durchgang profitieren.

Störfaktor Kontextlänge pro Modell. Modelle mit 512-Token-Kontextfenstern (Granite-278m-multilingual, PubMedBERT, Conan, GIST) sehen nur die ersten ~2K Zeichen jedes Dokuments. Modelle mit 8K- oder 32K-Kontext (Nemotron, KaLM-12B, jina-v5, Harrier, Granite r2 english) sehen das vollständige Dokument. Dies begünstigt Modelle mit langem Kontext bei TechQA (lange Technotes) und MedRAG (lange Abstracts).

Risiko der Kontamination von MedRAG-Trainingsdaten. Mehrere der bewerteten Modelle wurden auf PubMed-abgeleiteten Daten trainiert (PubMedBERT per Definition, möglicherweise Granite-278m-multilingual, möglicherweise die Qwen3-Basis). Ein Teil des MedRAG-nDCG@3-Anstiegs spiegelt möglicherweise Überlappungen der Trainingsdaten wider und nicht die Retrieval-Qualität.

Conan-v1 ist chinesisch trainiert. Die Aufnahme in rein englische Domänen ist ein lehrreicher Datenpunkt zur Sprachdiskrepanz und kein fairer direkter Vergleich der englischen Retrieval-Qualität. Wir erwarten eine Unterleistung gegenüber englisch trainierten Konkurrenten, und genau das zeigen die Daten.

Weiterführende Literatur

Entdecken Sie weitere RAG-Benchmarks, wie zum Beispiel:

• Top 10 mehrsprachige Embedding-Modelle für RAG
• Embedding-Modelle: OpenAI vs. Gemini vs. Voyage
• Top-Vektordatenbank für RAG: Qdrant vs. Weaviate vs. Pinecone
• Reranker-Benchmark: Die besten 8 Modelle im Vergleich
• Multimodale Embedding-Modelle: Apple vs. Meta vs. OpenAI
• Hybrid-RAG: RAG-Genauigkeit steigern
• Graph-RAG vs. Vektor-RAG

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Benchmark der Open-Source-Embedding-Modelle für RAG}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/open-source-embedding-models}},
  note   = {AIMultiple. Abgerufen am 10. August 2026}
}

Ekrem Sarı

KI-Forscher

Folgen auf

Ekrem ist KI-Forscher und Datenanalyst bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten