Dienstleistungen
Kontaktieren

Embedding-Benchmarks

Transparente Embedding-Modell-Benchmarks, die auf AIMultiples eigenen Retrieval-Evaluierungen kommerzieller und quelloffener Embedding-Modelle über drei Enterprise-RAG-Domänen beruhen. Zur Methodik.

TOP-MODELL
voyage-3.5
nDCG@3 0.943
Bestes Preis-Leistungs-Verhältnis
pplx-0.6b
$0.0040 / 1M
Größtes Modell
KaLM-Gemma3-12B
11.8B Parameter
Abdeckung
29 Modelle
3 Retrieval-Domänen · 87 Evaluierungen
Embedding-Modell-Benchmarks (nDCG@3)

Rangliste

Alle getesteten Embedding-Modelle, sortiert nach ihrem nDCG@3-Mittel über drei Domänen.

Filtern & Sortieren
#
Modell
nDCG@3
CUAD (legal)
TechQA (support)
MedRAG (health)
1
voyage-3.5
voyage-3.5
Voyage AI
0.943
0.9100.9650.954
2
voyage-4-large
voyage-4-large
Voyage AI
0.942
0.8730.9660.986
3
gemini-2-preview
gemini-2-preview
Google
0.932
0.8960.9300.969
4
nvidia-nemotron-8b
nvidia-nemotron-8b
NVIDIA
0.925
0.8600.9520.963
5
gemini-001
gemini-001
Google
0.922
0.8980.8860.981
6
voyage-4-lite
voyage-4-lite
Voyage AI
0.921
0.8590.9480.956
7
voyage-law-2
voyage-law-2
Voyage AI
0.919
0.9130.9020.941
8
SFR-Embedding-2_R
SFR-Embedding-2_R
Salesforce
0.905
0.8420.9110.962
9
jina-v5-text-small
jina-v5-text-small
Jina AI
0.895
0.8360.8970.952
10
harrier-oss-0.6b
harrier-oss-0.6b
Microsoft
0.891
0.8720.8410.961
Seite 1 von 3

Preis$0.060
Parameter-
ErschienenMai 2025
CUAD (legal)
0.91
TechQA (support)
0.965
MedRAG (health)
0.954

Preis$0.120
Parameter-
ErschienenJan 2026
CUAD (legal)
0.873
TechQA (support)
0.966
MedRAG (health)
0.986

Preis$0.200
Parameter-
ErschienenMär 2026
CUAD (legal)
0.896
TechQA (support)
0.93
MedRAG (health)
0.969

Preis$0.022
Parameter7.5B
ErschienenOkt 2025
CUAD (legal)
0.86
TechQA (support)
0.952
MedRAG (health)
0.963

Preis$0.150
Parameter-
ErschienenJul 2025
CUAD (legal)
0.898
TechQA (support)
0.886
MedRAG (health)
0.981

Preis$0.020
Parameter-
ErschienenJan 2026
CUAD (legal)
0.859
TechQA (support)
0.948
MedRAG (health)
0.956

Preis$0.120
Parameter-
ErschienenApr 2024
CUAD (legal)
0.913
TechQA (support)
0.902
MedRAG (health)
0.941

Preis$0.041
Parameter7.1B
ErschienenJun 2024
CUAD (legal)
0.842
TechQA (support)
0.911
MedRAG (health)
0.962

Preis$0.0066
Parameter1.6B
ErschienenApr 2026
CUAD (legal)
0.836
TechQA (support)
0.897
MedRAG (health)
0.952

Preis$0.012
Parameter596M
ErschienenMär 2026
CUAD (legal)
0.872
TechQA (support)
0.841
MedRAG (health)
0.961
Seite 1 von 3
Embedding-Modell-Benchmarks nach Erscheinungsdatum
nDCG@3 im Verhältnis zum Erscheinungsdatum des Modells
Preis vs. Retrieval-Genauigkeit
Effektive Kosten im Verhältnis zu nDCG@3. Kommerzielle Modelle werden zum API-Listenpreis angesetzt, selbst gehostete Modelle zu den amortisierten GPU-Kosten für den Betrieb auf einer einzelnen H100.
Methodik

Wie die Embedding-Modell-Benchmarks entstehen

Die Embedding-Modell-Benchmarks bewerten jedes Modell anhand von nDCG@3 - dem Anteil der Anfragen, bei denen das gesuchte Dokument unter den ersten 3 Treffern landet - und mitteln seine Position über die drei Retrieval-Domänen, in denen es evaluiert wurde. Jeder Benchmark unten fließt in diesen Wert ein.

Neueste Aktualisierungen

Neueste Aktualisierungen

Aktuelle Änderungen an den Embedding-Modell-Benchmarks, der Modellabdeckung und der Benchmark-Methodik von AIMultiple.

Jina AI

jina-v5-text-small

Neues Modell zu den Embedding-Modell-Benchmarks hinzugefügt.

Microsoft

harrier-oss-0.6b

Neues Modell zu den Embedding-Modell-Benchmarks hinzugefügt.

Google

gemini-2-preview

Neues Modell zu den Embedding-Modell-Benchmarks hinzugefügt.

Voyage AI

voyage-4-large

Neues Modell zu den Embedding-Modell-Benchmarks hinzugefügt.

Embeddings erkunden

Embedding-Models: OpenAI vs. Gemini vs. Voyage

Embeddings
Benchmark
31. Aug

Wir benchmarkten 15 englische Text-Embedding-Models und eine BM25-Baseline an über 500 manuell kuratierten Queries über drei Retrieval-Domänen: Rechtsverträge (CUAD), Kundensupport (IBM TechQA) und Gesundheitswesen (MedRAG PubMed). Voyage-3.5 belegt insgesamt den ersten Platz. Perplexity Embed V1 0.6b erreicht die obere Mittelklasse zum niedrigsten Preispunkt in unserem Benchmark. nDCG@3: Normalisierter diskontierter kumulativer Gewinn bei Cutoff 3. Mit…

Mehr lesen