Kontaktieren
Dienstleistungen
Kontaktieren
KIRAG

Benchmark der Open-Source-Embedding-Modelle für RAG

Benchmark
14. Aug

NVIDIA Llama-Embed-Nemotron-8B führt bei der Genauigkeit. Bei den Kosten läuft Googles EmbeddingGemma-300m etwa 4x günstiger als Nemotron, bei einem kleinen Genauigkeitsverlust. nDCG@3: Normalisierter diskontierter kumulativer Gewinn bei Cutoff 3. Bei einem relevanten Dokument pro Abfrage beträgt er 1 / log2(Rang + 1), wenn das Golddokument unter den Top 3 landet, andernfalls 0. Rang 1 erzielt…

Mehr lesen
Benchmark
14. Aug

Embedding-Modelle: OpenAI vs. Gemini vs. Voyage

Wir haben 15 englische Text-Embedding-Modelle und eine BM25-Baseline an über 500 manuell kuratierten Abfragen in drei Retrieval-Domänen einem Benchmark unterzogen: Vertragsrecht (CUAD), Kundensupport (IBM TechQA) und Gesundheitswesen (MedRAG PubMed). Voyage-3.5 liegt insgesamt auf Platz 1. Perplexity Embed V1 0.6b erreicht das obere Mittelfeld zum niedrigsten Preis in unserem Benchmark. nDCG@3: Normalized discounted cumulative gain bei…