RAG Benchmarks: Einbettungsmodelle, Vektordatenbanken und Reranker
RAG verbessert die LLM-Zuverlässigkeit, indem Antworten auf externe Daten gestützt werden. Wir benchmarken den RAG-Stack hinsichtlich Embedding-Modellen, Rerankern, Vektor-Datenbanken, Frameworks und Bewertungstools in Bezug auf Retrieval-Genauigkeit, Latenz und Qualität.
RAG Benchmarks: Einbettungsmodelle, Vektordatenbanken und Reranker erkunden
AIM-Agentic RAG Benchmark: Routing über 11 SQL-Datenbanken
RAGBenchmark9. OktDie Routing-Genauigkeit ist der Prozentsatz der bewerteten Fragen, bei denen das Modell in seiner endgültigen Antwort explizit die richtige Datenbank nennt. Die Hauptzahl verwendet die 184 Fragen, die sowohl von unserem Ähnlichkeitstest als auch von einer Jury aus drei LLMs als schwierig eingestuft wurden. Fehlende explizite Angaben werden nicht gewertet. claude-opus-5.5 wählte für 166 von…
- EmbeddingsBenchmark1. Okt
Embedding-Models: 25 Models für Retrieval gebenchmarkt
Wir haben 25 Embedding-Models anhand von 200 Retrieval-Fragen aus den Bereichen Finanzen, Rechtsverträge, technischer Support und medizinische Literatur gebenchmarkt. Die vier Korpora enthielten insgesamt 341.040 Textpassagen. Jede Query durchsuchte ihre eigene Domäne. nDCG@10 misst, wie weit oben die erfassten relevanten Passagen in den ersten zehn Ergebnissen erscheinen. Die Scores reichen von 0 bis 1; höhere…
- EmbeddingsBenchmark27. Sep
Open Source Embedding Models: 11 Models im Retrieval-Benchmark
Der nDCG@10 bewertet die Platzierung der aufgezeichneten relevanten Passagen innerhalb der ersten zehn Suchergebnisse. Ein Wert von 1 repräsentiert das ideale Ranking für die aufgezeichneten Positivtreffer. Passagen, die weiter oben stehen, erhalten mehr Gewicht. PPLX Embed v1 4B führte den Vergleich mit 0.741 nDCG@10 an, gefolgt von PPLX Embed v1 0.6B mit 0.698. Multilingual E5…
- RAGBenchmark22. Sep
Reranker-Benchmark: Top 8 Modelle im Vergleich
Wir haben 8 Reranker-Modelle auf ~145k englischen Amazon-Rezensionen getestet, um zu messen, wie stark eine Reranking-Stufe das Dense Retrieval verbessert. Wir haben Top-100-Kandidaten mit multilingual-e5-base abgerufen, sie mit jedem Modell neu gerankt und die Top-10-Ergebnisse anhand von 300 Anfragen bewertet, von denen sich jede auf konkrete Details aus ihrer Quell-Rezension bezieht. Der beste Reranker erhöhte…
- Vektor-DatenbankBenchmark4. Sep
Vektordatenbank-Benchmark: 7 Open-Source-Engines für RAG
Wir haben sieben Open-Source-, selbst gehostete Vektordatenbanken als Retrieval-Schicht einer RAG-Pipeline einem Benchmark unterzogen, wobei jede einzeln auf identischen bge-m3-Embeddings und echten medizinischen und technischen Anfragen lief, sodass der Datenbankindex die einzige Variable war. Die Arbeitslast umfasste MedRAG-50k, TechQA-28k und einen Korpus mit 2.25M Vektoren über acht Dimensionen hinweg, von Genauigkeit und Retrieval-Qualität über Geschwindigkeit,…
- RAGBenchmark31. Aug
RAG Evaluierungs-Tools: Weights & Biases vs Ragas vs DeepEval
Wenn eine RAG-Pipeline den falschen Kontext abruft, generiert das LLM selbstbewusst die falsche Antwort. Kontextrelevanz-Scorer sind die erste Verteidigungslinie. Wir haben fünf Tools über 1.460 Fragen und 14.600+ bewertete Kontexte unter identischen Bedingungen einem Benchmark unterzogen: gleiches Judge-Modell (GPT-4o), Standardkonfigurationen und keine benutzerdefinierten Prompts. Unter Standardbedingungen erwiesen sich WandB, TruLens und Ragas als die besten…
- RAGBenchmark31. Aug
RAG-Frameworks: LangChain vs. LangGraph vs. LlamaIndex
Wir haben 5 RAG-Frameworks gebenchmarkt: LangChain, LangGraph, LlamaIndex, Haystack und DSPy, indem wir denselben agentischen RAG-Workflow mit standardisierten Komponenten erstellt haben: identische Modelle (GPT-4.1-mini), Embeddings (BGE-small), Retriever (Qdrant) und Tools (Tavily-Websuche). Dadurch werden der tatsächliche Overhead und die Token-Effizienz jedes Frameworks isoliert. Der Benchmark bestand aus 100 Anfragen, wobei jedes Framework den gesamten Satz 100…
- RAGBenchmark31. Aug
Beste RAG Tools, Frameworks und Bibliotheken
RAG verbessert LLM-Antworten, indem es sie auf externe Daten stützt, statt nur auf das, was das Modell im Training auswendig gelernt hat. Wir haben die Komponenten, aus denen ein RAG-System besteht, einem Benchmark unterzogen und die Ergebnisse an einem Ort zusammengeführt, mit einem praktischen Leitfaden zur Auswahl jedes Teils des Stacks. Siehe unsere Benchmark-Ergebnisse für…