RAG Benchmarks: Einbettungsmodelle, Vektordatenbanken und Reranker
RAG verbessert die LLM-Zuverlässigkeit, indem Antworten auf externe Daten gestützt werden. Wir benchmarken den RAG-Stack hinsichtlich Embedding-Modellen, Rerankern, Vektor-Datenbanken, Frameworks und Bewertungstools in Bezug auf Retrieval-Genauigkeit, Latenz und Qualität.
RAG Benchmarks: Einbettungsmodelle, Vektordatenbanken und Reranker erkunden
Reranker-Benchmark: Top 8 Modelle im Vergleich
RAGBenchmark15. OktWir haben 8 Reranker-Modelle auf ~145k englischen Amazon-Rezensionen getestet, um zu messen, wie stark eine Reranking-Stufe das Dense Retrieval verbessert. Wir haben Top-100-Kandidaten mit multilingual-e5-base abgerufen, sie mit jedem Modell neu gerankt und die Top-10-Ergebnisse anhand von 300 Anfragen bewertet, von denen sich jede auf konkrete Details aus ihrer Quell-Rezension bezieht. Der beste Reranker erhöhte…
- RAGBenchmark14. Okt
RAG-Evaluierungstools: W&B Weave vs Ragas vs TruLens
Wir haben fünf Evaluierungstools für Retrieval-Augmented Generation (RAG) mit 1.000+ adversariellen Fragen getestet, die jeweils mit fünf Passagen gepaart wurden. Der Vergleich misst die Kontextrelevanz mithilfe von GPT-4o und den Standard-Evaluierungsprompts der Tools. W&B Weave erzielte die höchste Top-1-Genauigkeit mit 94,5 %. TruLens führte bei den Ranking-Metriken, einschließlich NDCG@5 mit 0.932. Ihre Platzierungen hängen davon ab,…
- RAGBenchmark14. Okt
AIM-Agentic RAG Benchmark: Routing über 11 SQL-Datenbanken
Die Routing-Genauigkeit ist der Prozentsatz der bewerteten Fragen, bei denen das Model in seiner endgültigen Antwort explizit die richtige Datenbank nennt. Die Hauptkennzahl verwendet die 184 Fragen, die sowohl von unserem Ähnlichkeitstest als auch von einer Jury aus drei LLMs als schwierig eingestuft wurden. Fehlende explizite Angaben werden nicht gewertet. gemini-4-argon wählte bei 173 von…
- EmbeddingsBenchmark1. Okt
Embedding-Models: 25 Models für Retrieval gebenchmarkt
Wir haben 25 Embedding-Models anhand von 200 Retrieval-Fragen aus den Bereichen Finanzen, Rechtsverträge, technischer Support und medizinische Literatur gebenchmarkt. Die vier Korpora enthielten insgesamt 341.040 Textpassagen. Jede Query durchsuchte ihre eigene Domäne. nDCG@10 misst, wie weit oben die erfassten relevanten Passagen in den ersten zehn Ergebnissen erscheinen. Die Scores reichen von 0 bis 1; höhere…
- EmbeddingsBenchmark27. Sep
Open Source Embedding Models: 11 Models im Retrieval-Benchmark
Der nDCG@10 bewertet die Platzierung der aufgezeichneten relevanten Passagen innerhalb der ersten zehn Suchergebnisse. Ein Wert von 1 repräsentiert das ideale Ranking für die aufgezeichneten Positivtreffer. Passagen, die weiter oben stehen, erhalten mehr Gewicht. PPLX Embed v1 4B führte den Vergleich mit 0.741 nDCG@10 an, gefolgt von PPLX Embed v1 0.6B mit 0.698. Multilingual E5…
- Vektor-DatenbankBenchmark4. Sep
Vektordatenbank-Benchmark: 7 Open-Source-Engines für RAG
Wir haben sieben Open-Source-, selbst gehostete Vektordatenbanken als Retrieval-Schicht einer RAG-Pipeline einem Benchmark unterzogen, wobei jede einzeln auf identischen bge-m3-Embeddings und echten medizinischen und technischen Anfragen lief, sodass der Datenbankindex die einzige Variable war. Die Arbeitslast umfasste MedRAG-50k, TechQA-28k und einen Korpus mit 2.25M Vektoren über acht Dimensionen hinweg, von Genauigkeit und Retrieval-Qualität über Geschwindigkeit,…
- RAGBenchmark31. Aug
RAG-Frameworks: LangChain vs. LangGraph vs. LlamaIndex
Wir haben 5 RAG-Frameworks gebenchmarkt: LangChain, LangGraph, LlamaIndex, Haystack und DSPy, indem wir denselben agentischen RAG-Workflow mit standardisierten Komponenten erstellt haben: identische Modelle (GPT-4.1-mini), Embeddings (BGE-small), Retriever (Qdrant) und Tools (Tavily-Websuche). Dadurch werden der tatsächliche Overhead und die Token-Effizienz jedes Frameworks isoliert. Der Benchmark bestand aus 100 Anfragen, wobei jedes Framework den gesamten Satz 100…
- RAGBenchmark31. Aug
Beste RAG Tools, Frameworks und Bibliotheken
RAG verbessert LLM-Antworten, indem es sie auf externe Daten stützt, statt nur auf das, was das Modell im Training auswendig gelernt hat. Wir haben die Komponenten, aus denen ein RAG-System besteht, einem Benchmark unterzogen und die Ergebnisse an einem Ort zusammengeführt, mit einem praktischen Leitfaden zur Auswahl jedes Teils des Stacks. Siehe unsere Benchmark-Ergebnisse für…