RAG Evaluierungs-Tools: Weights & Biases vs Ragas vs DeepEval
Wenn eine RAG-Pipeline den falschen Kontext abruft, generiert das LLM selbstbewusst die falsche Antwort. Kontextrelevanz-Scorer sind die erste Verteidigungslinie.
Wir haben fünf Tools über 1.460 Fragen und 14.600+ bewertete Kontexte unter identischen Bedingungen einem Benchmark unterzogen: gleiches Judge-Modell (GPT-4o), Standardkonfigurationen und keine benutzerdefinierten Prompts. Unter Standardbedingungen erwiesen sich WandB, TruLens und Ragas als die besten Top-Performer. Unter adversariellem Druck (durch Entitätsaustausch erzeugte Hard Negatives) schnitt WandB am besten ab.
RAG-Evaluierungs-Tools: Benchmark-Ergebnisse
Die Top drei (WandB, TruLens, Ragas) sind bei der Top-1-Genauigkeit statistisch gleichauf (das 95 %-Konfidenzintervall überlappt zwischen 94,0 % und 98,0 %).
Um unsere Evaluierung und Metriken im Detail zu verstehen, lesen Sie unsere Benchmark-Methodik für die RAG-Evaluierungs-Tools.
Metriken erklärt
Top-1-Genauigkeit: Kann das Tool dem goldenen Kontext die höchste Relevanzbewertung zuweisen? Dies misst die Sicherheit gegen adversarielle Retrieval-Probleme, einen häufigen Fehlermodus in der Produktion.
NDCG@5 (normalisierter diskontierter kumulativer Gewinn): Wenn fünf Kontexte mit unterschiedlichen Relevanzstufen (4, 3, 2, 1, 0) vorliegen, ordnet das Tool sie in der richtigen Reihenfolge ein? Im Gegensatz zur binären Genauigkeit belohnt NDCG Tools, die relevanteren Kontexten proportional höhere Scores zuweisen.
Spearman ρ (Rangkorrelation): Wie gut korreliert die Score-Rangfolge eines Tools mit der tatsächlichen Relevanzreihenfolge? Ein perfektes Tool würde ρ = 1.0 erzeugen.
MRR (mittlerer reziproker Rang): Durchschnitt von 1/Rang für den goldenen Kontext. Wenn ein Tool den goldenen Kontext an erster Stelle platziert, gilt MRR = 1.0; an zweiter Stelle MRR = 0.5; an dritter Stelle MRR = 0.33. Es bestraft Tools, die den richtigen Kontext unter weniger relevante einordnen.
Wichtigste Erkenntnisse
- WandB führt bei der Identifikation, TruLens führt beim Ranking: WandB hat die höchste Top-1-Genauigkeit (94,5 %), aber den niedrigsten NDCG@5 (0.910) und Spearman ρ (0.669). TruLens führt bei NDCG@5 (0.932), Spearman ρ (0.750) und MRR (0.594). Der Unterschied liegt im Scoring-Design: Die binäre Bewertung von WandB ist einfach, aber grob; die 4-Punkte-Skala von TruLens hat mehr Auflösung, ist aber anfälliger für Inversionen.
- TruLens hat das höchste Diskriminierungsverhältnis: Beim Unterscheiden eines korrekten Kontexts von einer nahezu identischen, durch Entitätsaustausch veränderten Version liegt TruLens in 35,5 % der Fälle richtig, mit nur 8,4 % Inversionen (4.2:1 Verhältnis). Kein anderes Tool erreicht das.
- Kein Tool unterscheidet faktisch falsche von faktisch korrekten Kontexten: Alle fünf Tools bewerten Hard Negatives höher als partielle Kontexte und kehren damit die korrekte Relevanzreihenfolge um. Eine Passage mit den richtigen Entitäten und der falschen Antwort erzielt durchgängig höhere Scores als eine Passage mit dem richtigen Thema, aber ohne Antwort. Das passt dazu, dass Kontextrelevanz die thematische Passung misst und nicht die faktische Genauigkeit.
- DeepEval bewertet goldene Kontexte zu niedrig: Die Statement-Zerlegung von DeepEval erzeugt wettbewerbsfähige Rankings (NDCG@5 = 0.923), bewertet goldene Kontexte aber im Mittel mit 0.46 gegenüber 0.82–0.91 bei anderen Tools. Das macht es unzuverlässig für die Identifikation des einzelnen besten Kontexts.
- Die ternäre Skala von UpTrain begrenzt die Diskriminierung: Drei Ausgabewerte (0, 0.5, 1.0) können nicht fünf Relevanzstufen abbilden. UpTrain zeigt das schlechteste Diskriminierungsverhältnis (1.4:1) und die niedrigste Ranking-Genauigkeit (27,6 % perfekte Reihenfolge).
Diskriminierung: Goldener Kontext vs. Hard Negative
Wie oft weist das Tool dem goldenen Kontext einen höheren Score zu als dem durch Entitätsaustausch erzeugten Hard Negative?
Sieg = goldener Kontext erzielt strikt höheren Score. Gleichstand = gleiche Scores. Niederlage = Hard Negative erzielt höheren Score.
WandB hat die wenigsten Niederlagen (4,8 %), aber auch die wenigsten Siege (15,5 %): Die binäre Bewertung erzeugt in 80 % der Fälle Gleichstände. Wenn sie differenziert, liegt sie fast immer richtig. Die strikte Top-1-Genauigkeit von WandB (der goldene Kontext ist das eindeutige Maximum) beträgt nur 8,3 %, verglichen mit 25,3 % bei TruLens; die Argmax-Top-1 ist hoch, weil der goldene Kontext an Index 0 steht und von der Gleichstandsauflösung profitiert.
Ranking-Qualität
Paarweise Genauigkeit = % aller 10 Kontextpaare pro Sample, die korrekt eingestuft wurden. Top-2-Genauigkeit = der am höchsten bewertete Kontext ist golden oder partiell. 5-Wege-Genauigkeit = perfektes monotones Ranking über alle 5 Stufen.
WandB führt bei allen drei Metriken, weil das binäre Scoring eine natürliche zweistufige Trennung (relevant vs. irrelevant) schafft, die Ordnungsfehler innerhalb einer Stufe eliminiert. Hinweis: Die paarweise Genauigkeit zählt Gleichstände als korrekt (s[i] >= s[j]), was binäre Tools begünstigt. NDCG@5 und Spearman ρ (in der obigen Grafik dargestellt) bestrafen Gleichstände und setzen TruLens auf Platz eins.
Durchschnittliche Scores nach Relevanzstufe
Kein Tool ordnet Partiell > Hard Negative korrekt ein.
Wie jedes Tool die Kontextrelevanz bewertet
Alle fünf Tools verwenden GPT-4o als zugrunde liegenden Judge, setzen aber unterschiedliche Bewertungsstrategien ein.
WandB Weave: Binärer LLM-Prompt
WandB sendet einen einzelnen Prompt an das LLM und bittet es, die Relevanz „auf einer Skala von 0 bis 1“ zu bewerten. Das interne Antwortschema definiert den Score jedoch als Ganzzahl, sodass das Modell nur 0 oder 1 zurückgeben kann.
Ein LLM-Aufruf, eine binäre Entscheidung. WandB beantwortet „Ist dies der richtige Kontext?“ sauber (höchste Top-1-Genauigkeit), kann aber keine Relevanzgrade ausdrücken: Ein partieller Kontext und ein Hard Negative erhalten denselben Score.
Ausgabewerte: 0, 1
TruLens: 4-Punkte-Likert-Skala
TruLens fordert das LLM als „RELEVANCE-Grader“ mit expliziten Kriterien für eine 0-3-Skala auf:
- 0: Irrelevant für die Anfrage
- 1: Relevant für Teile der Anfrage
- 2: Relevant für den größten Teil der Anfrage
- 3: Relevant für die gesamte Anfrage
Der Roh-Score wird durch Division durch 3 auf 0.0–1.0 normalisiert. Dies gibt TruLens vier unterschiedliche Ausgabestufen und bietet genug Granularität, um partielle Kontexte von Hard Negatives zu unterscheiden, während der Prompt einfach bleibt.
Ausgabewerte: 0.0, 0.33, 0.67, 1.0
Ragas: Dual-Judge-Mittelung
Ragas führt bei jeder Evaluierung zwei unabhängige Judge-Prompts aus, jeweils mit unterschiedlicher Formulierung derselben Kriterien (0 = irrelevant, 1 = teilweise relevant, 2 = vollständig relevant). Der endgültige Score ist der Durchschnitt beider Judges, normalisiert auf 0.0–1.0.
Weil zwei 3-Punkte-Skalen gemittelt werden, erzeugt Ragas fünf mögliche Werte, mehr Ausgabewerte als jedes andere getestete Tool. Das Dual-Judge-Design bietet zudem eingebaute Widerstandsfähigkeit gegenüber Prompt-Sensitivität.
Ausgabewerte: 0.0, 0.25, 0.5, 0.75, 1.0
UpTrain: Ternäre Klassifikation (A/B/C)
UpTrain formuliert Relevanz als Multiple-Choice-Klassifikation:
- A (1.0): Der Kontext kann die Anfrage vollständig beantworten
- B (0.5): Der Kontext kann eine teilweise relevante Antwort geben, aber die Anfrage nicht vollständig beantworten
- C (0.0): Der Kontext enthält keine Informationen, um die Anfrage zu beantworten
Das ternäre Design kann „teilweise relevant“ von „irrelevant“ unterscheiden, aber nicht „täuschend“ von „tangential verwandt“ trennen; beide können in denselben Topf fallen.
Ausgabewerte: 0.0, 0.5, 1.0
DeepEval: Statement-Zerlegung (G-Eval)
Statt nach einem einzelnen Relevanz-Score zu fragen, zerlegt DeepEval den Kontext in einzelne Statements und bittet dann das LLM, jedes Statement mit „ja“ (relevant) oder „nein“ (irrelevant) zur Anfrage zu beurteilen. Der endgültige Score ist das Verhältnis der relevanten Statements zur Gesamtzahl der Statements.
Das Ergebnis ist ein kontinuierlicher Score (z. B. 7 von 10 relevanten Statements = 0.70). Der Ansatz ist jedoch streng: Selbst ein hochrelevanter Kontext wird bestraft, wenn er themenfremde Sätze enthält. Goldene Kontexte enthalten manchmal Kontextdetails, die von der Zerlegung als „irrelevant“ markiert werden, wodurch der Score unter den eines kürzeren, fokussierteren Hard Negatives sinkt. Das erklärt DeepEvals Top-1-Genauigkeit von 78,1 %.
Ausgabewerte: Kontinuierlich (0.0–1.0)
RAG-Evaluierungs-Tools: Benchmark-Methodik
Adversariales Dataset-Design
Jede Anfrage hat fünf Kontexte mit einer unterschiedlichen Relevanzstufe:
Dataset
Wir kombinieren zwei Quellen:
HaluEval (480 Samples): Allgemeinwissensfragen zu Musik, Film, Sport, Geschichte, Geografie und mehr. Hard Negatives, partielle Kontexte und Soft Negatives werden von Claude generiert.
HotPotQA (530 Samples): Fragen zum mehrstufigen Schlussfolgern, die Synthese von Informationen über mehrere Dokumente hinweg erfordern.
Gesamt: 1.010 Samples, jeweils mit 5 Kontexten = 5.050 Kontextevaluierungen pro Tool. Alle Samples durchliefen ein automatisiertes Leck-Filtering (489 Samples wurden während der Generierung wegen Antwort-Leaks entfernt).
Cross-Model-Protokoll
Um Selbstbevorzugungs-Bias zu eliminieren (bei dem ein LLM-Evaluator selbst generierten Text bevorzugt), verwendeten wir Claude Sonnet 4.5 für die adversariale Kontextgenerierung und GPT-4o als Judge für alle Tools. Beide wurden über OpenRouter mit temperature=0 aufgerufen.
Als bevorzugte Quelle hinzufügenDie adversariellen Fallen
Die Multi-Hop-Falle (Relationsverwechslung)
Fragen erfordern oft das Nachverfolgen einer Beziehungskette (z. B. A ist mit B verwandt, der mit C verwandt ist). Hard Negatives beantworten eine einfachere Version der Frage und durchbrechen die Kette.
Frage-ID 89: „Wer veröffentlicht die Spieleserie, deren Parodie Retro City Rampage ist?“ Zielantwort: Rockstar Games
Die Entity-Distraktor-Falle
Retriever finden oft den richtigen Ort oder das richtige Thema, liefern aber Metadaten zum falschen Ereignis oder Attribut.
Frage-ID 90: „…The Bridge Inn ist der Veranstaltungsort für welchen jährlichen Wettbewerb im Lügenerzählen, der in Cumbria, England, stattfindet?“ Zielantwort: World’s Biggest Liar
Die Falle der partiellen Relevanz
Ein Kontext mit dem richtigen Thema und den richtigen Entitäten, aber ohne Antwort.
Frage-ID 9: „Wer schrieb die Liedtexte von Portofino zusammen mit einem Kollaborateur an ‚Fiddler on the Roof‘?“ Zielantwort: Richard Ney
TruLens und DeepEval bewerten bei diesen Samples partielle Kontexte korrekt höher als Hard Negatives, obwohl dieses Muster nicht über das gesamte Dataset hinweg Bestand hat.
Welches Tool sollten Sie verwenden?
Fazit
Die Scoring-Granularität ist der wichtigste Trade-off. Binäre Tools (WandB) gewinnen bei der Identifikation, weil jeder Gleichstand standardmäßig zu ihren Gunsten ausfällt; mehrstufige Tools (TruLens, Ragas) gewinnen beim Ranking, weil sie Relevanzgrade ausdrücken können.
Die Kontextrelevanz funktioniert als erster Filter: Alle Tools trennen relevante von irrelevanten Kontexten in mehr als 91 % der Fälle (Paarweise Genauigkeit). Aber keines von ihnen überprüft die faktische Genauigkeit. Eine Passage mit den richtigen Entitäten und der falschen Antwort erzielt in jedem getesteten Tool hohe Scores. Für faktische Korrektheit sollten Sie mit Metriken zur Antworttreue kombinieren.
Limitationen
- Einzelnes Judge-Modell: Alle Evaluierungen verwenden GPT-4o als Judge. Ergebnisse können mit anderen Modellen abweichen.
- Nur Kontextrelevanz: Dieser Benchmark bewertet ausschließlich das Kontextrelevanz-Scoring, nicht die Antworttreue oder andere RAG-Metriken.
- Standardkonfigurationen: Die Tools wurden out-of-the-box bewertet. Die Leistung kann sich durch benutzerdefiniertes Prompt Engineering verbessern.
- Einzeldurchlauf mit Gleichstands-Konvention: Der Benchmark wurde einmal mit temperature=0 ausgeführt. Die Top-1-Genauigkeit verwendet
argmax(der erste Index gewinnt bei Gleichständen), was Tools mit hohen Gleichstandsraten begünstigt (WandB: 86 %). Wir berichten die strikte Top-1 parallel zu Argmax, wo relevant. - Ausschließlich adversariales Dataset: Alle Hard Negatives verwenden Entitätsaustausch. Die Ergebnisse spiegeln die Leistung unter adversariellen Bedingungen wider; Tools können bei natürlich abgerufenen Kontexten anders abschneiden.
Weiterführende Lektüre
Entdecken Sie weitere RAG-Benchmarks, zum Beispiel:
- Embedding-Modelle: OpenAI vs Gemini vs Cohere
- Top 16 Open-Source-Embedding-Modelle für RAG
- Top-Vektordatenbank für RAG: Qdrant vs Weaviate vs Pinecone
- Reranker-Benchmark: Top 8 Modelle im Vergleich
- Multimodale Embedding-Modelle: Apple vs Meta vs OpenAI
- Top 10 mehrsprachige Embedding-Modelle für RAG
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{RAG Evaluierungs-Tools: Weights & Biases vs Ragas vs DeepEval}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/rag-evaluation-tools}},
note = {AIMultiple. Abgerufen am 23. März 2026}
}Änderungsprotokoll
2 AktualisierungenDie Benchmark-Ergebnisse im Abschnitt „RAG-Evaluierungstools Benchmark-Ergebnisse“ wurden aktualisiert.
Aktualisiert den Abschnitt „RAG-Evaluierungstools-Benchmark-Ergebnisse“ mit neuen Benchmark-Ergebnissen und Metriken.
Cems Arbeit bei AIMultiple wurde von führenden globalen Publikationen wie Business Insider, Forbes, Morning Brew und Washington Post, von globalen Unternehmen wie Deloitte und HPE, von NGOs wie dem World Economic Forum und von supranationalen Organisationen wie der European Commission zitiert. [1], [2], [3], [4], [5]
Im Laufe seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen bei ihren Technologieentscheidungen bei McKinsey & Company und Altman Solon über mehr als ein Jahrzehnt. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung.
Er leitete Technologiestrategie und -beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Außerdem verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von 0 einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung erreichte. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.
Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er absolvierte die Bogazici University als Computeringenieur und hat einen MBA von der Columbia Business School.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.