RAG Evaluierungstools: Weights & Biases vs Ragas vs DeepEval
Wenn eine RAG Pipeline den falschen Kontext abruft, generiert der LLM selbstbewusst die falsche Antwort. Kontext-Relevanz-Score sind die primäre Verteidigung.
Wir haben fünf Tools unter identischen Bedingungen getestet: 1.460 Fragen und über 14.600 bewertete Kontexte, derselbe Judge-Modell (GPT-4o), Standardkonfigurationen und keine benutzerdefinierten Prompts. Unter Standardbedingungen schnitten WandB, TruLens und Ragas am besten ab. Unter adversarischem Druck (entitätsgetauschte harte Negativbeispiele) performte WandB am besten.
RAG Evaluierungstools Benchmark-Ergebnisse
Die Top drei (WandB, TruLens, Ragas) sind statistisch gleichauf bei der Top-1-Genauigkeit (95% CI überlappend zwischen 94,0% und 98,0%).
Um unsere Evaluierung und Metriken im Detail zu verstehen, lesen Sie unsere Benchmark-Methodik für die RAG Evaluierungstools.
Metriken erklärt
Top-1-Genauigkeit: Kann das Tool dem goldenen Kontext den höchsten Relevanzscore zuweisen? Dies misst die Sicherheit gegen adversatives Retrieval, einen häufigen Fehlermodus in der Produktion.
NDCG@5 (normalisierter Discounted Cumulative Gain): Wenn fünf Kontexte mit unterschiedlichen Relevanzstufen (4, 3, 2, 1, 0) gegeben sind, ordnet das Tool sie in der richtigen Reihenfolge? Im Gegensatz zur binären Genauigkeit belohnt NDCG Tools, die relevanteren Kontexten proportional höhere Scores zuweisen.
Spearman ρ (Rangkorrelation): Wie gut korreliert die Score-Reihenfolge eines Tools mit der wahren Relevanzreihenfolge? Ein perfektes Tool würde ρ = 1,0 produzieren.
MRR (Mean Reciprocal Rank): Durchschnitt von 1/Rang für den goldenen Kontext. Wenn ein Tool den goldenen Kontext an erster Stelle platziert, ist MRR = 1,0; an zweiter Stelle MRR = 0,5; an dritter Stelle MRR = 0,33. Bestraft Tools, die den korrekten Kontext unter weniger relevante verbergen.
Hauptergebnisse
- WandB führt bei der Identifikation, TruLens bei der Rangfolge: WandB hat die höchste Top-1-Genauigkeit (94,5%), aber den niedrigsten NDCG@5 (0,910) und Spearman ρ (0,669). TruLens führt bei NDCG@5 (0,932), Spearman ρ (0,750) und MRR (0,594). Der Unterschied liegt im Scoring-Design: WandBs binäres Scoring ist einfach, aber grob; TruLens' 4-Punkte-Skala hat mehr Auflösung, ist aber anfälliger für Umkehrungen.
- TruLens hat das höchste Diskriminierungsverhältnis: Bei der Unterscheidung eines korrekten Kontexts von einer fast identischen, entitätsgetauschten Version liegt TruLens in 35,5% der Fälle richtig mit nur 8,4% Umkehrungen (Verhältnis 4,2:1). Kein anderes Tool erreicht dies.
- Kein Tool unterscheidet faktisch falsche von faktisch korrekten Kontexten: Alle fünf Tools bewerten harte Negativbeispiele höher als partielle Kontexte und kehren die korrekte Relevanzreihenfolge um. Ein Abschnitt mit den richtigen Entitäten und der falschen Antwort erzielt konsistent mehr Punkte als ein Abschnitt mit dem richtigen Thema, aber ohne Antwort. Dies ist konsistent damit, dass Kontext-Relevanz thematische Passung misst, nicht faktische Genauigkeit.
- DeepEval unterbewertet goldene Kontexte: DeepEvals Aussagezerlegung erzeugt wettbewerbsfähige Rangfolgen (NDCG@5 = 0,923), bewertet aber goldene Kontexte mit einem Durchschnitt von 0,46 im Vergleich zu 0,82–0,91 bei anderen Tools. Dies macht es unzuverlässig für die Identifizierung des einzelnen besten Kontexts.
- UpTrains ternäre Skala begrenzt die Diskriminierung: Drei Ausgabewerte (0, 0,5, 1,0) können fünf Relevanzstufen nicht darstellen. UpTrain zeigt das schlechteste Diskriminierungsverhältnis (1,4:1) und die niedrigste Rangfolgegenauigkeit (27,6% perfekte Ordnung).
Diskriminierung: golden vs. hartes Negativbeispiel
Wie oft weist das Tool dem goldenen Kontext einen höheren Score zu als dem entitätsgetauschten harten Negativbeispiel?
Win = goldener Score strikt höher. Tie = gleiche Scores. Loss = hartes Negativbeispiel höher.
WandB hat die wenigsten Losses (4,8%), aber auch die wenigsten Wins (15,5%): sein binäres Scoring führt in 80% der Fälle zu Ties. Wenn es differenziert, liegt es fast immer in der Richtung richtig. WandBs strenge Top-1-Genauigkeit (goldener Kontext ist das einzige Maximum) beträgt nur 8,3%, verglichen mit 25,3% für TruLens; sein argmax Top-1 ist hoch, weil der goldene Kontext am Index 0 liegt und von der Tie-Breaking-Regel profitiert.
Qualität der Rangfolge
Pairwise Acc = % aller 10 Kontextpaare pro Stichprobe, die korrekt gerankt wurden. Top-2 Acc = höchstbewerteter Kontext ist golden oder partiell. 5-Way Acc = perfekte monotone Rangfolge über alle 5 Stufen.
WandB führt bei allen drei Metriken, weil sein binäres Scoring eine natürliche Zweistufen-Trennung (relevant vs. irrelevant) erzeugt, die Fehler innerhalb der Stufe eliminiert. Hinweis: Pairwise-Genauigkeit zählt Ties als korrekt (s[i] >= s[j]), was binären Tools zugutekommt. NDCG@5 und Spearman ρ (im obigen Diagramm gezeigt) bestrafen Ties und rangieren TruLens an erster Stelle.
Durchschnittliche Scores nach Relevanzstufe
Kein Tool ordnet Partial > Hard Negative korrekt.
Wie jedes Tool Kontext-Relevanz bewertet
Alle fünf Tools verwenden GPT-4o als ihren zugrundeliegenden Judge, setzen aber unterschiedliche Evaluierungsstrategien ein.
WandB Weave: Binärer LLM Prompt
WandB sendet einen einzelnen Prompt an den LLM und bittet ihn, die Relevanz „auf einer Skala von 0 bis 1" zu bewerten. Sein internes Antwort-Schema definiert den Score jedoch als Integer, sodass das Modell nur 0 oder 1 zurückgeben kann.
Ein LLM Aufruf, eine binäre Entscheidung. WandB beantwortet „Ist dies der richtige Kontext?" sauber (höchste Top-1-Genauigkeit), kann aber keine Grade der Relevanz ausdrücken: ein partieller Kontext und ein hartes Negativbeispiel erhalten denselben Score.
Ausgabewerte: 0, 1
TruLens: 4-Punkte-Likert-Skala
TruLens promptet den LLM als „RELEVANCE-Grader" mit expliziten Kriterien für eine 0-3-Skala:
- 0: Irrelevant zur Anfrage
- 1: Relevant für einen Teil der Anfrage
- 2: Relevant für den Großteil der Anfrage
- 3: Relevant für die gesamte Anfrage
Der Rohscore wird durch Division durch 3 auf 0,0–1,0 normalisiert. Dies gibt TruLens vier verschiedene Ausgabestufen, die ausreichend Granularität bieten, um partielle Kontexte von harten Negativbeispielen zu unterscheiden, während der Prompt einfach bleibt.
Ausgabewerte: 0,0, 0,33, 0,67, 1,0
Ragas: Dual-Judge-Durchschnitt
Ragas führt bei jeder Evaluierung zwei unabhängige Judge-Prompts aus, jeweils mit einer anderen Formulierung derselben Kriterien (0 = irrelevant, 1 = teilweise relevant, 2 = vollständig relevant). Der Endscore ist der Durchschnitt beider Judges, normalisiert auf 0,0–1,0.
Weil zwei 3-Punkte-Skalen gemittelt werden, produziert Ragas fünf mögliche Werte, mehr Ausgabewerte als jedes andere getestete Tool. Das Dual-Judge-Design bietet zudem eine eingebaute Resistenz gegen Prompt-Sensitivität.
Ausgabewerte: 0,0, 0,25, 0,5, 0,75, 1,0
UpTrain: Ternäre Klassifikation (A/B/C)
UpTrain fasst Relevanz als Multiple-Choice-Klassifikation zusammen:
- A (1,0): Kontext kann die Anfrage vollständig beantworten
- B (0,5): Kontext kann eine teilweise relevante Antwort geben, aber nicht vollständig
- C (0,0): Kontext enthält keine Informationen zur Beantwortung der Anfrage
Das ternäre Design kann „teilweise relevant" von „irrelevant" unterscheiden, aber nicht „täuschend" von „tangential verwandt" trennen; beide können in denselben Korb fallen.
Ausgabewerte: 0,0, 0,5, 1,0
DeepEval: Aussagezerlegung (G-Eval)
Anstatt nach einem einzelnen Relevanzscore zu fragen, zerlegt DeepEval den Kontext in einzelne Aussagen und bittet dann den LLM, jede Aussage als „ja" (relevant) oder „nein" (irrelevant) zur Anfrage zu bewerten. Der Endscore ist das Verhältnis relevanter Aussagen zu Gesamtanzahl der Aussagen.
Das Ergebnis ist ein kontinuierlicher Score (z. B. 7 von 10 Aussagen relevant = 0,70). Der Ansatz ist jedoch streng: Selbst ein hochrelevanter Kontext wird bestraft, wenn er themenfremde Sätze enthält. Goldene Kontexte enthalten manchmal kontextuelle Details, die die Zerlegung als „irrelevant" markiert, was den Score unter den eines kürzeren, fokussierteren harten Negativbeispiels zieht. Dies erklärt DeepEvals 78,1% Top-1-Genauigkeit.
Ausgabewerte: Kontinuierlich (0,0–1,0)
Als bevorzugte Quelle hinzufügenRAG Evaluierungstools Benchmark-Methodik
Adversatives Dataset-Design
Jede Anfrage hat fünf Kontexte auf einer eindeutigen Relevanzstufe:
Dataset
Wir kombinieren zwei Quellen:
HaluEval (480 Stichproben): Allgemeinwissensfragen zu Musik, Film, Sport, Geschichte, Geografie und mehr. Harte Negativbeispiele, partielle Kontexte und weiche Negativbeispiele werden von Claude generiert.
HotPotQA (530 Stichproben): Multi-Hop-Reasoning-Fragen, die Informationssynthese über mehrere Dokumente hinweg erfordern.
Gesamt: 1.010 Stichproben, jeweils mit 5 Kontexten = 5.050 Kontextevaluierungen pro Tool. Alle Stichproben bestanden das automatische Leak-Filtering (489 Stichproben wurden während der Generierung wegen Antwort-Lecks entfernt).
Cross-Model-Protokoll
Um Selbstpräferenz-Bias zu eliminieren (wobei ein LLM Evaluator Text bevorzugt, der von ihm selbst generiert wurde), verwendeten wir Claude Sonnet 4.5 für die Generierung adversativer Kontexte und GPT-4o als Judge für alle Tools. Beide wurden über OpenRouter mit Temperatur=0 aufgerufen.
Die adversativen Fallen
Die Multi-Hop-Falle (Relationsverwirrung)
Fragen erfordern oft das Verfolgen einer Beziehungskette (z. B. A ist mit B verwandt, der mit C verwandt ist). Harte Negativbeispiele beantworten eine einfachere Version der Frage und brechen die Kette.
Fragen-ID 89: „Wer veröffentlicht die Spielserie, die Retro City Rampage parodiert?" Zielantwort: Rockstar Games
Die Entitäts-Ablenkungs-Falle
Retriever finden oft den richtigen Ort oder das richtige Subjekt, geben aber Metadaten über das falsche Ereignis oder Attribut zurück.
Fragen-ID 90: „…The Bridge Inn ist der Veranstaltungsort für welchen jährlichen Wettbewerb zum Lügen, der in Cumbria, England, stattfindet?" Zielantwort: World's Biggest Liar
Die partielle Relevanz-Falle
Ein Kontext mit dem richtigen Thema und den richtigen Entitäten, aber ohne Antwort.
Fragen-ID 9: „Wer schrieb den Text von Portofino mit einem Mitwirkenden an „Fiddler on the Roof"?" Zielantwort: Richard Ney
TruLens und DeepEval bewerten partielle Kontexte bei diesen Stichproben spezifisch höher als harte Negativbeispiele, obwohl dieses Muster nicht im gesamten Dataset gilt.
Welches Tool sollten Sie verwenden?
Fazit
Scoring-Granularität ist der Hauptkompromiss. Binäre Tools (WandB) gewinnen bei der Identifikation, weil jedes Tie zu ihren Gunsten ausfällt; mehrstufige Tools (TruLens, Ragas) gewinnen bei der Rangfolge, weil sie Grade der Relevanz ausdrücken können.
Kontext-Relevanz funktioniert als First-Pass-Filter: Alle Tools trennen relevante von irrelevanten Kontexten in mehr als 91% der Fälle (Pairwise-Genauigkeit). Aber keines von ihnen verifiziert faktische Genauigkeit. Ein Abschnitt mit den richtigen Entitäten und der falschen Antwort erzielt bei jedem getesteten Tool hohe Scores. Für faktische Korrektheit mit Antwort-Treue-Metriken kombinieren.
Einschränkungen
- Einzelnes Judge-Modell: Alle Evaluierungen verwenden GPT-4o als Judge. Ergebnisse können mit anderen Modellen abweichen.
- Nur Kontext-Relevanz: Dieser Benchmark bewertet nur Kontext-Relevanz-Scoring, nicht Antwort-Treue oder andere RAG Metriken.
- Standardkonfigurationen: Tools wurden out-of-the-box evaluiert. Die Leistung kann sich mit benutzerdefiniertem Prompt-Engineering verbessern.
- Einzelner Lauf mit Tie-Breaking-Konvention: Der Benchmark wurde einmal mit Temperatur=0 ausgeführt. Top-1-Genauigkeit verwendet
argmax(erster Index gewinnt Ties), was Tools mit hohen Tie-Raten zugutekommt (WandB: 86%). Wir berichten strenge Top-1 neben argmax, wo relevant. - Nur adversatives Dataset: Alle harten Negativbeispiele verwenden Entitätstausch. Ergebnisse spiegeln die Leistung unter adversativen Bedingungen wider; Tools können bei natürlich abgerufenen Kontexten anders performen.
Weiterführende Literatur
Entdecken Sie andere RAG Benchmarks, wie:
- Embedding Models: OpenAI vs Gemini vs Cohere
- Top 16 Open Source Embedding Models für RAG
- Top Vector Database für RAG: Qdrant vs Weaviate vs Pinecone
- Reranker Benchmark: Top 8 Modelle verglichen
- Multimodal Embedding Models: Apple vs Meta vs OpenAI
- Hybrid RAG: Steigerung der RAG Genauigkeit
- Top 10 mehrsprachige Embedding Models für RAG
Diese Forschung zitieren
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{RAG Evaluierungstools: Weights & Biases vs Ragas vs DeepEval}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/rag-evaluation-tools}},
note = {AIMultiple. Abgerufen am 23. März 2026}
}
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.