RAG Evaluierungswerkzeuge: Weights & Biases vs Ragas vs DeepEval
Wenn eine RAG-Pipeline den falschen Kontext abruft, generiert das LLM selbstbewusst die falsche Antwort. Scorer für die Kontextrelevanz sind die primäre Verteidigungslinie.
Wir haben fünf Tools über 1,460 Fragen und über 14,600 bewertete Kontexte unter identischen Bedingungen getestet: gleiches Beurteilungsmodell (GPT-4o), Standardkonfigurationen und keine benutzerdefinierten Prompts. Unter Standardbedingungen erwiesen sich WandB, TruLens und Ragas als die leistungsstärksten Tools. Unter adversarischem Druck (entitätsgetauschte harte Negativbeispiele) schnitt WandB am besten ab.
RAG-Bewertungstools-Benchmark-Ergebnisse
Die drei besten (WandB, TruLens, Ragas) liegen statistisch gleichauf bei der Top-1-Genauigkeit (95-%-Konfidenzintervall überlappend zwischen 94.0% und 98.0%).
Um unsere Bewertung und die Metriken im Detail zu verstehen, lesen Sie unsere Benchmark-Methodik für die RAG-Bewertungstools.
Metriken erklärt
Top-1-Genauigkeit: Kann das Tool dem goldenen Kontext die höchste Relevanzbewertung zuweisen? Dies misst die Sicherheit gegenüber adversarischem Retrieval, einem häufigen Fehlermodus in der Produktion.
NDCG@5 (normalized discounted cumulative gain): Bei fünf Kontexten mit unterschiedlichen Relevanzstufen (4, 3, 2, 1, 0) – ordnet das Tool sie in der richtigen Reihenfolge an? Im Gegensatz zur binären Genauigkeit belohnt NDCG Tools, die relevanteren Kontexten proportional höhere Bewertungen zuweisen.
Spearman ρ (Rangkorrelation): Wie gut korreliert die Bewertungs-Rangfolge eines Tools mit der tatsächlichen Relevanzreihenfolge? Ein perfektes Tool würde ρ = 1.0 erzeugen.
MRR (mean reciprocal rank): Durchschnitt von 1/Rang für den goldenen Kontext. Wenn ein Tool den goldenen Kontext auf den ersten Platz setzt, ist MRR = 1.0; auf dem zweiten Platz MRR = 0.5; auf dem dritten MRR = 0.33. Es bestraft Tools, die den richtigen Kontext unter weniger relevante vergraben.
Zentrale Erkenntnisse
- WandB führend bei der Identifikation, TruLens führend bei der Rangordnung: WandB hat die höchste Top-1-Genauigkeit (94.5%), aber den niedrigsten NDCG@5 (0.910) und Spearman ρ (0.669). TruLens führt bei NDCG@5 (0.932), Spearman ρ (0.750) und MRR (0.594). Der Unterschied liegt im Bewertungsdesign: Die binäre Bewertung von WandB ist einfach, aber grob; die 4-Punkte-Skala von TruLens hat eine höhere Auflösung, ist jedoch anfälliger für Inversionen.
- TruLens hat das höchste Diskriminationsverhältnis: Bei der Unterscheidung eines korrekten Kontexts von einer nahezu identischen, entitätsgetauschten Version trifft TruLens in 35.5% der Fälle die richtige Richtung, mit nur 8.4% Inversionen (Verhältnis 4.2:1). Kein anderes Tool erreicht dies.
- Kein Tool unterscheidet faktisch falsche von faktisch korrekten Kontexten: Alle fünf Tools bewerten harte Negativbeispiele höher als Teilkontexte und kehren damit die korrekte Relevanzreihenfolge um. Ein Abschnitt mit den richtigen Entitäten und der falschen Antwort erhält durchweg eine höhere Bewertung als ein Abschnitt mit dem richtigen Thema, aber ohne Antwort. Dies deckt sich mit der Annahme, dass Kontextrelevanz die thematische Passung misst, nicht die faktische Genauigkeit.
- DeepEval unterbewertet goldene Kontexte: Die Aussagenzerlegung von DeepEval liefert wettbewerbsfähige Rangfolgen (NDCG@5 = 0.923), bewertet goldene Kontexte jedoch im Mittel mit 0.46 gegenüber 0.82–0.91 bei anderen Tools. Dadurch ist es unzuverlässig für die Identifikation des einzelnen besten Kontexts.
- Die ternäre Skala von UpTrain schränkt die Diskriminationsfähigkeit ein: Drei Ausgabewerte (0, 0.5, 1.0) können fünf Relevanzstufen nicht abbilden. UpTrain zeigt das schlechteste Diskriminationsverhältnis (1.4:1) und die niedrigste Rangierungsgenauigkeit (27.6% perfekte Reihenfolge).
Diskrimination: golden vs. hartes Negativbeispiel
Wie oft vergibt das Tool dem goldenen Kontext eine höhere Bewertung als dem entitätsgetauschten harten Negativbeispiel?
Gewinn = goldene Bewertung strikt höher. Unentschieden = gleiche Bewertungen. Niederlage = hartes Negativbeispiel höher.
WandB hat die wenigsten Niederlagen (4.8%), aber auch die wenigsten Gewinne (15.5%): seine binäre Bewertung führt in 80% der Fälle zu Unentschieden. Wenn es differenziert, liegt es fast immer richtig. Die strikte Top-1-Genauigkeit von WandB (golden ist das eindeutige Maximum) beträgt nur 8.3%, verglichen mit 25.3% für TruLens; seine argmax Top-1 ist hoch, weil der goldene Kontext an Position 0 steht und von einer Tie-Break-Regelung profitiert.
Rangfolgenqualität
Paarweise Genauigkeit = Prozentsatz aller 10 Kontextpaare pro Stichprobe, die korrekt eingestuft wurden. Top-2 Genauigkeit = höchstbewerteter Kontext ist golden oder partiell. 5-Wege-Genauigkeit = perfekte monotone Rangfolge über alle 5 Stufen.
WandB führt bei allen drei Metriken, weil seine binäre Bewertung eine natürliche Zwei-Stufen-Aufteilung erzeugt (relevant vs. irrelevant), die Reihenfolgefehler innerhalb einer Stufe eliminiert. Beachten Sie: Paarweise Genauigkeit zählt Unentschieden als korrekt (s[i] >= s[j]), was binären Tools zugutekommt. NDCG@5 und Spearman ρ (im obigen Diagramm gezeigt) bestrafen Unentschieden und setzen TruLens an die erste Stelle.
Durchschnittliche Bewertungen nach Relevanzstufe
Kein Tool ordnet Partiell > Hartes Negativ korrekt ein.
Wie jedes Tool die Kontextrelevanz bewertet
Alle fünf Tools verwenden GPT-4o als zugrunde liegenden Bewerter, setzen jedoch unterschiedliche Bewertungsstrategien ein.
WandB Weave: Binärer LLM-Prompt
WandB sendet einen einzigen Prompt an das LLM, in dem es gebeten wird, die Relevanz „auf einer Skala von 0 bis 1“ zu bewerten. Allerdings definiert das interne Antwort-Schema den Score als Integer, sodass das Modell nur 0 oder 1 zurückgeben kann.
Ein LLM-Aufruf, eine binäre Entscheidung. WandB beantwortet sauber „Ist dies der richtige Kontext?“ (höchste Top-1-Genauigkeit), kann aber keine Abstufungen der Relevanz ausdrücken: Ein Teilkontext und ein hartes Negativbeispiel erhalten denselben Score.
Ausgabewerte: 0, 1
TruLens: 4-Punkte-Likert-Skala
TruLens fordert das LLM mit einem spezifischen Prompt als „RELEVANCE grader“ auf und verwendet klare Kriterien für eine 0-3-Skala:
- 0: Irrelevant für die Anfrage
- 1: Relevant für einen Teil der Anfrage
- 2: Relevant für den Großteil der Anfrage
- 3: Relevant für die gesamte Anfrage
Der Rohwert wird durch Division durch 3 auf 0.0–1.0 normalisiert. Dadurch erhält TruLens vier diskrete Ausgabestufen, genügend Granularität, um Teilkontexte von harten Negativbeispielen zu unterscheiden, während der Prompt einfach bleibt.
Ausgabewerte: 0.0, 0.33, 0.67, 1.0
Ragas: Dual-Bewerter-Mittelung
Ragas führt zwei unabhängige Bewerter-Prompts für jede Auswertung aus, jeweils mit einer anderen Formulierung derselben Kriterien (0 = irrelevant, 1 = teilweise relevant, 2 = vollständig relevant). Der Endwert ist der Durchschnitt beider Bewerter, normalisiert auf 0.0–1.0.
Weil zwei 3-Punkte-Skalen gemittelt werden, erzeugt Ragas fünf mögliche Werte – mehr Ausgabewerte als jedes andere getestete Tool. Das Dual-Bewerter-Design bietet zudem eine inhärente Resistenz gegenüber Prompt-Sensitivität.
Ausgabewerte: 0.0, 0.25, 0.5, 0.75, 1.0
UpTrain: Ternäre Klassifikation (A/B/C)
UpTrain betrachtet Relevanz als Multiple-Choice-Klassifikation:
- A (1.0): Der Kontext kann die Frage vollständig beantworten
- B (0.5): Der Kontext kann teilweise relevante Informationen liefern, aber nicht vollständig beantworten
- C (0.0): Der Kontext enthält keine Informationen zur Beantwortung der Frage
Das ternäre Design kann „teilweise relevant“ von „irrelevant“ unterscheiden, aber „trügerisch“ nicht von „tangential verwandt“ trennen; beides kann in denselben Eimer fallen.
Ausgabewerte: 0.0, 0.5, 1.0
DeepEval: Aussagenzerlegung (G-Eval)
Statt nach einer einzelnen Relevanzbewertung zu fragen, zerlegt DeepEval den Kontext in einzelne Aussagen und fordert das LLM auf, jede Aussage als „ja“ (relevant) oder „nein“ (irrelevant) zur Anfrage zu beurteilen. Die Endbewertung ergibt sich aus dem Verhältnis der relevanten Aussagen zur Gesamtzahl der Aussagen.
Das Ergebnis ist ein kontinuierlicher Score (z. B. 7 von 10 Aussagen relevant = 0.70). Der Ansatz ist jedoch streng: Selbst ein hochrelevanter Kontext wird bestraft, wenn er irgendwelche nicht zum Thema gehörigen Sätze enthält. Goldene Kontexte enthalten manchmal kontextuelle Details, die von der Zerlegung als „irrelevant“ markiert werden, was den Score unter den eines kürzeren, fokussierteren harten Negativbeispiels drückt. Dies erklärt die 78.1% Top-1-Genauigkeit von DeepEval.
Ausgabewerte: Kontinuierlich (0.0–1.0)
RAG-Bewertungstools-Benchmark-Methodik
Adversarielles Datensatz-Design
Jede Anfrage hat fünf Kontexte auf einer eigenen Relevanzstufe:
Datensatz
Wir kombinieren zwei Quellen:
HaluEval (480 Samples): Allgemeinwissensfragen zu Musik, Film, Sport, Geschichte, Geografie und mehr. Harte Negativbeispiele, Teilkontexte und weiche Negativbeispiele werden von Claude generiert.
HotPotQA (530 Samples): Multi-Hop-Fragen, die eine Informationssynthese aus mehreren Dokumenten erfordern.
Gesamt: 1,010 Samples, jedes mit 5 Kontexten = 5,050 Kontextbewertungen pro Tool. Alle Samples durchliefen eine automatische Leak-Filterung (489 Samples wurden während der Generierung wegen Antwort-Leakage entfernt).
Modellübergreifendes Protokoll
Um einen Selbstbevorzugungs-Bias zu eliminieren (bei dem ein LLM-Bewerter von ihm selbst generierten Text bevorzugt), verwendeten wir Claude Sonnet 4.5 für die adversarielle Kontextgenerierung und GPT-4o als Bewerter für alle Tools. Beide wurden über OpenRouter mit Temperatur=0 aufgerufen.
Als bevorzugte Quelle hinzufügenDie adversariellen Fallen
Die Multi-Hop-Falle (Beziehungsverwirrung)
Fragen erfordern oft das Nachverfolgen einer Beziehungskette (z. B. A hängt mit B zusammen, der mit C zusammenhängt). Harte Negativbeispiele beantworten eine vereinfachte Version der Frage und unterbrechen die Kette.
Frage-ID 89: „Wer veröffentlicht die Spielreihe, die Retro City Rampage parodiert?“ Zielantwort: Rockstar Games
Die Entitäts-Distraktor-Falle
Retriever finden oft den richtigen Ort oder das richtige Subjekt, liefern aber Metadaten über das falsche Ereignis oder Attribut zurück.
Frage-ID 90: „…The Bridge Inn ist der Austragungsort für welchen jährlichen Lügenwettbewerb in Cumbria, England?“ Zielantwort: World’s Biggest Liar
Die Teilrelevanz-Falle
Ein Kontext mit dem richtigen Thema und den richtigen Entitäten, aber ohne Antwort.
Frage-ID 9: „Wer schrieb die Liedtexte von Portofino mit einem Kollaborateur an ‚Fiddler on the Roof‘?“ Zielantwort: Richard Ney
TruLens und DeepEval bewerten Teilkontexte auf diesen spezifischen Samples korrekt höher als harte Negativbeispiele, dieses Muster hält jedoch nicht über den gesamten Datensatz.
Welches Tool sollten Sie verwenden?
Fazit
Die Granularität der Bewertung ist der Haupttrade-off. Binäre Tools (WandB) gewinnen bei der Identifikation, weil jede Gleichheit zu ihren Gunsten ausfällt; mehrpunktskalierte Tools (TruLens, Ragas) gewinnen bei der Rangfolge, weil sie Relevanzabstufungen ausdrücken können.
Kontextrelevanz funktioniert als erster Filterdurchlauf: Alle Tools trennen in mehr als 91% der Fälle relevante von irrelevanten Kontexten (paarweise Genauigkeit). Aber keines von ihnen verifiziert faktische Richtigkeit. Ein Abschnitt mit den richtigen Entitäten und der falschen Antwort erzielt bei jedem getesteten Tool einen hohen Score. Für faktische Korrektheit muss man Metriken zur Antworttreue hinzuziehen.
Einschränkungen
- Einheitliches Bewertermodell: Alle Auswertungen verwenden GPT-4o als Bewerter. Die Ergebnisse können mit anderen Modellen abweichen.
- Nur Kontextrelevanz: Dieser Benchmark bewertet ausschließlich das Scoring der Kontextrelevanz, nicht Antworttreue oder andere RAG-Metriken.
- Standardkonfigurationen: Die Tools wurden out-of-the-box evaluiert. Die Leistung kann durch benutzerdefiniertes Prompt-Engineering verbessert werden.
- Einzeldurchlauf mit Tie-Breaking-Konvention: Der Benchmark wurde einmal mit Temperatur=0 durchgeführt. Die Top-1-Genauigkeit verwendet
argmax(erster Index gewinnt bei Gleichstand), was Tools mit hohen Gleichstandsraten begünstigt (WandB: 86%). Wir berichten die strikte Top-1 parallel zur argmax, wo relevant. - Adversarieller Datensatz: Alle harten Negativbeispiele basieren auf Entitätstausch. Die Ergebnisse spiegeln die Leistung unter adversariellen Bedingungen wider; auf natürlichen abgerufenen Kontexten können Tools anders abschneiden.
Weiterführende Lektüre
Entdecken Sie weitere RAG-Benchmarks, wie zum Beispiel:
- Embedding-Modelle: OpenAI vs Gemini vs Cohere
- Top 16 Open-Source-Embedding-Modelle für RAG
- Top Vektordatenbank für RAG: Qdrant vs Weaviate vs Pinecone
- Reranker-Benchmark: Top 8 Modelle im Vergleich
- Multimodale Embedding-Modelle: Apple vs Meta vs OpenAI
- Hybride RAG: RAG-Genauigkeit steigern
- Top 10 mehrsprachige Embedding-Modelle für RAG
Diese Forschung zitieren
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{RAG Evaluierungswerkzeuge: Weights & Biases vs Ragas vs DeepEval}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/rag-evaluation-tools}},
note = {AIMultiple. Abgerufen am 23. März 2026}
}
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.