RAG-Evaluierungstools: W&B Weave vs Ragas vs TruLens
Wir haben fünf Evaluierungstools für Retrieval-Augmented Generation (RAG) mit 1.000+ adversariellen Fragen getestet, die jeweils mit fünf Passagen gepaart wurden. Der Vergleich misst die Kontextrelevanz mithilfe von GPT-4o und den Standard-Evaluierungsprompts der Tools.
RAG-Evaluierungstools: Benchmark-Ergebnisse
W&B Weave erzielte die höchste Top-1-Genauigkeit mit 94,5 %. TruLens führte bei den Ranking-Metriken, einschließlich NDCG@5 mit 0.932. Ihre Platzierungen hängen davon ab, wie jede Metrik gleiche Scores behandelt, insbesondere wenn ein Evaluator binäre Ausgaben liefert.
Die Benchmark-Methodik setzt die korrekte Passage in jedem Set an die erste Position. Die Top-1-Genauigkeit wertet diese Passage als Gewinn, wenn sie beim höchsten Score gleichauf liegt.
Metriken erklärt
Die Top-1-Genauigkeit misst, wie oft die vorgesehene korrekte Passage, Goldkontext genannt, den höchsten Score erhält. Wir berichten außerdem über die Strict Top-1, die erfordert, dass sie das eindeutige Maximum ist.
NDCG@5 (normalisierter diskontierter kumulativer Gewinn) bewertet die Reihenfolge aller fünf Passagen anhand der Relevanzlabels 4, 3, 2, 1 und 0. Spearman-ρ misst die Korrelation zwischen den vorhergesagten Scores und dieser Relevanzreihenfolge. Eine perfekte Korrelation ist ρ = 1.0.
MRR (Mean Reciprocal Rank) mittelt 1/Rang für den Goldkontext. Die Ränge eins, zwei und drei tragen jeweils 1.0, 0.5 und 0.33 bei. MRR platziert den Goldkontext in der gespeicherten Berechnung hinter Passagen mit gleichem Score. Das Handling von Gleichständen unterscheidet sich daher von der Top-1-Genauigkeit.
Kernergebnisse
W&B Weave führt bei Top-1-Genauigkeit und TruLens beim Ranking
W&B Weaves höchste Top-1-Genauigkeit geht mit dem niedrigsten NDCG@5 von 0.910 und einem Spearman-ρ von 0.669 einher. TruLens führt bei Spearman-ρ mit 0.750 und beim MRR mit 0.594. Gleichstände helfen, den Unterschied zwischen den Identifikations- und Ranking-Ergebnissen von W&B Weave zu erklären.
TruLens hat das höchste Verhältnis von korrekten zu umgekehrten Vergleichen
Bei Gold- und Hard-Negative-Passagen verzeichnet TruLens 35,5 % Siege und 8,4 % Niederlagen, ein Verhältnis von 4.2:1. Seine Vier-Punkte-Skala unterscheidet mehr Paare als die binäre Skala von W&B Weave, allerdings auch mit mehr Umkehrungen.
Jedes Tool gibt Hard Negatives höhere mittlere Scores als Teilkontexte
Hard Negatives behalten das Thema und den größten Teil des Wortlauts bei, ändern jedoch eine Antworttatsache. Alle fünf Tools geben diesen Passagen höhere mittlere Scores als Teilkontexten, in denen die Antwort fehlt. Dieses Aggregatergebnis zeigt, warum Relevanz-Scoring eine separate Überprüfung der Faktengenauigkeit erfordert.
DeepEval weist korrekten Passagen niedrigere Scores zu
DeepEval gibt Goldkontexten einen mittleren Score von 0.46, verglichen mit 0.82–0.91 bei den anderen Tools. Der NDCG@5 liegt bei 0.923, während die Top-1-Genauigkeit 78,1 % beträgt. Beim Scoring auf Aussagenebene können zusätzliche Details den Score einer korrekten Passage senken, selbst wenn sie die Antwort enthält.
UpTrain hat die niedrigste Vollranking-Genauigkeit
UpTrains drei mögliche Scores können fünf unterschiedliche Relevanzstufen nicht ausdrücken. Es weist die niedrigste Fünf-Wege-Genauigkeit von 27,6 % und das niedrigste Sieg-zu-Niederlage-Verhältnis zwischen Gold und Hard Negative von 1.4:1 auf.
Unterscheidung: Gold vs. Hard Negative
Gold- und Hard-Negative-Passagen unterscheiden sich in einer Antworttatsache. Ein Sieg bedeutet, dass der Goldkontext höher bewertet wird; eine Niederlage bedeutet, dass der Hard Negative höher bewertet wird; ein Gleichstand bedeutet, dass die Scores gleich sind.
W&B Weave hat sowohl die wenigsten Siege als auch die wenigsten Niederlagen. Etwa 80 % seiner Vergleiche sind Gleichstände, was einschränkt, wie oft sein binärer Score die beiden Passagen trennt. Über alle fünf Kontexte hinweg liegt seine Strict Top-1-Genauigkeit bei 8,3 %, verglichen mit 25,3 % bei TruLens.
Ranking-Qualität
Die paarweise Genauigkeit zählt korrekt geordnete Paare unter den 10 Paaren in jeder Stichprobe. Die Top-2-Genauigkeit wertet eine Stichprobe als korrekt, wenn entweder der Goldkontext oder der Teilkontext den maximalen Score teilt. Die Fünf-Wege-Genauigkeit verlangt, dass alle fünf Scores der erwarteten nicht steigenden Reihenfolge folgen.
Gleiche Scores gelten bei der paarweisen und der Fünf-Wege-Genauigkeit als korrekt. Die paarweise Genauigkeit verwendet s[i] >= s[j], und die Fünf-Wege-Genauigkeit akzeptiert gleiche benachbarte Scores. W&B Weave führt bei allen drei Messwerten, was dadurch begünstigt wird, dass Gleichstände als korrekte Reihenfolgen akzeptiert werden. NDCG@5 und Spearman-ρ bewerten die Reihenfolge mit unterschiedlicher Behandlung von Gleichständen.
Durchschnittliche Scores nach Relevanzstufe
In diesen Gruppenmittelwerten schneiden Hard Negatives bei allen fünf Tools besser ab als Teilkontexte. Einzelne Beispiele variieren innerhalb jeder Gruppe.
Wie jedes Tool die Kontextrelevanz bewertet
In den getesteten Konfigurationen erhalten alle fünf Evaluatoren die Anfrage und eine Passage ohne Referenzantwort. Jedes nutzt GPT-4o, mit Unterschieden bei Prompts, Ausgabeskalen und Aggregation.
W&B Weave: binärer LLM-Prompt
W&B Weave ist Teil von CoreWeave Forge, ehemals Weights & Biases.12
W&B Weave führt pro Passage einen Large-Language-Model-Aufruf (LLM) durch und fragt nach Relevanz „auf einer Skala von 0 bis 1“. Sein Integer-Antwortschema erlaubt die binären Werte 0 und 1, wodurch ein Teilkontext und ein Hard Negative identische Scores erhalten können.
TruLens: 4-Punkte-Likert-Skala
TruLens fordert das LLM auf, als „RELEVANZ-Bewerter“ auf einer Skala von 0 bis 3 zu fungieren. Seine Rubrik deckt vier Grade der Anfragerelevanz ab.
- 0: Irrelevant für die Anfrage
- 1: Relevant für einen Teil der Anfrage
- 2: Relevant für den größten Teil der Anfrage
- 3: Relevant für die gesamte Anfrage
Das Teilen des Rohscores durch 3 ergibt vier Ausgabewerte zwischen 0.0 und 1.0, angezeigt als 0.0, 0.33, 0.67 und 1.0. Dies ermöglicht Unterscheidungen zwischen teilweise und vollständig relevanten Passagen, abhängig von der Klassifikation des Bewerters.
Ragas: Dual-Judge-Mittelung
Ragas verwendet zwei Judge-Prompts mit unterschiedlichen Formulierungen derselben Kriterien. Jeder Prompt vergibt 0 für irrelevant, 1 für teilweise relevant oder 2 für vollständig relevant. Die Mittelung und Normalisierung der Urteile ergibt fünf Werte auf einer Skala von 0.0–1.0.
Scores können 0.0, 0.25, 0.5, 0.75 und 1.0 sein. Der Durchschnitt kombiniert die Urteile aus zwei Prompt-Formulierungen. Wir haben die Sensitivität gegenüber Prompt-Änderungen nicht gesondert getestet.
UpTrain: ternäre Klassifikation (A/B/C)
UpTrain ordnet seine A/B/C-Klassifikationen Relevanzscores zu.
- A (1.0): Der Kontext enthält eine vollständige Antwort auf die Anfrage
- B (0.5): Der Kontext enthält Informationen für eine teilweise Antwort
- C (0.0): Der Kontext enthält keine Informationen, um die Anfrage zu beantworten
Die Scores sind 0.0, 0.5 und 1.0. Eine irreführende Passage und eine tangential verwandte können dennoch denselben Score erhalten.
DeepEval: Aussagenzerlegung (G-Eval)
DeepEval zerlegt eine Passage in Aussagen und bittet den Judge, jede für Relevanz mit „ja“ oder „nein“ zu markieren. Es teilt die Anzahl relevanter Aussagen durch die Gesamtzahl und erzeugt einen fraktionalen Score zwischen 0.0 und 1.0. Zum Beispiel ergeben 7 relevante Aussagen von 10 einen Score von 0.70.
Zusätzliche themenfremde Aussagen senken diesen Anteil, selbst wenn die Passage die korrekte Antwort enthält. Ein kürzerer Hard Negative kann daher einen längeren Goldkontext übertreffen.
Die adversariellen Fallen
Ein Kontext kann eine Frage durch Beziehungsverwirrung, eine irreführende Entitätsübereinstimmung oder eine ausgelassene Tatsache nicht beantworten. Diese drei Beispiele stammen aus früherem Erklärungsmaterial und sind vom bewerteten v3-Dataset getrennt.
Die Multi-Hop-Falle (Beziehungsverwirrung)
Multi-Hop-Fragen erfordern das Verfolgen einer Kette von Beziehungen. Die Beantwortung einer einfacheren Frage zur ersten genannten Entität durchbricht diese Kette.
Frage: „Wer veröffentlicht die Spieleserie, die Retro City Rampage parodiert?“ Die Zielantwort lautet Rockstar Games.
Die Entitäts-Distraktor-Falle
Eine Passage kann den korrekten Veranstaltungsort und Standort nennen, während sie ein anderes Ereignis beschreibt. Gemeinsame Entitätsnamen können diese Passage relevant erscheinen lassen.
Frage: „…The Bridge Inn ist der Austragungsort für welchen jährlichen Wettbewerb im Lügenerzählen, der in Cumbria, England, stattfindet?“ Die Zielantwort lautet World’s Biggest Liar.
Die Teilrelevanz-Falle
Ein Teilkontext liefert das Thema und verwandte Entitäten, lässt die angefragte Antwort jedoch aus.
Frage: „Wer schrieb die Liedtexte von Portofino zusammen mit einem Kollaborateur an ‚Fiddler on the Roof‘?“ Die Zielantwort lautet Richard Ney.
Als bevorzugte Quelle hinzufügenRAG-Evaluierungstools: Benchmark-Methodik
Adversarielles Dataset-Design
Jede Frage ist mit fünf Passagen gepaart, die unterschiedliche Relevanzstufen abdecken sollen. Gold-Passagen werden paraphrasiert, und Hard Negatives ersetzen eine Antworttatsache, während sie die umgebende Struktur beibehalten.
Dataset
HaluEval trägt 480 Allgemeinwissensfragen bei, und HotPotQA trägt 530 Fragen bei, die Multi-Hop-Reasoning erfordern. Together liefern sie 1.010 Fragen und 5.050 Frage-Kontext-Paare pro vollständiger Tool-Evaluierung.
W&B Weave, TruLens, Ragas und UpTrain haben jeweils 1.010 vollständige Ergebniszeilen. DeepEval hat 1.005 vollständige Zeilen, nachdem fünf fehlgeschlagene Stichproben ausgeschlossen wurden. Eine Stichprobe wurde ausgeschlossen, wenn einer ihrer fünf Kontextscores fehlschlug; diesen Fehlern wurden also keine Null-Scores zugewiesen.
Projektnotizen berichten von 489 Stichproben, die während der Antwortleck-Filterung entfernt wurden, bevor das endgültige Dataset gespeichert wurde.
Cross-Model-Protokoll
Claude Sonnet 4.5 generierte adversarielle Kontexte, und GPT-4o bewertete die Relevanz über OpenRouter. Der Einsatz unterschiedlicher Modelle trennt die Kontextgenerierung von der Bewertung. Jeder Evaluator erhielt dieselben Query-Kontext-Eingaben und verwendete Standard-Evaluierungsprompts ohne benutzerdefinierte Anweisungen.
Die Projektkonfiguration setzt temperature=0. Top-1 verwendet das erste von argmax zurückgegebene Maximum, wobei der Goldkontext auf Index 0 fixiert ist. Strict Top-1 erfordert ein eindeutiges Maximum. W&B Weaves Goldkontext liegt in etwa 86 % der Stichproben beim Maximum gleichauf.
NDCG@5 verwendet die Relevanzlabels 4, 3, 2, 1 und 0. Spearman-Korrelationen werden über Stichproben mit nicht konstanten Score-Vektoren gemittelt. Die MRR-Implementierung kehrt eine aufsteigende Score-Sortierung um und platziert den Goldkontext in diesem Ergebnissatz hinter gleichauf liegenden Passagen.
Einschränkungen
Alle Ergebnisse stammen aus einem einzigen GPT-4o-Lauf mit Standard-Evaluierungsprompts. Andere Judge-Modelle, Prompt-Änderungen und natürlich abgerufene Passagen können zu anderen Rankings führen. Alle Hard Negatives verwenden Entitäts-Swapping.
Gleichstandskonventionen beeinflussen das Ranking der Tools, und die feste Position des Goldkontexts begünstigt die Top-1-Genauigkeit. Strict Top-1 liefert ein separates Maß für die eindeutige Identifikation.
Die aggregierten Ergebnisse von DeepEval schließen fünf Stichproben aus, und Spearman schließt konstante Score-Vektoren für jedes Tool aus. Die Tool-Durchschnitte verwenden daher unterschiedliche geeignete Stichproben. Kosten, Latenz, Prompt-Robustheit und Workflows mit kombinierten Tools wurden keinem Benchmark unterzogen.
Kontextrelevanz ist die evaluierte Metrik. Antworttreue, die prüft, ob eine generierte Antwort durch abgerufenes Material gestützt wird, sowie andere RAG-Metriken liegen außerhalb des gemessenen Umfangs.
Tool-Auswahl nach Anwendungsfall
Binäres Relevanz-Screening und Passagen-Ranking bevorzugen in diesem Test unterschiedliche Tools. Der kombinierte Workflow ist ein Vorschlag, der eine gesonderte Validierung erfordert.
Fazit
Der binäre Output von W&B Weave erzeugt unter der Gleichstandsregel dieses Benchmarks eine hohe Top-1-Genauigkeit. TruLens und Ragas bieten mehr Score-Stufen und führen bei den breiteren Ranking-Messgrößen.
Alle fünf Tools erreichen eine paarweise Genauigkeit von 91 % oder mehr, vergeben aber für Hard Negatives höhere mittlere Scores als für Teilkontexte. Relevanz-Scoring kann Passagen nach thematischer Passung filtern. Faktenprüfung und Bewertung der Antworttreue bleiben getrennte Prüfungen.
Weiterführende Literatur
- Embedding-Modelle: 25 Modelle im Retrieval-Benchmark
- Open-Source-Embedding-Modelle: 11 Modelle im Retrieval-Benchmark
- Vektordatenbank-Dimensionierungs- und Auswahlrechner
- Reranker-Benchmark: Top-8-Modelle im Vergleich
- Multimodale Embedding-Modelle: Apple vs Meta vs OpenAI
- Top 10 mehrsprachige Embedding-Modelle für RAG
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{RAG-Evaluierungstools: W&B Weave vs Ragas vs TruLens}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/rag-evaluation-tools}},
note = {AIMultiple. Abgerufen am 17. März 2026}
}Ergebnisse und Zeitstempel von 30 Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 8 CSV-Dateien enthält.
Möchten Sie die granularen Daten dahinter? Premium beitreten
Änderungsprotokoll
2 AktualisierungenDie Benchmark-Ergebnisse im Abschnitt „RAG-Evaluierungstools Benchmark-Ergebnisse“ wurden aktualisiert.
Aktualisiert den Abschnitt „RAG-Evaluierungstools-Benchmark-Ergebnisse“ mit neuen Benchmark-Ergebnissen und Metriken.
Referenzlinks
Cems Arbeit bei AIMultiple wurde von führenden globalen Publikationen wie Business Insider, Forbes, Morning Brew und Washington Post, von globalen Unternehmen wie Deloitte und HPE, von NGOs wie dem World Economic Forum und von supranationalen Organisationen wie der European Commission zitiert. [1], [2], [3], [4], [5]
Im Laufe seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen bei ihren Technologieentscheidungen bei McKinsey & Company und Altman Solon über mehr als ein Jahrzehnt. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung.
Er leitete Technologiestrategie und -beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Außerdem verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von 0 einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung erreichte. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.
Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er absolvierte die Bogazici University als Computeringenieur und hat einen MBA von der Columbia Business School.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.