RAG Değerlendirme Araçları: W&B Weave vs Ragas vs TruLens
Beş retrieval-augmented generation (RAG) değerlendirme aracını; her biri beş pasajla eşleştirilmiş 1.000+ çekişmeli soru üzerinde benchmark ettik. Karşılaştırma, bağlam alaka düzeyini GPT-4o ve araçların varsayılan değerlendirme prompt'larını kullanarak ölçer.
RAG değerlendirme araçları benchmark sonuçları
W&B Weave, %94,5 ile en yüksek Top-1 doğruluğuna sahip oldu. TruLens, 0.932 ile NDCG@5 dahil olmak üzere sıralama metriklerinde öne çıktı. Konumları, özellikle bir değerlendiricinin ikili çıktılar döndürdüğü durumlarda her metriğin eşit puanları nasıl ele aldığına bağlıdır.
Benchmark metodolojisi, her kümede doğru pasajı ilk konuma sabitler. Top-1 doğruluğu, en yüksek puan için berabere kaldığında o pasaja galibiyeti verir.
Metrikler açıklandı
Top-1 doğruluğu, altın bağlam olarak adlandırılan belirlenmiş doğru pasajın en yüksek puanı ne sıklıkla aldığını ölçer. Ayrıca, onun benzersiz maksimum olmasını gerektiren katı Top-1'i de raporluyoruz.
NDCG@5 (normalize edilmiş indirimli kümülatif kazanç), beş pasajın tümünün sıralamasını 4, 3, 2, 1 ve 0 alaka etiketlerini kullanarak değerlendirir. Spearman ρ, tahmin edilen puanlar ile bu alaka sırası arasındaki korelasyonu ölçer. Mükemmel bir korelasyon ρ = 1.0'dır.
MRR (ortalama karşılıklı sıra), altın bağlam için 1/sıra ortalamasını alır. Bir, iki ve üçüncü sıralar sırasıyla 1.0, 0.5 ve 0.33 katkı sağlar. MRR, saklanan hesaplamada altın bağlamı eşit puanlı pasajların arkasına koyar. Bu nedenle eşitlik ele alma biçimi Top-1 doğruluğundan farklıdır.
Temel bulgular
W&B Weave Top-1 doğruluğunda, TruLens ise sıralamada lider
W&B Weave'in en yüksek Top-1 doğruluğuna, 0.910 ile en düşük NDCG@5 ve 0.669 Spearman ρ eşlik eder. TruLens, 0.750 Spearman ρ ve 0.594 MRR ile öne çıkar. Eşitlikler, W&B Weave'in tanımlama ve sıralama sonuçları arasındaki farkı açıklamaya yardımcı olur.
TruLens, doğru ve tersine dönmüş karşılaştırmalar arasında en yüksek orana sahiptir
Altın ve zorlu olumsuz pasajlar için TruLens %35,5 galibiyet ve %8,4 kayıp kaydeder; bu da 4.2:1 orandır. Dört noktalı ölçeği, W&B Weave'in ikili ölçeğinden daha fazla çifti ayırt eder, ancak aynı zamanda daha fazla tersine dönme de vardır.
Her araç, zorlu olumsuzlara kısmi bağlamlardan daha yüksek ortalama puanlar veriyor
Zorlu olumsuzlar, konuyu ve ifadelerin çoğunu korurken bir yanıt olgusunu değiştirir. Beş aracın tümü, bu pasajlara yanıtı içermeyen kısmi bağlamlardan daha yüksek ortalama puanlar verir. Bu toplu sonuç, alaka puanlamasının neden olgusal doğruluk için ayrı bir kontrole ihtiyaç duyduğunu gösterir.
DeepEval doğru pasajlara daha düşük puanlar atıyor
DeepEval, altın bağlamlara diğer araçlardaki 0.82–0.91 ile karşılaştırıldığında 0.46 ortalama puan verir. NDCG@5 değeri 0.923'tür; Top-1 doğruluğu ise %78,1'dir. İfade düzeyinde puanlamada, ek ayrıntılar doğru bir pasajın puanını cevabı içerse bile düşürebilir.
UpTrain en düşük tam sıralama doğruluğuna sahip
UpTrain'in üç olası puanı beş farklı alaka düzeyini ifade edemez. %27,6 ile en düşük beşli doğruluğa ve 1.4:1 ile en düşük altın-zorlu olumsuz kazanç-kayıp oranına sahiptir.
Ayrım: altın vs. zorlu olumsuz
Altın ve zorlu olumsuz pasajlar bir yanıt olgusunda farklılık gösterir. Galibiyet, altın bağlamın daha yüksek puan aldığı; kayıp, zorlu olumsuzun daha yüksek puan aldığı; eşitlik ise puanların eşit olduğu anlamına gelir.
W&B Weave hem en az galibiyete hem de en az kayba sahiptir. Karşılaştırmalarının yaklaşık %80'i eşitliktir; bu da ikili puanının iki pasajı ne sıklıkla ayırdığını sınırlar. Beş bağlamın tümünde, katı Top-1 doğruluğu TruLens'te %25,3 iken %8,3'tür.
Sıralama kalitesi
İkili doğruluk, her örnekteki 10 çift arasından doğru sıralanmış çiftleri sayar. Top-2 doğruluk, altın veya kısmi bağlam maksimum puanı paylaştığında bir örneği doğru sayar. Beşli doğruluk, beş puanın tümünün beklenen artmayan sırayı izlemesini gerektirir.
İkili ve beşli doğrulukta eşit puanlar doğru sayılır. İkili doğruluk s[i] >= s[j] ifadesini kullanır ve beşli doğruluk eşit bitişik puanları kabul eder. W&B Weave, eşitliklerin doğru sıralama olarak kabul edilmesinin yardımıyla üç ölçümün tümünde öne çıkar. NDCG@5 ve Spearman ρ sıralamayı eşitliklere farklı muamele ederek değerlendirir.
Alaka düzeyine göre ortalama puanlar
Bu grup ortalamalarında, zorlu olumsuzlar beş aracın tümünde kısmi bağlamların üzerinde yer alır. Bireysel örnekler her grup içinde farklılık gösterir.
Her aracın bağlam alaka düzeyini nasıl değerlendirdiği
Test edilen yapılandırmalarda beş değerlendiricinin tümü, referans yanıt olmadan sorguyu ve tek bir pasajı alır. Her biri GPT-4o kullanır; prompt'lar, çıktı ölçekleri ve toplama açısından farklılık gösterir.
W&B Weave: İkili LLM prompt'u
W&B Weave, eskiden Weights & Biases olan CoreWeave Forge'un bir parçasıdır.12
W&B Weave, pasaj başına bir büyük dil modeli (LLM) çağrısı yapar ve alaka düzeyini "0'dan 1'e kadar bir ölçekte" ister. Tamsayı yanıt şeması yalnızca 0 ve 1 ikili değerlerine izin verir; bu da kısmi bağlam ile zorlu olumsuza aynı puanları verebilir.
TruLens: 4 noktalı Likert ölçeği
TruLens, LLM'den 0-3 ölçeğinde bir "RELEVANCE grader" olarak hareket etmesini ister. Rubriği, sorgu alaka düzeyinin dört derecesini kapsar.
- 0: Sorguyla ilgisiz
- 1: Sorgunun bir kısmıyla ilgili
- 2: Sorgunun çoğuyla ilgili
- 3: Sorgunun tamamıyla ilgili
Ham puanı 3'e bölmek, 0.0 ile 1.0 arasında dört çıktı değeri verir; bunlar 0.0, 0.33, 0.67 ve 1.0 olarak gösterilir. Bu, değerlendiricinin sınıflandırmasına bağlı olarak kısmen ve tamamen ilgili pasajlar arasında ayrım yapılmasını sağlar.
Ragas: Çift değerlendiricili ortalama
Ragas, aynı ölçütlerin farklı ifadelerine sahip iki değerlendirici prompt'u kullanır. Her prompt; ilgisiz için 0, kısmen ilgili için 1 veya tamamen ilgili için 2 atar. Yargıların ortalaması alınıp normalleştirildiğinde 0.0–1.0 ölçeğinde beş değer elde edilir.
Puanlar 0.0, 0.25, 0.5, 0.75 ve 1.0 olabilir. Ortalama, iki prompt ifadesinden gelen yargıları birleştirir. Prompt değişikliklerine duyarlılığı ayrıca test etmedik.
UpTrain: Üçlü sınıflandırma (A/B/C)
UpTrain, A/B/C sınıflandırmalarını alaka puanlarına eşler.
- A (1.0): Bağlam, sorguya tam bir yanıt içerir
- B (0.5): Bağlam, kısmi bir yanıt için bilgi içerir
- C (0.0): Bağlam, sorguyu yanıtlamak için hiçbir bilgi içermez
Puanlar 0.0, 0.5 ve 1.0'dır. Aldatıcı bir pasaj ile teğetsel olarak ilişkili bir pasaj yine de aynı puanı alabilir.
DeepEval: İfade ayrıştırma (G-Eval)
DeepEval, bir pasajı ifadelere böler ve değerlendiriciden her birini alaka için "evet" veya "hayır" olarak işaretlemesini ister. İlgili ifade sayısını toplama bölerek 0.0 ile 1.0 arasında kesirli bir puan üretir. Örneğin, 10 ifadeden 7'si ilgiliyse 0.70 üretir.
Ek konu dışı ifadeler, pasaj doğru yanıtı içerse bile bu kesri düşürür. Sonuç olarak daha kısa bir zorlu olumsuz, daha uzun bir altın bağlamdan daha yüksek puan alabilir.
Çekişmeli tuzaklar
Bağlam; ilişki karışıklığı, yanıltıcı varlık eşleşmesi veya atlanan bir olgu nedeniyle soruyu yanıtlayamayabilir. Bu üç örnek, daha önceki açıklayıcı materyalden alınmıştır ve puanlanan v3 dataset'inden ayrıdır.
Çok adımlı tuzak (İlişki karışıklığı)
Çok adımlı sorular, bir ilişkiler zincirini izlemeyi gerektirir. İlk adlandırılan varlık hakkında daha basit bir soruyu yanıtlamak bu zinciri koparır.
Soru: "Retro City Rampage'in parodisi olduğu oyun serisini kim yayımlıyor?" Hedef yanıt Rockstar Games'tir.
Varlık çeldirici tuzağı
Bir pasaj, farklı bir etkinliği anlatırken doğru mekânı ve konumu belirtebilir. Paylaşılan varlık adları, bu pasajın ilgili görünmesine neden olabilir.
Soru: "…The Bridge Inn, İngiltere'nin Cumbria bölgesinde düzenlenen hangi yıllık yalan söyleme yarışmasının mekânıdır?" Hedef yanıt World's Biggest Liar'dır.
Kısmi alaka düzeyi tuzağı
Kısmi bağlam, istenen yanıtı dışarıda bırakırken konuyu ve ilgili varlıkları sağlar.
Soru: "Portofino'nun sözlerini 'Fiddler on the Roof' üzerindeki bir işbirlikçisiyle birlikte kim yazdı?" Hedef yanıt Richard Ney'dir.
Tercih edilen kaynak olarak ekleRAG değerlendirme araçları benchmark metodolojisi
Çekişmeli dataset tasarımı
Her soru, farklı alaka düzeylerini işgal edecek şekilde tasarlanmış beş pasajla eşleştirilir. Altın pasajlar yeniden ifade edilmiştir ve zorlu olumsuzlar, çevreleyen yapıyı korurken bir yanıt olgusunu değiştirir.
Dataset
HaluEval 480 genel kültür sorusu sağlar ve HotPotQA çok adımlı akıl yürütme gerektiren 530 soru sağlar. Together, tam araç değerlendirmesi başına 1.010 soru ve 5.050 soru-bağlam çifti sunarlar.
W&B Weave, TruLens, Ragas ve UpTrain'in her biri 1.010 tam sonuç satırına sahiptir. DeepEval, beş başarısız örnek çıkarıldıktan sonra 1.005 tam satıra sahiptir. Bir örnek, beş bağlam puanından herhangi biri başarısız olursa hariç tutuldu; bu nedenle bu başarısızlıklara sıfır puan atanmadı.
Proje notları, nihai dataset kaydedilmeden önce yanıt sızıntısı filtrelemesi sırasında 489 örneğin çıkarıldığını rapor ediyor.
Çapraz model protokolü
Claude Sonnet 4.5 çekişmeli bağlamlar üretti ve GPT-4o, OpenRouter aracılığıyla alaka düzeyini değerlendirdi. Farklı model'lerin kullanılması, bağlam üretimini yargılamadan ayırır. Her değerlendirici aynı sorgu-bağlam girdilerini aldı ve özel talimatlar olmadan varsayılan değerlendirme prompt'larını kullandı.
Proje yapılandırması temperature=0 olarak ayarlıdır. Top-1, altın bağlam 0. dizinde sabitlenmiş şekilde argmax tarafından döndürülen ilk maksimumu kullanır. Katı Top-1, benzersiz bir maksimum gerektirir. W&B Weave'in altın bağlamı, örneklerin yaklaşık %86'sında maksimum için berabere kalır.
NDCG@5; 4, 3, 2, 1 ve 0 alaka etiketlerini kullanır. Spearman korelasyonları, sabit olmayan puan vektörlerine sahip örnekler arasında ortalamalanır. MRR uygulaması, artan puan sıralamasını tersine çevirir ve altın bağlamı bu sonuç kümesinde eşit puanlı pasajların arkasına yerleştirir.
Sınırlamalar
Tüm sonuçlar, varsayılan değerlendirme prompt'larıyla yapılan tek bir GPT-4o çalışmasından gelir. Diğer değerlendirici model'ler, prompt değişiklikleri ve doğal olarak getirilen pasajlar farklı sıralamalar üretebilir. Tüm zorlu olumsuzlar varlık değişimini kullanır.
Eşitlik kuralları araçların sıralamasını etkiler ve altın bağlamın sabit konumu Top-1 doğruluğunu destekler. Katı Top-1, benzersiz tanımlama için ayrı bir ölçüm sağlar.
DeepEval'in toplu sonuçları beş örneği hariç tutar ve Spearman her araç için sabit puan vektörlerini hariç tutar. Bu nedenle araç ortalamaları farklı uygun örnekler kullanır. Maliyet, gecikme, prompt sağlamlığı ve birleşik araç iş akışları benchmark edilmemiştir.
Değerlendirilen metrik bağlam alaka düzeyidir. Üretilen bir yanıtın getirilen materyal tarafından desteklenip desteklenmediğini kontrol eden yanıt sadakati ve diğer RAG metrikleri ölçülen kapsamın dışındadır.
Kullanım durumuna göre araç seçimi
İkili alaka taraması ve pasaj sıralaması bu testte farklı araçları destekler. Birleşik iş akışı, ayrı doğrulama gerektiren bir öneridir.
Sonuç
W&B Weave'in ikili çıktısı, bu benchmark'ın eşitlik kuralı altında yüksek Top-1 doğruluğu üretir. TruLens ve Ragas daha fazla puan düzeyi sağlar ve daha geniş sıralama ölçütlerinde öne çıkar.
Beş aracın tümü %91 veya daha yüksek ikili doğruluk elde eder, ancak zorlu olumsuzlara kısmi bağlamlardan daha yüksek ortalama puanlar atar. Alaka puanlaması, pasajları konu uygunluğuna göre filtreleyebilir. Olgusal doğrulama ve yanıt sadakati değerlendirmesi ayrı kontroller olmaya devam eder.
Daha fazla bilgi
- Embedding Models: Retrieval için kıyaslanan 25 Models
- Açık Kaynak Embedding Models: Retrieval için kıyaslanan 11 Models
- Vektör Veritabanı Boyutlandırma ve Seçim Hesaplayıcı
- Reranker Benchmark: En İyi 8 Models Karşılaştırıldı
- Multimodal Embedding Models: Apple vs Meta vs OpenAI
- RAG için En İyi 10 Multilingual Embedding Models
Bu benchmarkı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{RAG Değerlendirme Araçları: W&B Weave vs Ragas vs TruLens}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/rag-evaluation-tools}},
note = {AIMultiple. Erişim tarihi: 17 Mart 2026}
}50 veri noktasının sonuçları ve zaman damgaları. Bu makaledeki grafik ve tablolarda gösterilen özet verileri, 12 CSV dosyası içeren ZIP dosyası olarak indirin.
Arkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın
Değişiklik günlüğü
2 güncellemeRAG değerlendirme araçları karşılaştırma sonuçları bölümündeki karşılaştırma sonuçları güncellendi.
Güncellendi "RAG değerlendirme araçları karşılaştırma sonuçları" bölümü, yeni karşılaştırma sonuçları ve metriklerle.
Referans Linkleri
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.