RAG Değerlendirme Araçları: Weights & Biases vs Ragas vs DeepEval

Bir RAG pipeline'ı yanlış bağlamı getirdiğinde, LLM yanlış cevabı kendinden emin bir şekilde üretir. Bağlam uygunluk skorlayıcıları birincil savunmadır.

Aynı koşullar altında 1.460 soru ve 14.600'den fazla skorlanmış bağlam üzerinden beş aracı kıyasladık: aynı yargıç modeli (GPT-4o), varsayılan yapılandırmalar ve özel prompt'lar yok. Standart koşullar altında WandB, TruLens ve Ragas en iyi performans gösterenler olarak öne çıktı. Adversarial baskı altında (varlık değiştirilmiş zor negatifler), WandB en iyi performansı gösterdi.

RAG değerlendirme araçları kıyaslama sonuçları

İlk üçlü (WandB, TruLens, Ragas) Top-1 Doğruluk açısından istatistiksel olarak eşittir (94,0% ve 98,0% arasında örtüşen %95 GA).

Değerlendirmemizi ve metrikleri detaylı olarak anlamak için, RAG değerlendirme araçları için kıyaslama metodolojimize bakın.

Metrikler açıklandı

Top-1 doğruluk: Araç, altın bağlama en yüksek uygunluk skorunu atayabilir mi? Bu, üretimde yaygın bir başarısızlık modu olan adversarial getirme karşısında güvenliği ölçer.

NDCG@5 (normalize edilmiş indirgenmiş kümülatif kazanç): Farklı uygunluk seviyelerinde (4, 3, 2, 1, 0) beş bağlam verildiğinde, araç bunları doğru sırada mı sıralıyor? İkili doğruluktan farklı olarak, NDCG daha alakalı bağlamlara orantılı olarak daha yüksek skorlar atan araçları ödüllendirir.

Spearman ρ (sıralama korelasyonu): Bir aracın skor sıralaması, gerçek uygunluk sıralamasıyla ne kadar iyi korele olur? Mükemmel bir araç ρ = 1,0 üretirdi.

MRR (ortalama karşılıklı sıra): Altın bağlam için 1/sıra ortalaması. Bir araç altın bağlamı ilk sıraya koyarsa, MRR = 1,0; ikinci, MRR = 0,5; üçüncü, MRR = 0,33. Doğru bağlamı daha az alakalı olanların altına gömen araçları cezalandırır.

Temel bulgular

1. WandB tanımlamada lider, TruLens sıralamada lider: WandB en yüksek Top-1 doğruluğa (94,5%) sahip ancak en düşük NDCG@5 (0,910) ve Spearman ρ (0,669). TruLens NDCG@5 (0,932), Spearman ρ (0,750) ve MRR (0,594) konularında lider. Fark skorlama tasarımına dayanır: WandB'nin ikili skorlaması basit ancak kaba; TruLens'in 4 puanlık ölçeği daha fazla çözünürlüğe sahip ancak tersine çevirmelere daha yatkın.
2. TruLens en yüksek ayırma oranına sahip: Doğru bir bağlamı neredeyse özdeş varlık değiştirilmiş bir versiyondan ayırt ederken, TruLens zamanın %35,5'inde yönü doğru belirliyor ve sadece %8,4'lük bir tersine çevirme oranına sahip (4,2:1 oranı). Başka hiçbir araç bunu karşılamıyor.
3. Hiçbir araç, olgusal olarak yanlış olanı olgusal olarak doğru bağlamlardan ayırt etmiyor: Beş araç da zor negatifleri, kısmi bağlamlardan daha yüksek skorluyor, doğru uygunluk sırasını tersine çeviriyor. Doğru varlıklara ve yanlış cevaba sahip bir pasaj, cevabı olmayan ancak doğru konuya sahip bir pasajdan tutarlı şekilde daha yüksek skor alıyor. Bu, bağlam uygunluğunun olgusal doğruluğu değil, konumsal uygunluğu ölçtüğü ile tutarlıdır.
4. DeepEval altın bağlamları eksik skorluyor: DeepEval'ın ifade ayrıştırması rekabetçi sıralamalar üretiyor (NDCG@5 = 0,923) ancak altın bağlamları ortalama 0,46 olarak skorluyor, diğer araçlar için 0,82–0,91. Bu, onu tek en iyi bağlamı belirlemek için güvenilir olmaktan çıkarıyor.
5. UpTrain'ın ternary ölçeği ayırt etmeyi sınırlıyor: Üç çıktı değeri (0, 0,5, 1,0) beş uygunluk seviyesini temsil edemez. UpTrain en kötü ayırma oranını (1,4:1) ve en düşük sıralama doğruluğunu (%27,6 mükemmel sıralama) gösteriyor.

Ayırt etme: altın vs. zor negatif

Araç, varlık değiştirilmiş zor negatiften daha yüksek bir skoru altın bağlama atıyor ne sıklıkta?

Kazanç = altın skorları kesinlikle daha yüksek. Beraberlik = eşit skorlar. Kayıp = zor negatif skorları daha yüksek.

WandB en az kayba sahip (%4,8) ancak en az kazanca da sahip (%15,5): ikili skorlaması zamanın %80'inde beraberlik üretiyor. Fark yarattığında, yönü neredeyse her zaman doğru belirliyor. WandB'nin katı Top-1 doğruluğu (altın, benzersiz maksimumdur) sadece %8,3, TruLens için %25,3; argmax Top-1'i yüksek çünkü altın bağlam 0 indeksinde ve beraberlik kırmanın avantajından yararlanıyor.

Sıralama kalitesi

Çift Doğruluk = örnek başına tüm 10 bağlam çiftinin doğru sıralanan yüzdesi. Top-2 Doğruluk = en yüksek skorlu bağlam altın veya kısmidir. 5-Yollu Doğruluk = tüm 5 seviye boyunca mükemmel monoton sıralama.

WandB, ikili skorlamasının ilgili vs. alakasız gibi doğal iki seviyeli bir bölünme oluşturması ve seviye içi sıralama hatalarını ortadan kaldırması nedeniyle üç metrikte de lider. Not: çift doğruluk beraberlikleri doğru olarak sayar (s[i] >= s[j]), bu da ikili araçlara yarar. NDCG@5 ve Spearman ρ (yukarıdaki grafikte gösterildiği gibi) beraberlikleri cezalandırır ve TruLens'i birinci sıraya koyar.

Uygunluk seviyesine göre ortalama skorlar

Hiçbir araç Kısmi > Zor Negatif'i doğru sıralamıyor.

Her aracın bağlam uygunluğunu nasıl değerlendirdiği

Beş araç da altta yatan yargıç olarak GPT-4o kullanıyor, ancak farklı değerlendirme stratejileri uyguluyorlar.

WandB Weave: İkili LLM prompt'u

WandB, LLM'e "0'dan 1'e kadar bir ölçek üzerinde" uygunluğu değerlendirmesini isteyen tek bir prompt gönderiyor. Ancak, iç yanıt şeması skoru bir tam sayı olarak tanımlıyor, bu yüzden model yalnızca 0 veya 1 döndürebilir.

Bir LLM çağrısı, bir ikili karar. WandB "bu doğru bağlam mı?" sorusuna temiz bir şekilde yanıt veriyor (en yüksek Top-1 doğruluk) ancak uygunluk derecelerini ifade edemiyor: kısmi bir bağlam ve zor negatif aynı skoru alıyor.

Çıktı değerleri: 0, 1

TruLens: 4 puanlı Likert ölçeği

TruLens, LLM'i açık kriterlerle bir "UYGUNLUK" derecelendiricisi olarak promptluyor: 0-3 ölçeği:

• 0: Sorguyla alakasız
• 1: Sorgunun bir kısmıyla alakalı
• 2: Sorgunun çoğuyla alakalı
• 3: Sorgunun tamamıyla alakalı

Ham skor 3'e bölünerek 0,0–1,0'a normalize ediliyor. Bu, TruLens'e dört farklı çıktı seviyesi veriyor, kısmi bağlamları zor negatiflerden ayırt etmek için yeterli ayrıntı sağlarken prompt'u basit tutuyor.

Çıktı değerleri: 0,0, 0,33, 0,67, 1,0

Ragas: Çift yargıç ortalaması

Ragas, her değerlendirmede iki bağımsız yargıç prompt'u çalıştırıyor, her biri aynı kriterlerin farklı bir ifade biçimine sahip (0 = alakasız, 1 = kısmen alakalı, 2 = tamamen alakalı). Son skor, her iki yargıcın ortalamasıdır, 0,0–1,0'a normalize edilmiştir.

İki 3 puanlı ölçeğin ortalaması alındığı için, Ragas beş olası değer üretiyor, test edilen diğer araçlardan daha fazla çıktı değeri. Çift yargıç tasarımı ayrıca prompt hassasiyetine karşı yerleşik direnç sağlar.

Çıktı değerleri: 0,0, 0,25, 0,5, 0,75, 1,0

UpTrain: Ternary sınıflandırma (A/B/C)

UpTrain uygunluğu bir çoktan seçmeli sınıflandırma olarak çerçeveleyiyor:

• A (1,0): Bağlam sorguyu tamamen yanıtlayabilir
• B (0,5): Bağlam bazı alakalı cevaplar verebilir ancak tamamen yanıtlayamaz
• C (0,0): Bağlam sorguyu yanıtlamak için hiçbir bilgi içermiyor

Ternary tasarım "kısmen alakalı"yı "alakasız"dan ayırt edebilir ancak "aldatıcı"yı "dolaylı olarak ilgili"den ayırt edemez; her ikisi de aynı kaba düşebilir.

Çıktı değerleri: 0,0, 0,5, 1,0

DeepEval: İfade ayrıştırma (G-Eval)

DeepEval, tek bir uygunluk skoru istemek yerine, bağlamı bireysel ifadelere ayırıyor, ardından LLM'e her ifadeyi sorguya göre "evet" (alakalı) veya "hayır" (alakasız) olarak karara bağlamasını istiyor. Son skor, alakalı ifadelerin toplam ifadelere oranıdır.

Sonuç sürekli bir skordur (örneğin, 10 ifadenin 7'si alakalı = 0,70). Ancak, yaklaşım katıdır: yüksek alakalı bir bağlam bile konuyla ilgili olmayan cümleler içeriyorsa ceza alır. Altın bağlamlar bazen ayrıştırma tarafından "alakasız" olarak işaretlenen bağlamsal ayrıntılar içerir ve skoru daha kısa, daha odaklı bir zor negatifin altına çeker. Bu, DeepEval'ın %78,1 Top-1 doğruluğunu açıklıyor.

Çıktı değerleri: Sürekli (0,0–1,0)

Google Arama'da daha fazla kıyaslamamızı ve veri odaklı içgörülerimizi görün.

Tercih edilen kaynak olarak ekle

RAG değerlendirme araçları kıyaslama metodolojisi

Adversarial veri seti tasarımı

Her sorgunun belirli bir uygunluk seviyesinde beş bağlamı vardır:

Veri seti

İki kaynağı birleştiriyoruz:

HaluEval (480 örnek): Müzik, film, spor, tarih, coğrafya ve daha fazlasını kapsayan genel bilgi soruları. Zor negatifler, kısmi bağlamlar ve yumuşak negatifler Claude tarafından oluşturulmuştur.

HotPotQA (530 örnek): Birden fazla belge arasında bilgi sentezi gerektiren çok atımlı akıl yürütme soruları.

Toplam: 1.010 örnek, her biri 5 bağlam = araç başına 5.050 bağlam değerlendirmesi. Tüm örnekler otomatik sızıntı filtrelemesinden geçti (cevap sızıntısı için oluşturma sırasında 489 örnek kaldırıldı).

Çapraz model protokolü

Öz-yeterlilik önyargısını ortadan kaldırmak için (bir LLM yargıcının kendi ürettiği metni tercih etmesi), adversarial bağlam oluşturma için Claude Sonnet 4.5 ve tüm araçlar için yargıç olarak GPT-4o kullandık. İkisi de temperature=0 ile OpenRouter üzerinden çağrıldı.

Adversarial tuzaklar

Çok atımlı tuzak (İlişki karmaşası)

Sorular genellikle bir ilişki zincirini izlemeyi gerektirir (örneğin, A, B ile ilişkilidir, B de C ile ilişkilidir). Zor negatifler zinciri kıran sorunun daha basit bir versiyonunu yanıtlıyor.

Soru ID 89: "Retro City Rampage'ın bir parodisi olduğu oyun serisini kim yayınlıyor?" Hedef Cevap: Rockstar Games

Varlık dikkat dağıtıcı tuzak

Getiriciler genellikle doğru konumu veya konuyu bulur, ancak yanlış olay veya özellik hakkında meta veri döndürür.

Soru ID 90: "…The Bridge Inn, İngiltere, Cumbria'da düzenlenen, yalan söyleme için yıllık yarışmanın mekanıdır?" Hedef Cevap: World's Biggest Liar

Kısmi uygunluk tuzak

Doğru konu ve varlıklara sahip ancak cevap içermeyen bir bağlam.

Soru ID 9: "Portofino'nun sözlerini 'Fiddler on the Roof' üzerinde bir işbirlikçi ile kim yazdı?" Hedef Cevap: Richard Ney

TruLens ve DeepEval, bu örneklerde özellikle kısmi bağlamları zor negatiflerden daha yüksek skorluyor, ancak bu desen tüm veri setinde geçerli değil.

Hangi aracı kullanmalısınız?

Sınırlamalar

1. Tek yargıç modeli: Tüm değerlendirmeler yargıç olarak GPT-4o kullanıyor. Sonuçlar diğer modellerle farklı olabilir.
2. Sadece bağlam uygunluğu: Bu kıyaslama sadece bağlam uygunluk skorlamasını değerlendiriyor, cevap sadakatini veya diğer RAG metriklerini değil.
3. Varsayılan yapılandırmalar: Araçlar kutudan çıktığı gibi değerlendirildi. Performans özel prompt mühendisliği ile iyileşebilir.
4. Beraberlik kırma kuralıyla tek çalışma: Kıyaslama temperature=0 ile bir kez çalıştırıldı. Top-1 doğruluğu argmax (ilk indeks beraberlikleri kazanır) kullanır, bu da yüksek beraberlik oranlarına sahip araçlara yarar (WandB: %86). İlgili olduğu yerde katı Top-1'i argmax ile birlikte raporluyoruz.
5. Sadece adversarial veri seti: Tüm zor negatifler varlık değiştirme kullanıyor. Sonuçlar adversarial koşullar altındaki performansı yansıtıyor; araçlar doğal olarak getirilen bağlamlarda farklı performans gösterebilir.

Daha fazla okuma

Şunlar gibi diğer RAG kıyaslamalarını keşfedin:

• Embedding Modelleri: OpenAI vs Gemini vs Cohere
• RAG için En İyi 16 Açık Kaynak Embedding Modeli
• RAG için En İyi Vektör Veritabanı: Qdrant vs Weaviate vs Pinecone
• Reranker Kıyaslama: En İyi 8 Model Karşılaştırıldı
• Multimodal Embedding Modelleri: Apple vs Meta vs OpenAI
• Hibrit RAG: RAG Doğruluğunu Artırma
• RAG için En İyi 10 Çok Dilli Embedding Modeli

Bu araştırmayı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Sarı, Ekrem},
  title  = {{RAG Değerlendirme Araçları: Weights & Biases vs Ragas vs DeepEval}},
  year   = {2026},
  month  = mar,
  howpublished    = {\url{https://aimultiple.com/rag-evaluation-tools}},
  note   = {AIMultiple. Erişim tarihi: 23 Mart 2026}
}

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple'da baş analist olarak görev yapmaktadır. AIMultiple, her ay Fortune 500 şirketlerinin %55'i de dahil olmak üzere yüz binlerce işletmeye (benzer Web'e göre) bilgi sağlamaktadır. Cem'in çalışmaları, Business Insider, Forbes, Washington Post gibi önde gelen küresel yayınlar, Deloitte, HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslararası kuruluşlar tarafından alıntılanmıştır. AIMultiple'ı referans gösteren daha fazla saygın şirket ve kaynağı görebilirsiniz. Kariyeri boyunca Cem, teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yapmıştır. On yıldan fazla bir süre McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararları konusunda danışmanlık yapmıştır. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayınlamıştır. Bir telekom şirketinin CEO'suna bağlı olarak teknoloji stratejisi ve tedarikini yönetmiştir. Ayrıca, 2 yıl içinde sıfırdan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetmiştir. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınlarında yer aldı. Cem düzenli olarak uluslararası teknoloji konferanslarında konuşmacı olarak yer almaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisliği diplomasına ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Araştıran

Ekrem Sarı

Yapay Zeka Araştırmacısı

Takip Et

Ekrem, AIMultiple'da yapay zeka araştırmacısı olarak çalışmakta olup, akıllı otomasyon, GPU'lar, yapay zeka ajanları ve RAG çerçeveleri üzerine yoğunlaşmaktadır.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder