RAG Strumenti di Valutazione: Weights & Biases vs Ragas vs DeepEval
Quando una pipeline RAG recupera il contesto sbagliato, l'LLM genera con sicurezza la risposta errata. I valutatori di rilevanza del contesto sono la prima linea di difesa.
Abbiamo confrontato cinque strumenti su 1.460 domande e oltre 14.600 contesti valutati in condizioni identiche: stesso modello giudice (GPT-4o), configurazioni predefinite e nessun prompt personalizzato. In condizioni standard, WandB, TruLens e Ragas si sono distinti come i migliori. Sotto pressione avversaria (negativi difficili con entità scambiate), WandB ha ottenuto i risultati migliori.
RAG risultati del benchmark degli strumenti di valutazione
Le prime tre (WandB, TruLens, Ragas) sono statisticamente pari per l'accuratezza Top-1 (IC 95% sovrapposto tra il 94,0% e il 98,0%).
Per comprendere la nostra valutazione e le metriche in dettaglio, consulta la nostra metodologia del benchmark per gli strumenti di valutazione RAG.
Spiegazione delle metriche
Accuratezza Top-1: Lo strumento può assegnare il punteggio di rilevanza più alto al contesto aureo? Questo misura la sicurezza contro il recupero avversario, un comune modo di fallimento in produzione.
NDCG@5 (normalized discounted cumulative gain): Dati cinque contesti a diversi livelli di rilevanza (4, 3, 2, 1, 0), lo strumento li classifica nell'ordine corretto? A differenza dell'accuratezza binaria, NDCG premia gli strumenti che assegnano punteggi proporzionalmente più alti ai contesti più rilevanti.
Spearman ρ (correlazione di rango): Quanto bene la classificazione dei punteggi di uno strumento correla con l'ordinamento di rilevanza della verità fondamentale? Uno strumento perfetto produrrebbe ρ = 1,0.
MRR (mean reciprocal rank): Media di 1/rango per il contesto aureo. Se uno strumento classifica il contesto aureo primo, MRR = 1,0; secondo, MRR = 0,5; terzo, MRR = 0,33. Penalizza gli strumenti che seppelliscono il contesto corretto sotto quelli meno rilevanti.
Principali risultati
- WandB guida nell'identificazione, TruLens guida nel ranking: WandB ha la più alta accuratezza Top-1 (94,5%) ma il più basso NDCG@5 (0,910) e Spearman ρ (0,669). TruLens guida su NDCG@5 (0,932), Spearman ρ (0,750) e MRR (0,594). La differenza si riduce alla progettazione della valutazione: la valutazione binaria di WandB è semplice ma grossolana; la scala a 4 punti di TruLens ha più risoluzione ma è più soggetta a inversioni.
- TruLens ha il più alto rapporto di discriminazione: Nel distinguere un contesto corretto da una versione quasi identica con entità scambiate, TruLens indovina la direzione il 35,5% delle volte con solo l'8,4% di inversioni (rapporto 4,2:1). Nessun altro strumento eguaglia questo.
- Nessuno strumento distingue contesti fattualmente errati da contesti fattualmente corretti: Tutti e cinque gli strumenti assegnano punteggi più alti ai negativi difficili rispetto ai contesti parziali, invertendo l'ordine di rilevanza corretto. Un passaggio con le entità giuste e la risposta sbagliata supera costantemente un passaggio con l'argomento giusto ma senza risposta. Questo è coerente con la rilevanza del contesto che misura l'adattamento tematico, non l'accuratezza fattuale.
- DeepEval sottostima i contesti aurei: La decomposizione delle affermazioni di DeepEval produce classifiche competitive (NDCG@5 = 0,923) ma assegna ai contesti aurei una media di 0,46 contro 0,82–0,91 per gli altri strumenti. Questo lo rende inaffidabile per identificare il singolo contesto migliore.
- La scala ternaria di UpTrain limita la discriminazione: Tre valori di output (0, 0,5, 1,0) non possono rappresentare cinque livelli di rilevanza. UpTrain mostra il peggior rapporto di discriminazione (1,4:1) e la più bassa accuratezza di ranking (27,6% ordinamento perfetto).
Discriminazione: aureo vs negativo difficile
Con quale frequenza lo strumento assegna un punteggio più alto al contesto aureo rispetto al negativo difficile con entità scambiate?
Win = punteggio aureo strettamente più alto. Tie = punteggi uguali. Loss = punteggio negativo difficile più alto.
WandB ha il minor numero di perdite (4,8%) ma anche il minor numero di vittorie (15,5%): la sua valutazione binaria produce pareggi l'80% delle volte. Quando riesce a differenziare, quasi sempre indovina la direzione. L'accuratezza Top-1 rigorosa di WandB (l'aureo è il massimo unico) è solo dell'8,3%, rispetto al 25,3% di TruLens; il suo argmax Top-1 è alto perché il contesto aureo è all'indice 0 e beneficia della risoluzione dei pareggi.
Qualità del ranking
Acc Coppie = % di tutte le 10 coppie di contesti per campione classificate correttamente. Acc Top-2 = il contesto con punteggio più alto è aureo o parziale. Acc 5-Vie = ordinamento monotono perfetto su tutti i 5 livelli.
WandB guida su tutte e tre le metriche perché la sua valutazione binaria crea una naturale divisione a due livelli (rilevante vs non rilevante) che elimina gli errori di ordinamento all'interno del livello. Nota: l'accuratezza delle coppie conta i pareggi come corretti (s[i] >= s[j]), il che favorisce gli strumenti binari. NDCG@5 e Spearman ρ (mostrati nel grafico sopra) penalizzano i pareggi e classificano TruLens primo.
Punteggi medi per livello di rilevanza
Nessuno strumento ordina correttamente Parziale > Negativo Difficile.
Come ogni strumento valuta la rilevanza del contesto
Tutti e cinque gli strumenti utilizzano GPT-4o come giudice sottostante, ma impiegano strategie di valutazione diverse.
WandB Weave: Prompt binario LLM
WandB invia un singolo prompt all'LLM chiedendogli di valutare la rilevanza "su una scala da 0 a 1". Tuttavia, il suo schema di risposta interno definisce il punteggio come un intero, quindi il modello può restituire solo 0 o 1.
Una chiamata LLM, una decisione binaria. WandB risponde "è questo il contesto giusto?" in modo pulito (più alta accuratezza Top-1) ma non può esprimere gradi di rilevanza: un contesto parziale e un negativo difficile ricevono lo stesso punteggio.
Valori di output: 0, 1
TruLens: Scala Likert a 4 punti
TruLens sollecita l'LLM come "valutatore di RILEVANZA" con criteri espliciti per una scala 0-3:
- 0: Irrilevante per la query
- 1: Rilevante per parte della query
- 2: Rilevante per la maggior parte della query
- 3: Rilevante per l'intera query
Il punteggio grezzo viene normalizzato a 0,0–1,0 dividendo per 3. Questo dà a TruLens quattro livelli di output distinti, fornendo abbastanza granularità per distinguere i contesti parziali dai negativi difficili mantenendo il prompt semplice.
Valori di output: 0,0, 0,33, 0,67, 1,0
Ragas: Media a doppio giudice
Ragas esegue due prompt di giudice indipendenti su ogni valutazione, ciascuno con una diversa formulazione degli stessi criteri (0 = irrilevante, 1 = parzialmente rilevante, 2 = pienamente rilevante). Il punteggio finale è la media di entrambi i giudici, normalizzata a 0,0–1,0.
Poiché due scale a 3 punti vengono mediate, Ragas produce cinque possibili valori, più valori di output di qualsiasi altro strumento testato. Il design a doppio giudice fornisce anche una resistenza integrata alla sensibilità del prompt.
Valori di output: 0,0, 0,25, 0,5, 0,75, 1,0
UpTrain: Classificazione ternaria (A/B/C)
UpTrain inquadra la rilevanza come una classificazione a scelta multipla:
- A (1,0): Il contesto può rispondere completamente alla query
- B (0,5): Il contesto può dare una risposta rilevante ma non può rispondere completamente
- C (0,0): Il contesto non contiene alcuna informazione per rispondere alla query
Il design ternario può distinguere "parzialmente rilevante" da "irrilevante" ma non può separare "ingannevole" da "tangenzialmente correlato"; entrambi possono rientrare nello stesso bucket.
Valori di output: 0,0, 0,5, 1,0
DeepEval: Decomposizione delle affermazioni (G-Eval)
Invece di chiedere un singolo punteggio di rilevanza, DeepEval decompone il contesto in affermazioni individuali, quindi chiede all'LLM di giudicare ogni affermazione come "sì" (rilevante) o "no" (irrilevante) per la query. Il punteggio finale è il rapporto tra affermazioni rilevanti e affermazioni totali.
Il risultato è un punteggio continuo (ad esempio, 7 su 10 affermazioni rilevanti = 0,70). Tuttavia, l'approccio è rigoroso: anche un contesto altamente rilevante viene penalizzato se contiene frasi fuori tema. I contesti aurei includono talvolta dettagli contestuali che la decomposizione segna come "irrilevanti", trascinando il punteggio sotto quello di un negativo difficile più breve e più focalizzato. Questo spiega l'accuratezza Top-1 del 78,1% di DeepEval.
Valori di output: Continuo (0,0–1,0)
Aggiungi come fonte preferitaRAG metodologia del benchmark degli strumenti di valutazione
Progettazione del dataset avversario
Ogni query ha cinque contesti a un distinto livello di rilevanza:
Dataset
Combiniamo due fonti:
HaluEval (480 campioni): Domande di conoscenza generale che spaziano su musica, film, sport, storia, geografia e altro. I negativi difficili, i contesti parziali e i negativi soft sono generati da Claude.
HotPotQA (530 campioni): Domande di ragionamento multi-hop che richiedono la sintesi di informazioni su più documenti.
Totale: 1.010 campioni, ciascuno con 5 contesti = 5.050 valutazioni di contesto per strumento. Tutti i campioni hanno superato il filtraggio automatico delle perdite (489 campioni rimossi durante la generazione per perdita di risposta).
Protocollo cross-modello
Per eliminare il bias di auto-preferenza (dove un valutatore LLM preferisce il testo generato da se stesso), abbiamo utilizzato Claude Sonnet 4.5 per la generazione di contesti avversari e GPT-4o come giudice per tutti gli strumenti. Entrambi sono stati chiamati tramite OpenRouter con temperature=0.
Le trappole avversarie
La trappola multi-hop (Confusione di relazione)
Le domande spesso richiedono di tracciare una catena di relazioni (ad es. A è correlato a B, che è correlato a C). I negativi difficili rispondono a una versione più semplice della domanda, rompendo la catena.
ID Domanda 89: "Chi pubblica la serie di giochi di cui Retro City Rampage è una parodia?" Risposta Target: Rockstar Games
La trappola dell'entità distrattore
I recuperatori spesso trovano la posizione o l'argomento corretto, ma restituiscono metadati sul evento o attributo sbagliato.
ID Domanda 90: "…The Bridge Inn è il luogo per quale competizione annuale per raccontare bugie, tenuta in Cumbria, Inghilterra?" Risposta Target: World's Biggest Liar
La trappola della rilevanza parziale
Un contesto con l'argomento e le entità giuste ma senza risposta.
ID Domanda 9: "Chi ha scritto il testo di Portofino con un collaboratore su 'Fiddler on the Roof'?" Risposta Target: Richard Ney
TruLens e DeepEval assegnano correttamente punteggi più alti ai contesti parziali rispetto ai negativi difficili su questi campioni specificamente, sebbene questo schema non valga per l'intero dataset.
Quale strumento dovresti usare?
Conclusione
La granularità della valutazione è il principale compromesso. Gli strumenti binari (WandB) vincono sull'identificazione perché ogni pareggio va a loro favore; gli strumenti multi-punto (TruLens, Ragas) vincono sul ranking perché possono esprimere gradi di rilevanza.
La rilevanza del contesto funziona come un filtro di primo passaggio: tutti gli strumenti separano i contesti rilevanti da quelli irrilevanti più del 91% delle volte (accuratezza delle coppie). Ma nessuno di loro verifica l'accuratezza fattuale. Un passaggio con le entità giuste e la risposta sbagliata ottiene un punteggio alto su ogni strumento testato. Per la correttezza fattuale, abbina con metriche di fedeltà della risposta.
Limitazioni
- Modello giudice singolo: Tutte le valutazioni utilizzano GPT-4o come giudice. I risultati potrebbero differire con altri modelli.
- Solo rilevanza del contesto: Questo benchmark valuta solo la valutazione della rilevanza del contesto, non la fedeltà della risposta o altre metriche RAG.
- Configurazioni predefinite: Gli strumenti sono stati valutati fuori dalla scatola. Le prestazioni potrebbero migliorare con l'ingegneria di prompt personalizzata.
- Esecuzione singola con convenzione di risoluzione dei pareggi: Il benchmark è stato eseguito una volta con temperature=0. L'accuratezza Top-1 utilizza
argmax(il primo indice vince i pareggi), il che favorisce gli strumenti con alti tassi di pareggio (WandB: 86%). Segnaliamo il Top-1 rigoroso insieme all'argmax dove rilevante. - Dataset solo avversario: Tutti i negativi difficili utilizzano lo scambio di entità. I risultati riflettono le prestazioni in condizioni avversarie; gli strumenti potrebbero comportarsi diversamente su contesti recuperati naturalmente.
Ulteriori letture
Esplora altri benchmark RAG, come:
- Modelli di Embedding: OpenAI vs Gemini vs Cohere
- Top 16 Modelli di Embedding Open Source per RAG
- Top Database Vettoriale per RAG: Qdrant vs Weaviate vs Pinecone
- Benchmark Reranker: Top 8 Modelli Confrontati
- Modelli di Embedding Multimodali: Apple vs Meta vs OpenAI
- RAG Ibrido: Aumentare l'accuratezza RAG
- Top 10 Modelli di Embedding Multilingue per RAG
Cita questa ricerca
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{RAG Strumenti di Valutazione: Weights & Biases vs Ragas vs DeepEval}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/rag-evaluation-tools}},
note = {AIMultiple. Consultato il 23 Marzo 2026}
}
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.