RAG Strumenti di valutazione: W&B Weave vs Ragas vs TruLens
Abbiamo confrontato cinque strumenti di valutazione della generazione aumentata dal recupero (RAG) su più di 1.000 domande avversarie, ciascuna abbinata a cinque passaggi. Il confronto misura la pertinenza del contesto usando GPT-4o e i prompt di valutazione predefiniti degli strumenti.
RAG risultati del benchmark degli strumenti di valutazione
W&B Weave ha registrato la più alta accuratezza Top-1, pari al 94,5%. TruLens ha guidato le metriche di ranking, incluso NDCG@5 a 0.932. Le loro posizioni dipendono da come ciascuna metrica gestisce i punteggi uguali, soprattutto quando un valutatore restituisce output binari.
La metodologia del benchmark colloca il passaggio corretto nella prima posizione di ciascun insieme. L'accuratezza Top-1 assegna la vittoria a quel passaggio quando è in parità per il punteggio più alto.
Spiegazione delle metriche
L'accuratezza Top-1 misura la frequenza con cui il passaggio corretto designato, chiamato contesto aureo, riceve il punteggio più alto. Riportiamo anche la Top-1 rigorosa, che richiede che sia il massimo unico.
NDCG@5 (normalized discounted cumulative gain) valuta l'ordinamento di tutti e cinque i passaggi usando le etichette di pertinenza 4, 3, 2, 1 e 0. La ρ di Spearman misura la correlazione tra i punteggi previsti e tale ordine di pertinenza. Una correlazione perfetta è ρ = 1.0.
MRR (rango reciproco medio) media il valore 1/rango per il contesto aureo. I ranghi uno, due e tre contribuiscono rispettivamente con 1.0, 0.5 e 0.33. L'MRR colloca il contesto aureo dietro i passaggi con pari punteggio nel calcolo memorizzato. La sua gestione dei pareggi differisce quindi dall'accuratezza Top-1.
Risultati principali
W&B Weave primeggia nell'accuratezza Top-1 e TruLens nel ranking
L'elevata accuratezza Top-1 di W&B Weave si accompagna al NDCG@5 più basso, pari a 0.910, e a una ρ di Spearman di 0.669. TruLens primeggia nella ρ di Spearman con 0.750 e nell'MRR con 0.594. I pareggi aiutano a spiegare la differenza tra i risultati di identificazione e di ranking di W&B Weave.
TruLens presenta il rapporto più alto tra confronti corretti e invertiti
Per i passaggi aurei rispetto ai negativi difficili, TruLens registra 35,5% di vittorie e 8,4% di sconfitte, un rapporto di 4.2:1. La sua scala a quattro punti distingue più coppie rispetto alla scala binaria di W&B Weave, ma presenta anche più inversioni.
Tutti gli strumenti assegnano ai negativi difficili punteggi medi più alti rispetto ai contesti parziali
I negativi difficili mantengono l'argomento e gran parte della formulazione, cambiando però un fatto della risposta. Tutti e cinque gli strumenti assegnano a questi passaggi punteggi medi più alti rispetto ai contesti parziali, che non contengono la risposta. Questo risultato aggregato mostra perché il punteggio di pertinenza richieda un controllo separato dell'accuratezza fattuale.
DeepEval assegna punteggi più bassi ai passaggi corretti
DeepEval assegna ai contesti aurei un punteggio medio di 0.46, rispetto a 0.82–0.91 per gli altri strumenti. Il suo NDCG@5 è 0.923, mentre la sua accuratezza Top-1 è 78,1%. Con il punteggio a livello di affermazione, dettagli aggiuntivi possono abbassare il punteggio di un passaggio corretto anche quando contiene la risposta.
UpTrain ha l'accuratezza più bassa nell'ordinamento completo
I tre possibili punteggi di UpTrain non riescono a esprimere cinque livelli di pertinenza distinti. Ha l'accuratezza a cinque vie più bassa, pari a 27,6%, e il più basso rapporto vittorie/sconfitte tra contesti aurei e negativi difficili, pari a 1.4:1.
Discriminazione: contesto aureo vs negativo difficile
I passaggi aurei e negativi difficili si differenziano per un fatto relativo alla risposta. Una vittoria significa che il contesto aureo ottiene un punteggio più alto, una sconfitta che il negativo difficile ottiene un punteggio più alto e un pareggio che i punteggi sono uguali.
W&B Weave presenta sia il minor numero di vittorie sia il minor numero di sconfitte. Circa l'80% dei suoi confronti sono pareggi, limitando la frequenza con cui il suo punteggio binario separa i due passaggi. Su tutti e cinque i contesti, la sua accuratezza Top-1 rigorosa è 8,3%, rispetto al 25,3% di TruLens.
Qualità del ranking
L'accuratezza a coppie conta le coppie correttamente ordinate tra le 10 coppie di ogni campione. L'accuratezza Top-2 considera un campione corretto quando il contesto aureo o quello parziale condivide il punteggio massimo. L'accuratezza a cinque vie richiede che tutti e cinque i punteggi seguano l'ordine non crescente previsto.
I punteggi uguali contano come corretti nell'accuratezza a coppie e a cinque vie. L'accuratezza a coppie usa s[i] >= s[j], mentre l'accuratezza a cinque vie accetta punteggi adiacenti uguali. W&B Weave primeggia in tutte e tre le misure, favorito dal fatto che i pareggi sono accettati come ordinamenti corretti. NDCG@5 e la ρ di Spearman valutano l'ordinamento con un trattamento diverso dei pareggi.
Punteggi medi per livello di pertinenza
Con queste medie di gruppo, i negativi difficili superano i contesti parziali per tutti e cinque gli strumenti. I singoli esempi variano all'interno di ciascun gruppo.
Come ogni strumento valuta la pertinenza del contesto
Nelle configurazioni testate, tutti e cinque i valutatori ricevono la query e un passaggio senza una risposta di riferimento. Ciascuno utilizza GPT-4o, con differenze nei prompt, nelle scale di output e nell'aggregazione.
W&B Weave: binario LLM prompt
W&B Weave fa parte di CoreWeave Forge, precedentemente Weights & Biases.12
W&B Weave effettua una chiamata al modello linguistico di grandi dimensioni (LLM) per passaggio, chiedendo una pertinenza “su una scala da 0 a 1”. Il suo schema di risposta intera consente i valori binari 0 e 1, che possono dare a un contesto parziale e a un negativo difficile punteggi identici.
TruLens: scala Likert a 4 punti
TruLens chiede al LLM di agire come “valutatore di PERTINENZA” su una scala 0-3. La sua rubrica copre quattro gradi di pertinenza alla query.
- 0: Irrilevante rispetto alla query
- 1: Pertinente per parte della query
- 2: Pertinente per la maggior parte della query
- 3: Pertinente all'intera query
Dividendo il punteggio grezzo per 3 si ottengono quattro valori di output compresi tra 0.0 e 1.0, visualizzati come 0.0, 0.33, 0.67 e 1.0. Ciò consente di distinguere tra passaggi parzialmente e pienamente pertinenti, a seconda della classificazione del giudice.
Ragas: media a doppio giudice
Ragas utilizza due prompt giudice con formulazioni diverse degli stessi criteri. Ogni prompt assegna 0 per irrilevante, 1 per parzialmente pertinente o 2 per pienamente pertinente. La media e la normalizzazione dei giudizi producono cinque valori su una scala 0.0–1.0.
I punteggi possono essere 0.0, 0.25, 0.5, 0.75 e 1.0. La media combina i giudizi di due formulazioni del prompt. Non abbiamo testato separatamente la sensibilità alle modifiche del prompt.
UpTrain: classificazione ternaria (A/B/C)
UpTrain associa le sue classificazioni A/B/C a punteggi di pertinenza.
- A (1.0): Il contesto contiene una risposta completa alla query
- B (0.5): Il contesto contiene informazioni per una risposta parziale
- C (0.0): Il contesto non contiene alcuna informazione per rispondere alla query
I punteggi sono 0.0, 0.5 e 1.0. Un passaggio ingannevole e uno solo tangenzialmente correlato possono comunque ricevere lo stesso punteggio.
DeepEval: scomposizione in affermazioni (G-Eval)
DeepEval suddivide un passaggio in affermazioni e chiede al giudice di contrassegnare ciascuna come “sì” o “no” per la pertinenza. Divide il numero di affermazioni pertinenti per il totale, producendo un punteggio frazionario compreso tra 0.0 e 1.0. Ad esempio, 7 affermazioni pertinenti su 10 producono 0.70.
Affermazioni fuori tema aggiuntive riducono questa frazione, anche quando il passaggio contiene la risposta corretta. Un negativo difficile più breve può di conseguenza ottenere un punteggio superiore a un contesto aureo più lungo.
Le trappole avversarie
Il contesto può non riuscire a rispondere a una domanda per confusione di relazione, corrispondenza erronea di entità o fatto omesso. Queste tre illustrazioni provengono da materiale esplicativo precedente e sono separate dal dataset v3 valutato.
La trappola multi-hop (confusione di relazione)
Le domande multi-hop richiedono di seguire una catena di relazioni. Rispondere a una domanda più semplice sulla prima entità citata interrompe tale catena.
Domanda: “Chi pubblica la serie di giochi di cui Retro City Rampage è una parodia?” La risposta obiettivo è Rockstar Games.
La trappola dell'entità distraente
Un passaggio può identificare il luogo e la posizione corretti mentre descrive un evento diverso. La condivisione dei nomi delle entità può far apparire pertinente quel passaggio.
Domanda: “…Il Bridge Inn è il luogo di quale competizione annuale di racconto di bugie, tenuta in Cumbria, Inghilterra?” La risposta obiettivo è World’s Biggest Liar.
La trappola della pertinenza parziale
Un contesto parziale fornisce l'argomento e le entità correlate, omettendo però la risposta richiesta.
Domanda: “Chi ha scritto i testi di Portofino con un collaboratore di ‘Fiddler on the Roof’?” La risposta obiettivo è Richard Ney.
Aggiungi come fonte preferitaRAG metodologia del benchmark degli strumenti di valutazione
Progettazione del dataset avversario
Ogni domanda è abbinata a cinque passaggi progettati per occupare livelli di pertinenza distinti. I passaggi aurei sono parafrasati, mentre i negativi difficili sostituiscono un fatto della risposta preservando la struttura circostante.
Dataset
HaluEval fornisce 480 domande di cultura generale e HotPotQA fornisce 530 domande che richiedono ragionamento multi-hop. Together, forniscono 1.010 domande e 5.050 coppie domanda-contesto per ogni valutazione completa dello strumento.
W&B Weave, TruLens, Ragas e UpTrain hanno ciascuno 1.010 righe di risultati complete. DeepEval ha 1.005 righe complete dopo l'esclusione di cinque campioni non riusciti. Un campione è stato escluso se uno qualsiasi dei suoi cinque punteggi di contesto non era riuscito; questi errori non hanno ricevuto punteggi pari a zero.
Le note di progetto riportano 489 campioni rimossi durante il filtraggio delle perdite di risposta prima del salvataggio del dataset finale.
Protocollo tra modelli
Claude Sonnet 4.5 ha generato i contesti avversari e GPT-4o ha valutato la pertinenza tramite OpenRouter. L'uso di modelli diversi separa la generazione del contesto dal giudizio. Ogni valutatore ha ricevuto gli stessi input query-contesto e ha utilizzato prompt di valutazione predefiniti senza istruzioni personalizzate.
La configurazione del progetto imposta temperature=0. La Top-1 utilizza il primo massimo restituito da argmax, con il contesto aureo fissato all'indice 0. La Top-1 rigorosa richiede un massimo unico. Il contesto aureo di W&B Weave è in parità per il massimo in circa l'86% dei campioni.
NDCG@5 utilizza le etichette di pertinenza 4, 3, 2, 1 e 0. Le correlazioni di Spearman sono calcolate in media sui campioni con vettori di punteggio non costanti. L'implementazione dell'MRR inverte un ordinamento crescente dei punteggi, collocando il contesto aureo dietro i passaggi in parità in questo insieme di risultati.
Limitazioni
Tutti i risultati derivano da una singola esecuzione di GPT-4o con prompt di valutazione predefiniti. Altri modelli giudice, modifiche ai prompt e passaggi recuperati naturalmente possono produrre classifiche diverse. Tutti i negativi difficili utilizzano la sostituzione di entità.
Le convenzioni sui pareggi influenzano la classifica degli strumenti e la posizione fissa del contesto aureo favorisce l'accuratezza Top-1. La Top-1 rigorosa fornisce una misura separata dell'identificazione univoca.
I risultati aggregati di DeepEval escludono cinque campioni e Spearman esclude i vettori di punteggio costanti per ciascuno strumento. Le medie degli strumenti utilizzano quindi campioni idonei diversi. Costi, latenza, robustezza dei prompt e flussi di lavoro con più strumenti combinati non sono stati sottoposti a benchmark.
La pertinenza del contesto è la metrica valutata. La fedeltà della risposta, che verifica se una risposta generata è supportata dal materiale recuperato, e altre metriche RAG sono al di fuori del suo ambito misurato.
Selezione dello strumento per caso d'uso
Lo screening binario della pertinenza e il ranking dei passaggi favoriscono strumenti diversi in questo test. Il flusso di lavoro combinato è una proposta che richiede una validazione separata.
Conclusione
L'output binario di W&B Weave produce un'elevata accuratezza Top-1 in base alla regola sui pareggi di questo benchmark. TruLens e Ragas offrono più livelli di punteggio e primeggiano nelle misure di ranking più ampie.
Tutti e cinque gli strumenti raggiungono un'accuratezza a coppie pari o superiore al 91%, ma assegnano ai negativi difficili punteggi medi più alti rispetto ai contesti parziali. Il punteggio di pertinenza può filtrare i passaggi in base all'attinenza tematica. La verifica fattuale e la valutazione della fedeltà della risposta restano controlli separati.
Ulteriori letture
- Modelli di embedding: 25 modelli sottoposti a benchmark per il recupero
- Modelli di embedding open source: 11 modelli sottoposti a benchmark per il recupero
- Calcolatore per dimensionamento e selezione di database vettoriali
- Benchmark dei reranker: i migliori 8 modelli a confronto
- Modelli di embedding multimodali: Apple vs Meta vs OpenAI
- I migliori 10 modelli di embedding multilingue per RAG
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{RAG Strumenti di valutazione: W&B Weave vs Ragas vs TruLens}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/rag-evaluation-tools}},
note = {AIMultiple. Consultato il 17 marzo 2026}
}Risultati e timestamp di 50 punti dati. Scarica i dati di sintesi mostrati nei grafici e nelle tabelle di questo articolo come file ZIP contenente 12 file CSV.
Vuoi i dati granulari che ci stanno dietro? Passa a Premium
Registro delle modifiche
2 aggiornamentiAggiornati i risultati del benchmark nella sezione dei risultati del benchmark degli strumenti di valutazione RAG.
Aggiornata la sezione "Risultati del benchmark degli strumenti di valutazione RAG" con nuovi risultati e metriche del benchmark.
Collegamenti di riferimento
Il lavoro di Cem presso AIMultiple è stato citato da importanti testate internazionali tra cui Business Insider, Forbes, Morning Brew e Washington Post, da aziende globali come Deloitte e HPE, da ONG come il World Economic Forum e da organizzazioni sovranazionali come la Commissione europea. [1], [2], [3], [4], [5]
Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, acquirente tecnologico e imprenditore tecnologico. Ha consigliato le aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per più di un decennio. Ha inoltre pubblicato un report McKinsey sulla digitalizzazione.
Ha guidato la strategia tecnologica e gli approvvigionamenti di una società di telecomunicazioni rispondendo direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto ricavi ricorrenti annuali a 7 cifre e una valutazione a 9 cifre partendo da zero in 2 anni. Il lavoro di Cem in Hypatos è stato ripreso da importanti testate tecnologiche come TechCrunch e Business Insider.
Cem interviene regolarmente a conferenze tecnologiche internazionali. Si è laureato come ingegnere informatico presso l'Università di Bogazici e possiede un MBA della Columbia Business School.
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.