RAG Outils d'évaluation : W&B Weave vs Ragas vs TruLens
Nous avons évalué cinq outils d'évaluation de génération augmentée par récupération (RAG) sur 1 000+ questions antagonistes, chacune associée à cinq passages. La comparaison mesure la pertinence du contexte à l'aide de GPT-4o et des invites d'évaluation par défaut des outils.
RAG outils d'évaluation résultats du benchmark
W&B Weave a obtenu la précision Top-1 la plus élevée à 94,5 %. TruLens a dominé les métriques de classement, y compris NDCG@5 à 0.932. Leurs positions dépendent de la manière dont chaque métrique traite les scores égaux, notamment lorsqu'un évaluateur renvoie des sorties binaires.
La méthodologie du benchmark place le passage correct en première position dans chaque ensemble. La précision Top-1 accorde la victoire à ce passage lorsqu'il est à égalité avec le score le plus élevé.
Métriques expliquées
La précision Top-1 mesure la fréquence à laquelle le passage correct désigné, appelé contexte doré, reçoit le score le plus élevé. Nous rapportons également le Top-1 strict, qui exige qu'il soit le maximum unique.
NDCG@5 (gain cumulé actualisé normalisé) évalue l'ordre des cinq passages à l'aide des étiquettes de pertinence 4, 3, 2, 1 et 0. Le ρ de Spearman mesure la corrélation entre les scores prédits et cet ordre de pertinence. Une corrélation parfaite est ρ = 1.0.
MRR (rang réciproque moyen) fait la moyenne de 1/rang pour le contexte doré. Les rangs un, deux et trois contribuent respectivement à 1.0, 0.5 et 0.33. Le MRR place le contexte doré derrière les passages à scores égaux dans le calcul stocké. Sa gestion des égalités diffère donc de la précision Top-1.
Conclusions clés
W&B Weave domine la précision Top-1 et TruLens domine le classement
La plus haute précision Top-1 de W&B Weave s'accompagne du NDCG@5 le plus bas, à 0.910, et d'un ρ de Spearman de 0.669. TruLens domine le ρ de Spearman à 0.750 et le MRR à 0.594. Les égalités contribuent à expliquer la différence entre les résultats d'identification et de classement de W&B Weave.
TruLens présente le ratio le plus élevé de comparaisons correctes par rapport aux inversées
Pour les passages dorés versus négatifs durs, TruLens enregistre 35,5 % de victoires et 8,4 % de défaites, soit un ratio de 4.2:1. Son échelle à quatre points distingue plus de paires que l'échelle binaire de W&B Weave, avec davantage d'inversions également.
Chaque outil attribue aux négatifs durs des scores moyens plus élevés qu'aux contextes partiels
Les négatifs durs conservent le sujet et la plupart de la formulation tout en modifiant un fait de la réponse. Les cinq outils attribuent à ces passages des scores moyens plus élevés qu'aux contextes partiels, qui manquent de réponse. Ce résultat agrégé montre pourquoi l'évaluation de la pertinence nécessite un contrôle séparé de l'exactitude factuelle.
DeepEval attribue des scores plus bas aux passages corrects
DeepEval donne aux contextes dorés un score moyen de 0.46, contre 0.82–0.91 pour les autres outils. Son NDCG@5 est de 0.923, tandis que sa précision Top-1 est de 78,1 %. Avec une évaluation au niveau des déclarations, des détails supplémentaires peuvent abaisser le score d'un passage correct même s'il contient la réponse.
UpTrain a la précision de classement complet la plus basse
Les trois scores possibles d'UpTrain ne peuvent pas exprimer cinq niveaux de pertinence distincts. Il présente la précision à cinq niveaux la plus basse à 27,6 % et le ratio victoires/défaites le plus bas pour doré contre négatif dur à 1.4:1.
Discrimination : doré contre négatif dur
Les passages dorés et négatifs durs diffèrent sur un fait de la réponse. Une victoire signifie que le contexte doré obtient un score plus élevé, une défaite signifie que le négatif dur obtient un score plus élevé, et une égalité signifie que les scores sont égaux.
W&B Weave a à la fois le moins de victoires et le moins de défaites. Environ 80 % de ses comparaisons sont des égalités, ce qui limite la fréquence à laquelle son score binaire sépare les deux passages. Dans les cinq contextes, sa précision Top-1 stricte est de 8,3 %, contre 25,3 % pour TruLens.
Qualité du classement
La précision par paires compte les paires correctement ordonnées parmi les 10 paires de chaque échantillon. La précision Top-2 compte un échantillon comme correct lorsque le contexte doré ou partiel partage le score maximum. La précision à cinq niveaux exige que les cinq scores suivent l'ordre non croissant attendu.
Les scores égaux comptent comme corrects dans la précision par paires et à cinq niveaux. La précision par paires utilise s[i] >= s[j], et la précision à cinq niveaux accepte des scores adjacents égaux. W&B Weave domine les trois mesures, aidé par le fait que les égalités sont acceptées comme ordres corrects. NDCG@5 et le ρ de Spearman évaluent l'ordre avec un traitement différent des égalités.
Scores moyens par niveau de pertinence
Dans ces moyennes de groupe, les négatifs durs surpassent les contextes partiels pour les cinq outils. Les exemples individuels varient au sein de chaque groupe.
Comment chaque outil évalue la pertinence du contexte
Dans les configurations testées, les cinq évaluateurs reçoivent la requête et un passage sans réponse de référence. Chacun utilise GPT-4o, avec des différences dans les invites, les échelles de sortie et l'agrégation.
W&B Weave : Invite LLM binaire
W&B Weave fait partie de CoreWeave Forge, anciennement Weights & Biases.12
W&B Weave effectue un appel de LLM (LLM) par passage, demandant une pertinence « sur une échelle de 0 à 1 ». Son schéma de réponse entier autorise les valeurs binaires 0 et 1, ce qui peut donner à un contexte partiel et à un négatif dur des scores identiques.
TruLens : échelle de Likert à 4 points
TruLens demande au LLM d'agir comme un « évaluateur de PERTINENCE » sur une échelle de 0 à 3. Sa grille couvre quatre degrés de pertinence de la requête.
- 0 : Non pertinent pour la requête
- 1 : Pertinent pour une partie de la requête
- 2 : Pertinent pour la plupart de la requête
- 3 : Pertinent pour l'intégralité de la requête
La division du score brut par 3 donne quatre valeurs de sortie entre 0.0 et 1.0, affichées comme 0.0, 0.33, 0.67 et 1.0. Cela permet de distinguer les passages partiellement pertinents de ceux entièrement pertinents, sous réserve de la classification du juge.
Ragas : moyenne de deux juges
Ragas utilise deux invites de jugement avec des formulations différentes des mêmes critères. Chaque invite attribue 0 pour non pertinent, 1 pour partiellement pertinent ou 2 pour entièrement pertinent. La moyenne et la normalisation des jugements donnent cinq valeurs sur une échelle de 0.0–1.0.
Les scores peuvent être 0.0, 0.25, 0.5, 0.75 et 1.0. La moyenne combine les jugements de deux formulations d'invites. Nous n'avons pas testé séparément la sensibilité aux changements d'invites.
UpTrain : classification ternaire (A/B/C)
UpTrain mappe ses classifications A/B/C vers des scores de pertinence.
- A (1.0) : Le contexte contient une réponse complète à la requête
- B (0.5) : Le contexte contient des informations pour une réponse partielle
- C (0.0) : Le contexte ne contient aucune information pour répondre à la requête
Les scores sont 0.0, 0.5 et 1.0. Un passage trompeur et un passage tangentiellement lié peuvent toujours recevoir le même score.
DeepEval : décomposition en déclarations (G-Eval)
DeepEval divise un passage en déclarations et demande au juge de marquer chacune comme « oui » ou « non » pour la pertinence. Il divise le nombre de déclarations pertinentes par le total, produisant un score fractionnaire entre 0.0 et 1.0. Par exemple, 7 déclarations pertinentes sur 10 produisent 0.70.
Des déclarations supplémentaires hors sujet abaissent cette fraction, même lorsque le passage contient la bonne réponse. Un négatif dur plus court peut donc surpasser un contexte doré plus long.
Les pièges antagonistes
Le contexte peut ne pas répondre à une question en raison d'une confusion de relation, d'une correspondance d'entité trompeuse ou d'un fait omis. Ces trois illustrations proviennent de documents explicatifs antérieurs et sont distinctes de l'ensemble de données v3 noté.
Le piège multi-sauts (confusion de relation)
Les questions multi-sauts nécessitent de suivre une chaîne de relations. Répondre à une question plus simple sur la première entité nommée rompt cette chaîne.
Question : « Qui publie la série de jeux que Retro City Rampage parodie ? » La réponse cible est Rockstar Games.
Le piège de l'entité distractrice
Un passage peut identifier le bon lieu et l'emplacement tout en décrivant un événement différent. Des noms d'entités partagés peuvent rendre ce passage apparemment pertinent.
Question : « …The Bridge Inn est le lieu de quelle compétition annuelle de mensonges, organisée à Cumbria, en Angleterre ? » La réponse cible est World’s Biggest Liar.
Le piège de la pertinence partielle
Un contexte partiel fournit le sujet et les entités liées tout en omettant la réponse demandée.
Question : « Qui a écrit les paroles de Portofino avec un collaborateur sur ‘Fiddler on the Roof’ ? » La réponse cible est Richard Ney.
Ajouter comme source préféréeRAG outils d'évaluation méthodologie du benchmark
Conception de l'ensemble de données antagonistes
Chaque question est associée à cinq passages conçus pour occuper des niveaux de pertinence distincts. Les passages dorés sont paraphrasés, et les négatifs durs remplacent un fait de la réponse tout en préservant la structure environnante.
Ensemble de données
HaluEval apporte 480 questions de culture générale, et HotPotQA apporte 530 questions nécessitant un raisonnement multi-sauts. Together, ils fournissent 1 010 questions et 5 050 paires question-contexte par évaluation complète d'outil.
W&B Weave, TruLens, Ragas et UpTrain ont chacun 1 010 lignes de résultats complètes. DeepEval a 1 005 lignes complètes après exclusion de cinq échantillons ayant échoué. Un échantillon était exclu si l'un de ses cinq scores de contexte échouait, ces échecs n'ayant donc pas reçu de score nul.
Les notes du projet rapportent 489 échantillons supprimés lors du filtrage des fuites de réponses avant l'enregistrement de l'ensemble de données final.
Protocole inter-modèles
Claude Sonnet 4.5 a généré des contextes antagonistes, et GPT-4o a évalué la pertinence via OpenRouter. L'utilisation de modèles différents sépare la génération de contexte du jugement. Chaque évaluateur a reçu les mêmes entrées requête-contexte et a utilisé des invites d'évaluation par défaut sans instructions personnalisées.
La configuration du projet définit temperature=0. Top-1 utilise le premier maximum renvoyé par argmax, avec le contexte doré fixé à l'index 0. Top-1 strict exige un maximum unique. Le contexte doré de W&B Weave est à égalité pour le maximum dans environ 86 % des échantillons.
NDCG@5 utilise les étiquettes de pertinence 4, 3, 2, 1 et 0. Les corrélations de Spearman sont moyennées sur les échantillons ayant des vecteurs de scores non constants. L'implémentation MRR inverse un tri de scores ascendant, plaçant le contexte doré derrière les passages à égalité dans cet ensemble de résultats.
Limites
Tous les résultats proviennent d'une seule exécution de GPT-4o avec des invites d'évaluation par défaut. D'autres modèles de juges, des changements d'invites et des passages récupérés naturellement peuvent produire des classements différents. Tous les négatifs durs utilisent l'échange d'entités.
Les conventions d'égalité affectent le classement des outils, et la position fixe du contexte doré favorise la précision Top-1. Top-1 strict fournit une mesure distincte de l'identification unique.
Les résultats agrégés de DeepEval excluent cinq échantillons, et Spearman exclut les vecteurs de scores constants pour chaque outil. Les moyennes des outils utilisent donc des échantillons admissibles différents. Le coût, la latence, la robustesse des invites et les flux de travail combinant les outils n'ont pas été évalués.
La pertinence du contexte est la métrique évaluée. La fidélité des réponses, qui vérifie si une réponse générée est étayée par le matériel récupéré, et d'autres métriques de RAG sont hors de son périmètre de mesure.
Sélection d'outils par cas d'utilisation
Le criblage de pertinence binaire et le classement des passages favorisent différents outils dans ce test. Le flux de travail combiné est une proposition qui nécessite une validation séparée.
Conclusion
La sortie binaire de W&B Weave produit une précision Top-1 élevée sous la règle d'égalité de ce benchmark. TruLens et Ragas fournissent plus de niveaux de score et dominent les mesures de classement plus larges.
Les cinq outils atteignent une précision par paires de 91 % ou plus, mais attribuent aux négatifs durs des scores moyens plus élevés qu'aux contextes partiels. La notation de pertinence peut filtrer les passages par adéquation thématique. La vérification factuelle et l'évaluation de la fidélité des réponses restent des contrôles séparés.
Lectures complémentaires
- Modèles d'incorporation : 25 modèles évalués pour la récupération
- Modèles d'incorporation open source : 11 modèles évalués pour la récupération
- Calculateur de dimensionnement et de sélection de base de données vectorielles
- Benchmark de réordonnanceurs : Top 8 modèles comparés
- Modèles d'incorporation multimodaux : Apple vs Meta vs OpenAI
- Top 10 modèles d'incorporation multilingues pour RAG
Citez ce benchmark
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{RAG Outils d'évaluation : W&B Weave vs Ragas vs TruLens}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/rag-evaluation-tools}},
note = {AIMultiple. Consulté le 17 mars 2026}
}Résultats et horodatages de 50 points de données. Téléchargez les données de synthèse présentées dans les graphiques et les tableaux de cet article sous forme de fichier ZIP contenant 12 fichiers CSV.
Vous voulez les données détaillées derrière ? Rejoindre Premium
Journal des modifications
2 mises à jourMise à jour des résultats de référence dans la section des résultats de référence des outils d'évaluation RAG.
Mise à jour de la section « Résultats de l'évaluation comparative des outils RAG » avec de nouveaux résultats et métriques de référence.
Liens de référence
Le travail de Cem chez AIMultiple a été cité par des publications mondiales de premier plan, notamment Business Insider, Forbes, Morning Brew et Washington Post, par des entreprises mondiales comme Deloitte et HPE, par des ONG comme World Economic Forum et par des organisations supranationales comme European Commission. [1], [2], [3], [4], [5]
Tout au long de sa carrière, Cem a été consultant en technologies, acheteur de technologies et entrepreneur technologique. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la digitalisation.
Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité du PDG. Il a également dirigé la croissance commerciale de l'entreprise de technologie profonde Hypatos, qui a atteint un revenu récurrent annuel à 7 chiffres et une valorisation à 9 chiffres, passant de 0 à ce résultat en deux ans. Le travail de Cem chez Hypatos a été couvert par des publications technologiques de premier plan comme TechCrunch et Business Insider.
Cem intervient régulièrement lors de conférences technologiques internationales. Il est diplômé de Bogazici University en tant qu'ingénieur informatique et titulaire d'un MBA de la Columbia Business School.
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.