RAG Outils d'évaluation: Weights & Biases vs Ragas vs DeepEval
Lorsqu'un pipeline RAG récupère le mauvais contexte, le LLM génère avec confiance la mauvaise réponse. Les scoreurs de pertinence du contexte sont la première ligne de défense.
Nous avons évalué cinq outils sur 1 460 questions et plus de 14 600 contextes notés dans des conditions identiques : même modèle juge (GPT-4o), configurations par défaut et aucun prompt personnalisé. Dans des conditions standard, WandB, TruLens et Ragas se sont imposés comme les meilleurs performeurs. Sous pression adverse (négatifs difficiles avec entités échangées), WandB a obtenu les meilleurs résultats.
RAG résultats du benchmark des outils d'évaluation
Les trois premiers (WandB, TruLens, Ragas) sont statistiquement à égalité sur la précision Top-1 (intervalle de confiance à 95 % chevauchant entre 94,0 % et 98,0 %).
Pour comprendre notre évaluation et nos métriques en détail, consultez notre méthodologie de benchmark pour les outils d'évaluation RAG.
Explication des métriques
Précision Top-1 : L'outil peut-il attribuer le score de pertinence le plus élevé au contexte doré ? Cela mesure la sécurité contre la récupération adverse, un mode de défaillance courant en production.
NDCG@5 (gain cumulé décimal normalisé) : Étant donné cinq contextes à différents niveaux de pertinence (4, 3, 2, 1, 0), l'outil les classe-t-il dans le bon ordre ? Contrairement à la précision binaire, le NDCG récompense les outils qui attribuent des scores proportionnellement plus élevés aux contextes plus pertinents.
ρ de Spearman (corrélation de rang) : Dans quelle mesure le classement des scores d'un outil est-il corrélé à l'ordre de pertinence de vérité terrain ? Un outil parfait produirait ρ = 1,0.
MRR (rang réciproque moyen) : Moyenne de 1/rang pour le contexte doré. Si un outil classe le contexte doré en premier, MRR = 1,0 ; deuxième, MRR = 0,5 ; troisième, MRR = 0,33. Pénalise les outils qui enfouissent le contexte correct sous des contextes moins pertinents.
Principales conclusions
- WandB mène sur l'identification, TruLens sur le classement : WandB a la précision Top-1 la plus élevée (94,5 %) mais le NDCG@5 le plus faible (0,910) et le ρ de Spearman le plus faible (0,669). TruLens mène sur le NDCG@5 (0,932), le ρ de Spearman (0,750) et le MRR (0,594). La différence tient à la conception du score : le score binaire de WandB est simple mais grossier ; l'échelle à 4 points de TruLens offre plus de résolution mais est plus sujette aux inversions.
- TruLens a le ratio de discrimination le plus élevé : Lors de la distinction d'un contexte correct d'une version quasi identique avec entités échangées, TruLens obtient la bonne direction 35,5 % du temps avec seulement 8,4 % d'inversions (ratio 4,2:1). Aucun autre outil n'égale cela.
- Aucun outil ne distingue les contextes factuellement incorrects des contextes factuellement corrects : Les cinq outils notent les négatifs difficiles plus haut que les contextes partiels, inversant l'ordre de pertinence correct. Un passage avec les bonnes entités et la mauvaise réponse surpasse systématiquement un passage avec le bon sujet mais sans réponse. Cela est cohérent avec la pertinence du contexte mesurant l'adéquation thématique, et non l'exactitude factuelle.
- DeepEval sous-évalue les contextes dorés : La décomposition des déclarations de DeepEval produit des classements compétitifs (NDCG@5 = 0,923) mais note les contextes dorés à une moyenne de 0,46 contre 0,82–0,91 pour les autres outils. Cela le rend peu fiable pour identifier le seul meilleur contexte.
- L'échelle ternaire d'UpTrain limite la discrimination : Trois valeurs de sortie (0, 0,5, 1,0) ne peuvent pas représenter cinq niveaux de pertinence. UpTrain affiche le pire ratio de discrimination (1,4:1) et la précision de classement la plus faible (27,6 % de classement parfait).
Discrimination : contexte doré vs négatif difficile
À quelle fréquence l'outil attribue-t-il un score plus élevé au contexte doré qu'au négatif difficile avec entités échangées ?
Victoire = le contexte doré est strictement plus élevé. Égalité = scores égaux. Défaite = le négatif difficile est plus élevé.
WandB a le moins de défaites (4,8 %) mais aussi le moins de victoires (15,5 %) : son score binaire produit des égalités 80 % du temps. Lorsqu'il différencie, il obtient presque toujours la bonne direction. La précision Top-1 stricte de WandB (le contexte doré est le maximum unique) n'est que de 8,3 %, contre 25,3 % pour TruLens ; son Top-1 argmax est élevé car le contexte doré est à l'index 0 et bénéficie du départage.
Qualité du classement
Précision paire = % de toutes les 10 paires de contextes par échantillon classées correctement. Précision Top-2 = le contexte le mieux noté est doré ou partiel. Précision 5 voies = classement monotone parfait sur les 5 niveaux.
WandB mène sur les trois métriques car son score binaire crée une séparation naturelle à deux niveaux (pertinent vs non pertinent) qui élimine les erreurs de classement au sein d'un niveau. Note : la précision paire compte les égalités comme correctes (s[i] >= s[j]), ce qui avantage les outils binaires. Le NDCG@5 et le ρ de Spearman (montrés dans le graphique ci-dessus) pénalisent les égalités et placent TruLens en premier.
Scores moyens par niveau de pertinence
Aucun outil ne classe correctement Partiel > Négatif difficile.
Comment chaque outil évalue la pertinence du contexte
Les cinq outils utilisent GPT-4o comme juge sous-jacent, mais ils emploient des stratégies d'évaluation différentes.
WandB Weave : Prompt binaire LLM
WandB envoie un seul prompt au LLM lui demandant de noter la pertinence « sur une échelle de 0 à 1 ». Cependant, son schéma de réponse interne définit le score comme un entier, donc le modèle ne peut retourner que 0 ou 1.
Un appel LLM, une décision binaire. WandB répond « est-ce le bon contexte ? » proprement (précision Top-1 la plus élevée) mais ne peut pas exprimer des degrés de pertinence : un contexte partiel et un négatif difficile reçoivent le même score.
Valeurs de sortie : 0, 1
TruLens : Échelle de Likert à 4 points
TruLens sollicite le LLM en tant que « correcteur de PERTINENCE » avec des critères explicites pour une échelle de 0 à 3 :
- 0 : Sans rapport avec la requête
- 1 : Pertinent pour une partie de la requête
- 2 : Pertinent pour la majeure partie de la requête
- 3 : Pertinent pour l'ensemble de la requête
Le score brut est normalisé à 0,0–1,0 en divisant par 3. Cela donne à TruLens quatre niveaux de sortie distincts, offrant suffisamment de granularité pour distinguer les contextes partiels des négatifs difficiles tout en gardant le prompt simple.
Valeurs de sortie : 0,0, 0,33, 0,67, 1,0
Ragas : Moyenne de deux juges
Ragas exécute deux prompts de juge indépendants à chaque évaluation, chacun avec une formulation différente des mêmes critères (0 = sans rapport, 1 = partiellement pertinent, 2 = entièrement pertinent). Le score final est la moyenne des deux juges, normalisée à 0,0–1,0.
Comme deux échelles à 3 points sont moyennées, Ragas produit cinq valeurs possibles, plus de valeurs de sortie que tout autre outil testé. La conception à double juge offre également une résistance intégrée à la sensibilité du prompt.
Valeurs de sortie : 0,0, 0,25, 0,5, 0,75, 1,0
UpTrain : Classification ternaire (A/B/C)
UpTrain présente la pertinence comme une classification à choix multiples :
- A (1,0) : Le contexte peut répondre complètement à la requête
- B (0,5) : Le contexte peut donner une réponse pertinente mais ne peut pas répondre complètement
- C (0,0) : Le contexte ne contient aucune information pour répondre à la requête
La conception ternaire peut distinguer « partiellement pertinent » de « sans rapport » mais ne peut pas séparer « trompeur » de « tangentiellement lié » ; les deux peuvent tomber dans le même groupe.
Valeurs de sortie : 0,0, 0,5, 1,0
DeepEval : Décomposition des déclarations (G-Eval)
Au lieu de demander un score de pertinence unique, DeepEval décompose le contexte en déclarations individuelles, puis demande au LLM de juger chaque déclaration comme « oui » (pertinent) ou « non » (sans rapport) par rapport à la requête. Le score final est le rapport des déclarations pertinentes sur le nombre total de déclarations.
Le résultat est un score continu (par exemple, 7 déclarations pertinentes sur 10 = 0,70). Cependant, l'approche est stricte : même un contexte hautement pertinent est pénalisé s'il contient des phrases hors sujet. Les contextes dorés incluent parfois des détails contextuels que la décomposition marque comme « sans rapport », faisant baisser le score en dessous de celui d'un négatif difficile plus court et plus ciblé. Cela explique la précision Top-1 de 78,1 % de DeepEval.
Valeurs de sortie : Continu (0,0–1,0)
Ajouter comme source préféréeRAG méthodologie du benchmark des outils d'évaluation
Conception du jeu de données adverse
Chaque requête a cinq contextes à un niveau de pertinence distinct :
Jeu de données
Nous combinons deux sources :
HaluEval (480 échantillons) : Questions de connaissances générales couvrant la musique, le cinéma, le sport, l'histoire, la géographie, et plus. Les négatifs difficiles, les contextes partiels et les négatifs doux sont générés par Claude.
HotPotQA (530 échantillons) : Questions de raisonnement multi-sauts nécessitant une synthèse d'informations sur plusieurs documents.
Total : 1 010 échantillons, chacun avec 5 contextes = 5 050 évaluations de contexte par outil. Tous les échantillons ont passé le filtrage automatique des fuites (489 échantillons supprimés pendant la génération pour fuite de réponse).
Protocole inter-modèle
Pour éliminer le biais d'auto-préférence (où un évaluateur LLM préfère le texte généré par lui-même), nous avons utilisé Claude Sonnet 4.5 pour la génération de contexte adverse et GPT-4o comme juge pour tous les outils. Les deux ont été appelés via OpenRouter avec temperature=0.
Les pièges adverses
Le piège multi-sauts (Confusion de relation)
Les questions nécessitent souvent de retracer une chaîne de relations (par exemple, A est lié à B, qui est lié à C). Les négatifs difficiles répondent à une version plus simple de la question, brisant la chaîne.
ID de question 89 : « Qui publie la série de jeux dont Retro City Rampage est une parodie ? » Réponse cible : Rockstar Games
Le piège de la distraction par entité
Les récupérateurs trouvent souvent l'emplacement ou le sujet correct, mais renvoient des métadonnées sur le mauvais événement ou attribut.
ID de question 90 : « …The Bridge Inn est le lieu de quelle compétition annuelle pour raconter des mensonges, tenue en Cumbria, en Angleterre ? » Réponse cible : World's Biggest Liar
Le piège de la pertinence partielle
Un contexte avec le bon sujet et les bonnes entités mais sans réponse.
ID de question 9 : « Qui a écrit les paroles de Portofino avec un collaborateur sur « Fiddler on the Roof » ? » Réponse cible : Richard Ney
TruLens et DeepEval notent correctement les contextes partiels plus haut que les négatifs difficiles sur ces échantillons spécifiquement, bien que ce modèle ne s'applique pas à l'ensemble du jeu de données.
Quel outil devriez-vous utiliser ?
Conclusion
La granularité du score est le principal compromis. Les outils binaires (WandB) gagnent sur l'identification car chaque égalité leur est favorable ; les outils multi-points (TruLens, Ragas) gagnent sur le classement car ils peuvent exprimer des degrés de pertinence.
La pertinence du contexte fonctionne comme un filtre en première passe : tous les outils séparent les contextes pertinents des non pertinents plus de 91 % du temps (précision paire). Mais aucun ne vérifie l'exactitude factuelle. Un passage avec les bonnes entités et la mauvaise réponse obtient un score élevé sur tous les outils testés. Pour l'exactitude factuelle, associez avec des métriques de fidélité de réponse.
Limitations
- Modèle juge unique : Toutes les évaluations utilisent GPT-4o comme juge. Les résultats peuvent différer avec d'autres modèles.
- Pertinence du contexte uniquement : Ce benchmark évalue uniquement le score de pertinence du contexte, et non la fidélité de réponse ou d'autres métriques RAG.
- Configurations par défaut : Les outils ont été évalués hors de la boîte. Les performances peuvent s'améliorer avec un ingénierie de prompt personnalisée.
- Exécution unique avec convention de départage : Le benchmark a été exécuté une fois avec temperature=0. La précision Top-1 utilise
argmax(le premier index gagne les égalités), ce qui avantage les outils avec des taux d'égalité élevés (WandB : 86 %). Nous rapportons le Top-1 strict ainsi que l'argmax lorsque pertinent. - Jeu de données uniquement adverse : Tous les négatifs difficiles utilisent l'échange d'entités. Les résultats reflètent les performances dans des conditions adverses ; les outils peuvent se comporter différemment sur des contextes récupérés naturellement.
Pour aller plus loin
Explorez d'autres benchmarks RAG, tels que :
- Modèles d'embedding : OpenAI vs Gemini vs Cohere
- Top 16 Modèles d'embedding open source pour RAG
- Top Base de données vectorielle pour RAG : Qdrant vs Weaviate vs Pinecone
- Benchmark de Reranker : Top 8 Modèles Comparés
- Modèles d'embedding multimodaux : Apple vs Meta vs OpenAI
- RAG hybride : Amélioration de la précision RAG
- Top 10 Modèles d'embedding multilingues pour RAG
Citer cette recherche
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{RAG Outils d'évaluation: Weights & Biases vs Ragas vs DeepEval}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/rag-evaluation-tools}},
note = {AIMultiple. Consulté le 23 Mars 2026}
}
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.