RAG Herramientas de Evaluación: Weights & Biases vs Ragas vs DeepEval
Cuando un RAG pipeline recupera el contexto incorrecto, el LLM genera con confianza la respuesta incorrecta. Los calificadores de relevancia del contexto son la defensa principal.
Hemos realizado pruebas de referencia a cinco herramientas en 1.460 preguntas y más de 14.600 contextos puntuados bajo condiciones idénticas: mismo modelo juez (GPT-4o), configuraciones predeterminadas y sin prompts personalizados. Bajo condiciones estándar, WandB, TruLens y Ragas surgieron como los mejores. Bajo presión adversaria (negativos difíciles con entidades intercambiadas), WandB funcionó mejor.
RAG resultados de las pruebas de referencia de herramientas de evaluación
Los tres primeros (WandB, TruLens, Ragas) están estadísticamente empatados en la precisión Top-1 (IC del 95% superpuesto entre 94.0% y 98.0%).
Para comprender nuestra evaluación y métricas en detalle, consulte nuestra metodología de prueba de referencia para las herramientas de evaluación de RAG.
Métricas explicadas
Precisión Top-1: ¿Puede la herramienta asignar la puntuación de relevancia más alta al contexto dorado? Esto mide la seguridad contra la recuperación adversaria, un modo de fallo común en producción.
NDCG@5 (ganancia acumulada descontada normalizada): Dados cinco contextos en diferentes niveles de relevancia (4, 3, 2, 1, 0), ¿ordena la herramienta correctamente? A diferencia de la precisión binaria, NDCG recompensa a las herramientas que asignan puntuaciones proporcionalmente más altas a contextos más relevantes.
ρ de Spearman (correlación de rango): ¿Qué tan bien se correlaciona la clasificación de puntuaciones de una herramienta con el orden de relevancia de la verdad fundamental? Una herramienta perfecta produciría ρ = 1.0.
MRR (rango recíproco medio): Promedio de 1/rango para el contexto dorado. Si una herramienta clasifica el contexto dorado primero, MRR = 1.0; segundo, MRR = 0.5; tercero, MRR = 0.33. Penaliza a las herramientas que entierran el contexto correcto por debajo de los menos relevantes.
Hallazgos clave
- WandB lidera en identificación, TruLens lidera en clasificación: WandB tiene la precisión Top-1 más alta (94.5%) pero el NDCG@5 más bajo (0.910) y el ρ de Spearman más bajo (0.669). TruLens lidera en NDCG@5 (0.932), ρ de Spearman (0.750) y MRR (0.594). La diferencia se reduce al diseño de puntuación: la puntuación binaria de WandB es simple pero gruesa; la escala de 4 puntos de TruLens tiene más resolución pero es más propensa a inversiones.
- TruLens tiene la relación de discriminación más alta: Al distinguir un contexto correcto de una versión casi idéntica con entidades intercambiadas, TruLens acierta la dirección el 35.5% de las veces con solo el 8.4% de inversiones (relación 4.2:1). Ninguna otra herramienta iguala esto.
- Ninguna herramienta distingue contextos factualmente incorrectos de factualmente correctos: Las cinco herramientas califican los negativos difíciles más alto que los contextos parciales, invirtiendo el orden de relevancia correcto. Un pasaje con las entidades correctas y la respuesta incorrecta supera consistentemente a un pasaje con el tema correcto pero sin respuesta. Esto es consistente con la relevancia del contexto midiendo la adecuación temática, no la precisión factual.
- DeepEval subestima los contextos dorados: La descomposición de declaraciones de DeepEval produce clasificaciones competitivas (NDCG@5 = 0.923) pero califica los contextos dorados con un promedio de 0.46 frente a 0.82–0.91 para otras herramientas. Esto lo hace poco fiable para identificar el único mejor contexto.
- La escala ternaria de UpTrain limita la discriminación: Tres valores de salida (0, 0.5, 1.0) no pueden representar cinco niveles de relevancia. UpTrain muestra la peor relación de discriminación (1.4:1) y la precisión de clasificación más baja (27.6% de ordenamiento perfecto).
Discriminación: dorado vs. negativo difícil
¿Con qué frecuencia la herramienta asigna una puntuación más alta al contexto dorado que al negativo difícil con entidades intercambiadas?
Victoria = el dorado puntúa estrictamente más alto. Empate = puntuaciones iguales. Derrota = el negativo difícil puntúa más alto.
WandB tiene las menos derrotas (4.8%) pero también las menos victorias (15.5%): su puntuación binaria produce empates el 80% de las veces. Cuando sí diferencia, casi siempre acierta la dirección. La precisión Top-1 estricta de WandB (el dorado es el máximo único) es solo del 8.3%, en comparación con el 25.3% de TruLens; su Top-1 argmax es alto porque el contexto dorado está en el índice 0 y se beneficia de la ruptura de empates.
Calidad de la clasificación
Acc. Parejas = % de todos los 10 pares de contextos por muestra clasificados correctamente. Acc. Top-2 = el contexto con mayor puntuación es dorado o parcial. Acc. 5-Vías = ordenamiento monótono perfecto en todos los 5 niveles.
WandB lidera en las tres métricas porque su puntuación binaria crea una división natural de dos niveles (relevante vs. irrelevante) que elimina los errores de ordenamiento dentro del nivel. Nota: la precisión de pares cuenta los empates como correctos (s[i] >= s[j]), lo que beneficia a las herramientas binarias. NDCG@5 y ρ de Spearman (mostrados en el gráfico anterior) penalizan los empates y clasifican a TruLens primero.
Puntuaciones promedio por nivel de relevancia
Ninguna herramienta ordena correctamente Parcial > Negativo Difícil.
Cómo cada herramienta evalúa la relevancia del contexto
Las cinco herramientas utilizan GPT-4o como su juez subyacente, pero emplean diferentes estrategias de evaluación.
WandB Weave: Prompt binario de LLM
WandB envía un solo prompt al LLM pidiéndole que califique la relevancia "en una escala de 0 a 1". Sin embargo, su esquema de respuesta interno define la puntuación como un entero, por lo que el modelo solo puede devolver 0 o 1.
Una llamada a LLM, una decisión binaria. WandB responde "¿es este el contexto correcto?" limpiamente (mayor precisión Top-1) pero no puede expresar grados de relevancia: un contexto parcial y un negativo difícil obtienen la misma puntuación.
Valores de salida: 0, 1
TruLens: Escala Likert de 4 puntos
TruLens solicita al LLM como un "calificador de RELEVANCIA" con criterios explícitos para una escala de 0-3:
- 0: Irrelevante para la consulta
- 1: Relevante para parte de la consulta
- 2: Relevante para la mayoría de la consulta
- 3: Relevante para la totalidad de la consulta
La puntuación bruta se normaliza a 0.0–1.0 dividiendo por 3. Esto le da a TruLens cuatro niveles de salida distintos, proporcionando suficiente granularidad para distinguir contextos parciales de negativos difíciles mientras mantiene el prompt simple.
Valores de salida: 0.0, 0.33, 0.67, 1.0
Ragas: Promedio de doble juez
Ragas ejecuta dos prompts de juez independientes en cada evaluación, cada uno con una redacción diferente de los mismos criterios (0 = irrelevante, 1 = parcialmente relevante, 2 = totalmente relevante). La puntuación final es el promedio de ambos jueces, normalizado a 0.0–1.0.
Como se promedian dos escalas de 3 puntos, Ragas produce cinco valores posibles, más valores de salida que cualquier otra herramienta probada. El diseño de doble juez también proporciona resistencia integrada a la sensibilidad del prompt.
Valores de salida: 0.0, 0.25, 0.5, 0.75, 1.0
UpTrain: Clasificación ternaria (A/B/C)
UpTrain enmarca la relevancia como una clasificación de opción múltiple:
- A (1.0): El contexto puede responder a la consulta completamente
- B (0.5): El contexto puede dar alguna respuesta relevante pero no puede responder completamente
- C (0.0): El contexto no contiene ninguna información para responder a la consulta
El diseño ternario puede distinguir "parcialmente relevante" de "irrelevante" pero no puede separar "engañoso" de "tangencialmente relacionado"; ambos pueden caer en el mismo grupo.
Valores de salida: 0.0, 0.5, 1.0
DeepEval: Descomposición de declaraciones (G-Eval)
En lugar de pedir una sola puntuación de relevancia, DeepEval descompone el contexto en declaraciones individuales, luego pide al LLM que veredicta cada declaración como "sí" (relevante) o "no" (irrelevante) para la consulta. La puntuación final es la relación de declaraciones relevantes con respecto al total de declaraciones.
El resultado es una puntuación continua (por ejemplo, 7 de 10 declaraciones relevantes = 0.70). Sin embargo, el enfoque es estricto: incluso un contexto altamente relevante se penaliza si contiene oraciones fuera de tema. Los contextos dorados a veces incluyen detalles contextuales que la descomposición marca como "irrelevantes", arrastrando la puntuación por debajo de la de un negativo difícil más corto y más enfocado. Esto explica la precisión Top-1 del 78.1% de DeepEval.
Valores de salida: Continuo (0.0–1.0)
Añadir como fuente preferidaRAG metodología de prueba de referencia de herramientas de evaluación
Diseño de conjunto de datos adversario
Cada consulta tiene cinco contextos en un nivel de relevancia distinto:
Conjunto de datos
Combinamos dos fuentes:
HaluEval (480 muestras): Preguntas de conocimiento general que abarcan música, cine, deportes, historia, geografía y más. Los negativos difíciles, contextos parciales y negativos suaves son generados por Claude.
HotPotQA (530 muestras): Preguntas de razonamiento multi-salto que requieren síntesis de información a través de múltiples documentos.
Total: 1.010 muestras, cada una con 5 contextos = 5.050 evaluaciones de contexto por herramienta. Todas las muestras pasaron el filtrado automático de fugas (489 muestras eliminadas durante la generación por filtración de respuestas).
Protocolo de cruzamiento de modelos
Para eliminar el sesgo de auto-preferencia (donde un evaluador LLM prefiere el texto generado por sí mismo), utilizamos Claude Sonnet 4.5 para la generación de contexto adversario y GPT-4o como juez para todas las herramientas. Ambos fueron llamados a través de OpenRouter con temperatura=0.
Las trampas adversarias
La trampa multi-salto (Confusión de relación)
Las preguntas a menudo requieren rastrear una cadena de relaciones (por ejemplo, A está relacionado con B, quien está relacionado con C). Los negativos difíciles responden una versión más simple de la pregunta, rompiendo la cadena.
ID de pregunta 89: "¿Quién publica la serie de juegos de la que Retro City Rampage es una parodia?" Respuesta Objetivo: Rockstar Games
La trampa del distractor de entidad
Los recuperadores a menudo encuentran la ubicación o el sujeto correcto, pero devuelven metadatos sobre el evento o atributo incorrecto.
ID de pregunta 90: "…The Bridge Inn es el lugar para qué competencia anual para contar mentiras, celebrada en Cumbria, Inglaterra?" Respuesta Objetivo: World's Biggest Liar
La trampa de relevancia parcial
Un contexto con el tema y las entidades correctos pero sin respuesta.
ID de pregunta 9: "¿Quién escribió la letra de Portofino con un colaborador en 'El Violinista en el Tejado'?" Respuesta Objetivo: Richard Ney
TruLens y DeepEval califican correctamente los contextos parciales más alto que los negativos difíciles en estas muestras específicamente, aunque este patrón no se mantiene en todo el conjunto de datos.
¿Qué herramienta deberías usar?
Conclusión
La granularidad de la puntuación es el principal compromiso. Las herramientas binarias (WandB) ganan en identificación porque cada empate se inclina a su favor; las herramientas de múltiples puntos (TruLens, Ragas) ganan en clasificación porque pueden expresar grados de relevancia.
La relevancia del contexto funciona como un filtro de primer paso: todas las herramientas separan contextos relevantes de irrelevantes más del 91% de las veces (precisión de pares). Pero ninguna de ellas verifica la precisión factual. Un pasaje con las entidades correctas y la respuesta incorrecta obtiene una puntuación alta en todas las herramientas probadas. Para la corrección factual, combine con métricas de fidelidad de la respuesta.
Limitaciones
- Modelo juez único: Todas las evaluaciones utilizan GPT-4o como juez. Los resultados pueden diferir con otros modelos.
- Solo relevancia del contexto: Esta prueba de referencia evalúa solo la puntuación de relevancia del contexto, no la fidelidad de la respuesta u otras métricas de RAG.
- Configuraciones predeterminadas: Las herramientas fueron evaluadas listas para usar. El rendimiento puede mejorar con ingeniería de prompts personalizada.
- Única ejecución con convención de ruptura de empates: La prueba de referencia se ejecutó una vez con temperatura=0. La precisión Top-1 utiliza
argmax(el primer índice gana empates), lo que beneficia a las herramientas con altas tasas de empate (WandB: 86%). Informamos Top-1 estricto junto con argmax donde sea relevante. - Conjunto de datos solo adversario: Todos los negativos difíciles utilizan intercambio de entidades. Los resultados reflejan el rendimiento bajo condiciones adversarias; las herramientas pueden comportarse de manera diferente en contextos recuperados naturalmente.
Lectura adicional
Explora otras pruebas de referencia de RAG, como:
- Modelos de Embedding: OpenAI vs Gemini vs Cohere
- Top 16 Modelos de Embedding de Código Abierto para RAG
- Top Base de Datos Vectorial para RAG: Qdrant vs Weaviate vs Pinecone
- Prueba de referencia de Reranker: Top 8 Modelos Comparados
- Modelos de Embedding Multimodal: Apple vs Meta vs OpenAI
- RAG Híbrido: Aumentando la precisión de RAG
- Top 10 Modelos de Embedding Multilingüe para RAG
Cita esta investigación
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{RAG Herramientas de Evaluación: Weights & Biases vs Ragas vs DeepEval}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/rag-evaluation-tools}},
note = {AIMultiple. Recuperado el 23 de Marzo de 2026}
}
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.