RAG Herramientas de evaluación: W&B Weave vs Ragas vs TruLens
Evaluamos comparativamente cinco herramientas de evaluación de generación aumentada por recuperación (RAG) con más de 1.000 preguntas adversariales, cada una emparejada con cinco pasajes. La comparación mide la relevancia contextual usando GPT-4o y los prompts de evaluación predeterminados de las herramientas.
RAG resultados del benchmark de herramientas de evaluación
W&B Weave tuvo la mayor precisión Top-1, con 94,5 %. TruLens lideró las métricas de clasificación, incluido NDCG@5 con 0.932. Sus posiciones dependen de cómo maneja cada métrica los empates, especialmente cuando un evaluador devuelve salidas binarias.
La metodología del benchmark fija el pasaje correcto en la primera posición de cada conjunto. La precisión Top-1 otorga la victoria a ese pasaje cuando empata con la puntuación más alta.
Métricas explicadas
La precisión Top-1 mide con qué frecuencia el pasaje correcto designado, llamado contexto dorado, recibe la puntuación más alta. También informamos el Top-1 estricto, que exige que sea el máximo único.
NDCG@5 (ganancia acumulativa descontada normalizada) evalúa el ordenamiento de los cinco pasajes utilizando etiquetas de relevancia 4, 3, 2, 1 y 0. La ρ de Spearman mide la correlación entre las puntuaciones predichas y ese orden de relevancia. Una correlación perfecta es ρ = 1.0.
MRR (rango recíproco medio) promedia 1/rango para el contexto dorado. Los rangos uno, dos y tres contribuyen 1.0, 0.5 y 0.33, respectivamente. MRR coloca el contexto dorado detrás de los pasajes con igual puntuación en el cálculo almacenado. Por lo tanto, su manejo de empates difiere de la precisión Top-1.
Hallazgos clave
W&B Weave lidera la precisión Top-1 y TruLens lidera la clasificación
La mayor precisión Top-1 de W&B Weave viene acompañada del NDCG@5 más bajo, con 0.910, y una ρ de Spearman de 0.669. TruLens lidera en ρ de Spearman con 0.750 y en MRR con 0.594. Los empates ayudan a explicar la diferencia entre los resultados de identificación y de clasificación de W&B Weave.
TruLens tiene la mayor proporción de comparaciones correctas frente a comparaciones invertidas
Para los pasajes dorados frente a los negativos difíciles, TruLens registra 35,5 % de victorias y 8,4 % de derrotas, una proporción de 4.2:1. Su escala de cuatro puntos distingue más pares que la escala binaria de W&B Weave, con más inversiones también.
Todas las herramientas otorgan a los negativos difíciles puntuaciones medias más altas que a los contextos parciales
Los negativos difíciles conservan el tema y la mayor parte de la redacción mientras cambian un dato de la respuesta. Las cinco herramientas otorgan a estos pasajes puntuaciones medias más altas que a los contextos parciales, que carecen de la respuesta. Este resultado agregado muestra por qué la puntuación de relevancia necesita una verificación separada de la exactitud factual.
DeepEval asigna puntuaciones más bajas a los pasajes correctos
DeepEval otorga a los contextos dorados una puntuación media de 0.46, en comparación con 0.82–0.91 para las demás herramientas. Su NDCG@5 es 0.923, mientras que su precisión Top-1 es 78,1 %. Con la puntuación a nivel de afirmaciones, los detalles adicionales pueden reducir la puntuación de un pasaje correcto incluso cuando contiene la respuesta.
UpTrain tiene la menor precisión de clasificación completa
Las tres puntuaciones posibles de UpTrain no pueden expresar cinco niveles de relevancia distintos. Tiene la menor precisión de cinco vías, con 27,6 %, y la menor proporción de victorias a derrotas entre contexto dorado y negativo difícil, con 1.4:1.
Discriminación: contexto dorado frente a negativo difícil
Los pasajes dorados y los negativos difíciles difieren en un dato de la respuesta. Una victoria significa que el contexto dorado obtiene una puntuación más alta; una derrota significa que el negativo difícil obtiene una puntuación más alta; y un empate significa que las puntuaciones son iguales.
W&B Weave tiene tanto el menor número de victorias como el menor número de derrotas. Alrededor del 80 % de sus comparaciones son empates, lo que limita la frecuencia con la que su puntuación binaria separa los dos pasajes. En los cinco contextos, su precisión Top-1 estricta es 8,3 %, frente al 25,3 % de TruLens.
Calidad de la clasificación
La precisión por pares cuenta los pares correctamente ordenados entre los 10 pares de cada muestra. La precisión Top-2 considera correcta una muestra cuando el contexto dorado o el contexto parcial comparte la puntuación máxima. La precisión de cinco vías exige que las cinco puntuaciones sigan el orden no creciente esperado.
Las puntuaciones iguales cuentan como correctas en la precisión por pares y en la de cinco vías. La precisión por pares utiliza s[i] >= s[j], y la precisión de cinco vías acepta puntuaciones adyacentes iguales. W&B Weave lidera las tres medidas, ayudado por el hecho de que los empates se aceptan como ordenamientos correctos. NDCG@5 y la ρ de Spearman evalúan el ordenamiento con un tratamiento diferente de los empates.
Puntuaciones medias por nivel de relevancia
En estas medias grupales, los negativos difíciles superan a los contextos parciales en las cinco herramientas. Los ejemplos individuales varían dentro de cada grupo.
Cómo evalúa cada herramienta la relevancia del contexto
En las configuraciones evaluadas, los cinco evaluadores reciben la consulta y un pasaje sin una respuesta de referencia. Cada uno usa GPT-4o, con diferencias en los prompts, las escalas de salida y la agregación.
W&B Weave: prompt binario de LLM
W&B Weave forma parte de CoreWeave Forge, anteriormente Weights & Biases.12
W&B Weave realiza una llamada a un large language model (LLM) por pasaje y pide que evalúe la relevancia “en una escala de 0 a 1”. Su esquema de respuesta de enteros permite los valores binarios 0 y 1, lo que puede dar a un contexto parcial y a un negativo difícil puntuaciones idénticas.
TruLens: escala Likert de 4 puntos
TruLens pide al LLM que actúe como un “evaluador de RELEVANCIA” en una escala de 0 a 3. Su rúbrica cubre cuatro grados de relevancia de la consulta.
- 0: Irrelevante para la consulta
- 1: Relevante para parte de la consulta
- 2: Relevante para la mayor parte de la consulta
- 3: Relevante para la totalidad de la consulta
Dividir la puntuación bruta por 3 produce cuatro valores de salida entre 0.0 y 1.0, mostrados como 0.0, 0.33, 0.67 y 1.0. Esto permite distinciones entre pasajes parcialmente relevantes y totalmente relevantes, sujeto a la clasificación del juez.
Ragas: promedio de doble juez
Ragas utiliza dos prompts de juez con redacciones diferentes de los mismos criterios. Cada prompt asigna 0 para irrelevante, 1 para parcialmente relevante o 2 para totalmente relevante. Promediar y normalizar los juicios produce cinco valores en una escala de 0.0–1.0.
Las puntuaciones pueden ser 0.0, 0.25, 0.5, 0.75 y 1.0. El promedio combina juicios de dos redacciones de prompts. No evaluamos por separado la sensibilidad a los cambios de prompt.
UpTrain: clasificación ternaria (A/B/C)
UpTrain asigna sus clasificaciones A/B/C a puntuaciones de relevancia.
- A (1.0): El contexto contiene una respuesta completa a la consulta
- B (0.5): El contexto contiene información para una respuesta parcial
- C (0.0): El contexto no contiene ninguna información para responder a la consulta
Las puntuaciones son 0.0, 0.5 y 1.0. Un pasaje engañoso y uno tangencialmente relacionado pueden recibir la misma puntuación.
DeepEval: descomposición de enunciados (G-Eval)
DeepEval divide un pasaje en enunciados y pide al juez que marque cada uno como “sí” o “no” en cuanto a relevancia. Divide el número de enunciados relevantes por el total, lo que produce una puntuación fraccionaria entre 0.0 y 1.0. Por ejemplo, 7 enunciados relevantes de 10 producen 0.70.
Los enunciados adicionales fuera del tema reducen esta fracción, incluso cuando el pasaje contiene la respuesta correcta. Un negativo difícil más corto puede, en consecuencia, superar a un contexto dorado más largo.
Las trampas adversariales
El contexto puede no responder a una pregunta por confusión de relaciones, por una coincidencia engañosa de entidades o por un dato omitido. Estas tres ilustraciones provienen de material explicativo anterior y son independientes del dataset v3 puntuado.
La trampa multi-salto (confusión de relaciones)
Las preguntas multi-salto requieren seguir una cadena de relaciones. Responder a una pregunta más simple sobre la primera entidad nombrada rompe esa cadena.
Pregunta: “¿Quién publica la serie de videojuegos de la que Retro City Rampage es una parodia?”. La respuesta objetivo es Rockstar Games.
La trampa del distractor de entidades
Un pasaje puede identificar el lugar y la ubicación correctos mientras describe un evento diferente. Los nombres de entidades compartidos pueden hacer que ese pasaje parezca relevante.
Pregunta: “¿…The Bridge Inn es el lugar de qué competición anual de contar mentiras, celebrada en Cumbria, Inglaterra?”. La respuesta objetivo es World’s Biggest Liar.
La trampa de relevancia parcial
Un contexto parcial aporta el tema y las entidades relacionadas, pero omite la respuesta solicitada.
Pregunta: “¿Quién escribió la letra de Portofino con un colaborador en ‘Fiddler on the Roof’?”. La respuesta objetivo es Richard Ney.
Añadir como fuente preferidaRAG metodología del benchmark de herramientas de evaluación
Diseño del dataset adversarial
Cada pregunta se empareja con cinco pasajes diseñados para ocupar niveles de relevancia distintos. Los pasajes dorados están parafraseados, y los negativos difíciles reemplazan un dato de la respuesta conservando la estructura circundante.
Dataset
HaluEval aporta 480 preguntas de conocimiento general, y HotPotQA aporta 530 preguntas que requieren razonamiento multi-salto. Together, proporcionan 1.010 preguntas y 5.050 pares pregunta-contexto por evaluación completa de herramienta.
W&B Weave, TruLens, Ragas y UpTrain tienen cada uno 1.010 filas de resultados completas. DeepEval tiene 1.005 filas completas después de excluir cinco muestras fallidas. Se excluyó una muestra si fallaba alguna de sus cinco puntuaciones de contexto, por lo que estos fallos no recibieron puntuaciones de cero.
Las notas del proyecto informan de que se eliminaron 489 muestras durante el filtrado de fugas de respuestas antes de guardar el dataset final.
Protocolo entre modelos
Claude Sonnet 4.5 generó contextos adversariales, y GPT-4o evaluó la relevancia a través de OpenRouter. El uso de models diferentes separa la generación de contextos de la evaluación. Cada evaluador recibió las mismas entradas de consulta-contexto y utilizó prompts de evaluación predeterminados sin instrucciones personalizadas.
La configuración del proyecto establece temperature=0. Top-1 usa el primer máximo devuelto por argmax, con el contexto dorado fijado en el índice 0. El Top-1 estricto exige un máximo único. El contexto dorado de W&B Weave empata en el máximo en aproximadamente el 86 % de las muestras.
NDCG@5 utiliza etiquetas de relevancia 4, 3, 2, 1 y 0. Las correlaciones de Spearman se promedian entre las muestras con vectores de puntuación no constantes. La implementación de MRR invierte una ordenación ascendente de puntuaciones, lo que coloca el contexto dorado detrás de los pasajes empatados en este conjunto de resultados.
Limitaciones
Todos los resultados provienen de una única ejecución de GPT-4o con prompts de evaluación predeterminados. Otros judge models, cambios de prompts y pasajes recuperados de forma natural pueden producir clasificaciones diferentes. Todos los negativos difíciles utilizan intercambio de entidades.
Las convenciones de empate afectan a la clasificación de las herramientas, y la posición fija del contexto dorado favorece la precisión Top-1. El Top-1 estricto proporciona una medida separada de identificación única.
Los resultados agregados de DeepEval excluyen cinco muestras, y Spearman excluye vectores de puntuación constantes para cada herramienta. Por tanto, los promedios de las herramientas utilizan muestras elegibles diferentes. El coste, la latencia, la robustez de los prompts y los flujos de trabajo con herramientas combinadas no se evaluaron comparativamente.
La relevancia contextual es la métrica evaluada. La fidelidad de la respuesta, que comprueba si una respuesta generada está respaldada por el material recuperado, y otras métricas de RAG quedan fuera de su alcance medido.
Selección de herramientas por caso de uso
El filtrado binario por relevancia y la clasificación de pasajes favorecen herramientas diferentes en esta prueba. El flujo de trabajo combinado es una propuesta que requiere validación por separado.
Conclusión
La salida binaria de W&B Weave produce una alta precisión Top-1 bajo la regla de empate de este benchmark. TruLens y Ragas ofrecen más niveles de puntuación y lideran las medidas de clasificación más amplias.
Las cinco herramientas logran una precisión por pares del 91 % o superior, pero asignan a los negativos difíciles puntuaciones medias más altas que a los contextos parciales. La puntuación de relevancia puede filtrar pasajes por ajuste temático. La verificación factual y la evaluación de la fidelidad de la respuesta siguen siendo comprobaciones separadas.
Lecturas adicionales
- Embedding Models: 25 Models Benchmarked for Retrieval
- Open Source Embedding Models: 11 Models Benchmarked for Retrieval
- Calculadora de dimensionamiento y selección de bases de datos vectoriales
- Reranker Benchmark: Top 8 Models Compared
- Multimodal Embedding Models: Apple vs Meta vs OpenAI
- Top 10 Multilingual Embedding Models for RAG
Cita este benchmark
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{RAG Herramientas de evaluación: W&B Weave vs Ragas vs TruLens}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/rag-evaluation-tools}},
note = {AIMultiple. Recuperado el 17 de marzo de 2026}
}Resultados y marcas de tiempo de 50 puntos de datos. Descargue los datos resumidos que se muestran en los gráficos y las tablas de este artículo como un archivo ZIP que contiene 12 archivos CSV.
¿Quieres los datos granulares que hay detrás? Únete a Premium
Registro de cambios
2 actualizacionesActualizados los resultados del benchmark en la sección de resultados del benchmark de herramientas de evaluación RAG.
Actualizada la sección "Resultados de la evaluación comparativa de herramientas RAG" con nuevos resultados y métricas de la evaluación comparativa.
Enlaces de referencia
El trabajo de Cem en AIMultiple ha sido citado por publicaciones líderes mundiales como Business Insider, Forbes, Morning Brew y Washington Post, empresas globales como Deloitte y HPE, ONG como World Economic Forum y organizaciones supranacionales como European Commission. [1], [2], [3], [4], [5]
A lo largo de su carrera, Cem trabajó como consultor tecnológico, comprador de tecnología y emprendedor tecnológico. Asesoró a empresas en sus decisiones tecnológicas en McKinsey & Company y Altman Solon durante más de una década. También publicó un informe de McKinsey sobre digitalización.
Dirigió la estrategia tecnológica y las adquisiciones de una empresa de telecomunicaciones reportando al CEO. También lideró el crecimiento comercial de la empresa de deep tech Hypatos, que alcanzó unos ingresos recurrentes anuales de 7 dígitos y una valoración de 9 dígitos desde 0 en 2 años. El trabajo de Cem en Hypatos fue cubierto por publicaciones tecnológicas líderes como TechCrunch y Business Insider.
Cem participa habitualmente en conferencias internacionales de tecnología. Se graduó en Bogazici University como ingeniero informático y tiene un MBA de Columbia Business School.
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.