RAG Ferramentas de avaliação: W&B Weave vs Ragas vs TruLens
Avaliamos cinco ferramentas de avaliação de geração aumentada por recuperação (RAG) em 1.000+ perguntas adversariais, cada uma emparelhada com cinco passagens. A comparação mede a relevância do contexto usando GPT-4o e os prompts de avaliação padrão das ferramentas.
RAG resultados do benchmark das ferramentas de avaliação
W&B Weave teve a maior acurácia Top-1, com 94,5%. O TruLens liderou as métricas de ranqueamento, incluindo NDCG@5 com 0.932. Suas posições dependem de como cada métrica trata pontuações iguais, especialmente quando um avaliador retorna saídas binárias.
A metodologia do benchmark fixa a passagem correta na primeira posição de cada conjunto. A acurácia Top-1 dá a vitória a essa passagem quando ela empata na maior pontuação.
Métricas explicadas
A acurácia Top-1 mede a frequência com que a passagem correta designada, chamada de contexto dourado, recebe a maior pontuação. Também relatamos a Top-1 estrita, que exige que ela seja o máximo único.
O NDCG@5 (ganho cumulativo descontado normalizado) avalia a ordenação de todas as cinco passagens usando rótulos de relevância 4, 3, 2, 1 e 0. O ρ de Spearman mede a correlação entre as pontuações previstas e essa ordem de relevância. Uma correlação perfeita é ρ = 1.0.
O MRR (mean reciprocal rank) calcula a média de 1/posição para o contexto dourado. As posições um, dois e três contribuem com 1.0, 0.5 e 0.33, respectivamente. O MRR coloca o contexto dourado atrás de passagens com pontuação igual no cálculo armazenado. Portanto, seu tratamento de empates difere da acurácia Top-1.
Principais conclusões
W&B Weave lidera a acurácia Top-1 e TruLens lidera o ranqueamento
A maior acurácia Top-1 do W&B Weave vem acompanhada do menor NDCG@5, de 0.910, e de um ρ de Spearman de 0.669. O TruLens lidera no ρ de Spearman com 0.750 e no MRR com 0.594. Os empates ajudam a explicar a diferença entre os resultados de identificação e ranqueamento do W&B Weave.
TruLens tem a maior proporção de comparações corretas em relação a comparações invertidas
Para passagens douradas versus negativas difíceis, o TruLens registra 35,5% de vitórias e 8,4% de derrotas, uma razão de 4.2:1. Sua escala de quatro pontos distingue mais pares do que a escala binária do W&B Weave, com mais inversões também.
Todas as ferramentas dão aos negativos difíceis pontuações médias mais altas do que aos contextos parciais
Os negativos difíceis preservam o tópico e a maior parte da redação enquanto alteram um fato da resposta. Todas as cinco ferramentas dão a essas passagens pontuações médias mais altas do que aos contextos parciais, que não contêm a resposta. Esse resultado agregado mostra por que a pontuação de relevância precisa de uma verificação separada da acurácia factual.
DeepEval atribui pontuações mais baixas a passagens corretas
O DeepEval dá aos contextos dourados uma pontuação média de 0.46, em comparação com 0.82–0.91 para as outras ferramentas. Seu NDCG@5 é 0.923, enquanto sua acurácia Top-1 é 78,1%. Com pontuação em nível de declaração, detalhes adicionais podem reduzir a pontuação de uma passagem correta mesmo quando ela contém a resposta.
UpTrain tem a menor acurácia de ranqueamento completo
As três pontuações possíveis do UpTrain não conseguem expressar cinco níveis distintos de relevância. Ele tem a menor acurácia de cinco vias, de 27,6%, e a menor razão vitória-derrota golden versus negativo difícil, de 1.4:1.
Discriminação: contexto dourado vs. negativo difícil
As passagens douradas e negativas difíceis diferem em um fato da resposta. Uma vitória significa que o contexto dourado pontua mais alto, uma derrota significa que o negativo difícil pontua mais alto e um empate significa que as pontuações são iguais.
O W&B Weave tem tanto o menor número de vitórias quanto o menor número de derrotas. Cerca de 80% de suas comparações são empates, limitando a frequência com que sua pontuação binária separa as duas passagens. Em todos os cinco contextos, sua acurácia Top-1 estrita é 8,3%, em comparação com 25,3% para o TruLens.
Qualidade do ranqueamento
A acurácia por pares conta os pares corretamente ordenados entre os 10 pares em cada amostra. A acurácia Top-2 considera uma amostra correta quando o contexto dourado ou o parcial compartilha a pontuação máxima. A acurácia de cinco vias exige que todas as cinco pontuações sigam a ordem não crescente esperada.
Pontuações iguais contam como corretas na acurácia por pares e na de cinco vias. A acurácia por pares usa s[i] >= s[j], e a acurácia de cinco vias aceita pontuações adjacentes iguais. O W&B Weave lidera as três medidas, ajudado pelo fato de os empates serem aceitos como ordenações corretas. O NDCG@5 e o ρ de Spearman avaliam a ordenação com tratamento diferente dos empates.
Pontuações médias por nível de relevância
Nessas médias de grupo, os negativos difíceis superam os contextos parciais em todas as cinco ferramentas. Exemplos individuais variam dentro de cada grupo.
Como cada ferramenta avalia a relevância do contexto
Nas configurações testadas, todos os cinco avaliadores recebem a consulta e uma passagem sem uma resposta de referência. Cada um usa GPT-4o, com diferenças em prompts, escalas de saída e agregação.
W&B Weave: prompt binário de LLM
O W&B Weave faz parte do CoreWeave Forge, anteriormente Weights & Biases.12
O W&B Weave faz uma chamada de grande modelo de linguagem (LLM) por passagem, solicitando relevância “em uma escala de 0 a 1”. Seu esquema de resposta inteiro permite os valores binários 0 e 1, o que pode dar pontuações idênticas a um contexto parcial e a um negativo difícil.
TruLens: escala Likert de 4 pontos
O TruLens pede ao LLM para atuar como um “avaliador de RELEVÂNCIA” em uma escala de 0 a 3. Sua rubrica cobre quatro graus de relevância da consulta.
- 0: Irrelevante para a consulta
- 1: Relevante para parte da consulta
- 2: Relevante para a maior parte da consulta
- 3: Relevante para a totalidade da consulta
Dividir a pontuação bruta por 3 produz quatro valores de saída entre 0.0 e 1.0, exibidos como 0.0, 0.33, 0.67 e 1.0. Isso permite distinções entre passagens parcialmente e totalmente relevantes, sujeito à classificação do juiz.
Ragas: média de dois juízes
O Ragas usa dois prompts de juiz com formulações diferentes dos mesmos critérios. Cada prompt atribui 0 para irrelevante, 1 para parcialmente relevante ou 2 para totalmente relevante. A média e a normalização dos julgamentos geram cinco valores em uma escala de 0.0–1.0.
As pontuações podem ser 0.0, 0.25, 0.5, 0.75 e 1.0. A média combina julgamentos de duas formulações de prompt. Não testamos separadamente a sensibilidade a mudanças no prompt.
UpTrain: classificação ternária (A/B/C)
O UpTrain mapeia suas classificações A/B/C para pontuações de relevância.
- A (1.0): O contexto contém uma resposta completa para a consulta
- B (0.5): O contexto contém informações para uma resposta parcial
- C (0.0): O contexto não contém nenhuma informação para responder à consulta
As pontuações são 0.0, 0.5 e 1.0. Uma passagem enganosa e uma tangencialmente relacionada ainda podem receber a mesma pontuação.
DeepEval: decomposição de declarações (G-Eval)
O DeepEval divide uma passagem em declarações e pede ao juiz que marque cada uma como “sim” ou “não” para relevância. Ele divide a contagem de declarações relevantes pelo total, produzindo uma pontuação fracionária entre 0.0 e 1.0. Por exemplo, 7 declarações relevantes de 10 produzem 0.70.
Declarações adicionais fora do tópico reduzem essa fração, mesmo quando a passagem contém a resposta correta. Consequentemente, um negativo difícil mais curto pode pontuar mais alto que um contexto dourado mais longo.
As armadilhas adversariais
O contexto pode falhar em responder a uma pergunta por confusão de relações, correspondência enganosa de entidades ou omissão de um fato. Estas três ilustrações vêm de material explicativo anterior e estão separadas do dataset v3 pontuado.
A armadilha multi-hop (confusão de relações)
Perguntas multi-hop exigem seguir uma cadeia de relacionamentos. Responder a uma pergunta mais simples sobre a primeira entidade nomeada quebra essa cadeia.
Pergunta: “Quem publica a série de jogos da qual Retro City Rampage é uma paródia?” A resposta alvo é Rockstar Games.
A armadilha do distrator de entidade
Uma passagem pode identificar o local e a localização corretos enquanto descreve um evento diferente. Nomes de entidade compartilhados podem fazer essa passagem parecer relevante.
Pergunta: “…O Bridge Inn é o local de qual competição anual de contar mentiras, realizada em Cumbria, Inglaterra?” A resposta alvo é World’s Biggest Liar.
A armadilha da relevância parcial
Um contexto parcial fornece o tópico e as entidades relacionadas, deixando de fora a resposta solicitada.
Pergunta: “Quem escreveu as letras de Portofino com um colaborador em ‘Fiddler on the Roof’?” A resposta alvo é Richard Ney.
Adicionar como fonte preferencialRAG metodologia do benchmark das ferramentas de avaliação
Design do dataset adversarial
Cada pergunta é emparelhada com cinco passagens projetadas para ocupar níveis distintos de relevância. As passagens douradas são parafraseadas, e os negativos difíceis substituem um fato da resposta, preservando a estrutura ao redor.
Dataset
HaluEval contribui com 480 perguntas de conhecimento geral, e o HotPotQA contribui com 530 perguntas que exigem raciocínio multi-hop. Together, eles fornecem 1.010 perguntas e 5.050 pares pergunta-contexto por avaliação completa da ferramenta.
W&B Weave, TruLens, Ragas e UpTrain têm, cada um, 1.010 linhas de resultado completas. O DeepEval tem 1.005 linhas completas após a exclusão de cinco amostras com falha. Uma amostra era excluída se qualquer uma de suas cinco pontuações de contexto falhasse, portanto essas falhas não recebiam pontuação zero.
As notas do projeto relatam 489 amostras removidas durante a filtragem de vazamento de resposta antes de o dataset final ser salvo.
Protocolo entre modelos
Claude Sonnet 4.5 gerou contextos adversariais, e o GPT-4o avaliou a relevância por meio da OpenRouter. Usar modelos diferentes separa a geração de contexto do julgamento. Cada avaliador recebeu as mesmas entradas de consulta-contexto e usou prompts de avaliação padrão sem instruções personalizadas.
A configuração do projeto define temperature=0. A Top-1 usa o primeiro máximo retornado pelo argmax, com o contexto dourado fixado no índice 0. A Top-1 estrita exige um máximo único. O contexto dourado do W&B Weave empata no máximo em cerca de 86% das amostras.
O NDCG@5 usa rótulos de relevância 4, 3, 2, 1 e 0. As correlações de Spearman são calculadas em média entre amostras com vetores de pontuação não constantes. A implementação do MRR inverte uma ordenação crescente das pontuações, colocando o contexto dourado atrás de passagens empatadas neste conjunto de resultados.
Limitações
Todos os resultados vêm de uma única execução do GPT-4o com prompts de avaliação padrão. Outros modelos de juiz, mudanças de prompt e passagens recuperadas naturalmente podem produzir ranqueamentos diferentes. Todos os negativos difíceis usam troca de entidades.
As convenções de empate afetam o ranqueamento das ferramentas, e a posição fixa do contexto dourado favorece a acurácia Top-1. A Top-1 estrita fornece uma medida separada de identificação única.
Os resultados agregados do DeepEval excluem cinco amostras, e o Spearman exclui vetores de pontuação constantes para cada ferramenta. As médias das ferramentas, portanto, usam amostras elegíveis diferentes. Custo, latência, robustez de prompt e fluxos de trabalho com ferramentas combinadas não foram avaliados.
A relevância do contexto é a métrica avaliada. A fidelidade da resposta, que verifica se uma resposta gerada é sustentada pelo material recuperado, e outras métricas de RAG estão fora do escopo medido.
Seleção de ferramentas por caso de uso
A triagem binária de relevância e o ranqueamento de passagens favorecem ferramentas diferentes neste teste. O fluxo de trabalho combinado é uma proposta que exige validação separada.
Conclusão
A saída binária do W&B Weave produz alta acurácia Top-1 sob a regra de empate deste benchmark. TruLens e Ragas fornecem mais níveis de pontuação e lideram as medidas de ranqueamento mais amplas.
Todas as cinco ferramentas alcançam acurácia por pares de 91% ou mais, mas atribuem aos negativos difíceis pontuações médias mais altas do que aos contextos parciais. A pontuação de relevância pode filtrar passagens por adequação temática. A verificação factual e a avaliação de fidelidade da resposta permanecem verificações separadas.
Leitura adicional
- Modelos de Embedding: 25 Modelos Avaliados para Recuperação
- Modelos de Embedding de Código Aberto: 11 Modelos Avaliados para Recuperação
- Calculadora de Dimensionamento e Seleção de Banco de Dados Vetorial
- Benchmark de Rerankers: Top 8 Modelos Comparados
- Modelos de Embedding Multimodais: Apple vs Meta vs OpenAI
- Top 10 Modelos de Embedding Multilíngues para RAG
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{RAG Ferramentas de avaliação: W&B Weave vs Ragas vs TruLens}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/rag-evaluation-tools}},
note = {AIMultiple. Acessado em 17 março 2026}
}Resultados e carimbos de data/hora de 50 pontos de dados. Baixe os dados resumidos exibidos nos gráficos e tabelas deste artigo como um arquivo ZIP contendo 12 arquivos CSV.
Quer os dados granulares por trás disso? Assine o Premium
Registro de alterações
2 atualizaçõesAtualizados os resultados do benchmark na seção de resultados do benchmark de ferramentas de avaliação RAG.
Atualizada a seção "Resultados de benchmark de ferramentas de avaliação RAG" com novos resultados e métricas de benchmark.
Links de referência
O trabalho de Cem na AIMultiple foi citado por publicações globais líderes, incluindo Business Insider, Forbes, Morning Brew e Washington Post, por empresas globais como Deloitte e HPE, ONGs como o World Economic Forum e organizações supranacionais como a European Commission. [1], [2], [3], [4], [5]
Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas sobre suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização.
Ele liderou a estratégia de tecnologia e as compras de uma operadora de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de deep tech Hypatos, que atingiu uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia líderes como TechCrunch e Business Insider.
Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou como engenheiro da computação pela Bogazici University e possui um MBA pela Columbia Business School.
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.