RAG Ferramentas de Avaliação: Weights & Biases vs Ragas vs DeepEval
Quando um RAG pipeline recupera o contexto errado, o LLM gera com confiança a resposta errada. Os avaliadores de relevância do contexto são a principal defesa.
Avaliamos cinco ferramentas em 1.460 perguntas e mais de 14.600 contextos pontuados sob condições idênticas: mesmo modelo juiz (GPT-4o), configurações padrão e sem prompts personalizados. Sob condições padrão, WandB, TruLens e Ragas surgiram como os melhores desempenhos. Sob pressão adversária (hard negatives com entidades trocadas), o WandB teve o melhor desempenho.
RAG resultados do benchmark de ferramentas de avaliação
As três melhores (WandB, TruLens, Ragas) estão estatisticamente empatadas na Precisão Top-1 (IC 95% sobreposto entre 94,0% e 98,0%).
Para entender nossa avaliação e métricas em detalhes, veja nossa metodologia de benchmark para as ferramentas de avaliação de RAG.
Métricas explicadas
Precisão Top-1: A ferramenta pode atribuir a pontuação de relevância mais alta ao contexto dourado? Isso mede a segurança contra recuperação adversária, uma falha comum em produção.
NDCG@5 (ganho cumulativo descontado normalizado): Dados cinco contextos em diferentes níveis de relevância (4, 3, 2, 1, 0), a ferramenta os classifica na ordem correta? Diferente da precisão binária, o NDCG recompensa ferramentas que atribuem pontuações proporcionalmente mais altas a contextos mais relevantes.
Rho de Spearman ρ (correlação de posto): Quão bem a classificação de pontuação de uma ferramenta correlaciona-se com a ordenação de relevância da verdade fundamental? Uma ferramenta perfeita produziria ρ = 1,0.
MRR (recíproca média de posto): Média de 1/rank para o contexto dourado. Se uma ferramenta classifica o contexto dourado em primeiro, MRR = 1,0; segundo, MRR = 0,5; terceiro, MRR = 0,33. Penaliza ferramentas que enterram o contexto correto abaixo de contextos menos relevantes.
Principais descobertas
- WandB lidera na identificação, TruLens lidera na classificação: WandB tem a maior precisão Top-1 (94,5%) mas o menor NDCG@5 (0,910) e Spearman ρ (0,669). TruLens lidera em NDCG@5 (0,932), Spearman ρ (0,750) e MRR (0,594). A diferença se resume ao design de pontuação: a pontuação binária do WandB é simples mas grosseira; a escala de 4 pontos do TruLens tem mais resolução mas é mais propensa a inversões.
- TruLens tem a maior taxa de discriminação: Ao distinguir um contexto correto de uma versão quase idêntica com entidades trocadas, o TruLens acerta a direção 35,5% das vezes com apenas 8,4% de inversões (razão 4,2:1). Nenhuma outra ferramenta iguala isso.
- Nenhuma ferramenta distingue contextos factualmente errados de factualmente corretos: Todas as cinco ferramentas pontuam hard negatives mais altos que contextos parciais, invertendo a ordem de relevância correta. Um trecho com as entidades certas e a resposta errada consistentemente supera um trecho com o tópico certo mas sem resposta. Isso é consistente com a relevância do contexto medindo adequação tópica, não precisão factual.
- DeepEval sub-pontua contextos dourados: A decomposição de declarações do DeepEval produz classificações competitivas (NDCG@5 = 0,923) mas pontua contextos dourados em média 0,46 vs 0,82–0,91 para outras ferramentas. Isso o torna pouco confiável para identificar o único melhor contexto.
- Escala ternária do UpTrain limita a discriminação: Três valores de saída (0, 0,5, 1,0) não podem representar cinco níveis de relevância. O UpTrain mostra a pior taxa de discriminação (1,4:1) e a menor precisão de classificação (27,6% de ordenação perfeita).
Discriminação: dourado vs. hard negative
Com que frequência a ferramenta atribui uma pontuação mais alta ao contexto dourado do que ao hard negative com entidades trocadas?
Vitória = dourado pontua estritamente mais alto. Empate = pontuações iguais. Derrota = hard neg pontua mais alto.
WandB tem o menor número de derrotas (4,8%) mas também o menor número de vitórias (15,5%): sua pontuação binária produz empates 80% das vezes. Quando diferencia, quase sempre acerta a direção. A precisão Top-1 estrita do WandB (dourado é o único máximo) é apenas 8,3%, comparado a 25,3% para o TruLens; seu argmax Top-1 é alto porque o contexto dourado está no índice 0 e se beneficia da quebra de empate.
Qualidade de classificação
Precisão Pares = % de todos os 10 pares de contexto por amostra classificados corretamente. Precisão Top-2 = contexto de maior pontuação é dourado ou parcial. Precisão 5-Vias = classificação monótona perfeita em todos os 5 níveis.
WandB lidera em todas as três métricas porque sua pontuação binária cria uma divisão natural de dois níveis (relevante vs. irrelevante) que elimina erros de ordenação dentro do nível. Nota: a precisão par conta empates como corretos (s[i] >= s[j]), o que beneficia ferramentas binárias. NDCG@5 e Spearman ρ (mostrados no gráfico acima) penalizam empates e classificam o TruLens em primeiro.
Pontuações médias por nível de relevância
Nenhuma ferramenta ordena corretamente Parcial > Hard Negative.
Como cada ferramenta avalia a relevância do contexto
Todas as cinco ferramentas usam GPT-4o como seu juiz subjacente, mas empregam estratégias de avaliação diferentes.
WandB Weave: Prompt binário de LLM
WandB envia um único prompt para o LLM pedindo para classificar a relevância "em uma escala de 0 a 1". No entanto, seu esquema de resposta interno define a pontuação como um inteiro, então o modelo só pode retornar 0 ou 1.
Uma chamada de LLM, uma decisão binária. WandB responde "este é o contexto certo?" limpa (maior precisão Top-1) mas não pode expressar graus de relevância: um contexto parcial e um hard negative recebem a mesma pontuação.
Valores de saída: 0, 1
TruLens: Escala Likert de 4 pontos
TruLens solicita ao LLM como um "avaliador de RELEVÂNCIA" com critérios explícitos para uma escala de 0-3:
- 0: Irrelevante para a consulta
- 1: Relevante para parte da consulta
- 2: Relevante para a maioria da consulta
- 3: Relevante para a totalidade da consulta
A pontuação bruta é normalizada para 0,0–1,0 dividindo por 3. Isso dá ao TruLens quatro níveis de saída distintos, fornecendo granularidade suficiente para distinguir contextos parciais de hard negatives enquanto mantém o prompt simples.
Valores de saída: 0,0, 0,33, 0,67, 1,0
Ragas: Média de dois juízes
Ragas executa dois prompts de juiz independentes em cada avaliação, cada um com uma formulação diferente dos mesmos critérios (0 = irrelevante, 1 = parcialmente relevante, 2 = totalmente relevante). A pontuação final é a média de ambos os juízes, normalizada para 0,0–1,0.
Como duas escalas de 3 pontos são médias, Ragas produz cinco valores possíveis, mais valores de saída do que qualquer outra ferramenta testada. O design de dois juízes também fornece resistência embutida à sensibilidade do prompt.
Valores de saída: 0,0, 0,25, 0,5, 0,75, 1,0
UpTrain: Classificação ternária (A/B/C)
UpTrain enquadra a relevância como uma classificação de múltipla escolha:
- A (1,0): O contexto pode responder à consulta completamente
- B (0,5): O contexto pode dar alguma resposta relevante mas não pode responder completamente
- C (0,0): O contexto não contém nenhuma informação para responder à consulta
O design ternário pode distinguir "parcialmente relevante" de "irrelevante" mas não pode separar "enganoso" de "tangencialmente relacionado"; ambos podem cair no mesmo bucket.
Valores de saída: 0,0, 0,5, 1,0
DeepEval: Decomposição de declarações (G-Eval)
Em vez de pedir uma única pontuação de relevância, DeepEval decompõe o contexto em declarações individuais, depois pede ao LLM para julgar cada declaração como "sim" (relevante) ou "não" (irrelevante) para a consulta. A pontuação final é a razão de declarações relevantes para o total de declarações.
O resultado é uma pontuação contínua (por exemplo, 7 de 10 declarações relevantes = 0,70). No entanto, a abordagem é estrita: mesmo um contexto altamente relevante é penalizado se contiver qualquer frase fora do tópico. Contextos dourados às vezes incluem detalhes contextuais que a decomposição marca como "irrelevantes", arrastando a pontuação abaixo da de um hard negative mais curto e focado. Isso explica a precisão Top-1 de 78,1% do DeepEval.
Valores de saída: Contínuo (0,0–1,0)
Adicionar como fonte preferencialMetodologia de benchmark de ferramentas de avaliação de RAG
Design de conjunto de dados adversário
Cada consulta tem cinco contextos em um nível de relevância distinto:
Conjunto de dados
Combinamos duas fontes:
HaluEval (480 amostras): Perguntas de conhecimento geral abrangendo música, filmes, esportes, história, geografia e mais. Hard negatives, contextos parciais e soft negatives são gerados por Claude.
HotPotQA (530 amostras): Perguntas de raciocínio multi-hop exigindo síntese de informações em múltiplos documentos.
Total: 1.010 amostras, cada uma com 5 contextos = 5.050 avaliações de contexto por ferramenta. Todas as amostras passaram por filtragem automatizada de vazamento (489 amostras removidas durante a geração por vazamento de resposta).
Protocolo cruzado de modelos
Para eliminar o viés de preferência própria (onde um avaliador LLM prefere texto gerado por si mesmo), usamos Claude Sonnet 4.5 para geração de contexto adversário e GPT-4o como juiz para todas as ferramentas. Ambos foram chamados via OpenRouter com temperatura=0.
As armadilhas adversárias
A armadilha multi-hop (Confusão de relação)
Perguntas frequentemente exigem rastrear uma cadeia de relacionamento (por exemplo, A está relacionado a B, que está relacionado a C). Hard negatives respondem uma versão mais simples da pergunta, quebrando a cadeia.
ID da Pergunta 89: "Quem publica a série de jogos que Retro City Rampage é uma paródia?" Resposta Alvo: Rockstar Games
A armadilha de distração de entidade
Recuperadores frequentemente encontram o local ou assunto correto, mas retornam metadados sobre o evento ou atributo errado.
ID da Pergunta 90: "…The Bridge Inn é o local para qual competição anual de contar mentiras, realizada em Cumbria, Inglaterra?" Resposta Alvo: World's Biggest Liar
A armadilha de relevância parcial
Um contexto com o tópico e entidades certos mas sem resposta.
ID da Pergunta 9: "Quem escreveu as letras de Portofino com um colaborador em 'O Violinista no Telhado'?" Resposta Alvo: Richard Ney
TruLens e DeepEval pontuam corretamente contextos parciais mais altos que hard negatives nestas amostras especificamente, embora este padrão não se mantenha em todo o conjunto de dados.
Qual ferramenta você deve usar?
Conclusão
A granularidade de pontuação é o principal tradeoff. Ferramentas binárias (WandB) vencem na identificação porque cada empate favorece-as; ferramentas multiponto (TruLens, Ragas) vencem na classificação porque podem expressar graus de relevância.
A relevância do contexto funciona como um filtro de primeira passagem: todas as ferramentas separam contextos relevantes de irrelevantes mais de 91% das vezes (precisão par). Mas nenhuma delas verifica precisão factual. Um trecho com as entidades certas e a resposta errada pontua alto em todas as ferramentas testadas. Para correção factual, combine com métricas de fidelidade da resposta.
Limitações
- Único modelo juiz: Todas as avaliações usam GPT-4o como juiz. Os resultados podem diferir com outros modelos.
- Apenas relevância do contexto: Este benchmark avalia apenas pontuação de relevância do contexto, não fidelidade da resposta ou outras métricas de RAG.
- Configurações padrão: Ferramentas foram avaliadas prontas para uso. O desempenho pode melhorar com engenharia de prompt personalizada.
- Execução única com convenção de quebra de empate: O benchmark foi executado uma vez com temperatura=0. A precisão Top-1 usa
argmax(primeiro índice vence empates), o que beneficia ferramentas com altas taxas de empate (WandB: 86%). Reportamos Top-1 estrito junto com argmax onde relevante. - Conjunto de dados apenas adversário: Todos os hard negatives usam troca de entidades. Os resultados refletem desempenho sob condições adversárias; ferramentas podem se comportar diferentemente em contextos recuperados naturalmente.
Leitura adicional
Explore outros benchmarks de RAG, como:
- Modelos de Embedding: OpenAI vs Gemini vs Cohere
- Top 16 Modelos de Embedding Open Source para RAG
- Top Banco de Dados Vetorial para RAG: Qdrant vs Weaviate vs Pinecone
- Benchmark de Reranker: Top 8 Modelos Comparados
- Modelos de Embedding Multimodal: Apple vs Meta vs OpenAI
- RAG Híbrido: Aumentando a Precisão do RAG
- Top 10 Modelos de Embedding Multilíngue para RAG
Cite esta pesquisa
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{RAG Ferramentas de Avaliação: Weights & Biases vs Ragas vs DeepEval}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/rag-evaluation-tools}},
note = {AIMultiple. Acessado em 23 Março 2026}
}
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.