RAG Ferramentas de avaliação: Weights & Biases vs Ragas vs DeepEval
Quando um pipeline de RAG recupera o contexto errado, o LLM gera com confiança a resposta errada. Os avaliadores de relevância de contexto são a principal defesa.
Avaliamos cinco ferramentas em 1.460 perguntas e 14.600+ contextos pontuados sob condições idênticas: mesmo modelo juiz (GPT-4o), configurações padrão e nenhum prompt personalizado. Sob condições padrão, WandB, TruLens e Ragas se destacaram como os melhores desempenhos. Sob pressão adversarial (negativos difíceis com entidades trocadas), o WandB teve o melhor desempenho.
Resultados do benchmark de ferramentas de avaliação de RAG
Os três primeiros (WandB, TruLens, Ragas) estão estatisticamente empatados em Acurácia Top-1 (IC de 95% sobrepondo-se entre 94.0% e 98.0%).
Para entender nossa avaliação e métricas em detalhes, consulte nossa metodologia de benchmark para as ferramentas de avaliação de RAG.
Métricas explicadas
Acurácia Top-1: A ferramenta consegue atribuir a maior pontuação de relevância ao contexto de referência? Isso mede a segurança contra a recuperação adversarial, um modo de falha comum em produção.
NDCG@5 (ganho cumulativo descontado normalizado): Dados cinco contextos em diferentes níveis de relevância (4, 3, 2, 1, 0), a ferramenta os classifica na ordem correta? Diferente da acurácia binária, o NDCG recompensa ferramentas que atribuem pontuações proporcionalmente mais altas a contextos mais relevantes.
ρ de Spearman (correlação de ordem): Quão bem a ordenação de pontuações de uma ferramenta se correlaciona com a ordenação de relevância de referência? Uma ferramenta perfeita produziria ρ = 1.0.
MRR (ranking recíproco médio): Média de 1/posição para o contexto de referência. Se uma ferramenta classificar o contexto de referência em primeiro lugar, MRR = 1.0; em segundo, MRR = 0.5; em terceiro, MRR = 0.33. Penaliza ferramentas que enterram o contexto correto abaixo de contextos menos relevantes.
Principais constatações
- O WandB lidera em identificação, o TruLens lidera em ordenação: O WandB tem a maior acurácia Top-1 (94.5%), mas o menor NDCG@5 (0.910) e ρ de Spearman (0.669). O TruLens lidera em NDCG@5 (0.932), ρ de Spearman (0.750) e MRR (0.594). A diferença se resume ao design da pontuação: a pontuação binária do WandB é simples, porém grosseira; a escala de 4 pontos do TruLens tem mais resolução, mas é mais propensa a inversões.
- O TruLens tem o maior índice de discriminação: Ao distinguir um contexto correto de uma versão quase idêntica com entidades trocadas, o TruLens acerta a direção 35.5% das vezes com apenas 8.4% de inversões (proporção de 4.2:1). Nenhuma outra ferramenta se iguala a isso.
- Nenhuma ferramenta distingue contextos factualmente errados de contextos factualmente corretos: Todas as cinco ferramentas pontuam negativos difíceis mais alto do que contextos parciais, invertendo a ordem correta de relevância. Uma passagem com as entidades certas e a resposta errada recebe consistentemente pontuação maior do que uma passagem com o tópico certo, mas sem resposta. Isso é consistente com a relevância de contexto medir a adequação tópica, e não a precisão factual.
- DeepEval subpontua contextos de referência: A decomposição de declarações do DeepEval produz rankings competitivos (NDCG@5 = 0.923), mas pontua os contextos de referência com média de 0.46 contra 0.82–0.91 nas outras ferramentas. Isso o torna pouco confiável para identificar o melhor contexto único.
- A escala ternária do UpTrain limita a discriminação: Três valores de saída (0, 0.5, 1.0) não conseguem representar cinco níveis de relevância. O UpTrain apresenta o pior índice de discriminação (1.4:1) e a menor acurácia de ordenação (27.6% de ordenação perfeita).
Discriminação: contexto de referência vs. negativo difícil
Com que frequência a ferramenta atribui uma pontuação maior ao contexto de referência do que ao negativo difícil com entidades trocadas?
Vitória = o contexto de referência pontua estritamente mais alto. Empate = pontuações iguais. Derrota = o negativo difícil pontua mais alto.
O WandB tem o menor número de derrotas (4.8%), mas também o menor número de vitórias (15.5%): sua pontuação binária produz empates 80% das vezes. Quando diferencia, quase sempre acerta a direção. A acurácia Top-1 estrita do WandB (o contexto de referência é o máximo único) é de apenas 8.3%, em comparação com 25.3% do TruLens; a Top-1 por argmax é alta porque o contexto de referência está no índice 0 e se beneficia do desempate.
Qualidade da ordenação
Acurácia pareada = % de todos os 10 pares de contextos por amostra classificados corretamente. Acurácia Top-2 = o contexto com maior pontuação é o de referência ou parcial. Acurácia de 5 níveis = ordenação monotônica perfeita em todos os 5 níveis.
O WandB lidera em todas as três métricas porque sua pontuação binária cria uma divisão natural de dois níveis (relevante vs. irrelevante) que elimina erros de ordenação dentro do nível. Nota: a acurácia pareada conta empates como corretos (s[i] >= s[j]), o que beneficia ferramentas binárias. O NDCG@5 e o ρ de Spearman (mostrados no gráfico acima) penalizam empates e classificam o TruLens em primeiro lugar.
Pontuações médias por nível de relevância
Nenhuma ferramenta ordena corretamente Parcial > Negativo difícil.
Como cada ferramenta avalia a relevância de contexto
Todas as cinco ferramentas usam o GPT-4o como juiz subjacente, mas empregam estratégias de avaliação diferentes.
WandB Weave: Prompt binário de LLM
O WandB envia um único prompt ao LLM pedindo que avalie a relevância “em uma escala de 0 a 1”. No entanto, seu esquema interno de resposta define a pontuação como um inteiro, então o modelo só pode retornar 0 ou 1.
Uma chamada ao LLM, uma decisão binária. O WandB responde “este é o contexto certo?” de forma limpa (maior acurácia Top-1), mas não consegue expressar graus de relevância: um contexto parcial e um negativo difícil recebem a mesma pontuação.
Valores de saída: 0, 1
TruLens: escala Likert de 4 pontos
O TruLens instrui o LLM como um “avaliador de RELEVÂNCIA” com critérios explícitos para uma escala de 0 a 3:
- 0: Irrelevante para a consulta
- 1: Relevante para parte da consulta
- 2: Relevante para a maior parte da consulta
- 3: Relevante para a totalidade da consulta
A pontuação bruta é normalizada para 0.0–1.0 dividindo por 3. Isso dá ao TruLens quatro níveis de saída distintos, proporcionando granularidade suficiente para distinguir contextos parciais de negativos difíceis, mantendo o prompt simples.
Valores de saída: 0.0, 0.33, 0.67, 1.0
Ragas: média de juízes duplos
O Ragas executa dois prompts de juiz independentes em cada avaliação, cada um com uma formulação diferente dos mesmos critérios (0 = irrelevante, 1 = parcialmente relevante, 2 = totalmente relevante). A pontuação final é a média dos dois juízes, normalizada para 0.0–1.0.
Como duas escalas de 3 pontos são calculadas em média, o Ragas produz cinco valores possíveis, mais valores de saída do que qualquer outra ferramenta testada. O design de juiz duplo também oferece resistência integrada à sensibilidade do prompt.
Valores de saída: 0.0, 0.25, 0.5, 0.75, 1.0
UpTrain: classificação ternária (A/B/C)
O UpTrain enquadra a relevância como uma classificação de múltipla escolha:
- A (1.0): O contexto pode responder à consulta completamente
- B (0.5): O contexto pode dar alguma resposta relevante, mas não consegue responder completamente
- C (0.0): O contexto não contém nenhuma informação para responder à consulta
O design ternário consegue distinguir “parcialmente relevante” de “irrelevante”, mas não consegue separar “enganoso” de “tangencialmente relacionado”; ambos podem cair no mesmo grupo.
Valores de saída: 0.0, 0.5, 1.0
DeepEval: decomposição de declarações (G-Eval)
Em vez de pedir uma única pontuação de relevância, o DeepEval decompõe o contexto em declarações individuais e, em seguida, pede ao LLM que dê um veredito sobre cada declaração como “sim” (relevante) ou “não” (irrelevante) para a consulta. A pontuação final é a proporção de declarações relevantes em relação ao total de declarações.
O resultado é uma pontuação contínua (por exemplo, 7 de 10 declarações relevantes = 0.70). No entanto, a abordagem é estrita: até mesmo um contexto altamente relevante é penalizado se contiver frases fora do tópico. Os contextos de referência às vezes incluem detalhes contextuais que a decomposição marca como “irrelevantes”, arrastando a pontuação para baixo da de um negativo difícil mais curto e mais focado. Isso explica a acurácia Top-1 de 78.1% do DeepEval.
Valores de saída: Contínua (0.0–1.0)
Metodologia de benchmark das ferramentas de avaliação de RAG
Design do dataset adversarial
Cada consulta tem cinco contextos em um nível distinto de relevância:
Dataset
Combinamos duas fontes:
HaluEval (480 amostras): Perguntas de conhecimento geral abrangendo música, cinema, esportes, história, geografia e mais. Os negativos difíceis, contextos parciais e negativos suaves são gerados pelo Claude.
HotPotQA (530 amostras): Perguntas de raciocínio multi-hop que exigem síntese de informações em vários documentos.
Total: 1.010 amostras, cada uma com 5 contextos = 5.050 avaliações de contexto por ferramenta. Todas as amostras passaram por filtragem automática de vazamento (489 amostras removidas durante a geração por vazamento de resposta).
Protocolo entre modelos
Para eliminar o viés de autopreferência (em que um avaliador LLM prefere texto gerado por ele mesmo), usamos Claude Sonnet 4.5 para geração de contextos adversariais e GPT-4o como juiz para todas as ferramentas. Ambos foram chamados via OpenRouter com temperature=0.
Adicionar como fonte preferencialAs armadilhas adversariais
A armadilha multi-hop (confusão de relação)
As perguntas frequentemente exigem rastrear uma cadeia de relações (por exemplo, A está relacionado a B, que está relacionado a C). Os negativos difíceis respondem a uma versão mais simples da pergunta, quebrando a cadeia.
ID da pergunta 89: “Quem publica a série de jogos da qual Retro City Rampage é uma paródia?” Resposta-alvo: Rockstar Games
A armadilha do distrator de entidade
Os recuperadores frequentemente encontram o local ou assunto correto, mas retornam metadados sobre o evento ou atributo errado.
ID da pergunta 90: “…The Bridge Inn é o local de qual competição anual de contar mentiras, realizada em Cumbria, Inglaterra?” Resposta-alvo: World’s Biggest Liar
A armadilha da relevância parcial
Um contexto com o tópico e as entidades certos, mas sem resposta.
ID da pergunta 9: “Quem escreveu as letras de Portofino com um colaborador em ‘Fiddler on the Roof’?” Resposta-alvo: Richard Ney
O TruLens e o DeepEval pontuam corretamente os contextos parciais mais alto do que os negativos difíceis especificamente nessas amostras, embora esse padrão não se mantenha em todo o dataset.
Qual ferramenta você deve usar?
Conclusão
A granularidade da pontuação é o principal compromisso. Ferramentas binárias (WandB) vencem na identificação porque cada empate é decidido a seu favor; ferramentas multiponto (TruLens, Ragas) vencem na ordenação porque conseguem expressar graus de relevância.
A relevância de contexto funciona como um filtro de primeira passagem: todas as ferramentas separam contextos relevantes de irrelevantes mais de 91% das vezes (acurácia pareada). Mas nenhuma delas verifica a precisão factual. Uma passagem com as entidades certas e a resposta errada recebe pontuação alta em todas as ferramentas testadas. Para correção factual, combine com métricas de fidelidade da resposta.
Limitações
- Modelo de juiz único: Todas as avaliações usam o GPT-4o como juiz. Os resultados podem variar com outros modelos.
- Apenas relevância de contexto: Este benchmark avalia apenas a pontuação de relevância de contexto, não a fidelidade da resposta ou outras métricas de RAG.
- Configurações padrão: As ferramentas foram avaliadas sem modificações. O desempenho pode melhorar com engenharia de prompt personalizada.
- Execução única com convenção de desempate: O benchmark foi executado uma vez com temperature=0. A acurácia Top-1 usa
argmax(o primeiro índice vence empates), o que beneficia ferramentas com altas taxas de empate (WandB: 86%). Relatamos a Top-1 estrita junto com argmax quando relevante. - Dataset apenas adversarial: Todos os negativos difíceis usam troca de entidades. Os resultados refletem o desempenho sob condições adversariais; as ferramentas podem se comportar de forma diferente em contextos recuperados naturalmente.
Leitura adicional
Explore outros benchmarks de RAG, como:
- Modelos de Embedding: OpenAI vs Gemini vs Cohere
- Top 16 Modelos de Embedding de Código Aberto para RAG
- Top Vector Database para RAG: Qdrant vs Weaviate vs Pinecone
- Benchmark de rerankers: Top 8 modelos comparados
- Modelos de Embedding Multimodais: Apple vs Meta vs OpenAI
- Top 10 Modelos de Embedding Multilíngues para RAG
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{RAG Ferramentas de avaliação: Weights & Biases vs Ragas vs DeepEval}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/rag-evaluation-tools}},
note = {AIMultiple. Acessado em 23 Março 2026}
}Registro de alterações
2 atualizações- 2026
Atualizados os resultados do benchmark na seção de resultados do benchmark de ferramentas de avaliação RAG.
Atualizada a seção "Resultados de benchmark de ferramentas de avaliação RAG" com novos resultados e métricas de benchmark.
O trabalho de Cem na AIMultiple foi citado por publicações globais líderes, incluindo Business Insider, Forbes, Morning Brew e Washington Post, por empresas globais como Deloitte e HPE, ONGs como o World Economic Forum e organizações supranacionais como a European Commission. [1], [2], [3], [4], [5]
Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas sobre suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização.
Ele liderou a estratégia de tecnologia e as compras de uma operadora de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de deep tech Hypatos, que atingiu uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia líderes como TechCrunch e Business Insider.
Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou como engenheiro da computação pela Bogazici University e possui um MBA pela Columbia Business School.
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.