Benchmark de Reranker: Top 8 Modelos Comparados
Fizemos benchmark de 8 modelos reranker em ~145k avaliações da Amazon em inglês para medir o quanto uma etapa de reranking melhora a recuperação densa. Recuperamos os 100 principais candidatos com multilingual-e5-base, reordenamos com cada modelo e avaliamos os 10 melhores resultados contra 300 consultas, cada uma referenciando detalhes concretos de sua avaliação de origem. O melhor reranker elevou o Hit@1 de 62,67% para 83,00% (+20,33pp).
Resultados do benchmark de reranker
Métricas explicadas:
ΔHit@1 / ΔHit@10 mostra a melhoria sobre a linha de base (sem reranker) em pontos percentuais (pp). Por exemplo, +20,33pp significa que o reranker melhorou o Hit@1 em 20,33 pontos percentuais em comparação com os 62,67% da linha de base.
Hit@K mede se qualquer avaliação com o product_id correto aparece nos top-K resultados. A verdade fundamental é o product_id da avaliação que gerou a consulta. Se uma avaliação diferente do mesmo produto cair no top-K, isso conta como um acerto. Hit@1 é o teste mais rigoroso: o resultado principal é do produto certo? Hit@10 é mais flexível: o produto certo está em algum lugar nos primeiros 10 resultados?
MRR@10 (Mean Reciprocal Rank) média 1/rank do primeiro resultado correto em todas as consultas. Se o primeiro product_id correspondente estiver no rank 1, a pontuação é 1,0. No rank 2, é 0,5. No rank 10, é 0,1. Isso recompensa modelos que colocam o produto correto o mais alto possível.
nDCG@10 (Normalized Discounted Cumulative Gain) avalia as posições de todas as avaliações correspondentes no top-10, não apenas a primeira. Se o mesmo produto tiver várias avaliações no conjunto de candidatos e várias caírem no top-10, o nDCG creditará cada uma com base em sua posição. Na prática, a maioria dos produtos tem apenas 1-2 avaliações nos 100 principais candidatos, então nDCG e MRR seguem de perto.
Recall@10 mede a fração de avaliações correspondentes (mesmo product_id) no top-10 de todas as avaliações correspondentes no conjunto completo de candidatos (top-100). Se um produto tiver 3 avaliações no top-100 e o reranker colocar 2 delas no top-10, o Recall@10 é 2/3 para essa consulta. Como a maioria dos produtos tem poucas avaliações duplicadas no conjunto de candidatos, o Recall@10 e o Hit@10 são quase idênticos neste benchmark.
Detalhamento da latência
A latência de reranking mede o tempo para cada cross-encoder pontuar 100 documentos candidatos contra a consulta. O tempo de pesquisa vetorial (~20ms) é excluído, pois permanece constante em todas as execuções e é independente do reranker.
Métricas de latência explicadas:
Rerank é o tempo para o cross-encoder pontuar todos os 100 documentos candidatos contra a consulta. É aqui que os modelos diferem: uma única passagem direta é rápida, enquanto a decodificação autoregressiva é lenta.
P95 é a latência total no percentil 95. Algumas consultas têm textos de avaliação mais longos, o que aumenta o tempo de tokenização e pontuação. O P95 mostra o pior caso que você deve esperar para 95% das consultas.
Principais descobertas
Um modelo de 149M iguala um modelo de 1,2B
gte-reranker-modernbert-base tem 149M de parâmetros, nemotron-rerank-1b tem 1,2B. Ambos atingiram 83,00% Hit@1 em inglês. A arquitetura ModernBERT é 8x menor e entrega precisão de topo idêntica.
Isso não significa que o tamanho do modelo é irrelevante. O nemotron supera ligeiramente o MRR@10 (0,8514 vs 0,8483) e o Hit@10 (88,33% vs 88,00%), o que significa que ele classifica documentos relevantes ligeiramente melhor em todo o top-10. Mas para a maioria das aplicações onde acertar o primeiro resultado é o que importa, o modelo de 149M é suficiente.
O maior modelo não é o melhor
qwen3_reranker_4b tem 4B de parâmetros e leva mais de um segundo por consulta. Ele atinge 77,67% Hit@1, ficando em quarto lugar atrás de nemotron (1,2B), gte_modernbert (149M) e jina (560M). Você paga 4,5x a latência do nemotron por 5,3 pontos percentuais a menos de precisão.
A arquitetura do qwen3 usa modelagem de linguagem causal com uma abordagem de logit sim/não. O modelo lê o par consulta-documento e gera a probabilidade de "sim, isso é relevante". Isso é conceitualmente limpo, mas a inferência é cara devido à sobrecarga de decodificação autoregressiva. Os modelos SequenceClassification (gte_modernbert, bge) e a abordagem de modelo de prompt do nemotron processam o par em uma única passagem direta, o que é fundamentalmente mais rápido.
Jina oferece o melhor tradeoff velocidade-precisão
jina_reranker_v3 atinge 81,33% Hit@1 em 188ms. O nemotron atinge 83,00% em 243ms. Se você precisa de latência total sub-200ms por consulta, o Jina é o único modelo no topo que entrega. A lacuna de 1,67 pontos percentuais pode não justificar os 55ms extras em um sistema de produção servindo milhares de solicitações por segundo.
Um reranker torna os resultados piores
mxbai_rerank_xsmall (70M params) pontua 64,67% Hit@1. A linha de base sem nenhum reranker pontua 62,67%. A melhoria é de apenas 2 pontos percentuais, o que está dentro do ruído para 300 consultas. Com 70M de parâmetros, o modelo carece de capacidade para julgar com precisão a relevância consulta-documento em textos mais longos ou mais sutis.
Um reranker não é automaticamente benéfico. Teste-o em seus dados reais antes de implantar.
O recuperador define o teto
Todos os principais rerankers convergem em torno de 87-88% Hit@10. Esse teto vem do recuperador. Se o multilingual-e5-base não colocar o documento correto nos 100 principais candidatos, nenhum reranker pode recuperá-lo. Os 12% restantes de consultas onde todos os rerankers falham representam casos em que o recuperador denso simplesmente perdeu o documento relevante completamente.
Melhorar além desse teto requer um recuperador melhor, um pool de candidatos maior ou ambos. Testamos 250 principais candidatos e encontramos quase nenhuma melhoria sobre os 100 principais, o que significa que o e5_base esgota seus candidatos úteis muito antes do rank 250.
Como os rerankers funcionam
Um recuperador denso (bi-encoder) codifica consultas e documentos independentemente em vetores. A recuperação é uma pesquisa de vizinho mais próximo sobre esses vetores. Isso é rápido porque você só codifica a consulta no momento da pesquisa, mas o modelo nunca vê a consulta e o documento juntos, então pode perder sinais de relevância sutis.
Um reranker (cross-encoder) leva um par consulta-documento como uma única entrada. O modelo atende a ambos os textos conjuntamente, pegando relacionamentos que a codificação independente perde. O custo é que você deve executar o modelo uma vez por candidato, então você só pode se dar ao luxo de pontuar um pequeno pool.
Arquiteturas neste benchmark
Testamos quatro arquiteturas cross-encoder diferentes:
Modelos SequenceClassification (bge_base, bge_v2_m3, mxbai_xsmall, gte_modernbert) levam um [query, document] par como entrada e geram uma pontuação de logit única. Esta é a abordagem mais simples e comum.
O Nemotron usa um formato de modelo de prompt: "question:{q} passage:{p}". A entrada parece texto simples em vez de um par estruturado, mas o modelo ainda gera uma pontuação de relevância única através do SequenceClassification. O LLM pré-treinamento (baseado em Llama) dá a ele forte compreensão de linguagem.
Os rerankers do Qwen3 usam modelagem de linguagem causal. O modelo lê o par e gera um julgamento sim/não. A pontuação é log P(sim) / (P(sim) + P(não)). Isso requer toda a maquinaria autoregressiva, o que explica a latência mais alta.
O Jina v3 usa um API personalizado (model.rerank()) que lida com tokenização e pontuação internamente. A arquitetura subjacente usa atenção cruzada, mas a interface abstrai os detalhes.
Metodologia do benchmark de reranker
- GPU: NVIDIA H100 PCIe 80GB via Runpod
- Banco de dados vetorial: Qdrant 1.12.0 (binário local), distância cosseno
- Recuperador: multilingual-e5-base (768-dim). Prefixo de consulta:
"query: ", prefixo de documento:"passage: " - Software: transformers 5.2.0, PyTorch 2.8.0, CUDA 12.8.1
- Dataset: Subconjunto em inglês do Amazon Reviews Multi (Kaggle).1 ~145k avaliações após filtragem para min 100 caracteres. Cada avaliação tem um product_id, texto de avaliação e classificação em estrelas.
- Geração de consulta: Claude Sonnet 4.6 via OpenRouter. 300 consultas em inglês (5 tipos: factual, opinião, uso, resolução de problemas, comparação de recursos). Cada consulta deve referenciar detalhes específicos de sua avaliação de origem; perguntas genéricas (pontuação de especificidade < 4/5) são filtradas.
- Formato do documento:
"Review Title: {title}\nReview: {body}" - Pipeline: Recuperar 100 principais candidatos com multilingual-e5-base, reordenar com cross-encoder, retornar top-10. A linha de base pula o reranking e retorna diretamente o top-10 do recuperador.
- Verdade fundamental: correspondência exata de product_id apenas. Sem fallback de similaridade de cosseno. Sem crédito parcial para produtos semanticamente semelhantes.
- Variável controlada: Apenas o modelo reranker muda entre os experimentos. Recuperador, contagem de candidatos, conjunto de consultas e critérios de avaliação são idênticos em todas as execuções.
- Sem fine-tuning: Todos os modelos avaliados zero-shot com pesos padrão do HuggingFace.
- Latência: Reranking (pontuação cross-encoder de 100 candidatos). Medido por consulta em GPU.
Adicionar como fonte preferencialModelos testados
Limitações
Este benchmark usa um único recuperador (multilingual-e5-base). Um recuperador diferente produziria conjuntos de candidatos diferentes e poderia mudar as classificações do reranker. Os resultados refletem o quão bem cada reranker funciona com este recuperador específico, não a qualidade do reranker isoladamente.
Testamos em avaliações de produtos em inglês da Amazon. O desempenho em outros domínios (artigos científicos, documentos jurídicos, código) ou outros idiomas será diferente.
A contagem de candidatos é fixa em 100. Alguns rerankers podem classificar de forma diferente com 20 ou 200 candidatos. Testamos 250 candidatos e encontramos melhoria insignificante, sugerindo que 100 é suficiente para o e5_base, mas outros recuperadores podem se comportar de forma diferente.
300 consultas é um tamanho de amostra moderado. Os três principais modelos (nemotron, gte_modernbert, jina) são separados por menos de 2 pontos percentuais. Com um conjunto de consultas maior, essas classificações poderiam mudar. A lacuna entre o topo e a base (20+ pontos percentuais) é robusta.
Conclusão
Rerankers funcionam. O melhor modelo neste benchmark eleva o Hit@1 de 62,67% para 83,00% (+20,33pp), o que significa que 20 a cada 100 consultas que anteriormente retornavam o documento errado primeiro agora retornam o correto. Esse é um ganho significativo para um componente que adiciona menos de 250ms de latência.
A descoberta mais útil é que o tamanho do modelo não determina a qualidade do reranker. O gte-reranker-modernbert-base com 149M de parâmetros iguala o nemotron-rerank-1b com 1,2B no Hit@1. O modelo Qwen3 de 4B de parâmetros termina em quarto. Se você estiver escolhendo um reranker para um sistema de produção, comece com os modelos menores. Você pode nunca precisar dos maiores.
Para aplicações sensíveis à latência, o jina-reranker-v3 é a opção mais forte abaixo de 200ms. Para máxima precisão sem restrição de latência, o nemotron-rerank-1b e o gte-reranker-modernbert-base compartilham o topo. Para equipes com orçamento de GPU, o gte-modernbert é o claro vencedor: mesma precisão que o modelo de 1,2B com uma fração da pegada de memória.
Um padrão se manteve em todos os experimentos: o recuperador define o teto. Nenhum reranker empurrou o Hit@10 acima de 88%, porque os 12% restantes de documentos corretos nunca apareceram nos 100 principais candidatos. Investir em um recuperador melhor provavelmente renderá ganhos maiores do que trocar entre os três principais rerankers.
Leitura adicional
Explore outros benchmarks RAG, como:
- Modelos de Embedding: OpenAI vs Gemini vs Cohere
- Top 16 Modelos de Embedding Open Source para RAG
- Top Banco de Dados Vetorial para RAG: Qdrant vs Weaviate vs Pinecone
- Benchmark Agentic RAG: Roteamento de banco de dados múltiplo e geração de consulta
- Modelos de Embedding Multimodal: Apple vs Meta vs OpenAI
- RAG Híbrido: Aumentando a Precisão do RAG
- Top 10 Modelos de Embedding Multilíngue para RAG
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{sar2026,
author = {Sarı, Ekrem},
title = {{Benchmark de Reranker: Top 8 Modelos Comparados}},
year = {2026},
month = feb,
howpublished = {\url{https://aimultiple.com/rerankers}},
note = {AIMultiple. Acessado em 26 Fevereiro 2026}
}Links de referência
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.