Benchmarks RAG: Modelos de Incorporação, Bancos de Dados Vetoriais e Rerankers
RAG melhora a LLM confiabilidade ao fundamentar as respostas em dados externos. Avaliamos a pilha RAG em modelos de incorporação, reordenadores, bancos de dados vetoriais, frameworks e ferramentas de avaliação em precisão de recuperação, latência e qualidade.
Explore Benchmarks RAG: Modelos de Incorporação, Bancos de Dados Vetoriais e Rerankers
Benchmark de Reranker: Comparação dos 8 Principais Modelos
RAGBenchmark15 outAvaliamos 8 modelos de reranker em ~145k avaliações da Amazon em inglês para medir o quanto uma etapa de reranking melhora a recuperação densa. Recuperamos os top-100 candidatos com multilingual-e5-base, reordenamos com cada modelo e avaliamos os top-10 resultados em relação a 300 consultas, cada uma referenciando detalhes concretos da avaliação de origem. O melhor…
- RAGBenchmark14 out
RAG Ferramentas de avaliação: W&B Weave vs Ragas vs TruLens
Avaliamos cinco ferramentas de avaliação de geração aumentada por recuperação (RAG) em 1.000+ perguntas adversariais, cada uma emparelhada com cinco passagens. A comparação mede a relevância do contexto usando GPT-4o e os prompts de avaliação padrão das ferramentas. W&B Weave teve a maior acurácia Top-1, com 94,5%. O TruLens liderou as métricas de ranqueamento, incluindo…
- RAGBenchmark14 out
AIM-Agentic RAG Benchmark: Roteamento entre 11 SQL bancos de dados
A precisão de roteamento é a porcentagem de perguntas pontuadas para as quais o model nomeia explicitamente o banco de dados correto em sua resposta final. O resultado principal usa as 184 perguntas marcadas como difíceis tanto pelo nosso teste de similaridade quanto por um júri de três LLMs. Declarações explícitas ausentes não recebem crédito.…
- EmbeddingsBenchmark1 out
Modelos de Embedding: 25 Modelos Avaliados para Recuperação
Avaliamos 25 modelos de embedding em 200 perguntas de recuperação em finanças, contratos legais, suporte técnico e literatura médica. Os quatro corpora continham 341.040 passagens de texto no total. Cada consulta pesquisou seu próprio domínio. O nDCG@10 mede o quão alto as passagens relevantes registradas aparecem nos dez primeiros resultados. As pontuações variam de 0…
- EmbeddingsBenchmark27 set
Modelos de Embedding de Código Aberto: 11 Modelos Avaliados em Benchmark para Recuperação
O nDCG@10 pontua a posição das passagens relevantes registradas entre os dez primeiros resultados de busca. Uma pontuação de 1 representa a classificação ideal para os positivos registrados. Passagens mais próximas do topo recebem mais peso. PPLX Embed v1 4B liderou a comparação com 0.741 nDCG@10, seguido pelo PPLX Embed v1 0.6B com 0.698. O…
- Vector DBBenchmark4 set
Benchmark de bancos de dados vetoriais: 7 mecanismos de código aberto para RAG
Avaliamos sete bancos de dados vetoriais de código aberto e auto-hospedados como a camada de recuperação de um pipeline de RAG, cada um executado isoladamente com os mesmos embeddings bge-m3 e consultas médicas e técnicas reais, de modo que o índice do banco de dados fosse a única variável. A carga de trabalho abrangeu os…
- RAGBenchmark31 ago
RAG Frameworks: LangChain vs LangGraph vs LlamaIndex
Avaliamos 5 RAG frameworks: LangChain, LangGraph, LlamaIndex, Haystack e DSPy, construindo o mesmo fluxo de trabalho agêntico RAG com componentes padronizados: modelos idênticos (GPT-4.1-mini), embeddings (BGE-small), retriever (Qdrant) e ferramentas (busca na web Tavily). Isso isola a sobrecarga real e a eficiência de tokens de cada framework. O benchmark consistiu em 100 consultas, com cada…
- RAGBenchmark31 ago
Melhores RAG Ferramentas, Frameworks e Bibliotecas
RAG melhora as respostas de LLM ao fundamentá-las em dados externos em vez de apenas no que o modelo memorizou no treinamento. Fizemos benchmark dos componentes dos quais um sistema RAG é construído e reunimos os resultados em um só lugar, com um guia prático para escolher cada parte da stack. Veja nossos resultados de…