O RAG aprimora a confiabilidade do LLM com fontes de dados externas. Avaliamos todo o pipeline do RAG: principais modelos de incorporação, bancos de dados vetoriais de ponta e as estruturas de agentes mais recentes, todos analisados com base em seu desempenho no mundo real.
Avaliamos 11 modelos líderes de incorporação de texto, incluindo soluções da OpenAI, Gemini, Cohere, Snowflake, AWS, Mistral e Voyage AI. Usando quase 500.000 avaliações da Amazon, nosso objetivo foi avaliar a capacidade de cada modelo em recuperar e classificar com precisão a resposta correta, considerando também sua relação custo-benefício.
Comparamos 6 dos principais bancos de dados de vetores para RAG (Algoritmo Aleatório de Busca por Similaridade) a fim de encontrar a melhor opção. Nossos testes avaliaram preço, desempenho e recursos para determinar qual plataforma oferece as buscas de similaridade mais eficientes para aplicações de RAG.
Desenvolvemos um benchmark para avaliar a capacidade do Agentic RAG de rotear consultas em múltiplos bancos de dados e gerar consultas precisas. O sistema demonstra raciocínio autônomo ao analisar as consultas do usuário, selecionar o banco de dados apropriado dentre múltiplas opções e gerar consultas semanticamente corretas para recuperar informações relevantes de fontes de dados corporativas distribuídas.
Avaliamos diversas estruturas e bibliotecas RAG. Analisamos o panorama atual das ferramentas RAG, comparando modelos de incorporação, tamanhos de blocos e o desempenho geral dos principais sistemas RAG.
Avaliamos 7 dos principais modelos de incorporação multimodal no MS-COCO e no Winoground para medir essa limitação específica.
