Benchmarks de Embeddings

Como os benchmarks de modelos de embeddings são construídos

Avaliamos modelos de embedding em um conjunto fixo de 200 perguntas: 50 de cada domínio, finanças, direito, suporte técnico e saúde. Cada consulta pesquisa a coleção completa de trechos de texto do seu domínio. Classificamos os modelos pelo nDCG@10 médio, que recompensa colocar os trechos relevantes registrados perto do topo dos dez primeiros resultados.

As quatro coleções contêm 341.040 trechos de texto: segmentos extraídos de documentos de origem, não uma contagem de frases ou de documentos originais. As perguntas foram selecionadas com BM25 e os rótulos de relevância estão incompletos. São resultados em um conjunto de desenvolvimento, não uma avaliação cega com dados reservados. Os embeddings foram gerados por meio de APIs hospedadas; o gráfico de custos mostra quanto custou a cada modelo o benchmark completo, e os preços de tabela das APIs aparecem separadamente na classificação.