Benchmarks de Embeddings

AIM Embeddings Index Methodology

Evaluamos modelos de embedding con un conjunto fijo de 200 preguntas: 50 de cada dominio, finanzas, derecho, soporte técnico y salud. Cada consulta busca en la colección completa de pasajes de texto de su dominio. Clasificamos los modelos por el nDCG@10 medio, que premia situar los pasajes relevantes registrados cerca de la parte superior de los diez primeros resultados.

Las cuatro colecciones contienen 341.040 pasajes de texto: fragmentos extraídos de documentos fuente, no un recuento de frases ni de documentos originales. Las preguntas se seleccionaron con BM25 y las etiquetas de relevancia están incompletas. Son resultados sobre un conjunto de desarrollo, no una evaluación ciega con datos reservados. Los embeddings se generaron mediante API alojadas; el gráfico de costes muestra lo que costó a cada modelo el benchmark completo, y los precios de lista de las API aparecen por separado en la clasificación.