Benchmarks d'Embeddings

Comment les benchmarks des modèles d'embeddings sont construits

Nous avons évalué les modèles d'embedding sur un ensemble fixe de 200 questions : 50 dans chacun des domaines finance, droit, support technique et santé. Chaque requête porte sur l'ensemble des passages de texte de son domaine. Nous classons les modèles selon le nDCG@10 moyen, qui récompense le fait de placer les passages pertinents enregistrés en haut des dix premiers résultats.

Les quatre collections contiennent 341 040 passages de texte : des segments extraits de documents sources, et non un nombre de phrases ou de documents d'origine. Les questions ont été sélectionnées avec BM25 et les étiquettes de pertinence sont incomplètes. Ce sont des résultats sur un jeu de développement, pas une évaluation à l'aveugle sur des données réservées. Les embeddings ont été générés via des API hébergées ; le graphique des coûts présente ce qu'a coûté le benchmark complet à chaque modèle, et les prix catalogue des API figurent séparément dans le classement.