Le modèle le plus récent des Benchmarks des modèles d'embeddings est jina-v5-text-small.
Benchmarks d'Embeddings
Des benchmarks transparents de modèles d'embeddings fondés sur les propres évaluations de recherche d'AIMultiple portant sur des modèles d'embeddings commerciaux et open source dans trois domaines RAG d'entreprise. Voir la méthodologie.
Classement
Tous les modèles d'embeddings évalués, classés par leur moyenne nDCG@3 sur trois domaines.
# | Modèle | nDCG@3 | CUAD (legal) | TechQA (support) | MedRAG (health) |
|---|---|---|---|---|---|
| 1 | voyage-3.5 Voyage AI | 0.943 | 0.910 | 0.965 | 0.954 |
| 2 | voyage-4-large Voyage AI | 0.942 | 0.873 | 0.966 | 0.986 |
| 3 | gemini-2-preview Google | 0.932 | 0.896 | 0.930 | 0.969 |
| 4 | nvidia-nemotron-8b NVIDIA | 0.925 | 0.860 | 0.952 | 0.963 |
| 5 | gemini-001 Google | 0.922 | 0.898 | 0.886 | 0.981 |
| 6 | voyage-4-lite Voyage AI | 0.921 | 0.859 | 0.948 | 0.956 |
| 7 | voyage-law-2 Voyage AI | 0.919 | 0.913 | 0.902 | 0.941 |
| 8 | SFR-Embedding-2_R Salesforce | 0.905 | 0.842 | 0.911 | 0.962 |
| 9 | jina-v5-text-small Jina AI | 0.895 | 0.836 | 0.897 | 0.952 |
| 10 | harrier-oss-0.6b Microsoft | 0.891 | 0.872 | 0.841 | 0.961 |
Page 1 sur 3 | |||||
Comment les benchmarks des modèles d'embeddings sont construits
Les benchmarks des modèles d'embeddings notent chaque modèle avec le nDCG@3, la part des requêtes pour lesquelles le bon document figure dans les 3 premiers résultats, et font la moyenne de son classement sur les trois domaines de recherche où il a été évalué. Chaque benchmark ci-dessous alimente ce score.
Mises à jour récentes
Derniers changements apportés aux Benchmarks des modèles d'embeddings, à la couverture des modèles et à la méthodologie de benchmark d'AIMultiple.
jina-v5-text-small
Nouveau modèle ajouté aux Benchmarks des modèles d'embeddings.
harrier-oss-0.6b
Nouveau modèle ajouté aux Benchmarks des modèles d'embeddings.
gemini-2-preview
Nouveau modèle ajouté aux Benchmarks des modèles d'embeddings.
voyage-4-large
Nouveau modèle ajouté aux Benchmarks des modèles d'embeddings.