El modelo más reciente en los Benchmarks de modelos de embeddings es jina-v5-text-small.
Benchmarks de Embeddings
Benchmarks transparentes de modelos de embeddings basados en las propias evaluaciones de recuperación de AIMultiple sobre modelos de embeddings comerciales y de código abierto en tres dominios RAG empresariales. Ver la metodología.
Clasificación
Todos los modelos de embeddings evaluados, ordenados por su promedio nDCG@3 en tres dominios.
# | Modelo | nDCG@3 | CUAD (legal) | TechQA (support) | MedRAG (health) |
|---|---|---|---|---|---|
| 1 | voyage-3.5 Voyage AI | 0.943 | 0.910 | 0.965 | 0.954 |
| 2 | voyage-4-large Voyage AI | 0.942 | 0.873 | 0.966 | 0.986 |
| 3 | gemini-2-preview Google | 0.932 | 0.896 | 0.930 | 0.969 |
| 4 | nvidia-nemotron-8b NVIDIA | 0.925 | 0.860 | 0.952 | 0.963 |
| 5 | gemini-001 Google | 0.922 | 0.898 | 0.886 | 0.981 |
| 6 | voyage-4-lite Voyage AI | 0.921 | 0.859 | 0.948 | 0.956 |
| 7 | voyage-law-2 Voyage AI | 0.919 | 0.913 | 0.902 | 0.941 |
| 8 | SFR-Embedding-2_R Salesforce | 0.905 | 0.842 | 0.911 | 0.962 |
| 9 | jina-v5-text-small Jina AI | 0.895 | 0.836 | 0.897 | 0.952 |
| 10 | harrier-oss-0.6b Microsoft | 0.891 | 0.872 | 0.841 | 0.961 |
Página 1 de 3 | |||||
Cómo se construyen los benchmarks de modelos de embeddings
Los benchmarks de modelos de embeddings puntúan cada modelo con nDCG@3, la proporción de consultas en las que el documento correcto aparece entre los 3 primeros resultados, y promedian su posición en los tres dominios de recuperación en los que fue evaluado. Cada benchmark de abajo alimenta esa puntuación.
Actualizaciones recientes
Últimos cambios en los Benchmarks de modelos de embeddings, la cobertura de modelos y la metodología de benchmarks de AIMultiple.
jina-v5-text-small
Nuevo modelo añadido a los Benchmarks de modelos de embeddings.
harrier-oss-0.6b
Nuevo modelo añadido a los Benchmarks de modelos de embeddings.
gemini-2-preview
Nuevo modelo añadido a los Benchmarks de modelos de embeddings.
voyage-4-large
Nuevo modelo añadido a los Benchmarks de modelos de embeddings.