O modelo mais recente nos Benchmarks de modelos de embeddings é jina-v5-text-small.
Benchmarks de Embeddings
Benchmarks transparentes de modelos de embeddings baseados nas próprias avaliações de recuperação da AIMultiple sobre modelos de embeddings comerciais e de código aberto em três domínios RAG empresariais. Ver a metodologia.
Classificação
Todos os modelos de embeddings avaliados, ordenados pela média nDCG@3 nos três domínios.
# | Modelo | nDCG@3 | CUAD (legal) | TechQA (support) | MedRAG (health) |
|---|---|---|---|---|---|
| 1 | voyage-3.5 Voyage AI | 0.943 | 0.910 | 0.965 | 0.954 |
| 2 | voyage-4-large Voyage AI | 0.942 | 0.873 | 0.966 | 0.986 |
| 3 | gemini-2-preview Google | 0.932 | 0.896 | 0.930 | 0.969 |
| 4 | nvidia-nemotron-8b NVIDIA | 0.925 | 0.860 | 0.952 | 0.963 |
| 5 | gemini-001 Google | 0.922 | 0.898 | 0.886 | 0.981 |
| 6 | voyage-4-lite Voyage AI | 0.921 | 0.859 | 0.948 | 0.956 |
| 7 | voyage-law-2 Voyage AI | 0.919 | 0.913 | 0.902 | 0.941 |
| 8 | SFR-Embedding-2_R Salesforce | 0.905 | 0.842 | 0.911 | 0.962 |
| 9 | jina-v5-text-small Jina AI | 0.895 | 0.836 | 0.897 | 0.952 |
| 10 | harrier-oss-0.6b Microsoft | 0.891 | 0.872 | 0.841 | 0.961 |
Página 1 de 3 | |||||
Como os benchmarks de modelos de embeddings são construídos
Os benchmarks de modelos de embeddings pontuam cada modelo pelo nDCG@3, a proporção de consultas em que o documento correto aparece entre os 3 primeiros resultados, e calculam a média da sua posição nos três domínios de recuperação em que foi avaliado. Cada benchmark abaixo alimenta essa pontuação.
Atualizações recentes
Últimas alterações aos Benchmarks de modelos de embeddings, à cobertura de modelos e à metodologia de benchmark da AIMultiple.
jina-v5-text-small
Novo modelo adicionado aos Benchmarks de modelos de embeddings.
harrier-oss-0.6b
Novo modelo adicionado aos Benchmarks de modelos de embeddings.
gemini-2-preview
Novo modelo adicionado aos Benchmarks de modelos de embeddings.
voyage-4-large
Novo modelo adicionado aos Benchmarks de modelos de embeddings.