Embedding Model Kıyaslamaları'ndaki en yeni model jina-v5-text-small.
Embedding Kıyaslamaları
AIMultiple'ın ticari ve açık kaynak embedding modelleri üzerinde üç kurumsal RAG alanında yürüttüğü kendi erişim değerlendirmelerine dayanan şeffaf embedding model kıyaslamaları. Metodolojiyi inceleyin.
Lider Tablosu
Kıyaslanan tüm embedding modelleri, üç alanlı nDCG@3 ortalamasına göre sıralanmış.
# | Model | nDCG@3 | CUAD (legal) | TechQA (support) | MedRAG (health) |
|---|---|---|---|---|---|
| 1 | voyage-3.5 Voyage AI | 0.943 | 0.910 | 0.965 | 0.954 |
| 2 | voyage-4-large Voyage AI | 0.942 | 0.873 | 0.966 | 0.986 |
| 3 | gemini-2-preview Google | 0.932 | 0.896 | 0.930 | 0.969 |
| 4 | nvidia-nemotron-8b NVIDIA | 0.925 | 0.860 | 0.952 | 0.963 |
| 5 | gemini-001 Google | 0.922 | 0.898 | 0.886 | 0.981 |
| 6 | voyage-4-lite Voyage AI | 0.921 | 0.859 | 0.948 | 0.956 |
| 7 | voyage-law-2 Voyage AI | 0.919 | 0.913 | 0.902 | 0.941 |
| 8 | SFR-Embedding-2_R Salesforce | 0.905 | 0.842 | 0.911 | 0.962 |
| 9 | jina-v5-text-small Jina AI | 0.895 | 0.836 | 0.897 | 0.952 |
| 10 | harrier-oss-0.6b Microsoft | 0.891 | 0.872 | 0.841 | 0.961 |
Sayfa 1 / 3 | |||||
Embedding Model Kıyaslamaları Nasıl Oluşturuluyor
Embedding model kıyaslamaları her modeli, doğru belgenin ilk 3 sonuç içinde yer aldığı sorguların oranı olan nDCG@3 ile puanlar ve modelin değerlendirildiği üç erişim alanındaki konumunun ortalamasını alır. Aşağıdaki her kıyaslama bu puanı besler.
Son Güncellemeler
Embedding Model Kıyaslamaları, model kapsamı ve AIMultiple kıyaslama metodolojisindeki son değişiklikler.
jina-v5-text-small
Embedding Model Kıyaslamaları'na yeni model eklendi.
harrier-oss-0.6b
Embedding Model Kıyaslamaları'na yeni model eklendi.
gemini-2-preview
Embedding Model Kıyaslamaları'na yeni model eklendi.
voyage-4-large
Embedding Model Kıyaslamaları'na yeni model eklendi.