Açık Kaynak Gömme Modelleri RAG İçin Benchmark

14 açık kaynaklı gömme modelini, tek bir H100 üzerinde barındırarak, yasal sözleşmeler, müşteri destek teknik notları ve tıbbi özetler kapsamındaki 500+ manuel olarak hazırlanmış sorgu üzerinden benchmarkladık. NVIDIA Llama-Embed-Nemotron-8B doğrulukta lider. Maliyet açısından, Google’ın EmbeddingGemma-300m'si, küçük bir doğruluk kaybı pahasına Nemotron'a göre yaklaşık 4 kat daha ucuz çalışıyor.

Açık kaynak gömme modelleri benchmark sonuçları

Metrikler açıklandı

nDCG@3: Kesme noktası 3'te normalize edilmiş indirimli kümülatif kazanç. Sorgu başına bir ilgili belge ile, altın belge ilk 3'e yerleştiğinde 1 / log2(sıra + 1) değerini alır, aksi takdirde 0'dır. Sıra 1 1.000 puan alır, sıra 2 0.631 puan alır ve sıra 3 0.500 puan alır. Üretim RAG LLM'lere ilk 3 ila 5 parçayı beslediği ve öncelik yanlılığının sıralama 1'in orantısız derecede önemli olmasını sağladığı için ana metrik olarak nDCG@3'ü kullanıyoruz.

nDCG@10: Aynı formül, kesme noktası 10 ile.

Recall@10: Altın belgenin ilk 10'da göründüğü sorguların oranı.

MRR@10: Kesme noktası 10'da ortalama karşılıklı sıra. Sıra 1'deki altın 1.000 puan alır, sıra 2 0.500 puan alır ve sıra 10 0.100 puan alır. nDCG@3 ile benzer niyet, ancak daha keskin bir sıra cezası ile.

Top-1 hit: Altın-ilgili belgenin tek birinci sonuç olduğu sorguların oranı. En katı metrik ve LLM olmayan bir arama iş akışına en yakın olanı.

Alanlara göre nDCG@3 sonuçları

AVG sıralaması, alan tersine çevirmelerini gizler. Harrier, CUAD'ı kazanır ancak TechQA'da yedinci olur. SFR-2, TechQA'da ikinci sırada yer alırken CUAD'da sadece dördüncüdür. KaLM-12B, MedRAG'de beşinci, TechQA'da dokuzuncudur. Alana özel nDCG@3:

BM25, MedRAG'de (0.7862, PubMedBERT'i ve çok dilli Granite'i geçerek) rekabetçidir ve CUAD'da zayıftır (0.5844, 14 yoğun modelden 11'i onu geçer). Yasal sözleşmeler, sözlü eşleşmeyi ödüllendiren yoğun varlık dili içerir. Tıbbi özetlerde, en üst yoğun modeller (Nemotron 0.9629, SFR-2 0.9620, jina-v5 0.9523), BM25'i 0.17 ila 0.18 nDCG@3 mutlak puanla geçer.

Bootstrap %95 güven aralıkları, (model, alan) hücresi başına, en üstteki dört yönlü MedRAG eşitliğini ve nokta tahmini sıralamasının düzleştirdiği Harrier-Nemotron CUAD örtüşmesini içeren, benchmark metodoloji bölümünde raporlanmıştır.

Milyon token başına maliyet

Barındırılan maliyet, GPU-amortismanlıdır: saatlik ücretin saat başına işlenen token'a bölünmesi. Kullandığımız pod, $2.99/sa fiyatında bir RunPod topluluk-bulut H100 80GB SXM5 idi. 551 sorgulu, 3 korpuslu geçiş (~toplam 46.2M token) boyunca model başına duvar saati süresi, aşağıdaki $/1M token tahminlerini verir:

Formül:

GPU $/sa = $2.99 (kullandığımız pod'un H100 80GB SXM5 oranı olan RunPod topluluk). wall_seconds = her modelin 551 sorgulu, 3 korpuslu geçişteki toplam duvar saati süresi. total_tokens ≈ 46.22M (3 korpus + 551 sorgu toplamı, karakter sayısı ÷ 4 tahmini).

Çalıştırılmış örnek, Nemotron-8B: ($2.99 / 3600) × (1247.8 × 1,000,000 / 46,220,000) = 1M token başına $0.0224.

Beş model, kendi maliyet katmanında liderlik eder (diğer hiçbir satır hem daha az maliyetli hem de daha yüksek puanlı değildir): Maliyet merdiveninin dibinde Granite-278m-multilingual, ardından Granite-small-r2, EmbeddingGemma-300m, jina-v5-text-small ve kalite merdiveninin tepesinde Nemotron-8B. Uç noktalar, maliyette 13 kat ($0.0017/M ila $0.0224/M) ve 0.23 nDCG@3 mutlak (0.6952 ila 0.9249) arasında değişir.

Alan uzmanları ile genelciler

PubMed başlık-özet çiftleri üzerinde ince ayar yapılmış PubMedBERT, PubMed'deki tıbbi RAG araması için bariz "doğru araçtır". MedRAG'de nDCG@3 = 0.7084 puan alır, bu da aynı korpus üzerindeki BM25 sözlü tabanının (0.7862) altındadır. Modern açık kaynak genelciler, eğitim verisi alanında onu 0.22 ila 0.25 mutlak puanla geçer:

Uzmanın düşük performans göstermesinin nedeni yaş ve reçetedir. PubMedBERT, simetrik ortalama havuzlama ve talimat öneki olmayan 2022 110M-parametreli bir BERT'tir. 2024-2026 genelcileri, daha büyük temeller, asimetrik sorgu ve belge önekleri ve talimatla ayarlanmış arama hedefleri üzerine inşa edilmiştir. Mimari boşluk, alan eşleşmesinden daha önemlidir: 4 yıllık bir ince ayar, kendi eğitim korpusunda bile, mevcut nesil talimatla ayarlanmış bir arama motoruyla rekabet edemez.

Alıcı kuralı, dağıtmadan önce temsilci sorgularda bir alan uzmanını modern bir genelciyle test etmektir. "Uzman kendi alanında kazanacak" varsayımı, 2026'da açık kaynaklı gömme modelleri için artık güvenli değildir.

Açık kaynaklı gömme benchmarkından bulgular

Nemotron-8B'nin TechQA liderliği istatistiksel olarak ikinci plandan ayrıdır

Nemotron-8B AVG nDCG@3 = 0.9249. Alana göre CUAD'da 0.8602, TechQA'da 0.9515 ve MedRAG'de 0.9629 seviyesindedir. TechQA sonucu (0.9515 0.923, 0.977), ikinci sırada yer alan SFR-Embedding-2_R (0.9109 0.869, 0.949) ile örtüşmez. Bootstrap Cİ'leri temiz bir şekilde ayırır. 8B Llama-3.1 tabanı, sorgu tarafı Instruct: …\nSorgu: … öneki ve simetrik belge tarafı öneki ile arama için talimatla ayarlanmış, uzun belge destek iş yüklerinde bir sonraki satıra göre 0.04 mutlak nDCG@3 liderliği sağlar.

Nemotron'un açıkça kazandığı iki alan (TechQA, MedRAG), talimat öneki asimetrisinin en önemli olduğu uzun belge korpuslarıdır. CUAD, lider olmadığı tek alandır: Microsoft'un Harrier-oss-v1-0.6b'si (0.8720), yasal sözleşmelerde Nemotron'u (0.8602) 13 kat daha küçük olmasına rağmen geçer, ancak Cİ'ler örtüşür ve liderlik bu örnek boyutunda istatistiksel olarak ayrı değildir.

0.6B Microsoft Harrier modeli, 7B parametrenin altındaki her açık modeli geçer

Microsoft Harrier-oss-v1-0.6b (2026-04'te Qwen3-0.6B tabanı ve MIT lisansı ile yayınlandı), AVG nDCG@3 = 0.8911 seviyesinde, genel olarak dördüncü sırada yer alır. 12B Tencent KaLM-Gemma3'ü (0.8057, Tencent topluluk lisansı), 7B Salesforce SFR-Embedding-2_R'yi CUAD'da (0.8421 karşı Harrier 0.8720) ve Google'ın EmbeddingGemma-300m'sini (0.8706) geçer. Aynı mimari karşılaştırmasında, Harrier-0.6b (0.8911), aynı Qwen3-0.6B tabanı üzerine inşa edilen Qwen3-Embedding-0.6B'den (0.8168) 0.074 nDCG@3 yüksektir. Eğitim korpusu ve talimat reçetesi, parametre sayısından ziyade boşluğu yönlendirdi.

Alıcılar için Harrier, kısıtlamalar olmadan ticari kullanım için uygun bir lisansla gönderilen en yüksek puanlı açık kaynak satırıdır. SFR-2 (CC-BY-NC), Nemotron (NSCL-v1) ve jina-v5 (CC-BY-NC) AVG merdiveninde onu geçer, ancak üçü de yalnızca araştırma amaçlıdır veya ticari değildir.

Tıbbi bir uzman gömücü BM25'e karşı kaybeder

NeuML'ın PubMedBERT-base-embeddings'i, PubMed başlık-özet çiftleri üzerinde ince ayar yapılmıştır. PubMed'deki tıbbi bir RAG benchmarkı için bariz "doğru araçtır". MedRAG'de nDCG@3 = 0.7084 puan alır, bu da aynı korpus üzerindeki BM25 sözlü tabanının (0.7862) 0.078 mutlak altındadır. MedRAG'deki en üst açık kaynak genelciler, her ikisinin de çok üzerinde yer alır: Nemotron-8B 0.9629, SFR-Embedding-2_R 0.9620, Harrier-oss 0.9605, jina-v5 0.9523, KaLM-Gemma3-12B 0.9453.

Bu, bir alıcının bir alan uzmanını nasıl seçtiğini değiştirmeli olan tersine çevirmedir. PubMedBERT, simetrik ortalama havuzlama ve talimat öneki olmayan 2022 110M-parametreli bir BERT'tir. 2024'ten 2026'ya genelci alanı, daha büyük temeller, asimetrik sorgu ve belge önekleri ve talimatla ayarlanmış arama hedefleri üzerine inşa edilmiştir. Zaten tıbbi kelime dağarcığı içeren MedRAG sorgularında, BM25'in sözlü eşleşmesi doğal olarak güçlüdür ve PubMedBERT'in uzmanlaşması bunun üzerine hiçbir şey katmaz.

Pratik sonuç, bir uzman gömücüyü yalnızca isimle seçmemektir. Taahhüt etmeden önce kendi sorgularınızda benchmarklayın.

Snowflake Arctic alanlar arasında 0.32 nDCG@3 salınır

Snowflake'in snowflake-arctic-embed-l-v2.0'si (568M, Apache-2.0, bge-m3-retromae türevi, çok dilli), CUAD yasal sözleşmelerinde nDCG@3 = 0.5846 ve MedRAG tıbbi özetlerinde 0.9053 puan alır. Aynı model, aynı reçete, aynı sorgu formatı, iki alan arasında 0.32 puanlık bir salınım. Slate'teki diğer modeller daha az salınır: SFR-2 0.8421 ila 0.9620 arasında değişir (boşluk 0.12), Nemotron 0.8602 ila 0.9629 arasında değişir (boşluk 0.10), Harrier 0.8408 ila 0.9605 arasında değişir (boşluk 0.12).

Mekanizma, eğitim verisi bileşimidir. Arctic, BEIR, MIRACL ve CLEF üzerinde ayarlandı; yasal sözleşmeler temsil edilmez. Dikey bir arama iş yükü için, alan eğitim verisi, parametre sayısından veya bağlam uzunluğundan daha önemlidir.

Google Arama'da daha fazla kıyaslamamızı ve veri odaklı içgörülerimizi görün.

Tercih edilen kaynak olarak ekle

Açık kaynaklı gömme çıkarımı nasıl çalışır

Açık kaynaklı gömme modelleri, bu benchmarkta iki arka uçta çalışır: sentence-transformers (12 model) ve vLLM (4 model). Bölünme kalite hakkında değildir; 8B ve daha büyük modellerde çalışma zamanı verimliliği hakkındadır, burada sentence-transformers'ın varsayılan Python çıkarım döngüsü uygulanabilir olmak için çok yavaştır.

Model başına reçete, arka uç seçiminden daha önemlidir. Modern arama modelleri asimetrik önekler kullanır: sorgu tarafı, bir Instruct tarzı prompt'lar (Instruct: Given a question, retrieve passages...\nQuery: <text>) ile sarılırken belge tarafı düzdür. Havuzlama türü değişir: BERT'ten türetilen modeller CLS havuzlama kullanır; LLM'den türetilen modeller (Llama, Mistral, Qwen3, Gemma3 tabanı) son-token'lar havuzlama kullanır; çok dilli modeller genellikle ortalama havuzlama kullanır. Her model için HuggingFace kartı, hangi önek ve havuzlama kombinasyonunun doğru olduğunun gerçek kaynağıdır.

Arka uç seviyesi:

• vLLM: Nemotron-8B, KaLM-Gemma3-12B, jina-v5-text-small
• sentence-transformers: Qwen3-0.6B, EmbeddingGemma-300m, Granite üçlüsü, SFR-2, Conan-v1, PubMedBERT, GIST, Snowflake Arctic, Microsoft Harrier

Gözlemlenen asimetrik önek desenleri:

• Instruct + Sorgu/Belge: SFR-2, KaLM-Gemma3, Nemotron-8B, Qwen3-Embedding
• Dahili encode_query / encode_document: EmbeddingGemma, KaLM-Gemma3, Nemotron-8B
• görev / prompt_name (sentence-transformers parametresi): jina-v5, Snowflake Arctic, Harrier
• Önek yok (simetrik): Granite üçlüsü, Conan, PubMedBERT, GIST

Havuzlama türü temel mimariye göre:

• CLS havuzlama: Granite r2 üçlüsü, Snowflake Arctic
• Son-token'lar havuzlama: Nemotron, KaLM-Gemma3, SFR-2, jina-v5, Qwen3-Embedding, Harrier
• Ortalama havuzlama: EmbeddingGemma, Granite-multilingual, Conan, PubMedBERT, GIST

Yanlış reçeteyi kullanmak, çökmeden sessizce arama kalitesini düşürür. Açık kaynaklı gömücülerin herhangi bir benchmarkı, bir sağduyu tabanını içermelidir (herhangi bir model için tüm alanlarda Recall@10'un 0.5'in altında olması, bir sonuçtan ziyade yanlış yapılandırma için kırmızı bir bayraktır).

Açık kaynaklı gömme modelleri benchmark metodolojisi

Üç arama alanı değerlendirildi: CUAD yasal sözleşmeler (246 sorgu, 509 sözleşme), TechQA müşteri destek teknik notları (151 sorgu, 28000 IBM teknik notu), MedRAG-PubMed sağlık özetleri (154 sorgu, 50000 özet). Toplam 551 sorgu.

Veri seti oluşturma metodolojisi, önceki İngilizce gömme modelleri benchmarkımız ile paylaşılmaktadır: Protokol-A 3-LLM konsensüs sorgu oluşturma (döndürülen yazar havuzu, sabit skorlayıcı, her deneme için iki yazar olmayan doğrulayıcı), SHA-256 hash ile korpus sabitleme, BM25 sözlü kısayollarını önlemek için alan-bazlı varlık-yasaklı-token'lar beyaz listeleri, her doğrulayıcı çifti için bildirilen Cohen's κ inter-rater anlaşması, BM25 taban sıraları, her sorgu JSON'da zaten mevcut olan bm25_rank_at_target alanından sentezlenmiştir (Pyserini-eşdeğeri). Birincil metrik nDCG@3 (RAG-gerçekçi, üretim RAG sistemlerinin tükettiği şey); ikincil metrikler nDCG@10, Recall@10, Recall@100, MRR@10, Top-1 hit.

Açık kaynak özel özellikleri:

• GPU: 1 x NVIDIA H100 80GB SXM5, RunPod topluluk bulutu üzerinden

• Pod şablonu: runpod/pytorch:1.0.2-cu1281-torch280-ubuntu2404

• Yığın: PyTorch 2.10.0+cu128, vLLM 0.19.1, transformers 5.6.2, sentence-transformers 5.4.1

• Model başına dağıtım: HF model kartı birincil yol. 12 model için ST, Nemotron-8B, KaLM-Gemma3-12B, jina-v5-text-small için vLLM.

• Model başına bölme: token başına max_seq_length x 4 karakterde karakter seviyesinde kırpma, ardından modelin tokenlayıcı onu gerçek maksimum dizi uzunluğuna kısaltır.

• Asimetrik arama: bunu destekleyen her model, HF-kart-belgelenmiş sorgu ve belge öneki alır. Önek, bazıları için belgelenmiş varsayılandır.

• L2 normalizasyon: havuzlama sonrası üniform uygulanır. Bazı modeller bunu dahili olarak yapar. Slate genelinde eşitliği sağlamak için yeniden normalleştiriyoruz.

• Gömme önbellek anahtarı: önek + görev + prompt_name + max_seq + arka uç içerir, böylece çalışma sırasında bir önek değişimi sessizce eski gömme yükleyemez.

• İstatistiksel protokol: (model, alan, metrik) hücresi başına 10K bootstrap yeniden örneklem, yüzde 95% CI, seed=2026.

Test edilen modeller

AVG nDCG@3 sırasına göre sıralanmıştır. Arka uç sütunu: ST = sentence-transformers, vLLM = vLLM 0.19.

Bootstrap %95 güven aralıkları sonuçları

Yukarıdaki tam liderlik tablosu, (model, alan) hücresi başına tek çalışmadır. Oturumlar arası model-başlangıç varyansı ölçülmez. Oturum içi sorgu-seviyesi varyansı yakalamak için, (model, alan) hücresi başına sorgu-seviyesi sıra vektörünü 10.000 kez yer değiştirerek yeniden örnekleriz (yüzde yöntemi, seed=2026, örnek boyutları CUAD n=246, TechQA n=151, MedRAG n=154). nDCG@3 üzerinde alan bazlı bootstrap %95 CI:

Cİ'ler, verinin desteklediği tersine çevirmeleri değiştirir. CUAD'da, Harrier (0.8720, [0.836, 0.906]) ve Nemotron (0.8602, [0.821, 0.897]) örtüşür, bu nedenle CUAD'daki Harrier liderliği bu örnek boyutunda temiz bir şekilde ayrı değildir. TechQA'da, Nemotron (0.9515, [0.923, 0.977]) ve SFR-2 (0.9109, [0.869, 0.949]) örtüşmez, bu nedenle Nemotron'un TechQA liderliği istatistiksel olarak ayrıdır. MedRAG'de, en üstteki dört (Nemotron 0.9629, SFR-2 0.9620, Harrier 0.9605, jina-v5 0.9523) birbirlerinin Cİ'leri içindedir ve dört yönlü bir istatistiksel eşitlik oluşturur. PubMedBERT'in MedRAG'de BM25'in altında kalması (0.7084 [0.641, 0.772] karşı BM25 0.7862) örtüşme sınırındadır. Merkezi eğilim, uzmanı açıkça BM25'in altına koyar, ancak bunu ayrı olarak örtüşen olmaktan ziyade çözmek için 3 çalışmalı oturumlar arası bir geçiş gereklidir.

Sınırlamalar

(Model, alan) hücresi başına tek çalışma. Yukarıdaki bootstrap CI tablosu, oturum içi sorgu-seviyesi varyansı yakalar (10K yeniden örneklem, yüzde yöntemi, seed=2026), ancak oturumlar arası model-başlangıç varyansı ölçülmez. v2.1 için 3 çalışmalı gece yarısı geçişi planlanmıştır. CI tablosu tarafından ortaya çıkarılan daha yakın bağlar (örneğin, en üstteki dört yönlü MedRAG eşitliği, Harrier-Nemotron CUAD örtüşmesi, PubMedBERT-vs-BM25 marjinal tersine çevirmesi), çoklu çalışmalı geçişten en çok faydalanacaktır.

Model başına bağlam uzunluğu karıştırıcı. 512-token bağlam pencerelerine sahip modeller (Granite-278m-multilingual, PubMedBERT, Conan, GIST), her belgenin ilk ~2K karakterini görür. 8K veya 32K bağlama sahip modeller (Nemotron, KaLM-12B, jina-v5, Harrier, Granite r2 english) tam belgeyi görür. Bu, uzun bağlam modellerini TechQA'da (uzun teknik notlar) ve MedRAG'de (uzun özetler) tercih eder.

MedRAG eğitim verisi kirlenme riski. Değerlendirilen modellerden birkaçı PubMed'den türetilen veriler üzerinde eğitilmiştir (PubMedBERT tanım gereği, muhtemelen Granite-278m-multilingual, muhtemelen Qwen3 tabanı). Bazı MedRAG nDCG@3 artışları, arama kalitesinden ziyade eğitim verisi örtüşmesini yansıtıyor olabilir.

Conan-v1 Çin'de eğitilmiştir. Sadece İngilizce alanlarda dahil edilmesi, İngilizce arama kalitesinde adil bir kafa kafaya savaştan ziyade, dil uyumsuzluğu üzerine eğitici bir veri noktasıdır. İngilizce eğitilmiş akranlara göre düşük performans bekliyoruz ve veriler bunu gösteriyor.

Daha fazla okuma

Şunlar gibi diğer RAG benchmarklarını keşfedin:

• RAG için En İyi 10 Çok Dilli Gömme Modeli
• Gömme Modelleri: OpenAI vs Gemini vs Voyage
• RAG için En İyi Vektör Veritabanı: Qdrant vs Weaviate vs Pinecone
• Yeniden Sıralayıcı Benchmark: Karşılaştırılan En İyi 8 Model
• Çok Modlu Gömme Modelleri: Apple vs Meta vs OpenAI
• Hibrit RAG: RAG Doğruluğunu Artırma
• Grafik RAG vs Vektör RAG

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{sar2026,
  author = {Sarı, Ekrem},
  title  = {{Açık Kaynak Gömme Modelleri RAG İçin Benchmark}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/open-source-embedding-models}},
  note   = {AIMultiple. Erişim tarihi: 3 Temmuz 2026}
}

Ekrem Sarı

Yapay Zeka Araştırmacısı

Takip Et

Ekrem, AIMultiple'da yapay zeka araştırmacısı olarak çalışmakta olup, akıllı otomasyon, GPU'lar, yapay zeka ajanları ve RAG çerçeveleri üzerine yoğunlaşmaktadır.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder