RAG için En İyi 10 Çok Dilli Embedding Modeli RAG

Güncellenme tarihi: 20 Şub 2026

6 dilde (Almanca, İngilizce, İspanyolca, Fransızca, Japonca, Çince) ~606k Amazon incelemesi üzerinde 10 çok dilli embedding modelini test ettik. Her biri kaynak incelemesinden somut detaylara atıfta bulunan 1.800 sorgu (dil başına 300) ürettik.

Arama için eğitilen modeller (sorgu ve belge ayrımı), genel metin benzerliği için eğitilen daha büyük modellerden daha iyi performans gösterir: örneğin e5_base (110M parametre), 5 ila 70 kat daha fazla parametreye sahip modellerden daha iyi performans gösterirken, yaygın olarak atıf yapılan çok dilli model LaBSE (471M parametre) ikinci sondan bir önceki sırada yer alır.

Çok dilli geri çağırma doğruluğu

Top-1, doğru incelemenin döndürülen ilk sonuç olup olmadığını ölçer; Top-10, ilk on sonuç arasında herhangi bir yerde görünüp görünmediğini ölçer.

Top-1 doğruluğu

Loading Chart

Top-3 doğruluğu

Top-5 doğruluğu

Top-10 doğruluğu

Metrikler açıklandı

Top-K doğruluğu: Doğru belgenin (product_id tam eşleşmesine göre) ilk K sonuçta görünüp görünmediği. "Model, ~130k Almanca inceleme arasında bir Almanca soru sorulduğunda doğru Almanca incelemesini bulabilir mi?"
Top-1/3/5/10: Test edilen K değerleri. Top-1 en katı olandır (doğru belge ilk sonuç olmalıdır), Top-10 ise en esnektir.

Değerlendirmemizi ve metriklerimizi detaylı olarak anlamak için, çok dilli embedding modelleri için değerlendirme kurulumumuza ve benchmark metodolojimize bakın.

Korpus: ~606k inceleme (min_review_length≥100 karakter; ZH: ~17.7k, DE/EN/ES/FR/JA: ~120–145k'şar), kosinüs benzerliği yedekleme yok, sadece product_id tam eşleşme. NVIDIA H100 PCIe 80GB üzerinde değerlendirildi.

Gecikme ve iş hacmi

Gecikme, bir modelin üretim için uygun olup olmadığını belirler. 15ms'nin altındaki gecikmeye sahip modeller gerçek zamanlı aramayı destekleyebilir; 25ms'nin üzerinde ise toplu işleme veya önbellekleme gereklidir.

Temel bulgular

1. e5_base tüm dillerde liderdir

e5_base, 6 dilde ortalama %16.5 Top-1 başarısına ulaşır ve bir sonraki modeli (e5_small) 3.8 puanlık bir farkla geride bırakır. Asimetrik sorgu/passage öneki eğitimi, aynı dildeki anlamsal olarak benzer incelemeler arasında iyi ayırım yapan hassas embedding'ler üretir.

2. LLM-tabanlı modeller boyutlarına rağmen rekabetçidir

qwen3_emb_06b (600M parametre) ve llama_embed_nemotron_8b (8B parametre) her ikisi de %10+ tek dilli doğruluğa ulaşır. Muazzam çok dilli ön eğitimi, geri çağırma fine-tuning'in tamamen silemediği temsiller oluşturmuş gibi görünür ve parametre sayılarının bir kısmına sahip modellerle rekabetçi kalır. nemotron, Top-10'da %25.8'e ulaşır, bu da genel olarak üçüncü en iyi sonuçtur.

3. nomic_embed_v1_5 CJK dillerinde başarısız olur

nomic, Çince'de %0 doğruluk ve Japonca'da sadece %4 doğruluk elde eder, tüm dillerde tamamen başarısız olan tek modeldir. İngilizce merkezli eğitimi, arama_sorgusu/arama_belgesi öneki asimetrisiyle birleştiğinde, İngilizce (%17 Top-1) ve Almanca (%9) için iyi çalışmasına rağmen, Avrupa dışı diller için ciddi kapsama açıkları oluşturur.

4. LaBSE itibarına rağmen geri çağırma da başarısız olur

LaBSE, açıkça çok dilli anlamsal benzerlik için tasarlanmış ve literatürde yaygın olarak atıf yapılmıştır. Bu benchmark'ta, ikinci sondan bir önceki sırada yer alır (%4.8 Top-1). Çeviri çiftleri ve doğal dil çıkarımı üzerindeki eğitimi, geri çağırma için gereken ayırt edici hassasiyeti oluşturmamıştır: aynı dildeki yüzlerce anlamsal olarak benzer üründen tam kaynak incelemesini ayırt etmek.

5. Top-10 ölçekleme tüm modellere yarar sağlar, ancak özellikle daha güçlü olanlara

Top-1'den Top-10'a geçmek, genel olarak recall'ı ikiye katlar. nemotron, Top-1'de (%12.0) 3. sırada olmasına rağmen, en iyi Top-10 tek dilli ortalamayı (%25.8) gösterir, bu da 4096 boyutlu uzayının daha büyük K değerlerinde iyi en yakın komşu yapısına sahip olduğunu gösterir.

6. İspanyolca ve Fransızca tutarlı şekilde daha düşük performans gösterir

Tüm modellerde, ES ve FR, DE, EN, JA ve ZH'den tutarlı şekilde daha düşük sırada yer alır. Bu desen, açık çok dilli eğitime sahip modeller için bile geçerlidir, bu da ön eğitim korpuslarında daha düşük temsiliyet veya ürün incelemeleri için alan uyumsuzluğunu gösterir.

Çok dilli embedding'ler nasıl çalışır

Bir embedding modeli, metni, metnin anlamını belirli kelimelerden ziyade yakalayan yüksek boyutlu bir vektöre (örneğin 384 veya 768 sayı) dönüştürür. Anlamsal olarak benzer iki metin, dilden bağımsız olarak bu uzayda birbirine yakın vektörlere sahip olmalıdır.

1"Battery life is terrible" → [0.12, -0.45, 0.78, ..., 0.33]
2"La batterie est terrible" → [0.11, -0.44, 0.79, ..., 0.31]
3"バッテリーの持ちが悪い"      → [0.10, -0.43, 0.77, ..., 0.32]

Bir çok dilli embedding modeli, aynı vektör uzayında birden fazla dili işler. Geri çağırma için kullanıldığında, model, aynı dilde on binlerce inceleme arasında doğru belgeyi bulmalıdır ve bu incelemeler genellikle benzer ürünleri ve konuları tartışır. Zorluk, ayırt edici hassasiyettir: aynı kategorideki yüzlerce anlamsal olarak benzer incelemeden tam kaynak incelemesini ayırt etmek.

Çok dilli değerlendirme kurulumu

~606k ürün incelemesi Qdrant'ta indekslenmiştir (sadece ≥100 karakter gövdeye sahip incelemeler; ZH: ~17.7k, diğer diller: ~120–145k'şar). 1.800 sorgu (dil başına 300), aynı uzunluk eşiğini karşılayan incelemelerden LLM tarafından yerel olarak üretilmiştir. Her sorgu, kaynak incelemesinden somut detaylara (ölçümler, miktarlar, marka isimleri, zaman çizelgeleri) atıfta bulunmalıdır; genel sorular bir özgüllük skoru aracılığıyla filtrelenir. X dilinde bir sorgu verildiğinde, görev aynı dildeki incelemeler arasında kaynak incelemesini bulmaktır. Qdrant, sonuçları dile göre filtreler. Doğruluk, kosinüs benzerliği yedekleme olmadan Top-1/3/5/10'da product_id tam eşleşmesi üzerinden ölçülür.

Benchmark'tan örnek sorgular:

Almanca (elektronik, GÖRÜŞ):

1Query: "Ist das Kabel für eine stabilere WLAN-Verbindung geeignet?"
2(Is this cable suitable for a more stable WiFi connection?)
3Review: "Zu hohe Verluste nach Einbau des Kabels. Es sollte durch eine bessere Positionierung der Antenne eine stabilere WLAN Verbindung erreicht werden. Das Gegenteil war der Fall. Nach Zwischenschaltung des Kabels ging die Signalstärke von vorher 60% auf 20% zurück."
4Ground truth: product_de_0999535
5Search space: ~130k German reviews

Fransızca (eczane, KULLANIM):

1Query: "Quelle proportion de dilution l'utilisateur a-t-il testée pour ce concentré?"
2(What dilution ratio did the user test for this concentrate?)
3Review: "Trop pauvre en goût. Je ne sais pas si je suis mal tombé mais pour ma part même dilué à 30% dans du 70/30 il reste très pauvre en goût, comme un chewing-gum trop longtemps mâché... ce liquide reste relativement cher pour sa teneur en goût."
4Ground truth: product_fr_0252369
5Search space: ~120k French reviews

İspanyolca (endüstriyel_tedarikler, GERÇEKSEL):

1Query: "¿Cuánto tiempo tardó la impresora en imprimir el archivo del gato?"
2(How long did the printer take to print the cat file?)
3Review: "Se avería al segundo día. Al encender la impresora, todo correcto, hizo el auto ajuste bien... Seleccioné el archivo del gato... Tardó 2 horas en imprimir, todo ok... Desde SD. El problema viene cuando la quieres conectar al PC... No la detecta... No puedes usar Cura para hacer las impresiones."
4Ground truth: product_es_0362329
5Search space: ~120K Spanish reviews

Model, her sorguyu product_id ile tam kaynak incelemesine eşleştirmelidir. Bir anten kablosundan WiFi sinyal kaybı hakkında bir sorgu, bağlantı sorunlarını tartışan binlerce elektronik incelemesiyle anlamsal olarak eşleşebilir; sadece biri, bu özel kabloyu takmadan sonra sinyalin %60'tan %20'ye düştüğünü açıklar.

Teknik analiz ve öneriler

Simetrik ve asimetrik modeller

Eğitim amacı büyük ölçüde geri çağırma performansını öngörür:

Tür	Modeller	Yaklaşım	Top-1
Asimetrik (geri çağırma)	e5 ailesi, nomic	sorgu/passage öneki ayrımı	Yüksek (%6–17)
Melez (geri çağırma)	bge_m3	Çok amaçlı, öneki yok	Yüksek (%11.8)
LLM-tabanlı	qwen3, nemotron	İstem tabanlı, ön eğitim aktarımı	Yüksek (%10–12)
Simetrik (benzerlik)	minilm, mpnet	Cümle benzerliği, öneki yok	Düşük-Orta (%4–6)
Benzerlik uzmanı	labse	NLI/benzerlik eğitimi	Düşük (%4.8)

Asimetrik modellerin neden en iyi performansı gösterdiği: Sorgu/passage öneki, modeli sistematik olarak farklı uzay bölgelerine sorgular ve belgeler gömmek için eğitir, geri çağırma-özel bir geometri oluşturur. Bu, anlamsal olarak benzer ancak farklı belgeleri ayıran daha ayırt edici embedding'ler üretir. e5_base, bu performansı 110M parametre ile başarır çünkü eğitim amacı, model kapasitesi değil, geri çağırma hassasiyetini yönlendirir.

LLM-tabanlı modellerin neden rekabetçi olduğu: Muazzam çok dilli ön eğitim, model ağırlıklarında zengin anlamsal yapı oluşturur. Geri çağırma fine-tuning, bu derin dil anlayışının üzerine görev-özel hizalama ekler, rekabetçi performansla sonuçlanır. Takas gecikmedir: nemotron'un 4096 boyutlu vektörleri sorgu başına 25ms maliyete sahipken, e5_base için 11ms'dir.

LaBSE'nin itibarına rağmen neden başarısız olduğu: LaBSE, cümle düzeyi anlamı diller arasında yakınlaştırmak için çeviri çiftleri üzerinde eğitilmiştir, bu bir benzerlik görevidir. Geri çağırma temelde farklıdır: aynı dildeki yüzlerce anlamsal olarak benzer üründen tam kaynak incelemesini ayırt etmeyi gerektirir. Benzerlik eğitimi, kaba taneli anlamsal yakınlık için optimize edilir; geri çağırma, neredeyse benzersizler arasında ince taneli ayırım gerektirir.

Hangi modeli kullanmalısınız?

En iyi doğruluk: e5_base (%16.5 Top-1, 11ms gecikme). Bir dil filtresi ile kullanın.

En iyi gecikme/doğruluk takası: e5_small (%12.7 Top-1, 9.7ms), minilm kadar hızlı ve daha iyi doğrulukla.

En iyi top-10 recall: 4096-dim vektörler için 25ms gecikme ve GPU belleğini karşılayabiliyorsanız nemotron (%25.8 Top-10).

Gecikme-duyarlı üretim sistemleri için: ~10ms'de e5_small veya minilm. e5_small kesinlikle tercih edilir (%12.7 vs %3.8).

Sorgu ve belge dillerinin eşleştiğini bildiğinizde her zaman bir dil filtresi kullanın. Tüm modeller, dil-filtreli arama ile önemli doğruluk kazanımları gösterir.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Çok dilli embedding modelleri metodolojisi

GPU: NVIDIA H100 PCIe 80GB, Runpod üzerinden
Vektör veritabanı: Qdrant 1.12.0 (yerel ikili)
Embedding kütüphanesi: sentence-transformers 5.2.2
Sorgu üretimi: Claude Sonnet 4.6, OpenRouter üzerinden. Her soru, kaynak incelemesinden belirli detaylara atıfta bulunmalıdır; genel sorular (özgüllük skoru < 4/5) filtrelenir.
Veri seti: Amazon Reviews Multi (Kaggle)¹, train.csv. ~606k inceleme indekslendi (min 100 karakter; ZH: ~17.7k, diğerleri: ~120-145k'şar). 6 dil: DE, EN, ES, FR, JA, ZH.
Sorgular: Toplam 1.800 (dil başına 300, 5 soru türü, her dilde yerel olarak üretilmiş).
Belge formatı: "Review Title: {title}\nReview: {body}"
Gerçek değer: Sadece product_id tam eşleşme. Kosinüs benzerliği yedekleme yok.
Arama: Qdrant vektör araması, kosinüs mesafesi ile. Top-K = 10. Tek dilli değerlendirme için dil filtresi uygulandı.
Embedding: L2 normalizasyon. Uygulanabilir yerlerde asimetrik önekler: "query: " / "passage: " (e5), "search_query: " / "search_document: " (nomic).
Fine-tuning yok: Tüm modeller varsayılan ağırlıklarla zero-shot olarak değerlendirildi.
Gecikme: Sadece embedding çıkarımı (tek sorgu). Vektör arama süresini içermez.

Değerlendirilen Modeller

Model Anahtarı	HuggingFace ID	Parametreler	Boyut	Tür
e5_small	intfloat/multilingual-e5-small	47M	384	Asimetrik geri çağırma
e5_base	intfloat/multilingual-e5-base	110M	768	Asimetrik geri çağırma
e5_large_instruct	intfloat/multilingual-e5-large-instruct	560M	1024	Asimetrik geri çağırma
mpnet_multilingual	sentence-transformers/paraphrase-multilingual-mpnet-base-v2	278M	768	Simetrik benzerlik
minilm_multilingual	sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2	118M	384	Simetrik benzerlik
nomic_embed_v1_5	nomic-ai/nomic-embed-text-v1.5	137M	768	Asimetrik geri çağırma
labse	sentence-transformers/LaBSE	471M	768	Benzerlik uzmanı
bge_m3	BAAI/bge-m3	568M	1024	Melez geri çağırma
qwen3_emb_06b	Qwen/Qwen3-Embedding-0.6B	600M	1024	LLM-tabanlı
llama_embed_nemotron_8b	nvidia/llama-embed-nemotron-8b	8B	4096	LLM-tabanlı (CUDA)

Neden skorlar BEIR/MTEB'den düşük

Bu benchmark'taki mutlak doğruluk sayıları, BEIR veya MTEB'de bildirilen skorlarla doğrudan karşılaştırılmamalıdır. İki benchmark, birkaç yapısal açıdan farklıdır:

Faktör	BEIR / MTEB	Benchmarkımız
Korpus boyutu	5K–500K	~606K
Metrik	nDCG@10 (kısmi kredi)	Tam product_id eşleşmesi (0 veya 1)
Sorgu özgüllüğü	Değişken (bazıları geniş, bazıları dar)	Yüksek: her sorgu, tek bir spesifik incelemeden somut detaylara (ölçümler, miktarlar, marka isimleri) atıfta bulunur
Sorgu–belge ilişkisi	Genellikle anahtar kelimeleri paylaşır	LLM-üretimi yeniden ifade soruları; model yeniden ifade boşluğunu aşmalıdır
Alan	Çeşitli (Vikipedi, haber, bilim)	Sadece ürün incelemeleri (tek alan, yüksek anlamsal yoğunluk)

Tam eşleşme metrik, en büyük yapısal farktır. Her sorgu, kaynak incelemesinden somut detaylara atıfta bulunur (örneğin, "3D yazıcı, SD karttan kedi dosyasını yazdırmak için kaç saat sürdü?"), bu nedenle her sorgunun net bir benzersiz hedefi vardır, ancak metrik farklı bir üründen anlamsal olarak ilgili bir inceleme için yine de sıfır ödüllendirir. nDCG gibi kısmi kredi metrikleri, aynı geri çağırma sonuçlarında daha yüksek sayılar verecektir. Bu benchmark'ta önemli olan modeller arasındaki göreli sıralamadır, mutlak sayılar değil.

Sınırlamalar

Soru türleri gerçek kullanıcı sorgularını temsil etmeyebilir. LLM-üretimi sorular iyi biçimlendirilmiş ve spesifik olma eğilimindedir. Gerçek kullanıcılar genellikle parçalı veya belirsiz sorgular yazar.
Sadece yoğun geri çağırma test edilir. Seyrek yöntemler (BM25), melez geri çağırma ve yeniden sıralama pipeline'ları değerlendirilmez. Bunlar modeller arasındaki sıralamayı önemli ölçüde değiştirebilir.
Dil başına 300 sorgu orta düzey bir örnektir. Dil başına sonuçların makul derecede dar güven aralıkları vardır, ancak tablonun ortasındaki sıralamalar hala dikkatli yorumlanmalıdır.
Geri çağırmanın ötesinde embedding kalitesi değerlendirilmez. Kümeleme kalitesi, anlamsal benzerlik doğruluğu ve diğer alt görevler ölçülmez.

Sonuç

Arama için eğitilen modeller (ayrı sorgu ve belge embedding'leri ile), boyuttan bağımsız olarak, genel metin benzerliği için eğitilen modelleri tutarlı şekilde yener. e5_base (110M parametre), 5 ila 70 kat daha büyük modellerden daha iyi performans gösterir. Çok dilli görevler için yaygın olarak atıf yapılan LaBSE (471M parametre), benzerlik eğitiminin geri çağırma için gereken ince taneli ayırımı oluşturmadığı için ikinci sondan bir önceki sırada yer alır.

LLM-tabanlı modeller (600M parametrede qwen3, 8B parametrede nemotron), derin çok dilli ön eğitim sayesinde rekabetçi doğruluğa ulaşır, ancak bunun için gecikme öderler: nemotron, sorgu başına 25ms maliyete sahipken, e5_base için 11ms'dir ve sadece marjinal olarak daha iyi Top-10 recall'a sahiptir. Çoğu üretim sistemi için, daha küçük arama-eğitimli modeller daha iyi bir takas sunar.

Çok dilli RAG sistemleri oluşturan uygulayıcılar için, dil filtresi ile e5_base açık seçimidir (%16.5 Top-1, 11ms gecikme ve ikinci yer üzerinde 3.8 puanlık bir fark).

Daha fazla okuma

Şunlar gibi diğer RAG benchmark'larını keşfedin:

Bu araştırmayı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

Ekrem Sarı (2026) - "RAG için En İyi 10 Çok Dilli Embedding Modeli RAG". AIMultiple.com adresinde çevrimiçi yayımlanmıştır. Erişim tarihi: 20 Şubat 2026, kaynak: https://aimultiple.com/multilingual-embedding-models [Çevrimiçi Kaynak]

Sarı, E. (2026, 20 Şubat). RAG için En İyi 10 Çok Dilli Embedding Modeli RAG. AIMultiple. https://aimultiple.com/multilingual-embedding-models

@misc{sar2026,
  author = {Sarı, Ekrem},
  title  = {{RAG için En İyi 10 Çok Dilli Embedding Modeli RAG}},
  year   = {2026},
  month  = feb,
  howpublished    = {\url{https://aimultiple.com/multilingual-embedding-models}},
  note   = {AIMultiple. Erişim tarihi: 20 Şubat 2026}
}

Referans Linkleri

✏️ Amazon Reviews Multi | Kaggle

Ekrem Sarı

Yapay Zeka Araştırmacısı

Takip Et

Ekrem, AIMultiple'da yapay zeka araştırmacısı olarak çalışmakta olup, akıllı otomasyon, GPU'lar, yapay zeka ajanları ve RAG çerçeveleri üzerine yoğunlaşmaktadır.

Tam Profili Görüntüle