Embedding Modelleri: OpenAI vs Gemini vs Voyage

Yasal sözleşmeler (CUAD), müşteri desteği (IBM TechQA) ve sağlık (MedRAG PubMed) olmak üzere üç geri çağırma alanında, 500'den fazla manuel olarak hazırlanmış sorgu üzerinden 15 İngilizce metin-embedding modeli ve bir BM25 tabanını benchmarkladık.

Voyage-3.5 genel olarak birinci sırada yer alıyor. Perplexity Embed V1 0.6b, benchmarkımızda en düşük fiyat noktasında üst-orta seviyeye ulaşıyor.

Embedding modelleri benchmark sonuçları

Metrikler açıklandı

nDCG@3: Kesim noktası 3'te normalize edilmiş indirimli kümülatif kazanç. Sorgu başına bir ilgili belge ile, altın belge ilk 3'e yerleştiğinde 1 / log2(sıra + 1) değerini alır, aksi takdirde 0'dır. Sıra 1 1.000 puan alır, sıra 2 0.631 puan alır, sıra 3 0.500 puan alır. Üretim RAG pipeline'ları ilk 3 ila 5 parçayı LLM'e beslediği ve birincillik yanlılığının sıra 1'in orantısız derecede önemli olmasını sağladığı için nDCG@3'ü birincil metrik olarak kullanıyoruz.

nDCG@10: Aynı formül, kesim noktası 10 ile.

Recall@10: Altın belgenin ilk 10'da göründüğü sorguların oranı.

MRR@10: Kesim noktası 10'da ortalama karşılıklı sıra. Sıra 1'deki altın 1.000 puan alır, sıra 2 0.500 puan alır ve sıra 10 0.100 puan alır. nDCG@3 ile benzer bir niyet taşır ancak daha dik bir sıra cezasına sahiptir.

Top-1 hit: Altın-ilgili belgenin tek birinci sonuç olduğu sorguların oranı. En katı metrik ve no-LLM arama iş akışına en yakın olanı.

Alan bazlı nDCG@3

Yasal (CUAD, 246 sorgu, 509 sözleşme): Yasal, uzman voyage-law-2'nin kazandığı tek alandır; CUAD'a göre ayarlanmış eğitim verisi, voyage-4-large'a göre +0.040 nDCG@3 ile sonuçlanır. openai/text-embedding-3-large, altı daha ucuz modelin altında 0.6430 puanla 11. sırada yer alıyor. BM25 tabanı: 0.5844.

Müşteri desteği (TechQA, 151 sorgu, 28.000 IBM teknik notu): voyage-4-lite ile sonraki model arasındaki fark 0.018. gemini-embedding-001, diğer iki alanda kazandığı halde TechQA'da 7. sıraya (0.8856) düşüyor ve yeni kardeşinin 0.045 gerisinde kalıyor. BM25 tabanı: 0.6097.

Sağlık (MedRAG-PubMed, 154 sorgu, 50.000 özet): Sağlık, benchmarkımızdaki en sıkı kümedir (14 model 0.88'in üzerinde puan alır) çünkü tıbbi kelime dağarcığı anahtar kelime yoğunluğundadır, bu da çoğu sorguyu en üst kümeye iter. BM25 tabanı: 0.7862, en zayıf yoğun modelin 0.02 içinde. gemini-embedding-001 ayrıca burada gemini-embedding-2-preview'ı en geniş farkla yener (+0.013).

Alan seviyesindeki dönüşler, 3-alan-ortalama çerçevesini haklı çıkarır: Tek bir alan "hangi model en iyi" için adil bir proxy değildir ve tek bir alana göre seçim yapan bir alıcı diğerlerinde yanlış sıralama yapacaktır.

Her alan hücresi için model bazlı %95 bootstrap güven aralıkları ve nokta tahmini sıralamaların gizlediği dört eşitlik çifti, metodoloji bölümünde detaylandırılmıştır.

Doğruluk vs fiyat: 1M token başına maliyet

Metrikler açıklandı

1M giriş token başına fiyat, 2026-04-23 itibarıyla 1M giriş token'ı embed etmek için liste fiyatıdır. Voyage fiyatları Voyage doğrudan fiyatlandırma sayfasından alınmıştır. OpenRouter-sunulan modeller aynı günün OpenRouter katalog anlık görüntüsünü kullanır. Sorgu ve belge tokenları, test edilen her satıcı için aynı oranda fiyatlandırılır. BM25, log-ekseni oluşturma için $0.001/M seviyesinde çizilmiştir. Gerçek kendi kendine barındırma maliyeti $0'dır.

3-alan ortalama nDCG@3, üç derlem üzerindeki alan başına nDCG@3'ün ağırlıksız ortalamasıdır. Her alan, sorgu sayısından bağımsız olarak ortalamaya eşit katkıda bulunur.

• Maliyet-öncelikli RAG platformları için pplx-embed-v1-0.6b açık seçenektir. 1M başına $0.004 fiyatıyla ticari amiral gemilerinden 30-50 kat daha ucuzdur ve voyage-3.5'in kalitesinin %92'sini (0.8604 / 0.9429) sunar. Benchmarkımızdaki başka hiçbir model onun fiyat noktasında rekabet etmez.

• Kalite-öncelikli kurumsal RAG için, voyage-3.5 Voyage doğrudan SDK üzerinden en üst Pareto noktasını alır. Voyage'ın kendi amiral gemisinden yarı fiyatına marjinal olarak daha iyi bir model için bir ek API entegrasyonu (bir OpenRouter-sadece yığınına kıyasla) ile takas edersiniz. "Her zaman en yeni ve en büyüğü seç" içgüdüsü Voyage'ın kataloğu içinde yanlıştır.

• OSS / kendi kendine barındırılabilir / yerinde dağıtımlar için qwen3-embedding-8b kazanır. Benchmarkımızda 1M başına $0.010 ile en ucuz önemsiz olmayan embedder'dır, test ettiğimiz her diğer OSS encoder ailesini eşler veya geçer ve kendi kendine barındırılabilir ağırlıklarla gelir.

• Premium amiral gemileri (openai-3-large, gemini-2-preview, voyage-4-large, gemini-001), voyage-3.5'in onlardan 2-3 kat daha ucuz olmasına rağmen, 3-alan ortalamasında voyage-3.5'e yenik düşer.

Embedding benchmarkından ana bulgular

voyage-3.5 3-alan ortalamasını kazanır ve voyage-4-large amiral gemisini yarı fiyatına yener

voyage-3.5, yasal, müşteri desteği ve sağlık alanında ortalama 0.9429 nDCG@3 alır. Amiral gemisi voyage-4-large, 1M token başına $0.12 fiyatla ortalama 0.9416 alır, bu da $0.06 voyage-3.5 fiyatının 2 katıdır. Amiral gemisi TechQA'da 0.002 ve MedRAG'da 0.032 kazanır. CUAD'da 0.037 kaybeder (0.8730 karşı 0.9102), bu da 3-alan ortalamasının voyage-3.5'in altında kalmasına yeter. Voyage'ın hattı içinde, eski orta seviye model daha iyi genel amaçlı seçimdir. Amiral gemisi sadece sağlıkta primini hak eder.

Voyage, üç alanda da ilk sırayı aldı ve CUAD ile TechQA'da ilk 2'yi temizledi. MedRAG'da, gemini-embedding-001 2. sıraya (0.9814, voyage-4-large'ın 0.9855'inin arkasında) girdi ve diğer her Voyage modelinin önüne geçti. gemini-001 ayrıca CUAD'da üçüncüye ulaşır. Başka hiçbir non-Voyage modeli tek bir alanda ilk 2'ye ulaşmaz.

Eski bir Gemini modeli, yeni "preview" kardeşini üç alandan ikisinde yener

google/gemini-embedding-001 (Haziran 2025'te yayınlandı), google/gemini-embedding-2-preview'ı hem CUAD (0.8980 karşı 0.8958) hem de MedRAG (0.9814 karşı 0.9685) üzerinde geçer. Daha yeni model sadece TechQA'da kazanır (0.9301 karşı 0.8856), bu da 1M giriş token başına $0.20 karşı $0.15 ile %33'lük bir fiyat artışıyla gelen 0.04'lük bir farktır. Gemini 2'nin "yeni multimodal yükseltme" çerçevesi, yasal veya sağlık derlemlerinde İngilizce metin geri çağırmasında tutarlı değildir.

Bu iki alandaki RAG iş yükleri için bugün, gemini-embedding-001 doğru Gemini seçimidir. MedRAG'daki dönüş (001 2. sırada, 2-preview 3. sırada), "en yeni" modele varsayılan olarak bağlı bir alıcının ölçülebilir kalite kaybına yol açacak kadar büyüktür.

OpenAI text-embedding-3-large yasal ve müşteri desteğinde orta seviyededir

openai/text-embedding-3-large, CUAD'da 0.6430 nDCG@3 ile 15 yoğun model arasında 11. sırada yer alır. Sekiz kat daha ucuz model, yasal sözleşmelerde onu yener: hem $0.12 Voyage 4-serisi amiral gemileri, yarı fiyatındaki voyage-3.5, 1/6 fiyatındaki voyage-4-lite, her iki Qwen3 embedding varyantı, 1/13 fiyatındaki intfloat/e5-large-v2 ve 1/32 fiyatındaki perplexity/pplx-embed-v1-0.6b (0.8031). OpenAI'ın amiral gemisi TechQA'da 9. (0.8581) ve MedRAG'da 11. (0.9296) sırada yer alır. Sağlık onu sık bir üst kümeye koyar (2. ile 11. arasındaki yayılma: 0.05 nDCG@3). Yasal alanda fark geniş ve pahalıdır.

1M giriş token başına $0.13 fiyatla, pplx-embed-v1-0.6b'den 32 kat daha pahalıdır. "Güvenli seçim olduğu için" varsayılan olarak OpenAI'a yönelen ekipler, 3-alan verisinin haklı çıkarmadığı bir prim ödüyor.

pplx-embed-v1-0.6b, karşılaştırılabilir amiral gemilerinin fiyatının otuzda biriyle üst seviyeye ulaşır

perplexity/pplx-embed-v1-0.6b, 1M token başına $0.004 fiyatla üç alan üzerinde ortalama 0.8604 nDCG@3 alır, sadece dört Voyage modeli, iki Gemini varyantı ve qwen/qwen3-embedding-8b'nin arkasındadır. Hattaki her OpenAI ve OSS modelini yener. Ayrıca CUAD'da openai/text-embedding-3-large'ı 0.16 nDCG@3 ile geçer, TechQA'da 0.012 kaybeder (0.8457 karşı 0.8581) ve MedRAG'da 0.003 kazanır. Bir sonraki en ucuz ilk 10 modeli, OpenRouter üzerinden sunulan qwen/qwen3-embedding-8b'dir ($0.010, 2.5 kat daha pahalı).

Embedding'in önemli bir kalem olduğu maliyet-öncelikli RAG platformları için pplx-0.6b açık seçenektir. Amiral gemisi fiyatlandırmasına olan 30-50 kat fark, bu üç alanda geri çağırma kalitesinde neredeyse hiçbir şey satın almaz.

BM25, tıbbi özetlerde en zayıf yoğun modelin 0.02 içinde kalır

MedRAG-PubMed'de, BM25, baai/bge-m3'e (yoğun mod) karşı 0.7862 nDCG@3 puanı alır, bu da 0.8038 ile 0.02'lik bir farktır. Leksik arama, bu derlemde 15 yoğun modelden yedisinin (bge-m3, e5-base-v2, openai-3-small, e5-large-v2, openai-3-large, pplx-0.6b, qwen3-4b) 0.15 içinde kalır. Sebep yapısaldır: tıbbi sorgular tasarım gereği anahtar kelime yoğundur (ilaç adları, hastalık adları, çalışma-tasarım terimleri, gen sembolleri) ve bu tokenlar geri çağırma sinyalinin çoğunu taşır. Lucene tarzı bir skorlayıcı, bunları semantik bağlama ihtiyaç duymadan doğrudan eşler.

BM25'in üstünde bir yeniden sıralayıcı, anahtar kelime yoğun derlemler için premium yoğun bir embedder'a makul, daha ucuz bir alternatiftir: BM25'in bıraktığı geri çağırma farkı (MedRAG'da üst seviyeye 0.2 nDCG@3), bir Cohere veya Voyage yeniden sıralayıcının kapatabileceği türden bir farktır. CUAD'da BM25'ten en iyi yoğun modele olan fark 0.33, TechQA'da 0.36, MedRAG'da 0.20'dir. Alan-kelime dağarcığı yoğunluğu, yoğun embedding'lerin ne kadar yardımcı olacağının tek en büyük belirleyicisidir.

Satıcılar arasında alan uzmanları vs genelciler

Voyage, voyage-law-2'yi voyage-4-large ile aynı olan $0.12/M fiyatla sunar. İki model satıcı, tokenizer, SDK ve asimetrik çağırma şemasını paylaşır. Sadece eğitim verisi vurgusu farklıdır. Her ikisini de CUAD, TechQA ve MedRAG'da genelcilere karşı çalıştırmak, yasal eğitimin etkisini izole eder.

CUAD'da, voyage-law-2 0.9126 ile 1. sırada yer alır: voyage-3.5'in 0.0024 üzerinde, gemini-embedding-001'in 0.0146 üzerinde, voyage-4-large'ın 0.040 üzerinde, qwen3-embedding-8b'nin 0.097 üzerinde ve openai/text-embedding-3-large'ın (0.6430) 0.270 üzerinde. TechQA'da, voyage-law-2 0.9020 ile 4. sırada yer alır, voyage-4-large'ın 0.064 ve voyage-3.5'in 0.063 gerisindedir. MedRAG'da, 0.9409 ile 6. sırada yer alır, voyage-4-large'ın 0.045 ve gemini-embedding-001'in 0.041 gerisindedir. Yasal eğitim, CUAD'da nDCG@3'ü artırır ve diğer iki alanda düşürür.

openai/text-embedding-3-large'da CUAD tarzı geri çağırma sunan bir yasal ekip, 0.6430 nDCG@3 ile voyage-law-2'ye karşı 0.9126'da çalışır, bu da 0.27'lik bir farktır. CUAD'da birinci sırada yer aldığı için voyage-law-2'yi seçen bir sağlık veya destek ekibi, MedRAG'da voyage-4-large'a 0.045 ve TechQA'da 0.064 kaybeder. Alan-uzmanı embedding modelleri, genel geri çağırma için doğrudan yükseltmeler değildir. Endüstriler arasında tek bir "en iyi model" önerisi en az bir yönde yanlış seçer.

Ne zaman voyage-law-2 seçilmeli: Yapısal olarak CUAD'a benzeyen ticari yasal derlemlerde sözleşme-geri çağırma. Ne zaman seçilmemeli: Bu benchmark'taki başka hiçbir şey. voyage-3.5 $0.06/M'dir, CUAD'da voyage-law-2'nin 0.0024 altında kalır ve hem TechQA hem de MedRAG'da onu geçer.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Embedding geri çağırma pipeline'ı nasıl değerlendirildi

Her model, bir bi-encoder aracılığıyla bir sorgu vektörü ve N belge vektörünü kodlar. Sorgu vektörü ile her belge vektörü arasında kosinüs benzerliğini hesaplar, ardından o sorgu için ilk k'yi sıralar. Sorgu başına bir altın belge ve ikili ilgili ile, değerlendirici, altının ilk k'de görünüp görünmediğini ve hangi sırada olduğunu kontrol eder. Bu sıra, nDCG@3'ümüze (birincil), nDCG@10'a (BEIR/MTEB karşılaştırılabilirliği için), Recall@10'a ve Top-1 vuruş oranına beslenir.

Sorgu ve belge kodlayıcıları her zaman aynı fonksiyon değildir. Bazı modeller asimetrik olarak eğitilmiştir: sorgu tarafı bir dönüşüm uygular, belge tarafı başka birini uygular. Bu modelleri simetrik olarak çağırmak ("sadece metni geç") geri çağırma kalitesini sessizce 0.05-0.45 nDCG@10 düşürür. Hattımız dört yola ayrılır:

Neden nDCG@3 birincil. Üretim RAG pipeline'ları ilk 10'u değil, ilk 3 ila 5 parçayı LLM'e besler. Uzun bağlam LLM'lerinde birincillik yanlılığı, sıra 1'in sıra 3'ten daha önemli olmasını sağlar ve LLM bağlamında altının üzerinde yer alan her dikkat dağıtıcı, hayal gücü için bir adaydır. Yeniden sıralayıcılar bu etkiyi düzleştirirdi, ancak çoğu üretim RAG maliyet ve gecikme nedenleriyle olmadan çalışır, bu nedenle embedder'ın sırası SON sıradır.

MedRAG'da, Recall@10, üç Voyage modeli ve qwen3-8b için 1.000 tavanına ulaştı; nDCG@3 aynı sorgularda 0.10'luk bir yayılma korudu. nDCG@10 BEIR karşılaştırılabilirliğini korur ancak operasyonel olarak önemli olan liste üstü farkları yumuşatır.

Embedding modelleri benchmark metodolojisi

Derlemler (alan seçimi + neden)

Farklı geri çağırma özelliklerini zorlayan ve üç en yaygın kurumsal RAG'ı kapsayan üç alan seçtik. Her derlem SHA256 ile sabitlenmiştir, böylece her okuyucu çalıştırdığımız kesin hücreyi yeniden üretebilir.

PM209 (imalat kılavuzları) düşürüldü: 150 sorguda BM25 varlık-kısayol sorununu önlemek için çok küçük olan sadece 209 belge.

Sorgu oluşturma: 3-LLM konsensüs protokolü

Sorgularımız, yazar-doğrulayıcı ayrımı altında LLM-tarafından oluşturulmuştur: sorguyu taslaklayan LLM, kendi geri çağırma hedefini asla yargılamaz, böylece kendi önyargısı yapısal olarak dışlanır. Sadece, hangi yazarın dayanak belgesi olduğuna dair ipucu olmadan 20 adayın karıştırıldığı gören iki yazar-dışı doğrulayıcı, kabulü kararlaştırır. LLM konsensüsünün üzerine, kabul edilen sorgu setinin yaklaşık %25'ini elle gözden geçirdik (yazarın sorgu doğallığı, hedef-belge hizalaması ve R9 uyumluluğu incelemesi, doğrulayıcı oylamadan bağımsız).

Her sorgu, üretim setine girmeden önce aşağıdaki pipeline'dan geçti:

1. Yazar, rastgele örneklenen bir belgede temellenmiş tek bir sorgu taslaklar. Yazar, tek bir modelin dilbilimsel parmak izine hakim olmaması için Claude Sonnet 4.6, Qwen3.6-plus ve Gemini 3 Flash preview arasında döner.
2. Skorer (sabit: Claude Sonnet 4.6), sorguyu bir özgüllük rubriği üzerinden derecelendirir. semantic_bridge ≥ 4 (sorgu, belgeyi sadece isim eşleştirmek yerine, belgeyi semantik olarak tanımlamalıdır) ve unique_referent 3-5 aralığında (tanımlayıcı ankrajlar, derlemde binlerce veya tam olarak bir değil, yaklaşık bir ila beş aday belgeyi tanımlamalıdır) gerektirdik.
3. Zor-negatif kontrolü: BM25 ilk 19 dikkat dağıtıcı belgesini ve hedefi çekeriz ve yakın-tekrar Jaccard kapısını çalıştırırız (>0.5 → tüm sorguyu belirsiz gerçeklik olarak reddet).
4. Doğrulayıcılar (2 model, yazar dahil değil), karıştırılmış 20-aday setinden hedef belgeyi bağımsız olarak seçer. Her iki doğrulayıcı da tam hedef yuvasında anlaşmalıdır veya sorgu atılır. "Yukarıdakilerin hiçbiri" ve "birden fazla doğru cevap" geçerli doğrulayıcı yanıtlarıdır ve sorguyu da atar.
5. Cohen's kappa, doğrulayıcı çifti başına hesaplanır. Her sorgunun tam olarak 2 değerlendirmesi vardı (3-model havuzundan yazar-dışındakiler), bu yüzden 3 model hariç tutulmuş çift, alan başına 3 ayrı kappa değeri verir. Bunları bireysel olarak ve n-ağırlıklı ortalama olarak raporlarız.

Çift başına Cohen's kappa, gözlemlenen anlaşma po ve şansla beklenen pe, kabul edilen sorgular ve her iki doğrulayıcının da bir karara vardığı tüm consensus_fail reddedilenler üzerinde hesaplanır. Hücreler n / po / pe / κ'yı gösterir:

n-ağırlıklı ortalama, çıkarımsal bir istatistik değil, tanımlayıcı bir özetir. Üç çift başına kappayı, her çiftin yargıladığı sorgu sayısıyla ağırlıklandırılmış tek bir sayıya sıkıştırır; kendisi havuzlanmış bir veri seti için bir kappa değeri değildir ve bunun üzerindeki CI, sorgu seviyesinde bootstrap yeniden örnekleme yoluyla hesaplanmalıdır (v2.1'e ertelenmiştir).

Fleiss' kappa veya Krippendorff'un alfası yerine Cohen's kappa kullandık, çünkü her sorgunun tam olarak 2 değerlendirmesi vardı: buradaki doğal çerçeve, 3 çiftli Cohen hesaplamalarıdır, çünkü herhangi iki spesifik modelin anlaşılıp anlaşılmadığını bilmek istiyoruz, 3 değerlendirmenin bir panelinin uyup uymadığını değil. Krippendorff'un alfası tek bir sayı verirdi ancak üç çifti birbirine karıştırır ve çift-seviye varyansı gizlerdi.

Özellikle CUAD: claude × qwen κ=0.974'e ulaşırken claude × gemini ve gemini × qwen κ=0.86 civarında oturur, bu da Gemini-3-flash-preview'ı yasal sözleşmelerde en gürültülü yargıç olarak izole eder. Bu bilgi, ortalamadan ziyade, ortaya çıkarılmaya değer bir metodoloji sinyalidir.

Bir alanı, n-ağırlıklı-ortalama kappa 0.85'i aştıktan sonra üretime yükselttik. Üçü de geçti. MedRAG'ın 0.986'sı etkili bir tavadır: 156 denemede iki anlaşmazlık, her iki doğrulayıcının da içsel olarak tutarlı olduğu ancak biri ilgili-ama-altın-olmayan bir özet seçtiği tıbbi olarak belirsiz hedefler üzerinedir.

R9 varlık-anonimleştirme kuralları (alan başına)

R9, sorgu oluşturma zamanında katı bir kısıtlamadır. Olmazsa, BM25, adlı varlıkların mükemmel anahtar kelime kısayolları olarak hareket ettiği için 0.97 nDCG@10'un üzerine çıkar; yoğun embedding'lerin ölçülecek semantik bir avantajı yoktur. Kural, o alanda gerçekten geri çağırma sinyali taşıyan ankrajların kullanılabilir kalması için alan başına özelleştirilmiştir:

• CUAD katı. Tüm adlı varlıkları yasakla: parti adları, ABD eyalet adları, personel, kesin dolar cinsinden para miktarları, spesifik ürün adları. Tanımlayıcı özgüllüğü zorla: sektör + rol + zamansal çağ + para aralığı + coğrafi kapsam. R9 uygulandıktan sonra BM25 tavanı 0.97'den 0.591'e düştü.
• TechQA Seçenek X. IBM ürün adlarına izin ver (sistem yöneticisi için birincil geri çağırma sinyalidir) EĞER sorgu aynı zamanda ikincil bir ürün-dışı tanımlayıcı ankraj (belirti sınıfı, hata kodu ailesi, versiyon çağ, dağıtım bağlamı) içeriyorsa. Müşteri adları, ABD eyaletleri, personel hala yasak. BM25 tavanı: 0.664.
• MedRAG tıbbi-gevşek + halüsinasyon-güvenli. İlaç adları, hastalık terimleri, anatomi, gen sembolleri, ilaç sınıfı etiketlerini değiştirmenin farmakoloji halüsinasyonu riski taşıdığı için kaynaktan olduğu gibi korundu ("p-chloroamphetamine" bir amfetamin sınıfı serotonin salıcıdır, ancak LLM etiket çevirileri daha nadir ilaçlarda sessizce başarısız olur). Sorgu, saf-ilaç-adı anahtar kelime eşleşmesinin sonucu tek başına taşımaması için ≥2 ilaç-dışı ankraj içermelidir. BM25 tavanı: 0.809 (alanın yapısal özelliği, bir metodoloji hatası değil).

Örnek sorgular

Her örnek için, sorgu, embedding modeline verdiğimiz metindir. Altın belge, sorguyu gerçekten yanıtlayan derlemdaki tek öğedir (509 CUAD sözleşmesi, 28.000 TechQA teknik notu veya 50.000 PubMed özetinden). Geri çağırma görevi şudur: sorguyu embed et, derlemdaki her belgeye karşı kosinüs benzerliğini hesapla ve onları sırala. Eğer altın belge 1. sırada yer alırsa, sorgu nDCG@3'te 1.000 puan alır; 2. sıra 0.631 puan alır; 3. sıra 0.500 puan alır; ilk 3'ün altı 0 puan alır.

CUAD (yasal)

Sorgu:

Altın belge (509 CUAD sözleşmesinden 1'i): ANIXABIOSCIENCESINC_06_09_2020-EX-10.1-COLLABORATION AGREEMENT. Bir Alman firması ile bir ABD biyoteknolojisi arasındaki 2020 iş birliğidir; sözleşme, ilk hastanın klinik denemenin Faz I'ine girdiğinde ödenmesi gereken bir kilometre taşı ödemesini belirtir. Sorgu parti adı, para miktarı veya iki ülke token'ının ötesinde coğrafya içermez; geri çağırma sinyali sektör + zamansal + kilometre taşı yapısıdır.

TechQA (müşteri desteği)

Sorgu:

Altın belge (28.000 IBM teknik notundan 1'i): swg1IY43185, tam olarak o WebSEAL hatasını belgeleyen ve onu düzelten yamayı adlandıran. IBM ürün adı (WebSEAL), TechQA R9 varyantımız altında izin verilmiştir, ancak ayırt edici, hatanın davranışsal deseni ve prompt'lar-sıralama ankrajıdır, sadece ürün adı değil.

MedRAG (sağlık)

Sorgu:

Altın belge (50.000 PubMed özetinden 1'i): PMID:231299, hamile kadınlarda idrar yolu enfeksiyonları olan cephradine ve pivmecillinam arasında yan-etki düşme oranlarını karşılaştıran bir klinik deneme. İlaç adları, ilaç-ve-ilaç karşılaştırmasının geri çağırma sinyali olduğu için korunmuştur, ancak sorgu, saf ilaç-adı BM25 eşleşmesinin hedefi tek başına yerleştirmemesi için hasta popülasyonu + tedavi süresi + yan-etki çerçevesi ekler.

İstatistiksel protokol

Bootstrap %95 güven aralıkları, sorgu başına metrik vektöründe 10.000 yeniden örnekleme, yüzde yöntemi, seed=2026 kullanır. Model A ve Model B arasındaki çiftli anlamlılık için aynı sorgu dizinleri üzerinde çiftli bootstrap (iddia, yeniden örneklerin ≥%95'inin A > B olduğu durumu gerektirir).

Her (model, alan) hücresi için tek çalıştırma. 3-warış çapı varyans katmanı, maliyet nedenleriyle v2.1'e ertelenmiştir. Oturum içi embedding API çağrıları, birkaç milyonluk kosinüs farkı içinde deterministiktir, spot-kontrolde doğrulandı; bu nedenle bootstrap CI, n=150-246'da baskın varyans kaynağı olan sorgu-seviye gürültüsünü yakalar.

Dizinleme ve skorlama

Hiçbir vektör veritabanı. Her model, her derlem belgesini bir kez kodlar; kosinüs benzerliği, L2-normalize edilmiş embedding'lerin yoğun bir matris çarpımı olarak doğrudan NumPy'de hesaplanır. Bu yaklaşıktır, yaklaşık değil, bu yüzden sıra bağları gerçek model bağlarıdır ve ANN artefaktları değildir.

Model başına parçalama kuralı: 512-ctx modeller 512+64 örtüşme ile parçalanır; 8K-20K-ctx modeller bağlamda örtüşme olmadan parçalanır; 32K+-ctx modeller, sığdığında tam belgeyi yerleştirir (CUAD'ın %9 uzun kuyruğu, her non-Nemotron bağlam penceresini aşar ve parçalamaya geri döner; çap-model adaleti, her modele aynı bağlam-büyüklüğü politikasını uygulayarak korunur).

Model başına asimetrik-geri çağırma çağrısı, tek en etkili metodoloji detayıdır ve ayrı bir bölümü hak eder. gemini-embedding-2-preview'in OpenRouter'ın belgelenmiş kod örneği altında 0.46 nDCG@10'a karşı Google'ın Vertex AI formatı altında 0.91'e ulaşmasının nedenidir. Yukarıdaki aile başına tablo için "Embedding geri çağırma pipeline'ı nasıl değerlendirildi" bölümüne bakın.

Değerlendirme çerçevesi: birincil metrik motoru olarak ranx; MTEB lider tablosu gönderimleriyle uyumlu trec_eval tarzı çıktı. Bootstrap CI, değerlendirme geçişinde kaydedilen sorgu başına metrik dizileri üzerinde scripts/bootstrap_ci.py tarafından hesaplanır.

Test edilen modeller

Fiyatlar, 2026-04-23 itibarıyla OpenRouter kataloğundan ve Voyage doğrudan fiyatlandırma sayfasından alınmıştır.

Model başına nDCG@3 %95 bootstrap CI ile

Bootstrap %95 güven aralıkları, sorgu başına metrik vektörünün 10.000 yeniden örnekleme yoluyla hesaplanır (yüzde yöntemi, seed=2026). Bu örnek boyutlarında (n=154-246) 0.03-0.07'lik CI genişlikleri, ~0.03'ün altındaki nokta tahmini boşlukların gürültü içinde olduğunu ve eşitlik olarak ele alınması gerektiğini gösterir. 3-alan ortalama nDCG@3'e göre sıralanmıştır:

Nokta tahmini sıralamalarının %95 CI'da anlamlı olmadığı dört istatistiksel eşitlik:

Sınırlamalar

Bir yazar tarafından insan incelemesi: Bir yazar, doğal, hedef hizalama ve R9 uyumluluğu için son kabul edilen sorguların yaklaşık %25'ini gözden geçirdi.

Daha fazla okuma

Şunlar gibi diğer RAG benchmarklarını keşfedin:

• RAG için En İyi 10 Çok Dilli Embedding Modeli
• RAG için En İyi 16 Açık Kaynak Embedding Modeli
• RAG için En İyi Vektör Veritabanı: Qdrant vs Weaviate vs Pinecone
• Yeniden Sıralayıcı Benchmark: Karşılaştırılan En İyi 8 Model
• Multimodal Embedding Modelleri: Apple vs Meta vs OpenAI
• Hibrit RAG: RAG Doğruluğunu Artırma
• Grafik RAG vs Vektör RAG

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{sar2026,
  author = {Sarı, Ekrem},
  title  = {{Embedding Modelleri: OpenAI vs Gemini vs Voyage}},
  year   = {2026},
  month  = apr,
  howpublished    = {\url{https://aimultiple.com/embedding-models}},
  note   = {AIMultiple. Erişim tarihi: 25 Nisan 2026}
}

Ekrem Sarı

Yapay Zeka Araştırmacısı

Takip Et

Ekrem, AIMultiple'da yapay zeka araştırmacısı olarak çalışmakta olup, akıllı otomasyon, GPU'lar, yapay zeka ajanları ve RAG çerçeveleri üzerine yoğunlaşmaktadır.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder