Yoğun vektör arama, anlamsal niyeti yakalamada mükemmeldir, ancak yüksek anahtar kelime doğruluğu gerektiren sorgularda genellikle zorlanır. Bu açığı ölçmek için, standart yalnızca yoğun vektör kullanan bir arama algoritmasını, SPLADE seyrek vektörlerini de içeren hibrit bir RAG sistemiyle karşılaştırdık.
Gerçek dünyadan 100 zorlu sorudan oluşan özenle seçilmiş bir veri seti üzerinde gerçekleştirdiğimiz değerlendirmemiz, her sistemin en iyi tek cevabı bulma ve doğru şekilde sıralama yeteneğine odaklandı.
Performans karşılaştırması: Yoğun ve hibrit arama yöntemleri
Yaptığımız karşılaştırmalı test, iyi ayarlanmış bir hibrit arama sisteminin, yalnızca yoğun veri tabanlı bir yaklaşıma kıyasla daha doğru ve yüksek sıralamalı sonuçlar sunarak önemli ölçüde daha iyi performans gösterdiğini ortaya koymaktadır.
- Daha iyi sıralama hassasiyeti (MRR +%18,5): Hibrit sistem, Ortalama Karşılıklı Sıralamayı 0,410'dan 0,486'ya yükseltti. Bu önemli iyileşme, en dikkat çekici sonuçtur çünkü tek en iyi cevabın en üst sırada görünme olasılığını önemli ölçüde artırarak daha iyi bir kullanıcı deneyimine doğrudan katkıda bulunur.
- Geliştirilmiş geri çağırma oranı (Recall@5 +%7,2): Hibrit model, Recall@5 puanını 0,655'ten 0,702'ye yükseltti. Bu, modelin en iyi 5 sonuç içinde doğru cevabı daha tutarlı bir şekilde bulma yeteneğini ve yalnızca yoğun veriye dayalı yaklaşımın tamamen gözden kaçıracağı belgeleri başarıyla ortaya çıkarma yeteneğini göstermektedir.
Değerlendirme ve ölçütlerimizi ayrıntılı olarak anlamak için, Hibrit RAG için kıyaslama metodolojimize bakın.
Doğruluk ve gecikme süresi: Performans dengesi
Hibrit sistem üstün doğruluk sağlarken, bu gelişmiş performans ölçülebilir bir hesaplama maliyetiyle birlikte gelir.
Hibrit sistem, sorgu başına ek 201 ms gecikme süresi getirerek işlem süresinde %24,5'lik bir artışa neden olur. Gecikme ölçüm sürecimizi ve zamanlama metodolojimizi ayrıntılı olarak anlamak için gecikme ölçüm metodolojimize bakın.
Fazladan zaman nereye gidiyor?
Hibrit sistemdeki 201 ms'lik gecikme artışı, tüm işlemler arasında eşit olarak dağılmamıştır. Detaylı zamanlama analizimiz, hesaplama maliyetinin tam olarak nerede olduğunu ortaya koymaktadır:
Bu analiz, gecikmenin büyük çoğunluğunun, sistemin hem yoğun hem de seyrek vektör oluşturması gereken ilk vektör oluşturma adımından kaynaklandığını açıkça göstermektedir.
Gerçek arama ve birleştirme adımları oldukça hızlı olup, toplam sürenin %7'sinden daha azını oluşturmaktadır. Örneğin, yoğun ve seyrek vektör üretimi bu darboğazı azaltmak için paralelleştirilebilir.
Performans farklılıklarının ardındaki olası nedenler
Anlamsal hatırlama ile sözcüksel kesinlik arasındaki fark
Yoğun arama, kullanıcı niyetini yakalamada etkili olan ancak kesin terimleri ve kısıtlamaları yeterince önemsemeyen anlamsal benzerliğe dayanır. Bu durum, belirli anahtar kelimelere veya özelliklere bağlı belgeleri tutarlı bir şekilde bulma yeteneğini sınırlar.
Karşılaştırma testinde, yalnızca yoğun veri kullanan arama motoru genellikle sorguların genel amacına uygun sonuçlar verdi, ancak tam içerik adları gibi katı kısıtlamaları karşılayamadı.
Çift sinyal alma kapsamı
Hibrit RAG, yoğun ve seyrek temsilleri birleştirerek sistemin belgeleri hem anlamsal hem de sözcüksel perspektiflerden değerlendirmesine olanak tanır. Bu çift yönlü kapsam, ilgili belgelerin alınma ve yüksek sıralarda yer alma olasılığını artırır.
Birleştirme yoluyla sıralama hassasiyeti
Karşılıklı Sıralama Birleştirme (RRF), ham benzerlik puanlarına güvenmek yerine, birden fazla arama sinyalinde iyi sıralamaya sahip belgeleri önceliklendirir. Bu sıralama tabanlı birleştirme, hem anlamsal alaka düzeyi hem de anahtar kelime hassasiyeti uyumlu olduğunda en iyi sonuç doğruluğunu artırır.
Vektör oluşturma maliyeti
Hibrit arama, her sorgu için hem yoğun hem de seyrek vektörler oluşturmayı gerektirir; bu da arama başlamadan önce hesaplama yükünü artırır. Bu ek ön işleme, uçtan uca gecikmeyi doğrudan etkiler.
Parametre ayarlamasına duyarlılık
Hibrit performans büyük ölçüde birleştirme parametrelerinin dengesine bağlıdır. Seyrek sinyallere aşırı ağırlık vermek, anlamsal alaka düzeyini bastırabilir ve sonuçları bozabilir.
Hibrit RAG sistem mimarisi
Hibrit sistemimiz, her biri farklı sorgu özelliklerini ele alan iki tamamlayıcı arama yaklaşımını, özenle tasarlanmış paralel işleme mimarisi aracılığıyla bir araya getiriyor.
Yoğun bileşen: Semantik anlayış
- Model: OpenAI text-embedding-3-small
- Güçlü Yönü: Anlamsal anlamı ve bağlamı yakalar , sorgularda belirli anahtar kelimeler bulunmasa bile kullanıcı niyetini anlamada mükemmeldir.
- Kullanım örneği: "Mide dostu ağrı kesici" gibi bir sorgu, "dostane" kelimesi tam olarak kullanılmasa bile , "sindirim sistemime nazik geldi" veya "mide rahatsızlığına neden olmadı" gibi kavramlardan bahseden belgelerle başarılı bir şekilde eşleşecektir.
Seyrek bileşen: Anahtar kelime hassasiyeti
- Model: SPLADE (Seyrek Sözcüksel ve Genişletme modeli)
- Güçlü Yönü: Yalnızca anlamsal bir aramanın gözden kaçırabileceği teknik adlar, model numaraları ve belirli ürün özellikleri de dahil olmak üzere ayırt edici anahtar kelimeleri belirler ve bunlara yüksek önem atar.
- Kullanım örneği: "Asetaminofen" gibi belirli bir terim içeren bir sorgu, tam anahtar kelime eşleşmesi gerektirir. SPLADE, bu kesin terimi içeren belgelerin yüksek sıralamada yer almasını sağlar; bu, yoğun bir modelin "ağrı kesici" gibi genellemeler yapıp belirli bileşeni gözden kaçırabileceği bir görevdir.
Karşılıklı sıra birleştirme (RRF) algoritması
Kullanıcı sorgusu, hem OpenAI hem de SPLADE modelleri tarafından eş zamanlı olarak vektörleştirilir ve sonuç olarak iki bağımsız sıralı liste elde edilir. Kritik adım, bu listeleri Karşılıklı Sıralama Birleştirme (RRF) kullanarak birleştirmektir.
RRF, uyumsuz puanlama ölçeklerine sahip sistemlerden gelen sonuçları birleştirme zorluğunu çözüyor (örneğin, 0,89'luk yoğun bir puan ile 95,4'lük seyrek bir puan). Ham puanları kullanmak yerine, tamamen belge sıralamasına (1., 2., 3.) odaklanıyor.
Örnek : "Alüminyum ve paraben içermeyen doğal deodorant" sorgusu için
- Yoğun arama, "organik, kimyasal içermeyen deodorant" hakkındaki bir yorumu 1. sırada gösteriyor (anlamsal alaka düzeyi).
- Seyrek arama, "alüminyum içermez" ve "paraben içermez" kelimelerini içeren bir yorumu 1. sırada gösteriyor (tam anahtar kelimeler).
- RRF birleştirme, her iki listede de üst sıralarda yer alan belgelerin en üst sıraya çıkmasını sağlar.
Anlam bakımından alakalı olan VE tam olarak anahtar kelimeleri içeren bir yorum en yüksek toplam puanı alır.
Nihai puan şu formül kullanılarak hesaplanır:
Burada k=60 ve rank_i, belgenin her arama sonucundaki konumudur. sparse_boost parametresi (1.2), anlamsal anlayışı ezmeden anahtar kelime hassasiyetini hafifçe destekler.
Füzyon parametre ayarlamasının rolü
Araştırmamızın önemli bir bulgusu, iki arama sistemini birleştirmenin performans artışını garanti etmediğidir. Başlangıçtaki hibrit yapılandırmamız, yalnızca yoğun veri tabanlı temel yapılandırmadan daha kötü performans göstererek sadece 0,390'lık bir MRR (Metin Okuma Oranı) elde etti.
Sorun, yanlış ayarlanmış bir füzyon parametresinden kaynaklanıyordu:
- Başlangıçtaki sorunlu ayar : sparse_boost = 3.0
- Optimize edilmiş ayar : sparse_boost = 1.2
İlk yapılandırmada, SPLADE'den gelen anahtar kelime eşleşmelerine, yoğun modelden gelen anlamsal eşleşmelere göre üç kat daha fazla ağırlık verildi. Bu agresif ağırlıklandırma, anlamsal olarak alakasız ancak anahtar kelime bakımından zengin belgelerin, bağlamsal olarak uygun sonuçları gölgede bırakmasına ve genel performansı düşürmesine neden oldu.
sparse_boost = 1.2 optimizasyonu, anlamsal anlayışı geçersiz kılmadan anahtar kelime eşleşmelerine hafif bir öncelik tanır; bu denge, %18,5'lik MRR iyileştirmesini elde etmek için kritik öneme sahip olduğunu kanıtlamıştır.
Hibrit veri alma yönteminin üstün olduğu durumlar: Çoklu kısıtlama sorgusu
Hibrit sistemlerin performans avantajı, yalnızca yoğun veri tabanlı yaklaşımları zorlayan belirli sorgu türlerinde belirgin hale gelir. "Sağlık ve Kişisel Bakım" veri setimizden yaygın ve zorlu bir sorgu şöyledir:
"Hem alüminyum hem de paraben içermeyen doğal bir deodoranta ihtiyacım var."
Bu sorgu iki ayrı bölümden oluşmaktadır: geniş bir anlamsal amaç ("doğal deodorant") ve iki katı anahtar kelime kısıtlaması ("alüminyumsuz", "parabensiz").
Yoğunluğa dayalı bir sistemin tepkisi: Yoğunluğa dayalı bir arama sistemi, "doğal deodorant" amacını anlamada mükemmeldir. "Nazik, organik deodorantlar"dan bahseden yorumları bulacaktır. Ancak, parabenlerden hiç bahsetmese bile, "tamamen doğal" ve "alüminyumsuz" olduğunu söyleyen bir yorumu yüksek puanlayabilir. Sistem, temel amacı doğru bir şekilde yakalar ancak vazgeçilmez kısıtlamalardan birinde başarısız olur.
Hibrit sistemin avantajı: Hibrit sistem bu sorunu ikili bir yaklaşımla ele alıyor:
- Seyrek arama (hassas filtre): SPLADE modeli, tam olarak "alüminyumsuz" ve "parabensiz" anahtar kelimelerini içeren belgeleri anında bulur.
- Yoğun arama (alaka düzeyi filtresi): OpenAI modeli aynı anda "doğal, etkili deodorant" ile anlamsal olarak ilgili belgeleri arar.
- Birleştirme (RRF): RRF daha sonra her iki sıralı listeye de bakar. Örneğin, bir ürünü "doğal", "etkili", "alüminyumsuz" ve "parabensiz" olduğu için açıkça öven parlak bir değerlendirme gibi, her iki listede de yüksek sırada yer alan bir belge, mümkün olan en yüksek birleştirilmiş puanı alır ve 1 numaralı sıraya yükseltilir.
Yeniden sıralayıcılar: İsteğe bağlı ikinci bir alma aşaması
Yeniden sıralayıcılar, iki aşamalı arama süreçlerinde ikinci aşama filtreleme işlemi olarak çalışır: sistem önce geniş bir aday belge kümesi alır ve ardından çapraz kodlayıcı yeniden sıralayıcı, sorgu alaka düzeyine göre bunları puanlar ve yeniden sıralar. Uygulamada, bir sistem düzinelerce hatta yüzlerce aday alabilir (örneğin, hibrit yoğun-seyrek arama kullanarak, 50-100 öğe civarında) ve ardından dil modeli için en alakalı birkaç pasajı seçmek üzere yeniden sıralayıcıyı kullanabilir. Bu iki aşamalı yaklaşım, en üst sıralarda yer almayan alakalı pasajları, nihai seçime dahil ederek kurtarabilir.
Yeniden sıralama kıyaslamasında, yaklaşık 145 bin İngilizce Amazon yorumu üzerinde 8 yeniden sıralama modelini test ettik ve en iyi yeniden sıralama modelinin, yoğun bir arama motoruna kıyasla Hit@1 oranını %62,67'den %83,00'e çıkardığını ve sorgu başına 250 ms'den daha az gecikme eklediğini gördük.
Bu hibrit RAG kıyaslama testi, yeniden sıralama aşamasını içermemektedir. Buradaki amacımız, RRF aracılığıyla yoğun ve seyrek arama sinyallerinin birleştirilmesinin etkisini izole etmektir. Hibrit arama üzerine bir yeniden sıralayıcı eklemek doğal bir sonraki adımdır ve daha fazla doğruluk kazanımı sağlayabilir, ancak iyileştirmeleri arama yöntemine veya yeniden sıralama modeline atfetmeyi zorlaştıran karıştırıcı bir değişken ortaya çıkaracaktır.
Hibrit RAG için kıyaslama metodolojisi
Değerlendirme metodolojimiz, yalnızca yoğun veri tabanlı ve hibrit arama sistemleri arasında adil, şeffaf ve tekrarlanabilir bir karşılaştırma sağlamak üzere tasarlanmıştır.
Test kurulumu ve veri kümesi
- Bilgi kümesi: Amazon Müşteri Yorumları veri setinden (Sağlık ve Kişisel Bakım kategorisi) 494.094 gerçek dünya kullanıcı yorumundan oluşan bir veri seti kullandık. 1 .
- Vektör veritabanı: İki ayrı koleksiyonu barındırmak için Qdrant'ı kullandık.
- Yalnızca yoğun verilerden oluşan koleksiyon yalnızca OpenAI vektör sakladı.
- Hibrit koleksiyon, her belge için hem yoğun (dense) hem de seyrek (text-sparse) bir vektör depolamak üzere Qdrant'ın "adlandırılmış vektörler" özelliğini kullandı.
- Benzerlik ölçütü: Tüm yoğun vektör aramalarında Kosinüs Benzerliği kullanılmıştır.
Test Sorguları: Seçim süreci
Kişisel deneyimlere veya önyargılara dayalı değerlendirmelerden kaçınmak için, üç aşamalı, kod tabanlı bir süreçle 100 sorudan oluşan yüksek kaliteli bir test seti oluşturduk:
- Ön İşleme: Ham Amazon Soru-Cevap verilerini programatik olarak temizledik. 2 Anlamsız veya düşük kaliteli soruları filtreledik. Her soru için, en çok "yararlı" kullanıcı oyu alan yanıtı seçerek bir "gerçek değer" belirledik.
- Zorluk sınıflandırması: Tüm soruları zorluk derecesine göre puanlamak ve sınıflandırmak için kural tabanlı bir yöntem uyguladık. Karşılaştırmalı ifadeler içeren ("arasındaki fark," "karşılaştırma," "daha iyi") veya görüş soran ("deneyiminiz nedir") sorular, basit olgusal sorulara ("boyutları nelerdir") göre daha zor olarak puanlandı.
- Son seçim: Son 100 soruluk kıyaslama setini "zor" kategorisinden manuel olarak seçtik. Bu, her bir bilgi erişim sisteminin sınırlarını test ettiğimizden ve performans farklılıklarının en belirgin olduğu noktalarda çalıştığımızdan emin olmamızı sağlar.
Değerlendirme ölçütleri
- Recall@5 (Başarı oranı): Bu ölçüt temel bir soruyu ele alır: "Sistem doğru bilgiyi buldu mu?" Doğru cevabın ilk 5 arama sonucunda herhangi bir yerde göründüğü sorguların yüzdesini ölçer. Yüksek bir Recall@5 puanı, ilgili bilgileri başarıyla ortaya çıkaran etkili bir sistemi gösterir.
- MRR (Ortalama Karşılıklı Sıralama): Bu , "Kullanıcı doğru bilgiyi ne kadar hızlı buldu?" sorusuna cevap veren, sıralamaya duyarlı bir ölçümdür. Doğru cevabı ilk sırada gösterenlere yüksek puan (1,0 puan) verilirken, daha düşük sıralar için puanlar azalır (2. için 0,5, 3. için 0,33, vb.). Yüksek bir MRR, en doğru sonucun en üstte yer aldığını gösterdiği için kullanıcı deneyimi açısından çok önemlidir.
Gecikme ölçümü
Kapsamlı bir performans analizi sunmak için, hem yalnızca yoğun (dense) hem de hibrit sistemler için uçtan uca sorgu gecikmesini ölçtük. Bu ölçüm, hibrit yaklaşımın sağladığı doğruluk kazanımlarının gerçek dünyadaki maliyetini anlamak için kritik öneme sahiptir.
Bu süreç, yüksek hassasiyetli time.perf_counter() fonksiyonu kullanılarak Python değerlendirme komut dosyalarımızda uygulandı. 100 test sorgusunun her biri için, sorgunun alma fonksiyonuna gönderildiği andan itibaren belgelerin nihai, sıralı listesinin döndürülmesine kadar geçen toplam süreyi ölçtük.
Hibrit sistem için, üç farklı aşamasını bağımsız olarak zamanlayarak daha ayrıntılı bir analiz gerçekleştirdik:
- Vektör oluşturma : Hem yoğun vektörün (OpenAI adresine yapılan bir API çağrısı aracılığıyla) hem de seyrek vektörün (yerel SPLADE model çıkarımı aracılığıyla) oluşturulması için gereken toplam süre.
- Arama işlemleri : Qdrant vektör veritabanına karşı, biri yoğun vektör diğeri seyrek vektör için olmak üzere iki ayrı arama sorgusunun yürütülmesi için geçen süre.
- Birleştirme (RRF) : Karşılıklı Sıralama Birleştirme algoritmasının iki sonuç kümesini birleştirip nihai, yeniden sıralanmış listeyi oluşturması için gereken hesaplama süresi.
Sonuçlarımızda bildirilen nihai gecikme süreleri, 100 test sorgusunun tamamında kaydedilen sürelerin aritmetik ortalamasını temsil eder ve daha anlaşılır olması için milisaniyeye (ms) dönüştürülmüştür. Bu yaklaşım, gecikme ölçümlerimizin sağlam ve ortalama kullanıcı deneyimini temsil eder olmasını sağlar.
Sınırlamalar ve kapsam
Kıyaslama çalışmamız, özellikle Amazon yorum verilerini kullanarak sağlık ve kişisel bakım alanına odaklanmaktadır. Performans modelleri, farklı dilsel özelliklere veya teknik terminoloji gereksinimlerine sahip diğer alanlarda farklılık gösterebilir.
Değerlendirme, her bir incelemeyi tek bir vektör olarak ele alarak belge düzeyinde ayrıntılı bir şekilde yapılmıştır. Sonuçlar, kullanılan gruplandırma stratejisine veya ayrıntılı arama yaklaşımına bağlı olarak değişebilir.
Daha fazla okuma
Aşağıdakiler gibi diğer RAG kıyaslamalarını inceleyin:
Çözüm
Bu karşılaştırma, iyi ayarlanmış bir hibrit arama sisteminin, zorlu gerçek dünya sorguları için yalnızca yoğun arama yaklaşımına kıyasla önemli bir performans avantajı sunduğunu doğrulamaktadır. Anlamsal ve sözcüksel aramayı akıllıca birleştirerek, hibrit model sıralama doğruluğunu artırır ve daha doğru, daha yüksek sıralamalı sonuçlar üretir.
Karşılaştırma çalışmamızdan elde edilen temel sonuçlar şunlardır:
- Hibrit sistem, yalnızca yoğun sistemlere göre daha iyi performans gösteriyor: Optimize edilmiş hibrit sistem, Recall@5'te %7,2'lik bir artış ve MRR'de %18,5'lik önemli bir artış sağlayarak, en iyi cevabı hem bulma hem de doğru şekilde sıralama konusunda üstün yeteneğini kanıtladı.
- Ayarlamalar vazgeçilmezdir: Yoğun ve seyrek aramayı birleştirmek yeterli değildir. Başlangıçtaki, ayarlanmamış hibrit sistemimiz, yalnızca yoğun arama kullanan temel sisteme göre daha düşük performans gösterdi. Performans artışı için birleştirme parametrelerinin stratejik optimizasyonu şarttı.
- Doğruluk bir bedel karşılığında gelir: Hibrit sistemin geliştirilmiş doğruluğu, sorgu başına yaklaşık 201 ms (%24,5) gecikme artışına neden oldu. Bu denge, sistem tasarımcıları için kritik bir husustur; hassasiyet ihtiyacı ile gerçek zamanlı performans gereksinimleri arasında bir denge kurulması gerekir.
SSS'ler
RAG, Büyük Dil Modeli (LLM) gibi üretken bir modelin, yalnızca kendi iç eğitim verilerine güvenmek yerine, harici verilere dayalı olarak yanıtlar üretmesine olanak tanır. Bu, yanıtları elde edilen bilgilere dayandırarak olgusal doğruluğu artırır.
Ancak, tüm veriler aynı değildir. Bazı sorgular anlamsal anlayış gerektirirken, diğerleri özellikle yapılandırılmış sorgular veya karmaşık bilgilerden çıkarılan varlıklarla uğraşırken hassas anahtar kelime eşleştirmesine dayanır. Bu nedenle hibrit arama artırılmış üretim (Hibrit RAG) çok önemlidir. Yoğun anlamsal aramayı seyrek sözcüksel aramayla birleştirerek hem bağlamsal alaka düzeyini hem de anahtar kelime hassasiyetini sağlar. Bu hibrit yapı, sistemin hem yapılandırılmış hem de yapılandırılmamış metin verilerinden bağlamı almasını ve daha doğru yanıtlar vermesini sağlar.
Mevcut uygulama, genellikle incelikli görüşler, teknik detaylar ve çeşitli dilsel kalıplar içeren ürün yorumları gibi yapılandırılmamış metin verilerine odaklanmaktadır. Sistem, hem anlamı hem de tam terimleri yakalayabilmesi için birden fazla arama tekniği kullanmaktadır.
İleriye dönük olarak, Hibrit RAG, yapılandırılmış bilgiler ve grafik verilerini içerecek şekilde genişletilebilir; bu sayede bilgi grafiklerinden elde edilen gerçekleri incelemelerdeki duygu veya bağlamla entegre ederek daha karmaşık sorguları yanıtlayabilir. Bu, ham verileri, yapılandırılmış belgeleri ve anlatı içeriğini birleştiren ve yanıt oluşturma sırasında daha zengin bir bağlam sağlayan birleşik bir bağlamla sonuçlanacaktır.
Kullanıcı bir sorgu gönderdiğinde, sistem iki paralel arama bileşenini etkinleştirir: yoğun bir arama motoru (anlamsal) ve seyrek bir arama motoru (sözcüksel). Yoğun model geniş anlamları ve ilişkileri yakalarken, SPLADE tabanlı seyrek model anahtar terimlere odaklanır.
Bu iki sonuç kümesi, farklı arama yöntemleri arasındaki puanlama uyumsuzluğunu çözen Karşılıklı Sıralama Birleştirme (RRF) kullanılarak birleştirilir. Bu hibrit yaklaşım, sistemin bir sorgunun farklı bölümlerini karşılayan birden fazla belgeyi almasına olanak tanıyarak, mevcut en alakalı ve kapsamlı bağlama dayalı olarak tutarlı yanıtlar üretme yeteneğini geliştirir.
Evet, hibrit yaklaşım daha fazla kaynak gerektirir. Çift vektör üretimi, çift arama işlemleri ve birleştirme mantığı nedeniyle daha fazla hesaplama kaynağı gerektirir. Bu da daha uzun sorgu işleme süreleri ve büyük veri hacimlerini işlemek için ek altyapı ihtiyacı anlamına gelir.
Bununla birlikte, özellikle Ortalama Karşılıklı Sıralama (MRR) ve Geri Çağırma@5'teki performans kazanımları, olgusal doğruluk ve eksiksizliğin önemli olduğu uygulamalar için bunu değerli bir ödün haline getiriyor. Titiz bir kıyaslamada karşılaştırıldığında, hibrit yöntem, yalnızca yoğun sistemlere kıyasla sürekli olarak bağlama daha uygun ve hassas bilgiler elde etti.
Yalnızca yoğun gömme işlemlerine dayanan geleneksel RAG tekniklerinin aksine, Hibrit RAG, yanıt kalitesini en üst düzeye çıkarmak için birden fazla arama yönteminden yararlanır. Çift arama tasarımı sayesinde, belirsizden son derece spesifik olana kadar daha geniş bir sorgu türü yelpazesini destekler.
Hibrit yapısı, özellikle yapılandırılmış bilgileri (örneğin, "paraben içermez") daha geniş amaçlarla (örneğin, "doğal deodorant") birleştirmek gibi birden fazla kısıtlamanın karşılanması gereken kullanım durumlarında onu son derece güçlü kılıyor. Bu karşılaştırmalı analiz, Hibrit RAG'ın hem yoğun hem de seyrek sinyallere dayalı olarak daha dengeli ve uyarlanabilir bir yanıt sunduğunu göstermektedir.
Evet, Hibrit RAG'ın gelecekteki yönelimleri arasında metnin yanı sıra bilgi grafikleri ve yapılandırılmış verilerin entegre edilmesi de yer alıyor. Bu sayede, yapılandırılmış sorgulara yanıt verebilir ve grafik tabanlı ilişkileri (ürün kategorileri veya içerik etkileşimleri gibi) serbest biçimli kullanıcı yorumlarıyla sentezleyen yanıtlar sağlayabilir.
Bu, sistemin hem kesin olgusal yapılara hem de incelikli insan anlatılarına dayalı yanıtlar üretmesine olanak tanıyarak hem olgusal doğruluğu hem de kullanıcı memnuniyetini artıracaktır.
Hibrit RAG iki tür veri alma işlemi gerçekleştirip sonuçları birleştirdiği için doğal olarak daha fazla hesaplama kaynağı kullanır. Vektör üretimi, özellikle hem yoğun hem de seyrek gömme işlemlerinin birlikte üretilmesi durumunda, toplam gecikmenin %90'ından fazlasını oluşturur. Yalnızca yoğun veriye dayalı bir yaklaşımla karşılaştırıldığında, bu gecikmeyi artırır (~kıyaslama testimizde sorgu başına 201 ms).
Referans Linkleri
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.