Vektör tabanlı RAG, anlamsal benzerliğe göre belgeleri alır. Grafik tabanlı RAG ise bunun üzerine bir bilgi grafiği ekler, belgelerinizden varlıkları ve ilişkileri çıkarır, bunları bir grafik veritabanında saklar ve sorgu zamanında vektör aramasıyla birlikte grafik geçişini kullanır.
Bu ek katmanın, yaklaşık 900 sorgu içeren 3.904 Amazon elektronik ürün yorumu üzerinde arama ve yanıt doğruluğunu iyileştirip iyileştirmediğini karşılaştırdık.
Sorgu türüne göre arama doğruluğu sonuçları
Örnek sorular:
- Özel arama: "Bu Bluetooth kulaklığın pil sorunlarıyla ilgili bir inceleme bul."
- Varlık toplama: “Sony ürünleriyle ilgili en yaygın şikayetler nelerdir?”
- Belgeler arası akıl yürütme: "Tüm elektronik cihazlarda en sık karşılaşılan şikayet nedir?"
Vektör tabanlı RAG, belirli belgeleri daha iyi buluyor (%54'e karşı %35). Grafik tabanlı RAG, toplama sorguları için ilgili sonuçları 3 kat daha sık (%23'e karşı %8) ve belgeler arası çıkarım için 4 kat daha sık (%33'e karşı %8) getiriyor.
Aradaki fark, her bir işlem hattının şu sorguyu nasıl ele aldığından kaynaklanıyor: "Hangi markaların şarj konusunda en çok şikayeti var?"
- Vector RAG, soruyu bir gömme (embedding) olarak kodlar ve en benzer 10 yorumu bulur. Sonuçlar anlamsal olarak "şarj etme" ile ilişkilidir, ancak rastgele markalardan gelmektedir.
- Graph RAG, sorudan "ücretlendirme" ve "şikayet" kelimelerini çıkarır, bilgi grafiğinde Marka → Ürün → Yorum → Olumsuz Özellik yolunu izler ve yorumları markaya göre gruplandırarak döndürür. Tek sorgu, <1ms.
Graph RAG nedir?
Graph RAG, vektör arama algoritmasının üzerine bir bilgi grafiği ekler. Vektör arama algoritması çalışmaya devam eder. Grafik, vektör arama algoritmasının yapamadığı yapılandırılmış hesaplamalar ekler.
İndeksleme sırasında her belge iki yoldan geçer. Bir LLM, varlıkları (markalar, özellikler, duygu durumu) çıkarır ve bunları bir grafik veritabanında düğümler ve kenarlar olarak depolar. Aynı belgeler bir vektör indeksine yerleştirilir ve orada saklanır.
Sorgulama sırasında sistem, hem gömme benzerliği hem de grafik geçişi olmak üzere iki yoldan veri alır. Sonuçlar tek bir sıralı listede birleştirilir. Toplama sorguları için grafik, tam veri kümesinden sayımları ve gruplamaları önceden hesaplar. Bu önceden hesaplanmış toplama, Grafik RAG'ı Vektör RAG'dan ayıran şeydir.
Bilgi grafiği nasıl oluşturulur?
Bir LLM, her bir yorumu okur ve varlıkları ve ilişkileri çıkarır. Örneğin, tek bir yorumdan:
"Sony WH-1000XM4'ün gürültü engelleme özelliği muhteşem, ancak pili reklamda belirtildiği gibi 30 saat değil, sadece 20 saat dayanıyor."
LLM'den elde edilen veriler:
- Marka: Sony
- Ürün: WH-1000XM4
- Olumlu özellik: gürültü engelleme
- Olumsuz özellik: pil ömrü
3.904 inceleme 16.120 düğüm ve 23.940 kenar üretir. Şema, tek bir grafik geçişiyle hangi soruların yanıtlanabileceğini belirler.
HAS_POSITIVE ve HAS_NEGATIVE'i ayırmak, "Sony için en çok şikayet edilenler"i tek bir geçiş haline getirir. Duygu etiketli kenarlar olmadan, LLM sorgu anında her yorumu okuyup sınıflandırır.
Eğer “Sony” çıkarılmazsa, hiçbir grafik taraması onu bulamaz. Eğer “bataryalar” ve “batarya ömrü” aynı düğüme çözümlenmezse, sayılar yanlıştır. Farklı alanlar farklı şemalara ihtiyaç duyar. Yanlış bir şema, grafın yetenek kazandırmadan karmaşıklık eklemesi anlamına gelir.
Graph RAG yanıtları nasıl bulur ve üretir?
Örnek: “Sony ürünleriyle ilgili en yaygın şikayetler nelerdir?”
- Varlık çıkarma: Gemini Flash şu markaları çıkarıyor: [“sony”], duygu durumu: negatif (~0,001$, önbelleğe alınmış)
- Vektör arama: e5_base kosinüs benzerliği, ilk 30 sonuç (varlık çıkarımı yok, saf gömme eşleşmesi)
- Grafik arama: Çıkarılan varlıklar kullanılarak Cypher geçişi, ilk 30 sonuç
- RRF birleştirme:
1/(k + rank_vector) + 1/(k + rank_graph), k=60 ile, ilk 10 sonuç döndürüldü. - Cypher toplama: Tam grafikten önceden hesaplanmış sayılar, alınan değerlendirmelerle birlikte LLM'ye iletilir.
5. adımda yer alan Cypher toplama işlemi, "sony" için Marka → Ürün → Yorum → Olumsuz Özellik yolunu izler, her özelliği sayar ve 1 milisaniyeden kısa sürede "uyumluluk: 7, dayanıklılık: 4, fiyat: 3" sonucunu döndürür. Bu önceden hesaplanmış yanıt, LLM'nin alınan yorumlarla birlikte aldığı veridir.
- Vector RAG, soruyu bir gömme (embedding) olarak kodlar ve anlamsal olarak benzer belgeleri bulur. Varlık çıkarımı yapılmaz.
- Graph RAG ayrıca LLM aracılığıyla sorudan varlıkları çıkarır, bunları Cypher geçişlerine besler, grafik sonuçlarını RRF aracılığıyla vektör sonuçlarıyla birleştirir ve LLM için toplama işlemlerini hesaplar.
Veri kümesi boyutuna göre çıkarma maliyeti
Graph RAG'ın Vector RAG'a göre ek maliyeti, indeksleme sırasında varlık çıkarımıdır:
Sorgulama sırasında grafik taraması ücretsizdir (kendi sunucunuzda barındırılır, <1ms). Sorgudan varlık çıkarma işlemi sorgu başına yaklaşık 0,001 ABD doları tutarındadır (önbelleğe alınabilir). Yeni belgeler kademeli olarak eklenir.
Doğruluk farkı hesaplamadan kaynaklanmaktadır.
Grafın Cypher toplama fonksiyonuyla ve fonksiyon olmadan 238 toplama sorgusu üzerinde üretim doğruluğunu ölçtük:
Varsayılan: Grafik RAG, tam bilgi grafiğinden (3.904 yorum) hesaplanan Cypher toplamasını alır. Vektör RAG ise ham yorum metnini alır.
Grafik bağlamı yok: Her iki işlem hattı da yalnızca ham inceleme metnini alır. Herhangi bir toplama işlemi yapılmaz.
Cypher toplama işlemi olmadan, Grafik RAG %73,5'ten %23,1'e düşüyor ve Vektör RAG'ın %18,5'ine yaklaşıyor. 50 puanlık fark, veri alma işleminden kaynaklanmadı. Hesaplamadan kaynaklandı: LLM bir yanıt üretmeden önce grafik, tüm veri kümesi üzerinde gezinir, gruplandırır ve sayar.
Tüm nesiller arasındaki farklılıklar p < 0 düzeyinde anlamlıdır.
Grafik rag kıyaslama metodolojisi
Veri seti: Amazon Reviews Multi (Kaggle)'dan alınmış 3.904 adet İngilizce elektronik ürün yorumu, en az 100 karakter.
Gömme modeli: çok dilli-e5-base (768 boyutlu). Qdrant'ta yoğun gömme işlemleri (bellekte).
Bilgi grafiği: 16.120 düğüm, 23.940 kenar. Varlık çıkarımı Gemini 2.0 Flash (google/gemini-2.0-flash-001, OpenRouter üzerinde, toplam 2,29 $) aracılığıyla yapıldı. Grafik veritabanı olarak Neo4j kullanıldı.
Sorgu kümeleri (toplam 905):
- Grafik yapılı (503): Grafik desenlerinden oluşturulmuştur. Grafik geçişini test eder.
- Grafikten bağımsız (150): İnceleme metninden LLM tarafından oluşturulmuştur. Doğal dil sorgularını test eder.
- Harici (252): LLM tarafından grafikten bağımsız olarak oluşturulmuştur. Beş tür: belge arama (65), marka toplama (24), özellik toplama (50), marka karşılaştırma (50), küresel toplama (60) ve 3 yıldız derecelendirme sorgusu. Grafik avantajlarının grafikten türetilen soruların bir sonucu olmadığını doğrular.
Boru hatları:
Nesil: En iyi 10 inceleme Gemini Flash'a iletildi. Grafik RAG ayrıca Cypher toplama işleminden de geçiyor. Bulanık kapsama eşleştirmesi (eşik 0,80). Katı mod (0,90) sıralamayı koruyor: Grafik RAG %68,9, Vektör RAG %13,5.
İstatistiksel doğrulama: McNemar testi, p < 0,001, Bonferroni düzeltmesi. Grafik RAG oluşturma doğruluğu için Bootstrap %95 güven aralığı: %68,1-%79,0.
Sınırlama
Tek alan, küçük veri kümesi : 3.904 elektronik ürün incelemesi. Farklı alan, farklı şema, farklı sonuçlar.
Çözüm
Grafik tabanlı RAG, soruda birçok belge üzerinde hesaplama gerektiğinde en iyi sonucu verir: toplama, sayma, gruplama ve karşılaştırma. Bu tür sorgular için, vektör tabanlı RAG'ın %18,5'lik oranına karşılık %73,5 oranında doğru cevap üretir. Grafiğin hesaplama özelliği olmadan bu fark ortadan kalkar (%23,1'e karşı %18,5).
Belirli belge aramaları için Vektör RAG daha iyidir (%54'e karşı %35). Grafik RAG, vektör aramasının yerini tutmaz; onun üzerine kurulu bir hesaplama katmanıdır.
Graph RAG performansını belirleyen iki mühendislik kararı şema tasarımı ve varlık çıkarma kalitesidir. Şema, tek bir grafik geçişiyle hangi soruların yanıtlanabileceğini tanımlar. Varlık çıkarma ise grafiğin hangi varlıklar hakkında bilgi sahibi olduğunu tanımlar. LLM'de 2,29 dolar, 3.904 belge gerektirir.
Daha fazla okuma
Aşağıdakiler gibi diğer RAG kıyaslamalarını inceleyin:
- Gömme Modelleri: OpenAI vs Gemini vs Cohere
- RAG için En İyi 16 Açık Kaynaklı Gömme Modeli
- RAG için En İyi Vektör Veritabanı: Qdrant vs Weaviate vs Pinecone
- Reranker Karşılaştırması: En İyi 8 Modelin Karşılaştırılması
- Çok Modlu Gömme Modelleri: Apple vs Meta vs OpenAI
- Hibrit RAG: RAG Doğruluğunu Artırma
- RAG için En İyi 10 Çok Dilli Gömme Modeli
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.