AIM-Agentic RAG Kıyaslaması: 11 SQL Veritabanı Arasında Yönlendirme

Yönlendirme doğruluğu, model'in son yanıtında doğru veritabanını açıkça belirttiği puanlanan soruların yüzdesidir. Başlık, hem benzerlik testimiz hem de üç LLM'den oluşan bir jüri tarafından zor olarak işaretlenen 184 soruyu kullanır. Açık bildirimlerin eksik olduğu durumlarda kredi verilmez.

Veritabanı yönlendirme bulguları

Gemini 4 Argon en yüksek yönlendirme doğruluğunu %94,0 ile kaydetti

gemini-4-argon, 184 zor sorudan 173'ünde doğru veritabanını seçti. claude-opus-5,5 %90,2 ile onu izledi (184 sorudan 166'sı). Muse Wonder %86,4 kaydetti (184 sorudan 159'u).

Gemini 4 Argon, tüm sorularda %98,4 ile öne geçti (759 sorudan 747'si). Bu model, OpenRouter üzerinden çalıştırıldı. Gözlemlenen puanlar hem model hem de çalıştırma koşullarını yansıtır.

DeepSeek V4 Flash 0731, %82,1 yönlendirme doğruluğunu $1,37 maliyetle kaydetti

DeepSeek V4 Flash 0731, 184 zor sorudan 151'ini doğru yanıtladı. Tüm 759 soru için tutulan yanıtlarının maliyeti $1,37 oldu. Qwen3.8 Flash %79,3 puan aldı ve maliyeti $2,08 oldu; MiMo-V2.6-Pro ise $4,17 maliyetle %82,6 seviyesine ulaştı.

Bu maliyetler, her sonuç dosyasında tutulan başarılı yanıtların toplamıdır. Başarısız ve yenilenen denemeler hariç tutulur. Bu toplamlar, ölçüm sırasında kullanılan sağlayıcılara ve önbellekleme koşullarına bağlıdır. Maliyet grafiği, 73 ölçülen API toplamını ve Opus 5.5, Fable 5.1 ve GPT-6 Astra için ayrı olarak etiketlenmiş üç OpenRouter eşdeğeri tahmini içerir. Bu tahminler, kaydedilen CLI token'larına ve önbellek kullanımına 1 Ekim 2026 API fiyatlarını uygular. Bunlar abonelik harcamalarını ölçmez.

Grok 4.6, ilk veritabanı seçiminden sonra 41.8 puan kazandı

Grok 4.6'nın zor soru yönlendirme doğruluğu, ilk yoklamada %38,0 iken nihai bildirimde %79,9'a yükseldi. GPT-6 Sol Pro, kendi çalışmasında 34.2 puan kazandı. Nova Lite 14.0 puan kaybetti.

Bu değişiklikler, ilk turda tek bir veritabanı bulunan soruları kullanır. Kaydedilen gidişatları tanımlar. Ek çağrıların faydasını izole eden ayrı bir müdahale yapılmadı.

76 model'in tamamında, 7.570 zor soru kaydı bir veritabanı değişikliği içeriyordu:

Bu tablo, kaydedilen çağrı sırasındaki ilk veritabanını dikkate alır; çoklu veritabanlı ilk turlar dahildir. Nihai kredi, açık ve doğru bir bildirim gerektirir. Yukarıdaki yüzde puanı değişiklikleri daha dar olan tek ilk seçim alt kümesini kullanır.

Veritabanı yönlendirme sonuçları

Model'ler yönlendirme doğruluğuna göre en yüksekten en düşüğe sıralanmıştır. Metodoloji, bunları çalıştırmak için kullanılan yazılımdaki farklılıkları belirler. Küçük puan farklarını yorumlarken bu koşullar önemlidir.

Aralıklar, soru örnekleme belirsizliğini tahmin eder. Kaydedilen maliyetler, her çalıştırmadaki başarılı kayıtları kapsar. Bunlar ölçüm sırasında kullanılan sağlayıcıları ve önbellekleme koşullarını yansıtır.

Veritabanı seçimini etkileyen koşullar

Benzer veritabanları yönlendirme doğruluğunu yaklaşık 20 puan düşürdü

Veritabanı seçim yöntemini ayrı bir deneyde 128 soru üzerinde test ettik. Her soru doğru veritabanını korudu; diğer 10 aday ise seçilen gruptan ya da rastgele bir seçimden geldi.

Zor alt kümede, claude-opus-4.8 benzer adaylarla %71,3, rastgele adaylarla %92,0 puan aldı. gemini-3.5-flash %77,0 ve %96,6 puan aldı. Eşleştirilmiş testlerde her iki farkın p değeri 0.001'in altındaydı.

Bu deneyde, soru başına açıklamalar ve bir model yanıtı kullanıldı; agentic araç döngüsü yoktu. Bu, benzer adayları seçmenin veritabanı seçimini zorlaştırdığına ilişkin daha dar bulguyu destekler. Ölçülen fark, agentic keşfin etkisi olarak sunulmamalıdır.

Yalnızca adlar, bir pilotta %68,8 ve %71,1 doğruluk üretti

Başka bir 128 soruluk pilotta, claude-opus-4.8 yalnızca adlardan yola çıkarak zamanın %68,8'inde doğru veritabanını seçti. Adlar ve açıklamalarla puanı %67,2 oldu. gemini-3.5-flash adlardan %71,1, tam katalogdan %75,0 puan aldı.

california_schools ve toxicology gibi adlar konuyu doğrudan ortaya koyar. Ana kıyaslama için veritabanı adlarını db_01 ile db_11 arasındaki takma adlarla değiştiriyoruz. Açıklamalar yine her veritabanının alanını açıklar ve araç yanıtları tablo ve sütun adlarını gösterir.

Yönlendirme ve maliyet karşılaştırmalarının güvenilirliği

Tekrarlanan çalıştırmalar yönlendirme doğruluğunu 1.6 ile 2.7 puan arasında değiştirdi

claude-opus-5, ilk çalıştırmada 184 zor sorudan 156'sında, tekrarında ise 151'inde doğru veritabanını seçti. Doğruluğu %84,8'den %82,1'e düştü. qwen3.8-max 153 doğru yanıttan 150'ye indi; bu %83,2'den %81,5'e bir düşüştü.

Her iki tekrar da orijinal çalıştırmalarıyla aynı soruları, anonimleştirmeyi, sıcaklık ve sağlayıcı ayarlarını kullandı. qwen3.8-max, toplamı üç değişmesine rağmen 13 zor soruda yanıtını değiştirdi. Bazı sorulardaki iyileşmeler diğerlerindeki hataları dengeledi.

Bu tekrarlar, küçük puan farklarının başka bir çalıştırmada kaybolabileceğini gösterir. Model başına bir tekrar, sonuçların dağılımını ortaya koyamaz ve diğer 35 model'in tekrar ölçümü yoktur.

Kaydedilen maliyetler sağlayıcı ve önbellekleme ayarlarına bağlıdır

Prompt caching, faturalanan girdi maliyetlerini azaltmak için önceden işlenen girdiyi yeniden kullanır. claude-opus-5 çalıştırması $62,78'e mal oldu; aynı kaydedilen kullanım için önbelleksiz liste fiyatlarıyla tahmini maliyet $105,54 olurdu. Bu tahmin %40,5 tasarruf anlamına gelir. Bu, ayrı bir önbelleksiz doğruluk çalıştırması olmaksızın yapılan bir muhasebe karşılaştırmasıdır.

Agentic RAG ve veritabanı seçimi

Agentic RAG, model'e geri getirme kararları üzerinde kontrol sağlar. Bir kaynak seçebilir, yanıtı inceleyebilir ve başka bir istek yapabilir. Basit bir RAG pipeline, yanıt üretmeden önce bağlamı önceden belirlenmiş bir sırayla alır.

Bu kıyaslama, SQL veritabanı araçları aracılığıyla kaynak seçimini test eder. Belge dizini, getirilen pasajlar veya yanıt temellendirme puanı içermez. Bu nedenle sonuçlar, agentic bir geri getirme sisteminin yalnızca bir bölümünü tanımlar. Belge araması, agentic arama kıyaslaması sayfamızda ayrıca ele alınır.

Bir model, kısa veritabanı açıklamalarıyla başlar. Tablo listeleri isteyebilir, sütunları inceleyebilir, SQL çalıştırabilir ve veritabanlarını değiştirebilir. Nihai yanıtı bir veritabanı seçimi ve bir sorgu içerir. text-to-SQL kıyaslamamız, SQL doğruluğunu ve iki ek inceleme puanını raporlar.

Agentic RAG kıyaslama metodolojisi

Soru seti, doğal dil sorularını SQL referans sorgularıyla eşleştiren BIRD-SQL veri kümesinin dondurulmuş bir alt kümesidir.¹

Zorluğu iki sinyal tanımlar. Benzerlik testi, bir sorunun 20 en yakın komşusundan kaçının diğer veritabanlarına ait olduğunu sayar. Üç LLM, sorunun veritabanları arasında kafa karıştırıcı olup olmadığını değerlendirir. En zor grupta yer almak için en az beş veritabanları arası komşu ve kafa karıştırıcı jüri etiketi gerekir.

Yönlendirme, açık selected_database alanı altında adlandırılan veritabanını kullanır. Düz metinden çıkarılan bir rota, başlıktan hariç tutulur. SQL doğruluğu ayrıca puanlanır ve yönlendirme kredisini belirlemez.

Harness, araçları sunan ve model yanıtlarını kaydeden yazılımdır. Panel, 64 OpenRouter çalıştırması, iki Claude Code çalıştırması ve bir Codex CLI çalıştırması içerir. API çalıştırmaları arasında 47'si v3, 15'i daha eski bir sürümü kullandı ve iki kayıt her iki sürümden gelen verileri birleştirdi. v3'te bir kurtarma katmanı, desteklenen alternatif araç çağrısı biçimlerini ayrıştırır. llama-4-maverick için kaydedilen yerel olmayan biçim payı %97,9 olduğundan, bu sonuç büyük ölçüde bağdaştırıcıya bağlıdır. minimax-m2.7, görevin gerektirdiği veritabanı araç çağrılarını yapmadığı için hariç tutuldu.

GPT-6 Astra, Codex CLI içinde çalıştırıldı. Opus 5.5 ve Fable 5.1, Claude Code üzerinden çalıştırıldı. Her üçü de orta düzey akıl yürütme çabası kullandı ve 759 soruyu tamamladı. Claude Code çalıştırmaları abonelikler kullandı. Bildirilen liste fiyatı eşdeğerleri API maliyet karşılaştırmasından hariç tutuldu. Astra için dolar cinsinden maliyet bildirilmedi. GPT-6 Luna, Luna Pro, Sol ve Sol Pro çalıştırmaları ile GPT-5.2, OpenRouter kullandı.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Sınırlamalar

Zor alt küme ticaret üzerine yoğunlaşır. Dört veritabanı, 184 sorusunun 171'ini, yani %92,9'unu sağlar. 11 veritabanının beşi hiç katkıda bulunmaz. Bu, bir alan içindeki benzer veritabanları arasında seçim yapmaya ilişkin sonuçları destekler; diğer alan kombinasyonları için kanıt sınırlıdır.

Genel kıyaslama verileri model eğitiminde görünmüş olabilir. 138 doğrulanmış açımlama ve 65 yeni yazılmış soru kullanan kontroller, test edilen düşük maliyetli model'lerde doğruluk düşüşü bulmadı. Kapsamları sırasıyla altı ve üç veritabanıyla sınırlıydı. Bu kontroller, panelin tamamı için kontaminasyonu çözmez ve hiçbir kontrol, model'lerin eğitim kesim tarihlerinden sonra yayımlanan veritabanlarını kullanmadı.

Şema kısaltması yararlı tabloları gizleyebilir. works_cycles içinde, 4.000 karakter sınırı, ilk şema listesinde 66 tablodan 26'sını görünür bırakır. Model daha fazla ayrıntı isteyebilir ancak ilk görünüm eksiktir.

Daha fazla bilgi

• Text-to-SQL: LLM Doğruluğu Karşılaştırması
• RAG Framework'leri: LangChain, LangGraph ve LlamaIndex
• En İyi RAG Araçları, Framework'leri ve Kütüphaneleri
• 2026'da Agentic Search: Ajanlar için 8 Search API'sini Kıyaslayın

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{AIM-Agentic RAG Kıyaslaması: 11 SQL Veritabanı Arasında Yönlendirme}},
  year   = {2026},
  month  = sep,
  howpublished    = {\url{https://aimultiple.com/agentic-rag}},
  note   = {AIMultiple. Erişim tarihi: 29 Eylül 2026}
}

Değişiklik günlüğü

16 güncelleme

Tümü16Genel13Metodoloji3

202620252024

1. 11 Ağu

   'Bu karşılaştırmada bir soruyu zorlaştıran nedir?' bölümü yeni içerikle güncellendi.

2. 11 Ağu

   Metodoloji, en zor soruların veritabanları arasında nasıl dağıtıldığını açıklamak için güncellendi.

3. 7 Ağu

   Agentic RAG kıyaslama metodolojisi bölümü, 36 LLM ve 11 veritabanını kapsayan yeni bir bölümle değiştirildi.

4. 29 Haz

   Kıyaslamaya yeni modeller eklendi: Claude Fable 5, Claude Opus 4.8, Gemini 3.5 Flash, Grok 4.3, Claude Opus 4.7.

5. 20 Şub

   Veritabanı ortamı, ajan mimarisi ve değerlendirme süreci hakkında yeni detaylarla metodoloji bölümü güncellendi.

6. 23 Oca

   Uzun bağlamlı modeller ve aracı RAG hakkında bir bölüm eklendi.

7. 23 Oca

   Metodolojiden ek ajans metrikleri kaldırıldı.

Referans Linkleri

1.

BIRD-bench

Ekrem Sarı

Yapay Zeka Araştırmacısı

Takip Et

Ekrem, AIMultiple'da Yapay Zeka Araştırmacısı ve Veri Bilimcidir. Yapay zeka ve LLM sistemleri için uygulamalı benchmark'lar tasarlar ve yürütür.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder