AIM-Text-to-SQL Benchmark: SQL Doğruluğu 60+ LLM Arasında

SQL doğruluğu, referans sonucunu döndüren puanlanan sorguların yüzdesidir. Yanlış yönlendirmeler ve bozuk olarak işaretlenen referanslar hariç tutulur. Referans sorgu, beklenen yanıt olarak sağlanan SQL ifadesidir.

Her model, puanlama veritabanı seçimlerine bağlı olduğu için farklı bir SQL soru kümesine ulaşır. Bu alt kümelerdeki ve yürütme kurulumundaki farklılıklar karşılaştırmaları sınırlar.

Text-to-SQL bulguları

Opus 5.5, %87,8 SQL doğruluğu kaydetti

claude-opus-5.5, 444 / 506 puanlanan soruda referans sonucuyla eşleşti. gemini-3.8-flash %77,2 ile izledi (342 / 443), ardından claude-sonnet-5,5 %73,8 ile geldi (368 / 499). Bunlar, SQL doğruluğu puanları arasında 72 modellik paneldeki en yüksek üç puandı.

Puan, yanlış veritabanı seçimlerini ve bozuk olarak işaretlenen referansları hariç tutar. Opus 5.5, Claude Code üzerinden çalıştırıldı. Gemini 3.8 Flash ve Sonnet 5.5 OpenRouter kullandı. Sıralama, hem yürütme koşullarını hem de her modelin doğru yönlendirdiği sorulardaki farklılıkları yansıtır.

Gemini 3.7 ve 3.8 Flash, yönlendirme ile SQL arasında sıralamayı tersine çevirdi

gemini-3.7-flash zor yönlendirme sorularında %85,3, SQL doğruluğunda ise %72,5 puan aldı. gemini-3.8-flash sırasıyla %69,0 ve %77,2 kaydetti.

Buradaki yönlendirme doğruluğu en zor soruları kapsar. SQL doğruluğu, işaretlenen referanslar hariç tutulduktan sonra her modelin tüm zorluk gruplarında doğru yönlendirilmiş sorularını kapsar. İki ölçüt farklı soru alt kümeleri kullanır.

Etmen tabanlı RAG benchmark veritabanı seçimini ayrı olarak raporlar.

SQL doğruluğu sonuçları

Referans incelemesinden önceki puan, doğru yönlendirilmiş tüm sorularda birebir sonuç eşleşmesini ölçer. Yanıt incelemesinden sonraki puan, jüri tarafından kabul edilen yanıtlar için kredi ekler. Her iki karşılaştırma sütunu da orijinal paydayı kullanır; SQL doğruluğu ise işaretlenmiş referansları hariç tutar.

SQL doğruluğunu etkileyen koşullar

BIRD'ın ipuçları, Gemini Flash'ın SQL doğruluğunu 8.7 puan artırdı

gemini-3-flash-preview modelini BIRD'ın ek kanıtlarıyla tekrarladık. Her iki koşulda da doğru yönlendirilen sorularda SQL doğruluğu %67,5'ten %76,2'ye yükseldi. Referans incelemesinden önceki katı doğruluk ise %55,0'ten %61,6'ya yükseldi.

Bu tek modellik bir deneydi. 49 modellik panel için ortak bir artış sağlamaz. Ana panel, ipuçlarını saklar çünkü bunlar aynı zamanda hangi veritabanının seçileceğini de açığa çıkarabilir.

Modeller farklı SQL soru kümelerine ulaştı

Her modelin veritabanı seçimleri, hangi soruların SQL puanlamasına ulaşacağını belirler. claude-opus-5 için katı payda, 717 soru içerir; bunlardan 156'sı en zor yönlendirme grubundandır. nova-lite-v1 için ise 285 soru içerir; bunlardan 22'si bu gruptandır. Paylar %21,8 ve %7,7'dir.

Dolayısıyla SQL yüzdeleri, sorgu yazma performansını puanlamaya ulaşan vakaların zorluğuyla birleştirir. Kontrollü bir SQL karşılaştırması, aynı sorular için her modele doğru veritabanını sağlardı. Bu deney henüz yapılmamıştır.

Farklı şemalar, ipuçları veya araç bütçeleri sağlayan AI benchmark'ları karşılaştırırken soru seçimi de önemlidir.

Referans ve yanıt incelemesinden bulgular

Referans denetimi 236 / 759 sorguyu işaretledi

Beş model, her referans sorguyu sorusuna ve mevcut şema bilgilerine göre değerlendirdi. Modeller hiçbir aday model yanıtı görmedi. En az üç kişilik bir çoğunluk, 236 referansı bozuk olarak işaretledi; bu, kümenin %31,1'ine karşılık gelir.

Denetimin ardından benchmark sahibi işaretlemeleri inceledi. Bağımsız insan etiketleyiciler bu incelemeyi tekrarlamadı. Bu yüzdeler denetlenen alt kümeyi tanımlar. Tüm BIRD'e genellenmemelidir.

Eşdeğer yanıtlar 22.7 puanlık katkıyla claude-sonnet-5'in puanını artırdı

claude-sonnet-5 katı puanlanan sorularda 211 / 679 başarı sağladı, yani %31,1. Jüri, 154 yanıtı daha referansa eşdeğer olarak kabul etti. Bunlar 22.7 yüzde puanı katkı sağladı.

Jüri modelin sorgusunu kabul edip referansı reddettiği için 117 yanıt daha kredi aldı. Bunlar 17.2 puan katkı sağladı. Together, bu iki kategori puanı %71,0'e yükseltti; bu da 39.9 puanlık bir artış oldu.

Eşdeğer yanıtlar, istenen bilgiyi fazladan bir sütunla veya farklı bir projeksiyonla döndürebilir. Katı karşılaştırma, bir inceleyici sonucu soruya yanıt olarak kabul etse bile onu reddedebilir. Artışın 22.7 puanı jürinin bu vakalarla ilgili kararlarından gelir. Kalan 17.2 puandan ise referans kusurları sorumludur.

Text-to-SQL benchmark metodolojisi

Questions and execution

BIRD-SQL, doğal dil soruları, SQL referansları ve veritabanı içerikleri sağlar.¹ 759 soruluk dondurulmuş bir seçim kullandık; bunlar 11 veritabanından geliyor ve 560 train ile 199 dev örneğini kapsıyor.

Modellere kısa veritabanı açıklamaları ve tabloları listeleme, sütun tanımlarını okuma ve SQL çalıştırma araçları verildi. Her soru, araçlarla en fazla dokuz çağrıya ve seçilen veritabanı ile SQL sorgusunu içeren bir nihai yanıta izin veriyordu. Şema önizleme sınırı 4.000 karakterdi ve sorgu önizlemeleri 50 satırla sınırlandırılmıştı.

Nihai aday sorgu ve referans aynı veritabanı dosyasına karşı çalıştırıldı. Katı puanlama, sıralı yanıt isteyen sorular için sıraya duyarlı bir mod da dahil olmak üzere sonuçlarını karşılaştırdı. Eksik, bozuk veya yürütme hatası veren aday sorgular, bunun dışında uygun ve doğru yönlendirilmiş sorularda hiçbir katı kredi almadı.

46 OpenRouter çalıştırması için sıcaklık 0 istedik. Yirmi dokuzu v3 araç çağrısı kurtarma katmanını kullandı; 15'i bu katmandan önceydi ve ikisi her iki sürümden kayıtları birleştirdi. GPT-6 Astra Codex CLI üzerinden çalıştırıldı. Opus 5.5 ve Fable 5.1 Claude Code kullandı. Üç CLI çalıştırmasının tümü orta düzey akıl yürütme çabası kullandı. GPT-6 Luna, Luna Pro, Sol ve Sol Pro çalıştırmaları ile GPT-5.2 OpenRouter kullandı. Bu yürütme farklılıkları, bir puan farkının yalnızca modele atfedilmesini engeller.

Yedi çalıştırma 759 sorudan daha azını tamamladı. Eksik kayıtlar puanlama paydalarında yer almaz. Tablo, ana ve ek puanlar için gerçek örneklem boyutlarını bildirir. On API eklemesinin her biri, başarısız isteklerin yeniden denenmesinin ardından 759 sorunun tümünü tamamladı ve önceki başarılı yanıtları korudu.

SQL puanlaması

Ana puan, işaretlenmiş soruları hem paydan hem paydadan hariç tutar. Belirsiz olarak işaretlenen üç referans hesaplamada kalır. Sonuç dosyaları bu metriği ex_gold_clean olarak adlandırır.

İki ek puan, incelemenin sonucu nasıl değiştirdiğini gösterir:

Referans incelemesinden önce katı puan, doğru yönlendirilmiş tüm sorularda birebir yürütme eşleşmesini ölçer. İşaretlenmiş referanslara sahip soruları içerir.

Yanıt incelemesinden sonra puan, ayrı bir jüri uygun bir kaçırılmış yanıtı kabul ettiğinde kredi ekler. Katı puanla aynı paydayı kullanır. Sonuç dosyaları bunu hakem onaylı doğruluk olarak adlandırır.

Örneklem büyüklüğü (n), puanlanan soru sayısıdır. Ana puan, iki ek puandan daha küçük bir alt küme kullanır.

claude-sonnet-5 için işaretlenmiş referansların hariç tutulması, kabul edilen yanıtları 211'den 180'e, puanlanan soruları da 679'dan 468'e düşürdü. SQL doğruluğu %38,5 idi.

Hariç tutma her iki sayımı da değiştirir. Yanıt incelemesi ise orijinal paydayı korur ve kabul edilen kaçırılan yanıtlar için kredi ekler.

Referans ve yanıt incelemesi

Referansları denetlemek ve aday yanıtları incelemek farklı girdiler gerektirir.

Referans denetçileri claude-opus-4.8, gpt-5.6-sol, gemini-3.1-pro-preview, grok-4.5 ve deepseek-v4-pro idi. Aday yanıtlar, işaretlemelerin puanlanan modelden bağımsız kalması için gizli tutuldu.

Yanıt hakem değerlendirmesinde, adayınkinden farklı model ailelerinden üç jüri üyesi kullanıldı. Referans ve aday sorguları, rollerini açığa çıkaran etiketler olmadan rastgele A/B konumlarında göründü. Belirsiz vakalar ve yeterli geçerli oyu olmayan vakalar ek kredi almadı.

İnceleme kapsamı asimetriktir. Katı geçişler kabul edilmeye devam ederken, uygun kaçırılanlar başka bir değerlendirme alır. Sonuç olarak hakem değerlendirmesi, katı puanlamadan gelen yanlış pozitifleri koruyabilir ve kendi yanlış pozitiflerini ekleyebilir. Bu, ne doğruluğu garanti eden ne de gerçek doğruluk üzerinde garantili bir üst sınır sağlayan ek bir tahmindir.

Aday sorgu çalıştığında ve sonuç satırları ile referans arasındaki F1 örtüşmesi 0.5'in altında olduğunda bir kaçırma, hakem değerlendirmesine uygun kabul edildi. F1, aday satırlarının referansta bulunma oranını, referans satırlarının aday tarafından kurtarılma oranıyla birleştirir.

Örneğin, gemini-3.5-flash-lite 346 katı kaçırmaya sahipti. Bunlardan 314'ü incelemeye uygundu. Jüri, 144 vakada adayı kabul etti: 92'sinde referans reddedildi ve 52'sinde her iki yanıt kabul edildi. 105'ini model hatası olarak sınıflandırdı ve 65'ini belirsiz bıraktı. Diğer 32 kaçırmanın 27'si daha yüksek sonuç örtüşmesine, beşi de yürütme hatalarına dayanıyordu.

Kabul edilen 144 vaka, incelenen kaçırmaların %45,9'udur; her başarısız yanıtın değil.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Sınırlamalar

Referans hataları belirsizliğini koruyor. Beş modellik denetim, her referans sorgunun kullandığı tablolardaki sütunları inceledi; bu nedenle farklı bir tabloda bulunan bir yanıtı gözden kaçırabilir. Denetim ayrıca geçerli bir referansı da reddedebilir. Her iki hata türünü tahmin etmek için bağımsız insan etiketleyiciler tarafından tekrarlanan bir inceleme gereklidir.

Jüri kararları LLM yorumlamasına bağlıdır. Bağımsız bir insan incelemesi tüm hakem kararlarını doğrulamadı. nova-lite-v1 kontrolünde doğruluk, katı puanlamada %18,9'dan hakem değerlendirmesi sonrasında %31,6'ya yükseldi; bu da incelemenin otomatik olarak yüksek bir puan üretmediğini gösterir. Bu kontrol tek başına jüri doğruluğunu kanıtlayamaz.

Katı karşılaştırma her iki yönde de başarısız olabilir. Fazladan sütunlar veya farklı sütun sırası, yararlı bir yanıtı reddedebilir. Büyük/küçük harf normalleştirmesi ve kayan nokta değerlerinin altı anlamlı basamağa yuvarlanması, önemli farkları kabul edebilir.

Soru örnekleme aralıkları, sonuç dışa aktarımında katı puanlar ve SQL doğruluğu için mevcuttur. Bunlar referans etiketi belirsizliğini, jüri hatasını ve tekrarlanan SQL çalıştırmaları arasındaki değişimi hariç tutar. Burada hiçbir SQL tekrar analizi raporlanmamıştır.

Bunlar, veritabanı yönlendirme gereksinimi olan seçilmiş, ipucu-free bir iş yüküne ilişkin sonuçlardır. BIRD liderlik tablosuyla doğrudan karşılaştırılamazlar. Genel train verileri, yönlendirme makalesinde tartışıldığı gibi eğitim verisi örtüşmesi riski de bırakır.

İleri okuma

• Etmen tabanlı RAG Benchmark: Çok Veritabanlı Yönlendirme
• 800+ Önde Gelen AI Benchmark'ları
• HALC-Bench: LLM Halüsinasyonu, Uzun Bağlamlı Getirme Benchmark'ında

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{AIM-Text-to-SQL Benchmark: SQL Doğruluğu 60+ LLM Arasında}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/text-to-sql}},
  note   = {AIMultiple. Erişim tarihi: 1 Ekim 2026}
}

Değişiklik günlüğü

9 güncelleme

Tümü9Genel5Metodoloji4

20262025

1. 7 Ağu

   Text-to-SQL karşılaştırma sonuçları, strict, gold-clean ve adjudicated execution match ile puanlanan 36 modelli bir panelle değiştirildi.

2. 25 Şub

   Agentic RAG karşılaştırması: çoklu veritabanı yönlendirme ve sorgu oluşturma bölümüne bir değişiklik günlüğü eklendi.

3. 25 Şub

   Metodoloji bölümü, bir özet ve başka bir makaleye referans ile değiştirildi.

Referans Linkleri

1.

BIRD-bench

Ekrem Sarı

Yapay Zeka Araştırmacısı

Takip Et

Ekrem, AIMultiple'da Yapay Zeka Araştırmacısı ve Veri Bilimcidir. Yapay zeka ve LLM sistemleri için uygulamalı benchmark'lar tasarlar ve yürütür.

Tam Profili Görüntüle

Yorumlar 1

Düşüncelerinizi Paylaşın

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder

PFJ Rofgowski

Dec 10, 2025 at 20:04

Curious, how much of the context engineering and specific prompting did you apply in your benchmarks. Or, was it to review the models only? I have found much higher return of correct and consistent responses. A higher fidelity. To do that, I needed to provide a most sophisticated prompt that fed the context window as the question was being asked. Not perfect, but better than those scores represented in this article when using the Grok 4.x .

Yanıtla

Ekrem Sarı

Feb 10, 2026 at 08:46

Great point. This benchmark intentionally uses zero-shot, minimal prompting with temperature=0. No few-shot examples, no domain-specific instructions, no iterative refinement. The goal was to measure each model's baseline text-to-SQL capability. So your experience with Grok 4 getting higher fidelity through sophisticated context engineering is completely expected. A well-crafted prompt with detailed schema descriptions, few-shot examples, and domain-specific rules will improve any model's performance significantly. What this benchmark isolates is how well the model performs out-of-the-box when given only the raw question and retrieved schema, which helps compare the models' inherent SQL reasoning abilities on a level playing field.           We'll make this clearer in the methodology section. Thanks for raising it.

Yanıtla