AIM-Text-to-SQL Karşılaştırması: SQL Doğruluğu 70+ LLM'de
We evaluated SQL answers from 70+ LLMs on a 759-question BIRD-SQL subset. Each model selected a database from 11 candidates, then produced a query.
SQL doğruluğu, referans sonucunu döndüren puanlanan sorguların yüzdesidir. Yanlış yönlendirmeler ve bozuk olarak işaretlenen referanslar hariç tutulur. Referans sorgu, beklenen yanıt olarak sağlanan SQL ifadesidir.
Her model, puanlama veritabanı seçimlerine bağlı olduğu için farklı bir SQL soru kümesine ulaşır. Bu alt kümelerdeki ve yürütme kurulumundaki farklılıklar karşılaştırmaları sınırlar.
Text-to-SQL bulguları
Opus 5,5 %87,8 SQL doğruluğu elde etti
claude-opus-5.5, 444 / 506 puanlanan soruda referans sonucuyla eşleşti. gemini-4-argon %78,6 ile onu izledi (407 / 518), ardından gemini-3.8-flash %77,2 ile geldi (342 / 443). Bunlar, SQL doğruluğu açısından 76 modellik paneldeki en yüksek üç puandı. Muse Wonder %56,4 kaydetti (285 / 505).
Puan, yanlış veritabanı seçimlerini ve bozuk olarak işaretlenen referansları hariç tutar. Opus 5.5 Claude Code kullandı. Gemini 4 Argon ve Gemini 3.8 Flash OpenRouter kullandı. Sıralama, hem yürütme koşullarını hem de her modelin doğru yönlendirdiği sorulardaki farklılıkları yansıtır.
Üç Pro varyantı taban modellerinin altında puan aldı
gpt-6.1-sol-pro %63,6 SQL doğruluğu kaydetti; %65,1 ile gpt-6.1-sol karşılaştırıldığında. gpt-6-sol-pro %53,6 puan aldı; %53,8 ile gpt-6-sol karşılaştırıldığında. gpt-6-luna-pro %44,2 puan aldı; %45,4 ile gpt-6-luna karşılaştırıldığında.
Altı modelin tümü OpenRouter kullandı. Bu puanlar, model başına bir çalıştırmadan ve doğru yönlendirilen soruların farklı alt kümelerinden gelir. Küçük farkların sürüp sürmediğini değerlendirmek için aynı SQL sorularında tekrarlanan çalıştırmalar gerekir.
Maliyet ve SQL doğruluğu
Çalıştırma maliyeti, her modelin benchmark çalıştırmasından elde edilen yönlendirme ve SQL yanıtlarını kapsar. Hedef 759 soruydu. Yedi çalıştırmada daha az yanıt korunmuştur. Ayrı duman testleri, atılan yeniden deneme girişimleri ve jüri çağrıları hariçtir. SQL doğruluğu, bozuk olarak işaretlenen referanslar çıkarıldıktan sonra her modelin doğru yönlendirdiği soruları kullanır.
gemini-3-flash-preview %67,7 SQL doğruluğu elde etti; çalıştırma başına maliyet $7,67 oldu. gemini-3.8-flash %77,2 değerine $26,48 maliyetle ulaştı. Opus 5.5’in %87,8 puanı, tahmini API eşdeğeri $188,71 maliyetle eşleştirildi. Gemini 4 Argon %78,6 değerine $41,41 korunan çalıştırma maliyetleriyle ulaştı. Muse Wonder %56,4 değerine $77,44 korunan çalıştırma maliyetleriyle ulaştı.
73 API modeli ölçülen maliyetleri kullanır. Opus 5.5, Fable 5.1 ve GPT-6 Astra için, 1 Ekim 2026’da kontrol edilen kayıtlı CLI token’ları ve OpenRouter fiyatlarına dayalı, kayıtlı önbellek kullanımı korunarak ayrı etiketli tahminler bulunur.
Maliyetler veritabanı keşfini içerir ve SQL puanları farklı soru alt kümelerini kapsar. Bu nedenle bu karşılaştırma, birleşik benchmark iş akışının maliyetini ve doğruluğunu açıklar. Yalıtılmış SQL üretim maliyetleri ölçülmemiştir. Agentic RAG benchmark veritabanı seçimini ayrıca raporlar.
SQL doğruluğu sonuçları
Referans incelemesi öncesi, doğru yönlendirilen tüm sorularda birebir sonuç eşleşmesini ölçer. Yanıt incelemesi sonrası, jüri tarafından kabul edilen yanıtlar için kredi ekler. Her iki karşılaştırma sütunu orijinal paydayı kullanırken, SQL doğruluğu işaretlenen referansları hariç tutar.
Koşullar SQL doğruluğunu etkiliyor
BIRD’in ipuçları, Gemini Flash’ın SQL doğruluğunu 8.7 puan artırdı
gemini-3-flash-preview modelini BIRD’in tamamlayıcı kanıtlarıyla tekrarladık. Her iki koşulda da doğru yönlendirilen sorularda SQL doğruluğu %67,5 değerinden %76,2 değerine yükseldi. Referans incelemesi öncesindeki katı doğruluk %55,0 değerinden %61,6 değerine yükseldi.
Bu tek modelli bir deneydi. 74 modellik panel için ortak bir iyileşme sağlamaz. Ana panel, ipuçlarını vermez çünkü bunlar aynı zamanda hangi veritabanının seçileceğini de ortaya çıkarabilir.
Modeller farklı SQL soru kümelerine ulaştı
Her modelin veritabanı seçimleri, hangi soruların SQL puanlamasına ulaşacağını belirler. claude-opus-5 için katı payda 717 soru içerir; bunların 156’sı en zor yönlendirme grubundandır. nova-lite-v1 için bu payda 285 soru içerir; bunların 22’si o gruptandır. Paylar %21,8 ve %7,7 şeklindedir.
Dolayısıyla bu modellerin SQL yüzdeleri, sorgu yazma performansını puanlamaya ulaşan vakaların zorluğuyla birleştirir. Kontrollü bir SQL karşılaştırması, aynı sorular için her modele doğru veritabanını sağlar. Bu deney henüz yapılmamıştır.
Farklı şemalar, ipuçları veya araç bütçeleri sağlayan AI benchmarkları karşılaştırırken soru seçimi de önemlidir.
Referans ve yanıt incelemesinden bulgular
Referans denetimi 236 / 759 sorguyu işaretledi
Beş model, her referans sorguyu kendi sorusu ve mevcut şema bilgileriyle değerlendirdi. Aday model yanıtı görmediler. En az üç kişilik çoğunluk 236 referansı bozuk olarak işaretledi; bu, kümenin %31,1’idir.
Denetimden sonra benchmark sahibi işaretlemeleri inceledi. Bağımsız insan değerlendiriciler bu incelemeyi tekrarlamadı. Bu yüzdeler denetlenen alt kümeyi tanımlar. Tüm BIRD’e genellenmemelidir.
Eşdeğer yanıtlar 22.7 puan ekleyerek claude-sonnet-5’in puanını artırdı
claude-sonnet-5, katı puanlanan 211 / 679 soruyu geçti; bu %31,1 eder. Bir jüri ayrıca 154 yanıtı referansa eşdeğer kabul etti. Bunlar 22.7 yüzde puanı katkı sağladı.
Jüri modelin sorgusunu kabul edip referansı reddettiği için 117 yanıt daha kredi aldı. Bunlar 17.2 puan katkı sağladı. Together, iki kategori puanı %71,0 değerine yükseltti; bu 39.9 puanlık bir artıştır.
Eşdeğer yanıtlar, istenen bilgiyi fazladan bir sütun veya farklı bir projeksiyonla döndürebilir. Katı karşılaştırma, bir inceleyici bunu sorunun yanıtı olarak kabul etse bile bu sonucu reddedebilir. Artışın 22.7 puanı jürinin bu vakalarla ilgili kararlarından gelir. Referans kusurları kalan 17.2 puanı açıklar.
Text-to-SQL benchmark metodolojisi
Questions and execution
BIRD-SQL doğal dil soruları, SQL referansları ve veritabanı içerikleri sağlar.1 759 soruluk dondurulmuş bir seçimi 11 veritabanından kullandık; bu seçim 560 eğitim ve 199 geliştirme örneğini kapsıyor.
Modeller, tabloları listelemek, sütun tanımlarını okumak ve SQL çalıştırmak için kısa veritabanı açıklamaları ve araçlar aldı. Her soru, araçlarla en fazla dokuz çağrıya ve seçilen veritabanını ve SQL sorgusunu içeren bir nihai yanıta izin verdi. Şema önizleme sınırı 4.000 karakterdi ve sorgu önizlemeleri 50 satırla sınırlandırıldı.
Nihai aday sorgu ve referans aynı veritabanı dosyasına karşı çalıştırıldı. Katı puanlama, sıralı yanıt isteyen sorular için sıraya duyarlı bir mod da dahil olmak üzere sonuçlarını karşılaştırdı. Eksik, hatalı biçimlendirilmiş ve yürütme hatası veren aday sorgular, diğer açılardan uygun ve doğru yönlendirilmiş sorularda katı kredi almadı.
46 OpenRouter çalıştırması için temperature 0 istedik. Yirmi dokuzu v3 araç çağrısı kurtarma katmanını kullandı, 15’i bu katmandan önceydi ve ikisi her iki sürümün kayıtlarını birleştirdi. GPT-6 Astra Codex CLI üzerinden çalıştı. Opus 5.5 ve Fable 5.1 Claude Code kullandı. Üç CLI çalıştırmasının tümü orta düzeyde akıl yürütme çabası kullandı. GPT-6 Luna, Luna Pro, Sol ve Sol Pro çalıştırmaları ile GPT-5.2 OpenRouter kullandı. Bu yürütme farklılıkları, bir puan farkının yalnızca modele atfedilmesini engeller.
Yedi çalıştırma 759 sorudan daha azını tamamladı. Eksik kayıtlar puanlama paydalarında yer almaz. Tablo, ana ve ek puanlar için gerçek örneklem boyutlarını bildirir. On API eklemesi, başarısız isteklerin yeniden denenmesinden sonra 759 sorunun tümünü tamamladı ve önceki başarılı yanıtları korudu.
SQL puanlaması
Ana puan, işaretlenen soruları hem payından hem de paydasından hariç tutar. Belirsiz olarak işaretlenen üç referans hesaplamada kalır. Sonuç dosyaları bu metriği ex_gold_clean olarak adlandırır.
İki ek puan, incelemenin sonucu nasıl değiştirdiğini gösterir:
Referans incelemesi öncesinde katı puan, doğru yönlendirilen tüm sorularda birebir yürütme eşleşmesini ölçer. İşaretlenen referanslara sahip soruları da içerir.
Yanıt incelemesi sonrasında puan, ayrı bir jüri uygun bir kaçırılan yanıtı kabul ettiğinde kredi ekler. Katı puanla aynı paydayı kullanır. Sonuç dosyaları bunu hükme bağlanmış doğruluk olarak adlandırır.
Örneklem boyutu (n), puanlanan soru sayısıdır. Ana puan, iki ek puandan daha küçük bir alt küme kullanır.
claude-sonnet-5 için işaretlenen referansların hariç tutulması, kabul edilen yanıtları 211 değerinden 180 değerine, puanlanan soruları ise 679 değerinden 468 değerine düşürdü. SQL doğruluğu %38,5 idi.
Hariç tutma her iki sayımı da değiştirir. Yanıt incelemesi ise orijinal paydayı korur ve kabul edilen kaçırmalar için kredi ekler.
Referans ve yanıt incelemesi
Referansları denetlemek ve aday yanıtları incelemek farklı girdiler gerektirir.
Referans denetçileri claude-opus-4.8, gpt-5.6-sol, gemini-3.1-pro-preview, grok-4.5 ve deepseek-v4-pro idi. Aday yanıtlar, işaretlemelerin puanlanan modelden bağımsız kalması için saklandı.
Yanıt hükmü, adayınkinden farklı model ailelerinden üç jüri üyesi kullandı. Referans ve aday sorgular, rollerini açığa çıkaran etiketler olmadan rastgele A/B konumlarında göründü. Belirsiz vakalar ve yeterli geçerli oyu olmayan vakalar ek kredi almadı.
İnceleme kapsamı asimetriktir. Katı geçişler kabul edilmeye devam ederken, uygun kaçırmalar başka bir değerlendirme alır. Sonuç olarak hüküm, katı puanlamadaki yanlış pozitifleri koruyabilir ve kendi yanlış pozitiflerini ekleyebilir. Doğruluğu garanti etmeyen ve gerçek doğruluk üzerinde garantili bir üst sınır sağlamayan ek bir tahmindir.
Bir kaçırma, aday sorgu çalıştığında ve sonuç satırları ile referans arasındaki F1 örtüşmesi 0.5 altında olduğunda hüküm için uygun hale geldi. F1, referansta bulunan aday satırlarının oranı ile aday tarafından kurtarılan referans satırlarının oranını birleştirir.
Örneğin, gemini-3.5-flash-lite modelinin 346 katı kaçırması vardı. Bunlardan 314’ü inceleme için uygundu. Jüri, 144 vakada adayı kabul etti: 92’sinde referans reddedildi ve 52’sinde her iki yanıt da kabul edildi. Jüri 105’ini model hatası olarak sınıflandırdı ve 65’ini belirsiz bıraktı. Diğer 32 kaçırmanın 27’si daha yüksek sonuç örtüşmesine sahipti ve beşi yürütme hatasıydı.
Kabul edilen 144 vaka, incelenen kaçırmaların %45,9’idir; her başarısız yanıtın değil.
Tercih edilen kaynak olarak ekleSınırlamalar
Referans hataları belirsizliğini koruyor. Beş modelli denetim, her referans sorgunun kullandığı tablolardaki sütunları inceledi; bu nedenle farklı bir tabloda bulunan bir yanıtı gözden kaçırabilir. Denetim ayrıca geçerli bir referansı da reddedebilir. Her iki hata türünü tahmin etmek için bağımsız insan değerlendiriciler tarafından tekrarlanan bir inceleme gereklidir.
Jüri kararları LLM yorumuna bağlıdır. Bağımsız insan incelemesi tüm hüküm kararlarını doğrulamadı. nova-lite-v1 kontrolünde doğruluk, katı puanlama altında %18,9 değerinden hüküm sonrası %31,6 değerine yükseldi; bu da incelemenin otomatik olarak yüksek puan üretmediğini gösterir. Bu kontrol tek başına jüri doğruluğunu kanıtlayamaz.
Katı karşılaştırma her iki yönde de başarısız olabilir. Fazladan sütunlar veya farklı sütun sırası yararlı bir yanıtı reddedebilir. Büyük/küçük harf normalleştirmesi ve kayan noktalı değerlerin altı anlamlı basamağa yuvarlanması, önem taşıyan farkları kabul edebilir.
Soru örnekleme aralıkları, sonuç dışa aktarımında katı puanlar ve SQL doğruluğu için mevcuttur. Bunlar referans etiketi belirsizliğini, jüri hatasını ve tekrarlanan SQL çalıştırmaları arasındaki değişimi dışarıda bırakır. Burada hiçbir SQL tekrar analizi raporlanmamıştır.
Bunlar, veritabanı yönlendirme gereksinimi olan, hint-free (ipucu içermeyen) seçilmiş bir iş yüküne ait sonuçlardır. BIRD liderlik tablosuyla doğrudan karşılaştırılamazlar. Açık eğitim verileri, yönlendirme makalesinde tartışıldığı gibi eğitim verisi örtüşmesi riskini de bırakır.
Sonuç
claude-opus-5.5, SQL doğruluğunda %87,8 ile liderdi; onu gemini-4-argon %78,6 ve gemini-3.8-flash %77,2 ile izledi.
Her SQL puanı, modelin doğru yönlendirdiği soruları ve inceleme sonrasında korunan referansları yansıtır. Kontrollü bir SQL karşılaştırması, her modele aynı soruları ve veritabanı bilgilerini, bağımsız referans etiketi kontrolleri ve jüri kararlarıyla birlikte verir.
İleri okuma
- Agentic RAG Benchmark: Çok Veritabanlı Yönlendirme
- 800+ Önde Gelen AI Benchmarkları
- HALC-Bench: LLM Uzun Bağlamlı Erişim Benchmarkında Halüsinasyon
Bu benchmarkı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{sari2026,
author = {Sarı, Ekrem},
title = {{AIM-Text-to-SQL Karşılaştırması: SQL Doğruluğu 70+ LLM'de}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/text-to-sql}},
note = {AIMultiple. Erişim tarihi: 1 Ekim 2026}
}1.4 bin veri noktasının sonuçları ve zaman damgaları. Bu makaledeki grafik ve tablolarda gösterilen özet verileri, 4 CSV dosyası ve bir README içeren ZIP dosyası olarak indirin.
Arkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın
Değişiklik günlüğü
9 güncellemeText-to-SQL karşılaştırma sonuçları, strict, gold-clean ve adjudicated execution match ile puanlanan 36 modelli bir panelle değiştirildi.
Agentic RAG karşılaştırması: çoklu veritabanı yönlendirme ve sorgu oluşturma bölümüne bir değişiklik günlüğü eklendi.
Metodoloji bölümü, bir özet ve başka bir makaleye referans ile değiştirildi.
Referans Linkleri
Yorumlar 1
Düşüncelerinizi Paylaşın
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.
Curious, how much of the context engineering and specific prompting did you apply in your benchmarks. Or, was it to review the models only? I have found much higher return of correct and consistent responses. A higher fidelity. To do that, I needed to provide a most sophisticated prompt that fed the context window as the question was being asked. Not perfect, but better than those scores represented in this article when using the Grok 4.x .
Great point. This benchmark intentionally uses zero-shot, minimal prompting with temperature=0. No few-shot examples, no domain-specific instructions, no iterative refinement. The goal was to measure each model's baseline text-to-SQL capability. So your experience with Grok 4 getting higher fidelity through sophisticated context engineering is completely expected. A well-crafted prompt with detailed schema descriptions, few-shot examples, and domain-specific rules will improve any model's performance significantly. What this benchmark isolates is how well the model performs out-of-the-box when given only the raw question and retrieved schema, which helps compare the models' inherent SQL reasoning abilities on a level playing field. We'll make this clearer in the methodology section. Thanks for raising it.