Premium
Dienstleistungen
Premium

AIM-Text-to-SQL-Benchmark: SQL-Genauigkeit bei über 70 LLMs

Wir haben SQL-Antworten von über 70 LLMs anhand einer 759 Fragen umfassenden BIRD-SQL-Teilmenge bewertet. Jedes Modell wählte eine Datenbank aus 11 Kandidaten aus und erstellte dann eine Abfrage.

Ekrem Sarı
Ekrem Sarı
aktualisiert am 17. Nov. 2026
SQL accuracy (%)
*Scroll horizontally to see all 88 models.
SQL accuracy (%)
NameSQL accuracy (%)
claude-opus-5.587.75
claude-fable-5.286.43
gemini-4-argon78.57
gemini-4-carbon78.29
gemini-3.8-flash77.2
claude-sonnet-5.573.75
gemini-3.6-flash73.51
gemini-3.7-flash72.46
gemini-4-hydrogen70.24
gemini-3-flash-preview67.68
gpt-6.2-astra67.59
claude-fable-5.167.01
gemini-3.1-pro-preview66.95
gpt-6.2-sol65.91
gpt-6-astra65.73
claude-fable-565.55
gpt-6.1-sol65.11
claude-opus-564.31
grok-4.664.21
gpt-6.1-sol-pro63.62
qwen4-max60.21
qwen3.6-27b58.96
gemini-3.5-flash-lite57.43
gemini-3.1-flash-lite56.99
gpt-6.1-terra56.57
muse-wonder56.44
grok-4.555.95
claude-opus-4.854.87
gpt-5.6-sol54.49
grok-4.753.83
gpt-6-sol53.77
muse-spark-1.253.69
gpt-6-sol-pro53.64
qwen3.8-2.4t-a95b53.12
kimi-k3.1-pro52.34
kimi-k2.651.12
grok-4.350.93
qwen3.8-max50.52
qwen3.5-27b49.49
hy349.45
qwen3.8-27b49.35
muse-spark-1.349.25
gpt-5.548.96
qwen3.6-flash48.25
kimi-k348.17
hy4-preview47.97
muse-spark-1.147.78
qwen3.7-plus47.71
command-a-plus46.33
deepseek-v4-pro-081346.02
glm-5.245.96
gpt-6-luna45.41
glm-5.145.37
qwen3.8-flash44.95
muse-spark-open44.88
gpt-5.6-terra44.69
gpt-6-luna-pro44.25
glm-5.342.62
minimax-m342.08
llama-4-maverick41.88
nemotron-3-ultra41.75
mimo-v2.6-pro41.51
minimax-m2.541.29
muse-ember41.26
glm-5.3-flash41.09
deepseek-v4-pro39.87
gpt-oss-120b39.69
glm-4.739.34
gpt-5.6-luna39.15
gpt-5.4-mini39.08
deepseek-v4-flash39.07
glm-5.3-prime38.82
claude-sonnet-538.46
muse-glimmer-30b38.26
qwen3.8-max-090238.15
solar-pro436.86
gpt-5.236.7
qwen3.8-max-prime36.67
deepseek-v4-flash-073136.65
minimax-m3.1-flash36.49
claude-haiku-4.536.44
gpt-5.4-nano34.59
deepseek-v4.1-flash33.47
mistral-small33.42
mistral-large-4-029.79
claude-haiku-5.529.09
nova-lite23.47
deepseek-v4.1-flash-101722.78

SQL-Genauigkeit ist der Prozentsatz der bewerteten Abfragen, die das Referenzergebnis zurückgeben. Falsche Routen und als fehlerhaft markierte Referenzen werden ausgeschlossen. Eine Referenzabfrage ist die SQL-Abfrage, die als erwartete Antwort bereitgestellt wird.

Jedes Modell erreicht eine andere Menge an SQL-Fragen, da die Bewertung von seinen Datenbankentscheidungen abhängt. Unterschiede in diesen Teilmengen und im Ausführungssetup schränken Vergleiche ein.

Text-to-SQL-Ergebnisse

Opus 5.5 erzielte 87,8 % SQL-Genauigkeit

Opus 5.5 führte die SQL-Genauigkeit im Panel mit 88 Modellen mit 87,8 % (444 von 506) an. Weitere Spitzenwerte waren 86,4 % (446 von 516) für Fable 5.2 und 78,6 % (407 von 518) für Gemini 4 Argon. Die neuen Läufe erzielten 67,6 % (342 von 506) für GPT-6.2 Astra und 65,9 % (321 von 487) für GPT-6.2 Sol.

Die Punktzahl schließt falsche Datenbankentscheidungen und als fehlerhaft markierte Referenzen aus. Opus 5.5 verwendete Claude Code. Fable 5.2 verwendete OpenRouter. Gemini 4 Argon verwendete OpenRouter. Das Ranking spiegelt sowohl die Ausführungsbedingungen als auch die Unterschiede bei den Fragen wider, die jedes Modell korrekt weitergeleitet hat.

Drei Pro-Varianten schnitten schlechter ab als ihre Basismodelle

gpt-6.1-sol-pro erreichte 63,6 % SQL-Genauigkeit, verglichen mit 65,1 % für gpt-6.1-sol. gpt-6-sol-pro erzielte 53,6 % gegenüber 53,8 % für gpt-6-sol. gpt-6-luna-pro erzielte 44,2 % gegenüber 45,4 % für gpt-6-luna.

Alle sechs Modelle verwendeten OpenRouter. Diese Ergebnisse stammen aus einem Lauf pro Modell und unterschiedlichen Teilmengen korrekt weitergeleiteter Fragen. Wiederholte Läufe mit denselben SQL-Fragen wären erforderlich, um zu beurteilen, ob die kleinen Unterschiede bestehen bleiben.

Kosten vs. SQL-Genauigkeit

SQL accuracy vs. cost
SQL accuracy vs. cost
NameCost per run (USD, log scale)SQL accuracy (%)NameCCost basisActual cost basisHarnessCache noteCached input pctHarness label
Anthropic188.7187.75claude-opus-5.5offestimated_openrouter_equivalentsubscriptionclaude_cli_transcript_v1Recorded cache reads + 1h writes23.6Claude Code CLI
Anthropic88.6686.43claude-fable-5.2onmeteredmeteredv360.0% of input reported as cache reads; explicit request on60API
Anthropic42.6773.75claude-sonnet-5.5offmeteredmeteredv30.0% of input reported as cache reads; explicit request off0API
Anthropic556.1667.01claude-fable-5.1offestimated_openrouter_equivalentsubscriptionclaude_cli_transcript_v1Recorded cache reads + 1h writes35.5Claude Code CLI
Anthropic121.5565.55claude-fable-5onmeteredmeteredv361.4% of input reported as cache reads; explicit request on61.4API
Anthropic62.7864.31claude-opus-5onmeteredmeteredv362.2% of input reported as cache reads; explicit request on62.2API
Anthropic117.8254.87claude-opus-4.8offmeteredmeteredmixedCache reads unreported—API
Anthropic61.9338.46claude-sonnet-5offmeteredmeteredmixedCache reads unreported—API
Anthropic3036.44claude-haiku-4.5offmeteredmeteredpre_v3Cache reads unreported—API
Anthropic1.5429.09claude-haiku-5.5onmeteredmeteredv364.1% of input reported as cache reads; explicit request on64.1API
DeepSeek11.9346.02deepseek-v4-pro-0813offmeteredmeteredv363.9% of input reported as cache reads; explicit request off63.9API
DeepSeek8.9939.87deepseek-v4-prooffmeteredmeteredv3Cache reads unreported—API
DeepSeek2.3439.07deepseek-v4-flashoffmeteredmeteredv3Cache reads unreported—API
DeepSeek1.3736.65deepseek-v4-flash-0731offmeteredmeteredv356.4% of input reported as cache reads; explicit request off56.4API
DeepSeek4.0633.47deepseek-v4.1-flashoffmeteredmeteredv368.2% of input reported as cache reads; explicit request off68.2API
DeepSeek1.7522.78deepseek-v4.1-flash-1017offmeteredmeteredv368.8% of input reported as cache reads; explicit request off68.8API
Google41.4178.57gemini-4-argonoffmeteredmeteredv325.9% of input reported as cache reads; explicit request off25.9API
Google64.2678.29gemini-4-carbonoffmeteredmeteredv342.2% of input reported as cache reads; explicit request off42.2API
Google26.4877.2gemini-3.8-flashoffmeteredmeteredv35.7% of input reported as cache reads; explicit request off5.7API
Google2273.51gemini-3.6-flashoffmeteredmeteredv320.5% of input reported as cache reads; explicit request off20.5API
Google20.8272.46gemini-3.7-flashoffmeteredmeteredv37.5% of input reported as cache reads; explicit request off7.5API
Google40.4970.24gemini-4-hydrogenoffmeteredmeteredv340.9% of input reported as cache reads; explicit request off40.9API
Google7.6767.68gemini-3-flash-previewoffmeteredmeteredv3Cache reads unreported—API
Google79.8166.95gemini-3.1-pro-previewoffmeteredmeteredv3Cache reads unreported—API
Google757.43gemini-3.5-flash-liteoffmeteredmeteredpre_v3Cache reads unreported—API
Google5.4556.99gemini-3.1-flash-liteoffmeteredmeteredpre_v3Cache reads unreported—API
MiniMax3.9542.08minimax-m3offmeteredmeteredpre_v3Cache reads unreported—API
MiniMax2.7541.29minimax-m2.5offmeteredmeteredv3Cache reads unreported—API
MiniMax2.336.49minimax-m3.1-flashoffmeteredmeteredv375.1% of input reported as cache reads; explicit request off75.1API
Moonshot27.1452.34kimi-k3.1-prooffmeteredmeteredv362.3% of input reported as cache reads; explicit request off62.3API
Moonshot15.6451.12kimi-k2.6offmeteredmeteredv3Cache reads unreported—API
Moonshot40.3448.17kimi-k3offmeteredmeteredpre_v3Cache reads unreported—API
OpenAI46.567.59gpt-6.2-astraoffmeteredmeteredv365.6% of input reported as cache reads; explicit request off65.6API
OpenAI13.4865.91gpt-6.2-soloffmeteredmeteredv369.3% of input reported as cache reads; explicit request off69.3API
OpenAI270.7865.73gpt-6-astraoffestimated_openrouter_equivalentunreportedcodex_cli_transcript_v1Recorded cache reads; assumes zero writes55Codex CLI
OpenAI12.7565.11gpt-6.1-soloffmeteredmeteredv366.4% of input reported as cache reads; explicit request off66.4API
OpenAI35.1963.62gpt-6.1-sol-prooffmeteredmeteredv358.2% of input reported as cache reads; explicit request off58.2API
OpenAI7.1956.57gpt-6.1-terraoffmeteredmeteredv369.4% of input reported as cache reads; explicit request off69.4API
OpenAI48.8454.49gpt-5.6-soloffmeteredmeteredv3Cache reads unreported—API
OpenAI17.5753.77gpt-6-soloffmeteredmeteredv371.2% of input reported as cache reads; explicit request off71.2API
OpenAI47.4853.64gpt-6-sol-prooffmeteredmeteredv363.0% of input reported as cache reads; explicit request off63API
OpenAI61.2648.96gpt-5.5offmeteredmeteredv3Cache reads unreported—API
OpenAI1.0545.41gpt-6-lunaoffmeteredmeteredv369.8% of input reported as cache reads; explicit request off69.8API
OpenAI24.4844.69gpt-5.6-terraoffmeteredmeteredpre_v3Cache reads unreported—API
OpenAI3.144.25gpt-6-luna-prooffmeteredmeteredv362.2% of input reported as cache reads; explicit request off62.2API
OpenAI0.4739.69gpt-oss-120boffmeteredmeteredpre_v3Cache reads unreported—API
OpenAI11.0439.15gpt-5.6-lunaoffmeteredmeteredpre_v3Cache reads unreported—API
OpenAI5.5139.08gpt-5.4-minioffmeteredmeteredv3Cache reads unreported—API
OpenAI24.0336.7gpt-5.2offmeteredmeteredv358.8% of input reported as cache reads; explicit request off58.8API
OpenAI2.2134.59gpt-5.4-nanooffmeteredmeteredpre_v3Cache reads unreported—API
Other77.4456.44muse-wonderoffmeteredmeteredv343.1% of input reported as cache reads; explicit request off43.1API
Other30.9353.69muse-spark-1.2offmeteredmeteredv345.2% of input reported as cache reads; explicit request off45.2API
Other1.8849.45hy3offmeteredmeteredv371.7% of input reported as cache reads; explicit request off71.7API
Other30.7449.25muse-spark-1.3offmeteredmeteredv335.4% of input reported as cache reads; explicit request off35.4API
Other10.7947.97hy4-previewoffmeteredmeteredv365.7% of input reported as cache reads; explicit request off65.7API
Other22.2247.78muse-spark-1.1offmeteredmeteredv359.0% of input reported as cache reads; explicit request off59API
Other7.2246.33command-a-plusoffmeteredmeteredv30.0% of input reported as cache reads; explicit request off0API
Other22.0344.88muse-spark-openoffmeteredmeteredv376.9% of input reported as cache reads; explicit request off76.9API
Other4.7741.88llama-4-maverickoffmeteredmeteredv30.2% of input reported as cache reads; explicit request off0.2API
Other19.7941.75nemotron-3-ultraoffmeteredmeteredv3Cache reads unreported—API
Other4.1741.51mimo-v2.6-prooffmeteredmeteredv358.3% of input reported as cache reads; explicit request off58.3API
Other2.4141.26muse-emberoffmeteredmeteredv345.9% of input reported as cache reads; explicit request off45.9API
Other5.0238.26muse-glimmer-30boffmeteredmeteredv379.9% of input reported as cache reads; explicit request off79.9API
Other1.6836.86solar-pro4offmeteredmeteredv322.9% of input reported as cache reads; explicit request off22.9API
Other1.3733.42mistral-smalloffmeteredmeteredpre_v3Cache reads unreported—API
Other15.8629.79mistral-large-4-0offmeteredmeteredv351.1% of input reported as cache reads; explicit request off51.1API
Other1.3823.47nova-liteoffmeteredmeteredpre_v3Cache reads unreported—API
Qwen17.2260.21qwen4-maxoffmeteredmeteredv339.8% of input reported as cache reads; explicit request off39.8API
Qwen15.2858.96qwen3.6-27boffmeteredmeteredv3Cache reads unreported—API
Qwen26.7253.12qwen3.8-2.4t-a95boffmeteredmeteredv357.6% of input reported as cache reads; explicit request off57.6API
Qwen25.1450.52qwen3.8-maxonmeteredmeteredv368.2% of input reported as cache reads; explicit request on68.2API
Qwen10.2349.49qwen3.5-27boffmeteredmeteredv3Cache reads unreported—API
Qwen11.7849.35qwen3.8-27boffmeteredmeteredv334.9% of input reported as cache reads; explicit request off34.9API
Qwen7.2248.25qwen3.6-flashoffmeteredmeteredpre_v3Cache reads unreported—API
Qwen6.9247.71qwen3.7-plusoffmeteredmeteredpre_v3Cache reads unreported—API
Qwen2.0844.95qwen3.8-flashoffmeteredmeteredv370.2% of input reported as cache reads; explicit request off70.2API
Qwen26.6238.15qwen3.8-max-0902offmeteredmeteredv359.4% of input reported as cache reads; explicit request off59.4API
Qwen52.6836.67qwen3.8-max-primeoffmeteredmeteredv358.3% of input reported as cache reads; explicit request off58.3API
xAI33.5564.21grok-4.6offmeteredmeteredv367.9% of input reported as cache reads; explicit request off67.9API
xAI20.9455.95grok-4.5offmeteredmeteredpre_v3Cache reads unreported—API
xAI29.9953.83grok-4.7offmeteredmeteredv362.4% of input reported as cache reads; explicit request off62.4API
xAI12.5550.93grok-4.3offmeteredmeteredv3Cache reads unreported—API
Z-AI5.7445.96glm-5.2offmeteredmeteredpre_v3Cache reads unreported—API
Z-AI10.5845.37glm-5.1offmeteredmeteredv3Cache reads unreported—API
Z-AI23.5242.62glm-5.3offmeteredmeteredv364.8% of input reported as cache reads; explicit request off64.8API
Z-AI3.3541.09glm-5.3-flashoffmeteredmeteredv348.7% of input reported as cache reads; explicit request off48.7API
Z-AI8.7139.34glm-4.7offmeteredmeteredv3Cache reads unreported—API
Z-AI63.5838.82glm-5.3-primeoffmeteredmeteredv362.7% of input reported as cache reads; explicit request off62.7API

Die Laufkosten decken die gespeicherten Routing- und SQL-Antworten aus dem Benchmark-Lauf jedes Modells ab. Ziel waren 759 Fragen. Sieben Läufe haben weniger gespeicherte Antworten. Separate Smoke-Tests, verworfene Wiederholungsversuche und Jury-Aufrufe sind ausgeschlossen. Die SQL-Genauigkeit verwendet die korrekt weitergeleiteten Fragen jedes Modells, nachdem als fehlerhaft markierte Referenzen ausgeschlossen wurden.

Gemini 3 Flash Preview erreichte 67,7 % SQL-Genauigkeit bei 7,67 USD. Die gemessenen Läufe kosteten 13,48 USD für GPT-6.2 Sol (65,9 %) und 46,50 USD für GPT-6.2 Astra (67,6 %).

Die 85 API-Modelle verwenden gemessene Kosten. Opus 5.5, Fable 5.1 und GPT-6 Astra haben separat gekennzeichnete Schätzungen, die auf ihren aufgezeichneten CLI-Tokens und den am 1. Oktober 2026 geprüften OpenRouter-Preisen basieren, wobei die aufgezeichnete Cache-Nutzung erhalten bleibt.

Die Kosten umfassen die Datenbankexploration, und die SQL-Ergebnisse decken unterschiedliche Frageteilmengen ab. Dieser Vergleich beschreibt daher die Kosten und die Genauigkeit des kombinierten Benchmark-Workflows. Isolierte SQL-Generierungskosten wurden nicht gemessen. Der Agentic-RAG-Benchmark weist die Datenbankauswahl separat aus.

SQL-Genauigkeitsergebnisse

Die Spalte „Vor der Referenzprüfung“ misst die exakte Ergebnisübereinstimmung bei allen korrekt weitergeleiteten Fragen. Die Spalte „Nach der Antwortprüfung“ vergibt zusätzliche Punkte für Antworten, die von der Jury akzeptiert wurden. Beide Vergleichsspalten verwenden den ursprünglichen Nenner, während die SQL-Genauigkeit markierte Referenzen ausschließt.

Wie Modelle dieselbe SQL-Frage beantworteten

Dieselbe Frage führte zu exakten Übereinstimmungen, zu korrekten Antworten mit zusätzlichen Spalten und zu einer nicht verwandten Einrichtung. Alle acht Modelle wählten die richtige Datenbank, college_completion. Die Tabelle institution_details speichert Einrichtungsnamen in chronname, Städte in city und Bundesstaaten in state. Diese Antworten stammen aus gespeicherten Benchmark-Läufen. Sieben Modelle verwendeten OpenRouter, während Opus 5.5 Claude Code verwendete.

Benchmark question
Which state is "Mercer University" located in?
Execution match: Pass
SQL: SELECT state FROM institution_details WHERE chronname = 'Mercer University'; | Result: Georgia (one row, state only).

GPT-6.1 Terra, Kimi K3.1 Pro, Gemini 4 Argon und Opus 5.5 gaben Georgia zurück und bestanden den Ausführungsabgleich. Muse Spark Open und DeepSeek V4.1 Flash 1017 identifizierten ebenfalls Georgia, enthielten jedoch Namens- und Ortsspalten. Sie scheiterten am strikten Ergebnisvergleich. Alle drei Jurymitglieder der Antwortprüfung akzeptierten jede Antwort.

MiniMax M3.1 Flash und GLM 5.3 verwendeten LIKE '%Mercer%', das ebenfalls das Mercer County Community College in New Jersey zurückgab. Alle drei Jurymitglieder stuften jede Antwort als Modellfehler ein. Die Referenz bestand die separate Validitätsprüfung.

Wir haben diesen Fall ausgewählt, um zu zeigen, wie Filterung und Ausgabespalten die Bewertung beeinflussen. Er veranschaulicht einzelne Antworten. Die vollständigen Benchmark-Ergebnisse oben liefern den Gesamtmodellvergleich.

Lassen Sie unser Team einen Ihrer Geschäftsprozesse kostenlos mit KI-Agenten automatisieren.
Einen Prozess automatisieren

Bedingungen, die SQL-Genauigkeit beeinflussen

BIRD-Hinweise erhöhten bei Gemini Flash die SQL-Genauigkeit um 8.7 Punkte

Wir wiederholten gemini-3-flash-preview mit den ergänzenden BIRD-Hinweisen. Bei Fragen, die unter beiden Bedingungen korrekt weitergeleitet wurden, stieg die SQL-Genauigkeit von 67,5 % auf 76,2 %. Die strikte Genauigkeit vor der Referenzprüfung stieg von 55,0 % auf 61,6 %.

Dies war ein Experiment mit einem einzelnen Modell. Es begründet keinen allgemeinen Anstieg für das Panel mit 88 Modellen. Das Hauptpanel hält die Hinweise zurück, da sie auch verraten können, welche Datenbank auszuwählen ist.

Modelle erreichten unterschiedliche Mengen an SQL-Fragen

Die Datenbankentscheidungen jedes Modells bestimmen, welche Fragen in die SQL-Bewertung gelangen. Bei claude-opus-5 enthält der strikte Nenner 717 Fragen, darunter 156 aus der schwierigsten Routing-Gruppe. Bei nova-lite-v1 enthält er 285 Fragen, darunter 22 aus dieser Gruppe. Die Anteile betragen 21,8 % und 7,7 %.

Ihre SQL-Prozentsätze kombinieren daher die Abfrageerstellungsleistung mit der Schwierigkeit der bewerteten Fälle. Ein kontrollierter SQL-Vergleich würde jedem Modell die richtige Datenbank für dieselben Fragen bereitstellen. Dieses Experiment wurde nicht durchgeführt.

Die Fragenauswahl ist auch beim Vergleich von KI-Benchmarks von Bedeutung, die unterschiedliche Schemas, Hinweise oder Tool-Budgets bereitstellen.

Ergebnisse aus der Referenz- und Antwortprüfung

Die Referenzprüfung markierte 236 von 759 Abfragen

Fünf Modelle bewerteten jede Referenzabfrage anhand ihrer Frage und der verfügbaren Schemainformationen. Sie sahen keine Kandidatenantwort des Modells. Eine Mehrheit von mindestens drei markierte 236 Referenzen als fehlerhaft, das sind 31,1 % des Datensatzes.

Nach der Prüfung überprüfte der Benchmark-Eigentümer die Markierungen. Unabhängige menschliche Annotatoren haben diese Prüfung nicht wiederholt. Diese Prozentsätze beschreiben die geprüfte Teilmenge. Sie sollten nicht auf den gesamten BIRD-Datensatz verallgemeinert werden.

Äquivalente Antworten fügten 22.7 Punkte zur Punktzahl von claude-sonnet-5 hinzu

claude-sonnet-5 bestand 211 von 679 strikt bewerteten Fragen, das sind 31,1 %. Eine Jury akzeptierte weitere 154 Antworten als äquivalent zur Referenz. Diese trugen 22.7 Prozentpunkte bei.

Weitere 117 Antworten erhielten Punkte, weil die Jury die Abfrage des Modells akzeptierte und die Referenz ablehnte. Diese trugen 17.2 Punkte bei. Zusammen erhöhten die beiden Kategorien die Punktzahl auf 71,0 %, ein Anstieg von 39.9 Punkten.

Äquivalente Antworten können die angeforderte Information mit einer zusätzlichen Spalte oder einer anderen Projektion zurückgeben. Der strikte Vergleich kann dieses Ergebnis ablehnen, selbst wenn ein Prüfer es als Antwort auf die Frage akzeptiert. Von dem Anstieg stammen 22.7 Punkte aus den Entscheidungen der Jury zu diesen Fällen. Referenzfehler machen die verbleibenden 17.2 Punkte aus.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.
GoogleAls bevorzugte Quelle hinzufügen

Methodik des Text-zu-SQL-Benchmarks

Questions and execution

BIRD-SQL liefert natürlichsprachliche Fragen, SQL-Referenzen und Datenbankinhalte.1 Wir verwendeten eine fixierte Auswahl von 759 Fragen aus 11 Datenbanken, die 560 Trainings- und 199 Entwicklungsbeispiele abdeckt.

Die Modelle erhielten kurze Datenbankbeschreibungen und Werkzeuge zum Auflisten von Tabellen, Lesen von Spaltendefinitionen und Ausführen von SQL. Pro Frage waren bis zu neun Aufrufe mit Werkzeugen und eine abschließende Antwort mit der gewählten Datenbank und SQL erlaubt. Das Limit für die Schema-Vorschau lag bei 4.000 Zeichen, und Abfragevorschauen wurden auf 50 Zeilen begrenzt.

Die endgültige Kandidatenabfrage und die Referenz wurden gegen dieselbe Datenbankdatei ausgeführt. Die strikte Bewertung verglich ihre Ergebnisse, einschließlich eines reihenfolgesensitiven Modus für Fragen, die eine geordnete Antwort verlangen. Fehlende, fehlerhafte und bei der Ausführung gescheiterte Kandidatenabfragen erhielten keine strikte Anerkennung bei ansonsten geeigneten, korrekt weitergeleiteten Fragen.

Für die 85 OpenRouter-Läufe forderten wir Temperatur 0 an. Davon nutzten 68 die v3-Wiederherstellungsschicht für Tool-Aufrufe, 15 lagen davor, und zwei kombinierten Datensätze aus beiden Versionen. GPT-6 Astra lief über Codex CLI. Opus 5.5 und Fable 5.1 verwendeten Claude Code. Alle drei CLI-Läufe verwendeten mittleren Reasoning-Aufwand. Die Läufe für GPT-6 Luna, Luna Pro, Sol und Sol Pro sowie GPT-5.2 verwendeten OpenRouter. Diese Ausführungsunterschiede verhindern, dass eine Punktlücke allein dem Modell zugeschrieben wird.

Sieben Läufe absolvierten weniger als 759 Fragen. Fehlende Datensätze fehlen in den Bewertungsnennern. Die Tabelle gibt die tatsächlichen Stichprobengrößen für die Haupt- und Zusatzergebnisse an. GPT-6.1 Terra, MiniMax M3.1 Flash und Kimi K3.1 Pro absolvierten jeweils alle 759 Fragen über OpenRouter am 27. Oktober. Frühere erfolgreiche Antworten blieben über die Messphasen hinweg erhalten. DeepSeek V4.1 Flash 1017 und Muse Spark Open absolvierten jeweils alle 759 Fragen über OpenRouter am 30. Oktober. Fable 5.2 und Muse Ember absolvierten jeweils alle 759 Fragen über OpenRouter am 10. November. Gemini 4 Carbon absolvierte alle 759 Fragen über OpenRouter am 12. November. Gemini 4 Carbon wechselte nach Provider-Ratenlimits von Google KI Studio zu Google Vertex US. Erfolgreiche Antworten blieben über den Wechsel hinweg erhalten.

SQL-Bewertung

Die Hauptwertung schließt markierte Fragen sowohl aus dem Zähler als auch aus dem Nenner aus. Drei als unsicher markierte Referenzen bleiben in der Berechnung enthalten. Die Ergebnisdateien bezeichnen diese Metrik als ex_gold_clean.

Zwei ergänzende Werte zeigen, wie die Prüfung das Ergebnis verändert:

Vor der Referenzprüfung misst die strikte Wertung die exakte Ausführungsübereinstimmung bei allen korrekt weitergeleiteten Fragen. Sie umfasst auch Fragen mit markierten Referenzen.

Nach der Antwortprüfung vergibt die Wertung zusätzliche Punkte, wenn eine separate Jury eine geeignete verpasste Antwort akzeptiert. Sie verwendet denselben Nenner wie die strikte Wertung. Die Ergebnisdateien bezeichnen dies als adjudizierte Genauigkeit.

Die Stichprobengröße (n) ist die Anzahl der bewerteten Fragen. Die Hauptwertung verwendet eine kleinere Teilmenge als die beiden ergänzenden Wertungen.

Bei claude-sonnet-5 reduzierte der Ausschluss markierter Referenzen die akzeptierten Antworten von 211 auf 180 und die bewerteten Fragen von 679 auf 468. Die SQL-Genauigkeit betrug 38,5 %.

SQL-Genauigkeitsberechnung für claude-sonnet-5: 180 übereinstimmende Ergebnisse geteilt durch 468 bewertete Fragen.
SQL-Genauigkeitsberechnung für claude-sonnet-5: 180 übereinstimmende Ergebnisse geteilt durch 468 bewertete Fragen.

Der Ausschluss verändert beide Zählungen. Die Antwortprüfung behält stattdessen den ursprünglichen Nenner bei und vergibt Punkte für akzeptierte verpasste Antworten.

Referenz- und Antwortprüfung

Die Referenzprüfung schließt markierte Fragen von der SQL-Genauigkeit aus. Die Antwortprüfung vergibt Punkte in einer separaten Wertung.
Die Referenzprüfung schließt markierte Fragen von der SQL-Genauigkeit aus. Die Antwortprüfung vergibt Punkte in einer separaten Wertung.

Die Prüfung von Referenzen und die Überprüfung von Kandidatenantworten erfordern unterschiedliche Eingaben.

Die Referenzprüfer waren claude-opus-4.8, gpt-5.6-sol, gemini-3.1-pro-preview, grok-4.5 und deepseek-v4-pro. Die Kandidatenantworten wurden zurückgehalten, damit die Markierungen unabhängig vom bewerteten Modell bleiben.

Die Antwort-Adjudikation verwendete drei Juroren aus Modellfamilien, die sich von der des Kandidaten unterscheiden. Die Referenz- und Kandidatenabfragen erschienen in randomisierten A/B-Positionen ohne Labels, die ihre Rollen verraten. Mehrdeutige Fälle und Fälle mit unzureichenden gültigen Stimmen erhielten keine zusätzlichen Punkte. GPT-6.1 Terra, MiniMax M3.1 Flash und Kimi K3.1 Pro hatten für jeden geeigneten Fall mindestens zwei gültige Jurystimmen. Einzelne fehlgeschlagene Stimmen bleiben in den Prüfprotokollen erhalten. Eine abgeschnittene Juryantwort von GPT-6.1 Terra wurde mit einem Ausgabelimit von 4.000 Token abgeschlossen, erhöht von 1.200. Jurymodell, Prompt und Bewertungsregeln blieben unverändert. DeepSeek V4.1 Flash 1017 und Muse Spark Open hatten für jeden geeigneten Fall mindestens zwei gültige Jurystimmen. Fable 5.2 und Muse Ember hatten für jeden geeigneten Fall mindestens zwei gültige Jurystimmen. Gemini 4 Carbon hatte für jeden geeigneten Fall mindestens zwei gültige Jurystimmen. Qwen4 Max, Gemini 4 Hydrogen, GPT-6.2 Astra und GPT-6.2 Sol hatten jeweils mindestens zwei gültige Jurystimmen pro geeignetem Fall.

Die Prüfabdeckung ist asymmetrisch. Strikte bestandene Antworten bleiben akzeptiert, während geeignete verpasste Antworten eine erneute Bewertung erhalten. Folglich kann die Adjudikation falsch positive Ergebnisse aus der strikten Bewertung beibehalten und eigene falsch positive hinzufügen. Sie ist eine ergänzende Schätzung, die weder garantierte Korrektheit noch eine garantierte Obergrenze für die tatsächliche Genauigkeit bietet.

Eine verpasste Antwort qualifizierte sich für die Adjudikation, wenn die Kandidatenabfrage ausgeführt wurde und die F1-Überlappung zwischen ihren Ergebniszeilen und der Referenz unter 0.5 lag. F1 kombiniert den Anteil der in der Referenz gefundenen Kandidatenzeilen mit dem Anteil der vom Kandidaten wiederhergestellten Referenzzeilen.

Zum Beispiel hatte gemini-3.5-flash-lite 346 strikte Fehlversuche. Davon kamen 314 für die Prüfung infrage. Die Jury akzeptierte den Kandidaten in 144 Fällen: 92 mit einer abgelehnten Referenz und 52 mit beiden akzeptierten Antworten. Sie stufte 105 als Modellfehler ein und ließ 65 mehrdeutig. Die anderen 32 Fehlversuche umfassten 27 mit höherer Ergebnisüberlappung und fünf Ausführungsfehler.

Die Jury akzeptierte 45,9 % der 314 geprüften Fehlversuche.

Einschränkungen

Referenzfehler bleiben unsicher. Die Prüfung mit fünf Modellen untersuchte Spalten aus Tabellen, die von jeder Referenzabfrage verwendet wurden, und kann daher eine Antwort übersehen, die sich in einer anderen Tabelle befindet. Die Prüfung kann auch eine gültige Referenz ablehnen. Eine Wiederholungsprüfung durch unabhängige menschliche Annotatoren ist erforderlich, um beide Fehlerarten abzuschätzen.

Die Urteile der Jury hängen von der LLM-Interpretation ab. Keine unabhängige menschliche Prüfung verifizierte alle Adjudikationsurteile. In der nova-lite-v1-Kontrolle stieg die Genauigkeit von 18,9 % unter strikter Bewertung auf 31,6 % nach der Adjudikation, was zeigt, dass die Prüfung nicht automatisch zu einer hohen Punktzahl führte. Diese Kontrolle allein kann die Genauigkeit der Jury nicht belegen.

Der strikte Vergleich kann in beide Richtungen fehlschlagen. Zusätzliche Spalten oder eine andere Spaltenreihenfolge können eine nützliche Antwort ablehnen. Die Normalisierung der Groß-/Kleinschreibung und das Runden von Gleitkommawerten auf sechs signifikante Stellen können Unterschiede akzeptieren, die von Bedeutung sind.

Fragenstichprobenintervalle sind für strikte Ergebnisse und die SQL-Genauigkeit im Ergebnisexport verfügbar. Sie lassen die Unsicherheit der Referenzkennzeichnung, Jurorenfehler und die Variation zwischen wiederholten SQL-Läufen aus. Eine SQL-Wiederholungsanalyse wird hier nicht berichtet.

Dies sind Ergebnisse für eine ausgewählte, hint-free-Arbeitslast mit einer Datenbankrouting-Anforderung. Sie sind nicht direkt mit der BIRD-Bestenliste vergleichbar. Die öffentlichen Trainingsdaten bergen zudem das Risiko einer Überlappung mit Trainingsdaten, wie im Routing-Artikel erörtert.

Fazit

Opus 5.5 führte die SQL-Genauigkeit mit 87,8 % an, gefolgt von Fable 5.2 mit 86,4 % und Gemini 4 Argon mit 78,6 %.

Jeder SQL-Wert spiegelt die Fragen wider, die das Modell korrekt weitergeleitet hat, sowie die nach der Prüfung beibehaltenen Referenzen. Ein kontrollierter SQL-Vergleich würde jedem Modell dieselben Fragen und Datenbankinformationen geben, mit unabhängigen Prüfungen der Referenzkennzeichnungen und Juryentscheidungen.

Weiterführende Informationen

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

Ekrem Sarı (2026) - "AIM-Text-to-SQL-Benchmark: SQL-Genauigkeit bei über 70 LLMs". Online veröffentlicht auf AIMultiple.com. Abgerufen am 17. November 2026, von: https://aimultiple.com/text-to-sql [Online-Ressource]

Sarı, E. (2026, 17. November). AIM-Text-to-SQL-Benchmark: SQL-Genauigkeit bei über 70 LLMs. AIMultiple. https://aimultiple.com/text-to-sql

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{AIM-Text-to-SQL-Benchmark: SQL-Genauigkeit bei über 70 LLMs}},
  year   = {2026},
  month  = nov,
  howpublished    = {\url{https://aimultiple.com/text-to-sql}},
  note   = {AIMultiple. Abgerufen am 17. November 2026}
}
Alle Daten herunterladen

Ergebnisse und Zeitstempel von 1.6 Tausend Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 5 CSV-Dateien und eine README enthält.

Zuletzt aktualisiert: 18. November 2026
Herunterladen

Möchten Sie die granularen Daten dahinter? Premium beitreten

Änderungsprotokoll

9 Aktualisierungen
  1. Text-to-SQL-Benchmarkergebnisse durch ein 36-Modell-Panel mit strict-, gold-clean- und adjudicated-Execution-Match-Bewertung ersetzt.

  2. Ein Änderungsprotokoll wurde zum Abschnitt „Agentic RAG Benchmark: Multi-Datenbank-Routing und Abfragegenerierung“ hinzugefügt.

  3. Der Methodik-Abschnitt wurde durch eine Zusammenfassung und einen Verweis auf einen anderen Artikel ersetzt.

Referenzlinks

1.
BIRD-bench
Ekrem Sarı
Ekrem Sarı
KI-Forscher
Ekrem ist KI-Forscher und Datenwissenschaftler bei AIMultiple. Er entwirft und führt praxisnahe Benchmarks für KI- und LLM-Systeme durch.
Vollständiges Profil anzeigen

Kommentare 1

Teilen Sie Ihre Gedanken

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

0/450
PFJ Rofgowski
PFJ Rofgowski
Dec 10, 2025 at 20:04

Curious, how much of the context engineering and specific prompting did you apply in your benchmarks. Or, was it to review the models only? I have found much higher return of correct and consistent responses. A higher fidelity. To do that, I needed to provide a most sophisticated prompt that fed the context window as the question was being asked. Not perfect, but better than those scores represented in this article when using the Grok 4.x .

Ekrem Sarı
Ekrem Sarı
Feb 10, 2026 at 08:46

Great point. This benchmark intentionally uses zero-shot, minimal prompting with temperature=0. No few-shot examples, no domain-specific instructions, no iterative refinement. The goal was to measure each model's baseline text-to-SQL capability. So your experience with Grok 4 getting higher fidelity through sophisticated context engineering is completely expected. A well-crafted prompt with detailed schema descriptions, few-shot examples, and domain-specific rules will improve any model's performance significantly. What this benchmark isolates is how well the model performs out-of-the-box when given only the raw question and retrieved schema, which helps compare the models' inherent SQL reasoning abilities on a level playing field.           We'll make this clearer in the methodology section. Thanks for raising it.