Text-zu-SQL: Vergleich der LLM-Genauigkeit
Wir führten 36 große Sprachmodelle über 759 Fragen aus BIRD-SQL durch, wobei jedes Modell SQL gegen eine Datenbank schrieb, die es selbst aus 11 Kandidaten identifizieren musste. Jede ausführbare Abfrage wurde gegen die echte Datenbank ausgeführt und ihre Ergebnismenge mit der Ergebnismenge der Gold-Abfrage von BIRD verglichen. Fehlende, fehlerhaft formatierte und ausführungsfehlschlagende Abfragen wurden als Fehlschläge gewertet.
Jeder Durchlauf erfolgte mit Temperatur 0, Zero-Shot, wobei der Domänenhinweis von BIRD unterdrückt wurde. Neunzehn der 36 Durchläufe verwendeten die auf der Routing-Seite beschriebene Tool-Call-Recovery-Schicht, die Tool-Aufrufe analysiert, die der Standardparser ablehnt. Fünfzehn Durchläufe liegen zeitlich davor und zwei überspannen die Änderung.
Metriken erklärt
Strikter Ausführungsabgleich. Ausführungsabgleich über die Fragen, die das Modell korrekt weitergeleitet hat. Die Konditionierung auf die korrekte Weiterleitung entfernt direkte Fehler durch falsche Datenbanken, isoliert aber die SQL-Fähigkeit nicht vollständig, da jedes Modell eine andere Teilmenge von Fragen erreicht.
Gold-bereinigt. Dieselbe Messung, bei der die Fragen, deren Gold-SQL wir als fehlerhaft eingestuft haben, aus dem Nenner entfernt wurden. Diese Fragen werden nicht als bestanden gewertet, sondern entfernt.
Begutachtet. Das obere Ende. Eine blinde Jury aus drei Modellen, die aus anderen Familien als das getestete Modell stammen, überprüft jede Antwort, die der strikte Vergleich abgelehnt hat, wobei das Modell korrekt weitergeleitet hat, das SQL ausgeführt wird und die Zeilen sich mit denen des Gold-Standards um weniger als die Hälfte überschneiden. Sie entscheidet, ob die Abfrage eine andere, aber gleichwertige Formulierung ist, ob der Gold-Standard falsch ist oder ob das Modell falsch liegt. Gleichwertige Antworten und fehlerhafte Gold-Abfragen werden angerechnet.
Alle drei beginnen mit dem vollständigen Satz von 759 Fragen anstatt der schweren Teilmenge, und keine verwendet 759 als Nenner. Jede wird über die Fragen gemessen, die das Modell korrekt weitergeleitet hat, und die gold-bereinigte Spalte lässt dann die markierten Gold-Abfragen weg. Zufall spielt auf dieser Achse keine Rolle, weil eine Abfrage entweder das Gold-Ergebnis zurückgibt oder nicht.
Text-zu-SQL Benchmark-Ergebnisse
Richtige Antworten in falscher Form kosten ein Modell 22.7 Punkte
claude-sonnet-5 erzielt 0.311 im strikten Ausführungsabgleich, den 33. Platz von 36 Modellen und das niedrigste aller Anthropic-Reihen. Unter blinder Begutachtung erreicht derselbe Durchlauf 0.710, 0.007 unter qwen3.6-27bs 0.717.
Der Gewinn von 39.9 Punkten teilt sich in zwei Teile. 154 seiner 679 bewerteten Fragen, 22.7 Punkte, sind Antworten, die Jury als gleichwertig zum Gold-Standard, aber in anderer Form betrachtet hat. Weitere 117, 17.2 Punkte, sind Fragen, bei denen die Jury den Gold-Standard selbst für fehlerhaft hielt. Der Antwortstil erklärt Ersteres, nicht die Summe. Fehler im Testsystem tragen nichts dazu bei, da der Durchlauf keine fehlenden Abfragen, einen Absturz und keine nicht wiederhergestellten Antworten verzeichnete.
Dieselben 154 Antworten machen 34 % der 453 sonnet-5-Fehlschläge aus, die zur Begutachtung gelangten. Format-äquivalent bedeutet, dass die Abfrage die richtigen Informationen in einer anderen Projektion, mit einer zusätzlichen Spalte, einer anderen Spaltenreihenfolge oder als Zählung liefert, wo der Gold-Standard die Zeilen zurückgab. Der strikte Ausführungsabgleich bewertet dies als Fehlschlag.
Die Tendenz verläuft nach Modellfamilie und nicht nach Leistungsstufe. Familien mit reichhaltiger Projektion verlieren auf diese Weise ein Viertel bis ein Drittel ihrer begutachteten Fehlschläge, bei Claude 25 bis 34 %, Kimi 24 bis 34 %, OpenAIs 5.x-Reasoning-Reihe 26 bis 32 %, DeepSeek 31 %, MiniMax 26 bis 30 % und GLM-5.x 28 %. Gold-ähnliche Schreiber verlieren weit weniger, bei Google 9 bis 17 %, Llama 9 %, Mistral 18 %, Grok 19 % und OpenAIs eigenen kleinen Modellen 19 bis 20 %. Grok widerlegte unsere erste Erklärung dieses Musters. Es befindet sich in der Reasoning-Stufe und verliert 19 %.
Die begutachtete Messung platziert sonnet-5 auf dem 17. Platz, eine Lücke von 16 Positionen.
Die Jury stellt fest, dass 46 % der abgelehnten Antworten eines Modells keine Modellfehler sind
Wir nahmen 314 der 346 Antworten, die der strikte Vergleich für gemini-3.5-flash-lite bei korrekt weitergeleiteten Fragen ablehnte – diejenigen, deren SQL ausgeführt wurde und deren Zeilen sich mit denen des Gold-Standards um weniger als die Hälfte überschnitten – und sandten sie an die blinde, positionsdurchmischte Drei-Modell-Jury. Diese 346 decken jeden Schwierigkeitsgrad ab, nicht nur die schweren, und entsprechen somit der Population, die SQL-Spalten abdecken.
Die Jury teilte sie in vier Kategorien ein. Golddefekt, bei dem das Modell richtig und die Gold-Abfrage von BIRD falsch ist, machte 29.3 % aus. Format-äquivalent machte 16.6 % aus, echter Modellfehler 33.4 % und mehrdeutig 20.7 %. Addiert man die ersten beiden, sind 144 der 314 begutachteten Fehlschläge (46 %) keine Modellfehler. Dieser Anteil bezieht sich auf die 314, die Jury erreichten, nicht auf alle 346 abgelehnten Antworten. Die 32 zurückgehaltenen ließen sich entweder nicht ausführen oder überschnitten sich zu stark mit dem Gold-Standard, um eine klare Abweichung darzustellen.
Die Strenge des Vergleichs erklärt die Lücke nicht. Eine Lockerung der Spaltenreihenfolge bringt 0.5 Punkte, und 92 % der Fehlschläge überlappen das Gold-Ergebnis um weniger als 0.5. Die Begutachtung, nicht ein lockerer Vergleich, bringt dieses Modell in einen Bereich von 0.606 bis 0.687, gegenüber einem strikten 0.464.
Die Fehlschläge, die Jury als Golddefekt einstufte, konzentrieren sich dort, wo keine veröffentlichte Korrektur greift, bei 33 % der Train-Split-Fehlschläge dieses Modells gegenüber 20 % der Dev-Split-Fehlschläge. Jede uns verfügbare deterministische Korrektur wurde bereits angewendet. Eine Neubewertung anhand der korrigierten Dev-Version von BIRD ergab 0 von 92 Dev-Fehlschlägen, ein externer Korrektursatz deckte 39 davon ab und kehrte 1 um, und eine MySQL-gegen-SQLite-Engine-Prüfung fand 4 abweichende Gold-Abfragen über den gesamten Satz, zusammen etwa 1 % der 314.
Unsere Fünf-Modell-Prüfung kennzeichnet 31.1 % der Gold-Abfragen von BIRD als fehlerhaft
Wir prüften den Gold-Standard selbst. Fünf Frontier-Modelle, eines pro Familie, bewerteten alle 759 Gold-Abfragen anhand ihrer Fragen und Schemata. Keinem Juror wurde jemals die Ausgabe eines Modells gezeigt. Das Panel kennzeichnete 236 von 759 Gold-Abfragen als fehlerhaft, 31.1 %, zu Kosten von $20,55 und ohne fehlgeschlagene Jury-Aufrufe.
Die Quote teilt sich nach BIRD-Partition auf, bei 204 von 560 Train-Gold-Abfragen (36 %) gegenüber 32 von 199 Dev-Gold-Abfragen (16 %). Ein zuvor durchgeführtes unabhängiges Drei-Modell-Panel erreichte 29.1 %, und 207 seiner 221 Fehlerkennzeichnungen, 94 %, sind auch in diesem Panel fehlerhaft. Über alle 759 Fragen stimmen die beiden Panels zu 92.9 % überein.
Eine veröffentlichte Schätzung deckt den Train-Split von BIRD ab, MotherDucks Prüfung von 151 Beispielen, und beziffert die Quote auf 32.5 %. Die Peer-Review-Prüfungen von BIRD decken den Dev-Split per explizitem Design ab, sodass MotherDucks 151 Beispiele die einzige externe Überprüfung der 560 Train-Fragen in unserem eingefrorenen Satz darstellen, 73.8 % davon.1
Das Entfernen der fehlerhaften Gold-Abfragen aus dem Nenner verschiebt den besten strikten Schreiber von 0.551 auf 0.677, und die Gewinne pro Modell reichen von +4.5 bis +13.3 Punkten. Die Spitzengruppe behält ihre Reihenfolge bei, und benachbarte Modelle im Mittelfeld verschieben sich um bis zu drei Positionen.
Ein 27B-Modell belegt den fünften Platz bei strikter SQL-Genauigkeit
qwen3.6-27b erzielt 0.471 strikt und 0.590 gold-bereinigt und belegt damit den fünften Platz im Panel hinter gemini-3-flash-preview (0.551 / 0.677), gemini-3.1-pro-preview (0.536 / 0.669), claude-fable-5 (0.531 / 0.655) und claude-opus-5 (0.523 / 0.643). Jede OpenAI-, Kimi- und DeepSeek-Reihe verzeichnet einen niedrigeren strikten Wert, und der Durchlauf kostete $15.28.
Die Spalte wird über die jeweils korrekten Routen jedes Modells gemessen, sodass ein schwächerer Router anhand einer leichteren Auswahl bewertet wird. qwen3.6-27b routet 0.679, und der Abschnitt Einschränkungen misst diesen Effekt mit einer Korrelation von 0.96 zwischen Routing-Genauigkeit und Nennerschwierigkeit.
Die Reihenfolge ändert sich, sobald das obere Ende der Spanne verwendet wird. Bei den begutachteten Werten liegt qwen3.6-27b auf Platz vierzehn mit 0.717, während claude-opus-5 mit 0.824 führt.
Routing-Fähigkeit und SQL-Schreibfähigkeit sind getrennte Achsen
kimi-k3 routet 0.832, hinter claude-opus-5 mit 0.848 und auf Augenhöhe mit qwen3.8-max, und schreibt 0.482 gold-bereinigtes SQL gegenüber einem Panel-Bestwert von 0.677. gemini-3-flash-preview kehrt dies um, routet 0.753 mit diesem Panel-bestem gold-bereinigtem SQL. gpt-5.6-terra routet mit 0.772 und schreibt 0.447.
Die beiden Achsen werden nicht mit einem Nenner gemessen. Jedes Modell schreibt SQL für die Fragen, die es korrekt weitergeleitet hat, und keine anderen, und die besseren Router erhalten einen schwereren Satz, was jede gemessene Assoziation zwischen den Achsen nach unten zieht.
Die Gold-Prüfung und die Begutachtungsjury
Zwei Jurys erledigten zwei verschiedene Aufgaben.
Die Gold-Validitätsjury bewertet Gold-Abfragen. Ihre fünf Juroren (claude-opus-4.8, gpt-5.6-sol, gemini-3.1-pro-preview, grok-4.5, deepseek-v4-pro) sehen jeweils eine Frage, das Gold-SQL und die Spaltenlisten der Tabellen, die Abfrage berührt, und beantworten, ob das Gold die Frage beantwortet. Keine Modellausgabe wird jemals gezeigt. Ihre Urteile sind in einer Hash-gepinnten Datei eingefroren und speisen die gold-bereinigte Spalte.
Die Begutachtungsjury bewertet den Fehlschlag eines bestimmten Modells. Drei Modelle, die aus anderen Familien als das getestete Modell stammen, sehen die Frage, die Gold-Abfrage und das Ergebnis sowie die Kandidatenabfrage und deren Ergebnis mit permutierter Position und stimmen darüber ab, zu welcher von vier Kategorien der Fehlschlag gehört. Pro Modell kostet dies etwa 6 Dollar, und ihre Urteile speisen die begutachtete Spalte. Die Begutachtung über das gesamte 36-Modell-Panel kostete $208.81.
Die begutachtete Spalte ist ein begutachtungsbereinigter, optimistischer Endpunkt und keine unabhängige Ground Truth. Sie kann in beide Richtungen irren. Eine mehrdeutige Antwort, die tatsächlich korrekt war, erhält keine Anrechnung, und ein falsch positives Jury-Urteil rechnet eine an, die es nicht war. Drei gemessene Eigenschaften begrenzen, wie weit sie gedehnt werden kann.
Die Überprüfung ist asymmetrisch. Fehlschläge erhalten einen zweiten Blick, Bestehen nie, sodass ein Fehler in Richtung Bestehen nicht entdeckt werden kann. Mehrdeutige Urteile, 15 bis 23 % je nach Modell, werden nie angerechnet, und knappe Fehlschläge sowie nicht ausführbare Abfragen bleiben Fehlschläge.
Sie löscht nicht die Untergrenze schwacher Modelle. Als Negativkontrolle begutachteten wir nova-lite-v1, die schwächste Zeile des Panels. Sein Wert steigt von 0.190 auf 0.316 und bleibt 0.150 unter der nächsten Zeile. Die Untergrenze liegt bei llama 0.466, mistral 0.509 und gpt-5.4-nano 0.512.
Der Anteil an Golddefekten folgt der Modellstärke mit einer Rangkorrelation von 0.906, gemessen über 33 Modelle. gpt-5.6-sols Fehlschläge sind zu 40 % Golddefekte und zu 19 % echte Fehler, während die von llama-4-maverick bei 13 % und 50 % liegen.
Vierundzwanzig der 36 Modelle liegen bei oder über 0.68 begutachtet.
Wie die SQL-Erzeugung in diesem Benchmark funktioniert
Das Modell erhält niemals ein Schema im Voraus. Es wählt eines von 11 Datenbank-Tools aus, liest die zurückgegebene Tabellenliste, fordert die Spalten einer Tabelle an, wenn es sie benötigt, und kann explorative Abfragen gegen die Datenbank ausführen, für die es sich entschieden hat, bevor es sich festlegt. Die Schema-Ausgabe ist auf 4.000 Zeichen begrenzt und die Abfrageergebnisse auf 50 Zeilen.
Die endgültige Abfrage erfolgt über einen obligatorischen Finalisierungsaufruf ohne angehängte Tools, zusammen mit der vom Modell deklarierten Datenbank. Die Bewertung führt diese Abfrage und die Gold-Abfrage von BIRD gegen dieselbe Datenbankdatei aus und vergleicht die beiden Ergebnismengen, mit einem NULL-Sentinel und einem ordnungssensitiven Modus für Fragen, die eine Reihenfolge vorgeben.
Der Vergleich ist der strikte Schritt, und hier kann eine richtige Antwort als Fehlschlag gewertet werden. Eine Abfrage, die dieselben Zeilen mit einer zusätzlichen Spalte, in anderer Spaltenreihenfolge oder als Zählung liefert, wo der Gold-Standard die Zeilen zurückgab, scheitert am Vergleich. Dies ist die Lücke, die Begutachtungsjury misst, und nicht diejenige, die ein lockerer Vergleich schließen würde, der 0.5 Punkte bringt.
Benchmark-Methodik für Text-zu-SQL
Dieser Benchmark teilt sich das Testgerüst mit dem agentischen RAG-Benchmark, der die Datenbankauswahl, die Schwierigkeitstaxonomie, die Anonymisierung, die agentische Schleife und das Zugbudget vollständig beschreibt. Beide Seiten berichten über denselben eingefrorenen 759-Fragen umfassenden BIRD-SQL-Teilsatz, der über 11 Datenbanken ausgeführt wird, zwischen denen das Modell wählen muss, bei Temperatur 0 und unterdrücktem Domänenhinweis. Die Routing-Seite trägt die Routing-Achse, und diese Seite trägt die SQL-Achse.
Bewertung: Ausführungsabgleich. Die endgültige Abfrage des Modells und die Gold-Abfrage von BIRD werden beide gegen die echte Datenbank ausgeführt und ihre Ergebnismengen verglichen, mit einem NULL-Sentinel und einem ordnungssensitiven Modus für Abfragen, deren Frage eine Reihenfolge vorgibt. Nenner: Fragen, die das Modell korrekt weitergeleitet hat. Gemeldete Form: eine Drei-Werte-Spanne, strikter Ausführungsabgleich, dann gold-bereinigt, dann begutachtet. Gold-Prüfung: 5 Frontier-Familien, ein Modell pro Familie, 759 Gold-Abfragen bewertet, 236 als fehlerhaft gekennzeichnet, Hash-gepinnt. Begutachtung: 3 Modelle pro Kandidat, familienfremd zum getesteten Modell, blind und positionsdurchmischt. Panel: 36 Modelle, jeweils ein Durchlauf, $874,53 für die Durchläufe und $208,81 für die Begutachtung
Warum kein LLM die Korrektheit auf der unteren Ebene beurteilt. Wir haben die Alternative vor der Auswahl gemessen. Über 2.203 Datensätze aus dem Vorgänger-Benchmark hat ein LLM-Richter nie eine Abfrage durchfallen lassen, die Ausführung bestanden hatte, bei keiner Schwelle. Diesem Richter wurden beide Ergebnismengen gezeigt, sodass sein Urteil nicht unabhängig vom Ausführungsergebnis ist und die Null nicht belegt, dass ein Richter nicht strenger sein kann. Die Ausführung bleibt die untere Ebene, und die Jury erscheint weiter oben in der Spanne, wo ihre Milde der Punkt ist.
Warum der Hinweis unterdrückt wird. BIRD liefert zu jeder Frage einen Domänenhinweis. Seine Bereitstellung bringt 6 bis 9 Ausführungsabgleich-Punkte und verschiebt auch die Routing-Genauigkeit um 5.7 Punkte, was ihn zu einem Leck auf der Routing-Achse macht. Beide Seiten berichten daher über den hinweis-freien Zustand, und die SQL-Zahlen hier liegen unter dem, was dieselben Modelle unter BIRD-Standardbedingungen erzielen würden.
SQL-Genauigkeit über das Panel, drei Arten
Sortiert nach der begutachteten Spalte. Sechs Zeilen erreichten nach zwei Wiederholungsdurchläufen weniger als 759 Datensätze, und die fehlenden Fragen sind in jedem Nenner nicht enthalten und werden nicht als Fehlschläge gezählt.
Einschränkungen der SQL-Achse
Der Gold-Standard ist entlehnt und umstritten. Unsere 31.1 % fehlerhafter Gold-Abfragen stammen aus unserer eigenen geprüften Teilmenge und nicht aus einer Multi-Annotator-Ground-Truth. Es gibt keinen verblindeten Doppeldurchlauf, keine Inter-Annotator-Übereinstimmungszahl, und die menschliche Verifikation wurde vom Benchmark-Eigentümer durchgeführt und nicht von einem unabhängigen Annotator. Die Juroren sahen die Spaltenlisten der Tabellen, die Gold-Abfrage berührt, sodass ein Gold, das die falsche Tabelle abfragt, aus dieser Perspektive nicht erkennbar ist und solche Fehler übersehen werden. Das Panel kann auch ein funktionierendes Gold kennzeichnen, ein Fehler in die andere Richtung. Kein unabhängiger Annotator hat den Durchlauf wiederholt, sodass der Restfehler in beide Richtungen nicht gemessen ist und die Zahl keine Untergrenze darstellt.
Die begutachtete Spalte ist ein LLM-Instrument, keine zweite Ground Truth und keine strikte obere Schranke. Ihre drei Juroren sind Modelle, daher erbt die Spalte alles, was ein Modell-Panel hinsichtlich der SQL-Äquivalenz falsch macht, und kein Mensch hat die Urteile erneut gelesen.
Der Vergleich irrt in beide Richtungen. Spaltenreihenfolge und Spaltenanzahl verursachen falsch negative Ergebnisse, während Groß-/Kleinschreibungsfaltung und Rundung auf sechs signifikante Stellen Fließkommazahlen falsch positive verursachen. Vergleichsfehler und Fehler in der Gold-Abfrage sind getrennte Unsicherheitsquellen und können einen Wert in unterschiedliche Richtungen bewegen.
Der strikte Ausführungsabgleich wird über die jeweils korrekt weitergeleiteten Fragen des Modells gemessen, und die besseren Router erhalten einen schwereren Satz. Die Routing-Genauigkeit korreliert mit der Schwierigkeit der Fragen, die den SQL-Nenner eines Modells erreichen. Über die 36 Modelle beträgt diese Korrelation 0.96 (Pearson, über die durchschnittliche datenbankübergreifende Nachbaranzahl) und 0.97 gegenüber dem Anteil schwierigster Fragen in diesem Nenner. Konkret schreibt claude-opus-5 SQL für 717 Fragen, von denen 21.8 % zu den 184 schwierigsten gehören, während nova-lite-v1 SQL für 285 Fragen schreibt, von denen 7.7 % dazugehören. Ein schwacher Router wird anhand einer leichteren Auswahl bewertet. Behandeln Sie diese Spalte als Diagnose pro Modell und nicht als modellübergreifendes Ranking, und lesen Sie die drei Spalten als Stufen. Um die Lücke zu schließen, wäre ein Oracle-Route-Durchlauf erforderlich, bei dem jedes Modell SQL für dieselben Fragen schreibt. Ein solcher Durchlauf wurde nicht durchgeführt.
Die Konfidenzintervalle decken nur den Stichprobenfehler ab. Die obige Tabelle zeigt Punktschätzungen, und Wilson-Intervalle für die strikten und gold-bereinigten Spalten befinden sich in der veröffentlichten CSV-Datei neben jeder Zeile. Die Intervalle enthalten das Frage-Stichprobenrauschen, nicht aber die Unsicherheit der Jurys oder die der Gold-Kennzeichnungen. Zwei unter identischen Bedingungen wiederholte Panel-Durchläufe verschoben die Routing-Genauigkeit um 1.6 bis 2.7 Punkte, und diese Seite meldet keine Wiederholungsmessung für die SQL-Spalten.
Diese Zahlen sind konstruktionsbedingt hinweis-frei, daher sind sie nicht mit BIRD-Leaderboard-Werten für dieselben Modelle vergleichbar.
Fazit
Der strikte Ausführungsabgleich mit den Gold-Abfragen von BIRD reicht über die 36 Modelle von 0.190 bis 0.551, und dasselbe Panel reicht von 0.316 bis 0.824, nachdem eine blinde Jury jeden Fehlschlag erneut gelesen hat. Der Abstand zwischen diesen beiden Ablesungen ist das Ergebnis. Für claude-sonnet-5 beträgt er 39.9 Punkte, wovon 22.7 auf Antworten entfallen, die richtigen Informationen in einer Form zurückgeben, die der Vergleich ablehnt.
Für eine nach striktem Ausführungsabgleich bewertete Arbeitslast verzeichnete gemini-3-flash-preview 0.551 roh und 0.677 gold-bereinigt bei $7,67 pro Durchlauf. Für eine Arbeitslast, bei der eine gleichwertige Antwort in einer anderen Projektion akzeptabel ist, verzeichnete claude-opus-5 0.824 begutachtet gegenüber gpt-5.6-sols 0.785, innerhalb eines Konfidenzintervalls. Für jeden modellweisen Vergleich unterscheidet sich der Nenner je nach Modell, sodass die drei Spalten Diagnosen und kein kontrolliertes Leaderboard sind.
Die Obergrenze dieser Achse ist das Gold, nicht die Modelle. Ein Drittel der Gold-Abfragen von BIRD besteht unsere Prüfung nicht, die Fehler konzentrieren sich im Train-Split, wo keine veröffentlichte Korrektur greift, und die beiden Instrumente, die über sie hinwegsehen, sind beide LLM-Jurys und keine menschlichen Annotatoren. Um die Achse voranzubringen, bedarf es eines Oracle-Route-Durchlaufs, damit jedes Modell SQL für dieselben Fragen schreibt, und einer unabhängigen doppelten menschlichen Annotation einer stratifizierten Gold-Stichprobe. Beides wurde nicht durchgeführt.
Als bevorzugte Quelle hinzufügenWeiterführende Literatur
- Agentischer RAG-Benchmark: Multi-Datenbank-Routing über 36 LLMs
- 200+ führende KI-Benchmarks
- HALC-Bench: LLM-Halluzination im Long-Context-Retrieval-Benchmark
- +100 Datensätze für ML- & KI-Modelle
- Beste RAG-Tools, Frameworks und Bibliotheken
FAQs
Weil die Gold-Abfragen von BIRD stammen und ein Drittel von ihnen unsere Prüfung nicht besteht. Der strikte Ausführungsabgleich ist die untere Grenze, die gold-bereinigte Spalte entfernt die Fragen, deren Gold wir als fehlerhaft beurteilt haben, und die begutachtete Spalte rechnet Antworten an, die eine blinde Jury als gleichwertig eingestuft hat. claude-sonnet-5 bewegt sich über diese Spanne von 0.311 auf 0.710, sodass eine einzelne Zahl das Panel um bis zu 39.9 Punkte falsch darstellen würde.
Nein. BIRD liefert zu jeder Frage einen Domänenhinweis und stellt die Datenbank bereit. Dieser Benchmark unterdrückt den Hinweis und lässt das Modell die Datenbank aus 11 auswählen. Allein der Hinweis ist 6 bis 9 Ausführungsabgleich-Punkte wert.
Nicht auf diesem Panel. Jedes Modell schreibt SQL für die Fragen, die es korrekt weitergeleitet hat, sodass ein besserer Router einen schwierigeren Nenner erhält, bei einer Korrelation von 0.96 zwischen Routing-Genauigkeit und Nennerschwierigkeit. kimi-k3 routet 0.832 und schreibt 0.482 gold-bereinigt, während gemini-3-flash-preview 0.753 routet und das Panel-beste 0.677 schreibt.
Eine Gold-Abfrage, die ihre eigene Frage nicht beantwortet, wie von fünf Frontier-Modellen aus fünf verschiedenen Familien bewertet, von denen keines eine Kandidatenantwort gesehen hat. Das Panel kennzeichnete 236 von 759, und ein früheres Drei-Modell-Panel kennzeichnete unabhängig 221, von denen 207 überlappen.
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{sari2026,
author = {Sarı, Ekrem},
title = {{Text-zu-SQL: Vergleich der LLM-Genauigkeit}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/text-to-sql}},
note = {AIMultiple. Abgerufen am 7. August 2026}
}Referenzlinks
Kommentare 1
Teilen Sie Ihre Gedanken
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.
Curious, how much of the context engineering and specific prompting did you apply in your benchmarks. Or, was it to review the models only? I have found much higher return of correct and consistent responses. A higher fidelity. To do that, I needed to provide a most sophisticated prompt that fed the context window as the question was being asked. Not perfect, but better than those scores represented in this article when using the Grok 4.x .
Great point. This benchmark intentionally uses zero-shot, minimal prompting with temperature=0. No few-shot examples, no domain-specific instructions, no iterative refinement. The goal was to measure each model's baseline text-to-SQL capability. So your experience with Grok 4 getting higher fidelity through sophisticated context engineering is completely expected. A well-crafted prompt with detailed schema descriptions, few-shot examples, and domain-specific rules will improve any model's performance significantly. What this benchmark isolates is how well the model performs out-of-the-box when given only the raw question and retrieved schema, which helps compare the models' inherent SQL reasoning abilities on a level playing field. We'll make this clearer in the methodology section. Thanks for raising it.