AIM-Agentic RAG Benchmark: Routing über 11 SQL-Datenbanken
We benchmarked 70+ LLMs on 759 questions that require choosing among 11 SQL databases. The benchmark measures whether each model identifies the right database, explores alternatives and states a final choice.
Die Routing-Genauigkeit ist der Prozentsatz der bewerteten Fragen, bei denen das Model in seiner endgültigen Antwort explizit die richtige Datenbank nennt. Die Hauptkennzahl verwendet die 184 Fragen, die sowohl von unserem Ähnlichkeitstest als auch von einer Jury aus drei LLMs als schwierig eingestuft wurden. Fehlende explizite Angaben werden nicht gewertet.
Ergebnisse zum Datenbank-Routing
Gemini 4 Argon erzielte die höchste Routing-Genauigkeit mit 94,0 %
gemini-4-argon wählte bei 173 von 184 schwierigen Fragen die richtige Datenbank. claude-opus-5.5 folgte mit 90,2 % (166 von 184). Muse Wonder erzielte 86,4 % (159 von 184).
Gemini 4 Argon führte über alle Fragen hinweg mit 98,4 % (747 von 759). Es wurde über OpenRouter ausgeführt. Die beobachteten Werte spiegeln sowohl das Model als auch die Ausführungsbedingungen wider.
DeepSeek V4 Flash 0731 erzielte 82,1 % Routing-Genauigkeit zu $1,37
DeepSeek V4 Flash 0731 beantwortete 151 von 184 schwierigen Fragen korrekt. Die beibehaltenen Antworten über alle 759 Fragen kosteten $1.37. Qwen3.8 Flash erzielte 79,3 % bei $2,08, während MiMo-V2.6-Pro 82,6 % bei $4,17 erreichte.
Diese Kosten summieren die erfolgreichen Antworten, die in jeder Ergebnisdatei beibehalten wurden. Fehlgeschlagene und ersetzte Wiederholungsversuche sind ausgeschlossen. Diese Summen hängen von den Anbietern und den Caching-Bedingungen während der Messung ab. Das Kostendiagramm enthält 73 gemessene API-Summen und drei separat gekennzeichnete OpenRouter-Äquivalenzschätzungen für Opus 5.5, Fable 5.1 und GPT-6 Astra. Diese Schätzungen wenden die API-Preise vom 1. Oktober 2026 auf die aufgezeichneten CLI-Tokens und die Cache-Nutzung an. Sie messen keine Abonnementausgaben.
Grok 4.6 gewann nach seiner ersten Datenbankwahl 41.8 Punkte hinzu
Die Routing-Genauigkeit von Grok 4.6 bei schwierigen Fragen stieg von 38,0 % bei der ersten Prüfung auf 79,9 % bei der endgültigen Angabe. GPT-6 Sol Pro gewann 34.2 Punkte innerhalb seines Laufs hinzu. Nova Lite verlor 14.0 Punkte.
Diese Veränderungen verwenden Fragen mit einer einzigen Datenbank im ersten Zug. Sie beschreiben aufgezeichnete Verläufe. Keine separate Maßnahme isolierte den Nutzen zusätzlicher Aufrufe.
Über alle 76 Models hinweg enthielten 7.570 Datensätze zu schwierigen Fragen einen Datenbankwechsel:
Diese Tabelle verwendet die erste Datenbank in der aufgezeichneten Aufrufreihenfolge, einschließlich der ersten Züge mit mehreren Datenbanken. Die endgültige Wertung erfordert eine explizite korrekte Angabe. Die oben genannten Prozentpunktveränderungen verwenden die engere Teilmenge mit nur einer ersten Wahl.
Ergebnisse des Datenbank-Routings
Die Models sind nach Routing-Genauigkeit sortiert, die höchste zuerst. Die Methodik erfasst Unterschiede in der Software, mit der sie ausgeführt werden. Diese Bedingungen sind wichtig, wenn kleine Punktunterschiede interpretiert werden.
Die Intervalle schätzen die Unsicherheit der Fragenstichprobe. Die erfassten Kosten decken die erfolgreichen Datensätze in jedem Lauf ab. Sie spiegeln die Anbieter und Caching-Bedingungen zum Zeitpunkt der Messung wider.
Bedingungen, die Datenbankauswahl beeinflussen
Ähnliche Datenbanken verringerten die Routing-Genauigkeit um etwa 20 Punkte
Wir testeten die Methode zur Datenbankauswahl in einem separaten Experiment mit 128 Fragen. Jede Frage behielt ihre richtige Datenbank, während die anderen 10 Kandidaten entweder aus unserer ausgewählten Gruppe oder aus einer Zufallsziehung stammten.
In der schwierigen Teilmenge erzielte claude-opus-4.8 71,3 % mit ähnlichen Kandidaten und 92,0 % mit zufälligen Kandidaten. gemini-3.5-flash erzielte 77,0 % und 96,6 %. Beide Unterschiede hatten p-Werte unter 0.001 in gepaarten Tests.
Dieses Experiment verwendete Beschreibungen und eine Model-Antwort pro Frage, ohne den agentischen Tool-Loop. Es stützt das engere Ergebnis, dass die Auswahl ähnlicher Kandidaten die Datenbankwahl erschwert. Die gemessene Lücke sollte nicht als Effekt der agentischen Exploration dargestellt werden.
Namen allein erzielten in einem Pilotversuch eine Genauigkeit von 68,8 % und 71,1 %
In einem weiteren Pilotversuch mit 128 Fragen wählte claude-opus-4.8 allein anhand der Namen in 68,8 % der Fälle die richtige Datenbank. Sein Ergebnis mit Namen und Beschreibungen betrug 67,2 %. gemini-3.5-flash erzielte 71,1 % mit Namen und 75,0 % mit dem vollständigen Katalog.
Namen wie california_schools und toxicology verraten das Thema direkt. Für den Haupt-Benchmark ersetzen wir Datenbanknamen durch Aliase von db_01 bis db_11. Die Beschreibungen erläutern weiterhin die Domäne jeder Datenbank, und die Tool-Antworten legen ihre Tabellen- und Spaltennamen offen.
Zuverlässigkeit von Routing- und Kostenvergleichen
Wiederholungsläufe veränderten die Routing-Genauigkeit um 1.6 bis 2.7 Punkte
claude-opus-5 wählte im ersten Lauf bei 156 von 184 schwierigen Fragen die richtige Datenbank und bei 151 in der Wiederholung. Die Genauigkeit fiel von 84,8 % auf 82,1 %. qwen3.8-max wechselte von 153 richtigen Antworten auf 150, ein Rückgang von 83,2 % auf 81,5 %.
Beide Wiederholungen verwendeten dieselben Fragen, Anonymisierung, Temperatureinstellungen und Anbietereinstellungen wie die ursprünglichen Läufe. qwen3.8-max änderte seine Antwort bei 13 schwierigen Fragen, obwohl sich seine Gesamtzahl nur um drei veränderte. Verbesserungen bei einigen Fragen glichen Fehler bei anderen aus.
Diese Wiederholungen zeigen, dass kleine Punktunterschiede bei einem weiteren Lauf verschwinden können. Eine Wiederholung pro Model kann keine Verteilung der Ergebnisse belegen, und für die übrigen 35 Models gibt es keine Wiederholungsmessung.
Erfasste Kosten hängen von Anbieter- und Caching-Einstellungen ab
Prompt-Caching verwendet bereits verarbeitete Eingaben erneut, um die berechneten Eingabekosten zu senken. Der Lauf mit claude-opus-5 kostete $62,78, verglichen mit geschätzten $105,54 zu Listenpreisen ohne Cache für dieselbe aufgezeichnete Nutzung. Diese Schätzung entspricht einer Ersparnis von 40,5 %. Es handelt sich um einen rechnerischen Vergleich, ohne einen separaten Genauigkeitslauf ohne Cache.
Agentic RAG und Datenbankauswahl
Agentic RAG gibt einem Model die Kontrolle über Retrieval-Entscheidungen. Es kann eine Quelle auswählen, die Antwort prüfen und eine weitere Anfrage stellen. Eine einfache RAG pipeline ruft Kontext über eine vorher festgelegte Abfolge ab, bevor eine Antwort generiert wird.
Dieser Benchmark testet die Quellenauswahl mithilfe von SQL-Datenbank-Tools. Er enthält keinen Dokumentindex, keine abgerufenen Passagen und keine Bewertung der Antwortverankerung. Die Ergebnisse beschreiben daher einen Teil eines agentischen Retrieval-Systems. Die Dokumentensuche wird separat in unserem Agentic-Search-Benchmark behandelt.
Ein Model beginnt mit kurzen Datenbankbeschreibungen. Es kann Tabellenlisten anfordern, Spalten prüfen, SQL ausführen und die Datenbank wechseln. Seine endgültige Antwort enthält eine Datenbankwahl und eine Abfrage. Unser Text-zu-SQL-Benchmark berichtet über SQL-Genauigkeit und zwei ergänzende Bewertungsnoten.
Methodik des Agentic RAG-Benchmarks
Der Fragensatz ist eine eingefrorene Teilmenge von BIRD-SQL, die natürlichsprachliche Fragen mit SQL-Referenzabfragen kombiniert.1
Zwei Signale definieren den Schwierigkeitsgrad. Der Ähnlichkeitstest zählt, wie viele der 20 nächsten Nachbarn einer Frage zu anderen Datenbanken gehören. Drei LLMs beurteilen, ob die Frage datenbankübergreifend verwechselbar ist. Die Zugehörigkeit zur schwierigsten Gruppe erfordert mindestens fünf datenbankübergreifende Nachbarn und ein Verwechslungslabel der Jury.
Das Routing verwendet die Datenbank, die im expliziten Feld selected_database genannt wird. Eine aus dem Fließtext abgeleitete Route wird von der Hauptkennzahl ausgeschlossen. Die SQL-Korrektheit wird getrennt bewertet und bestimmt nicht die Routing-Wertung.
Die Testumgebung ist die Software, die Tools bereitstellt und die Model-Antworten aufzeichnet. Das Panel enthält 64 OpenRouter-Läufe, zwei Claude Code-Läufe und einen Codex-CLI-Lauf. Unter den API-Läufen nutzten 47 v3, 15 eine frühere Version, und zwei kombinierten Datensätze aus beiden Versionen. In v3 analysiert eine Wiederherstellungsschicht unterstützte alternative Tool-Call-Formate. Für llama-4-maverick lag der aufgezeichnete Anteil nicht-nativer Formate bei 97,9 %, sodass dieses Ergebnis stark vom Adapter abhängt. minimax-m2.7 wurde ausgeschlossen, weil es die für die Aufgabe erforderlichen Datenbank-Tool-Aufrufe nicht ausführte.
GPT-6 Astra lief innerhalb der Codex CLI. Opus 5.5 und Fable 5.1 liefen über Claude Code. Alle drei verwendeten mittleren Reasoning-Aufwand und bearbeiteten 759 Fragen. Claude Code-Läufe nutzten Abonnements. Ihre gemeldeten Listenpreis-Äquivalente sind vom API-Kostenvergleich ausgeschlossen. Astra meldete keine Dollarkosten. Die Läufe mit GPT-6 Luna, Luna Pro, Sol und Sol Pro sowie GPT-5.2 nutzten OpenRouter.
Als bevorzugte Quelle hinzufügenEinschränkungen
Die schwierige Teilmenge konzentriert sich auf den Handel. Vier Datenbanken tragen 171 der 184 Fragen bei, also 92,9 %. Fünf der 11 Datenbanken tragen keine bei. Dies stützt Schlussfolgerungen über die Auswahl zwischen ähnlichen Datenbanken innerhalb einer Domäne, mit begrenzter Evidenz für andere Domänenkombinationen.
Öffentliche Benchmark-Daten könnten im Model-Training aufgetaucht sein. Kontrollen mit 138 validierten Paraphrasen und 65 neu verfassten Fragen ergaben keinen Genauigkeitsrückgang bei den getesteten kostengünstigeren Models. Ihre Abdeckung war auf sechs beziehungsweise drei Datenbanken begrenzt. Sie lösen das Kontaminationsproblem nicht für das gesamte Panel, und keine Kontrolle verwendete Datenbanken, die nach den Trainingsstichtagen der Models veröffentlicht wurden.
Die Schema-Kürzung kann nützliche Tabellen verbergen. In works_cycles lässt das 4.000-Zeichen-Limit 26 von 66 Tabellen in der anfänglichen Schema-Auflistung sichtbar. Das Model kann weitere Details anfordern, aber die anfängliche Ansicht ist unvollständig.
Fazit
gemini-4-argon erzielte den höchsten Routing-Wert bei schwierigen Fragen mit 94,0 %. DeepSeek V4 Flash 0731 erreichte 82,1 % bei Kosten von $1,37 für beibehaltene Antworten über den gesamten Lauf.
Ausführungssetup, Wiederholungsversuche und Anbieterpreise schränken Vergleiche ein. Diese Ergebnisse messen die Datenbankauswahl zwischen ähnlichen SQL-Quellen. Dokumentenabruf und fundierte Antwortgenerierung erfordern separate Bewertungen.
Weiterführende Literatur
- Text-zu-SQL: Vergleich der LLM-Genauigkeit
- RAG Frameworks: LangChain vs LangGraph vs LlamaIndex
- Beste RAG Tools, Frameworks und Bibliotheken
- Agentic Search im Jahr 2026: Benchmark von 8 Such-APIs für Agenten
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{sari2026,
author = {Sarı, Ekrem},
title = {{AIM-Agentic RAG Benchmark: Routing über 11 SQL-Datenbanken}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/agentic-rag}},
note = {AIMultiple. Abgerufen am 29. September 2026}
}Ergebnisse und Zeitstempel von 1.1 Tausend Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 7 CSV-Dateien und eine README enthält.
Möchten Sie die granularen Daten dahinter? Premium beitreten
Änderungsprotokoll
16 AktualisierungenDer Abschnitt „Was macht eine Frage in diesem Benchmark schwierig?“ wurde mit neuem Inhalt aktualisiert.
Die Methodik wurde aktualisiert, um zu verdeutlichen, wie die schwierigsten Fragen auf die Datenbanken verteilt sind.
Der Abschnitt zur Agentic RAG-Benchmark-Methodik wurde durch einen neuen ersetzt, der 36 LLMs und 11 Datenbanken abdeckt.
Neue Modelle zum Benchmark hinzugefügt: Claude Fable 5, Claude Opus 4.8, Gemini 3.5 Flash, Grok 4.3, Claude Opus 4.7.
Der Methodik-Abschnitt wurde mit neuen Details zur Datenbankumgebung, Agentenarchitektur und dem Evaluierungsprozess aktualisiert.
Ein Abschnitt über Langkontextmodelle im Vergleich zu Agentic RAG wurde hinzugefügt.
Zusätzliche Agentenmetriken aus der Methodik entfernt.
Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.