AIM-Agentic RAG Benchmark: routing tra 11 database SQL
We benchmarked 70+ LLMs on 759 questions that require choosing among 11 SQL databases. The benchmark measures whether each model identifies the right database, explores alternatives and states a final choice.
L'accuratezza del routing è la percentuale di domande valutate per le quali il modello indica esplicitamente il database corretto nella risposta finale. Il dato principale utilizza le 184 domande contrassegnate come difficili sia dal nostro test di similarità sia da una giuria di tre LLM. Le dichiarazioni esplicite mancanti non ricevono alcun credito.
Risultati sul routing dei database
Opus 5.5 ha registrato la massima accuratezza di routing, pari al 90,2%
claude-opus-5.5 ha selezionato il database corretto per 166 delle 184 domande difficili. claude-sonnet-5.5, gemini-3.7-flash e qwen3.8-max-0902 hanno registrato ciascuno l'85,3%, condividendo il punteggio API più alto.
Opus 5.5 ha guidato la classifica su tutte le domande con il 96,6% (733 su 759). È stato eseguito tramite Claude Code. I leader API hanno usato OpenRouter. I punteggi osservati riflettono sia il modello sia le condizioni di esecuzione.
DeepSeek V4 Flash 0731 ha registrato un'accuratezza di routing dell'82,1% al costo di $1,37
DeepSeek V4 Flash 0731 ha risposto correttamente a 151 delle 184 domande difficili. Le risposte conservate su tutte le 759 domande sono costate $1.37. Qwen3.8 Flash ha ottenuto 79,3% a $2,08, mentre MiMo-V2.6-Pro ha raggiunto l'82,6% a $4.17.
Questi costi sommano le risposte riuscite conservate in ciascun file dei risultati. I tentativi falliti e sostituiti sono esclusi. Questi totali dipendono dai provider e dalle condizioni di cache usate durante la misurazione. Il grafico dei costi include 71 totali API misurati e tre stime equivalenti OpenRouter etichettate separatamente per Opus 5.5, Fable 5.1 e GPT-6 Astra. Queste stime applicano i prezzi API del 1° ottobre 2026 ai token CLI registrati e all'uso della cache. Non misurano la spesa in abbonamenti.
Grok 4.6 ha guadagnato 41.8 punti dopo la prima scelta del database
L'accuratezza di routing sulle domande difficili di Grok 4.6 è salita dal 38,0% al primo tentativo al 79,9% nella dichiarazione finale. GPT-6 Sol Pro ha guadagnato 34.2 punti nel corso dell'esecuzione. Nova Lite ha perso 14.0 punti.
Queste variazioni usano domande con un solo database al primo turno. Descrivono traiettorie registrate. Nessun intervento separato ha isolato il beneficio di chiamate aggiuntive.
In tutti i 74 modelli, 7.305 record di domande difficili includevano un cambio di database:
Questa tabella considera il primo database nell'ordine registrato delle chiamate, inclusi i primi turni con più database. Il credito finale richiede una dichiarazione esplicita corretta. Le variazioni in punti percentuali sopra indicate usano il sottoinsieme più ristretto con una sola prima scelta.
Risultati del routing dei database
I modelli sono ordinati per accuratezza del routing, dal più alto. La metodologia individua differenze nel software usato per eseguirli. Queste condizioni sono importanti quando si interpretano piccoli scarti di punteggio.
Gli intervalli stimano l'incertezza dovuta al campionamento delle domande. I costi registrati coprono i record riusciti di ciascuna esecuzione. Riflettono i provider e le condizioni di cache usate al momento della misurazione.
Condizioni che influenzano la selezione del database
Database simili hanno ridotto l'accuratezza del routing di circa 20 punti
Abbiamo testato il metodo di selezione del database in un esperimento separato su 128 domande. Ogni domanda manteneva il proprio database corretto, mentre gli altri 10 candidati provenivano dal nostro gruppo selezionato oppure da un'estrazione casuale.
Sul sottoinsieme difficile, claude-opus-4.8 ha ottenuto il 71,3% con candidati simili e il 92,0% con candidati casuali. gemini-3.5-flash ha ottenuto il 77,0% e il 96,6%. Entrambe le differenze avevano valori p inferiori a 0.001 nei test appaiati.
Questo esperimento ha usato descrizioni e una risposta del modello per domanda, senza il ciclo di strumenti agentico. Supporta il risultato più circoscritto secondo cui selezionare candidati simili rende più difficile la scelta del database. Il divario misurato non va presentato come l'effetto dell'esplorazione agentica.
I soli nomi hanno prodotto un'accuratezza del 68,8% e del 71,1% in uno studio pilota
In un altro studio pilota da 128 domande, claude-opus-4.8 ha selezionato il database giusto il 68,8% delle volte usando solo i nomi. Il suo punteggio con nomi e descrizioni è stato del 67,2%. gemini-3.5-flash ha ottenuto il 71,1% con i nomi e il 75,0% con il catalogo completo.
Nomi come california_schools e toxicology rivelano direttamente l'argomento. Per il benchmark principale, sostituiamo i nomi dei database con alias da db_01 a db_11. Le descrizioni spiegano comunque il dominio di ciascun database e le risposte degli strumenti espongono i nomi delle tabelle e delle colonne.
Affidabilità dei confronti di routing e costi
Le esecuzioni ripetute hanno modificato l'accuratezza del routing da 1.6 a 2.7 punti
claude-opus-5 ha selezionato il database corretto per 156 delle 184 domande difficili nella prima esecuzione e 151 nella replica. La sua accuratezza è scesa dall'84,8% all'82,1%. qwen3.8-max è passato da 153 risposte corrette a 150, un calo dall'83,2% all'81,5%.
Entrambe le repliche hanno usato le stesse domande, anonimizzazione, temperatura e impostazioni del provider delle esecuzioni originali. qwen3.8-max ha cambiato risposta su 13 domande difficili anche se il totale è variato di tre. I miglioramenti su alcune domande hanno compensato gli errori su altre.
Queste repliche mostrano che piccoli scarti di punteggio possono scomparire in un'altra esecuzione. Una sola replica per modello non può stabilire una distribuzione degli esiti e gli altri 35 modelli non hanno alcuna misurazione ripetuta.
I costi registrati dipendono dalle impostazioni del provider e della cache
La cache dei prompt riutilizza l'input già elaborato per ridurre i costi di input fatturati. L'esecuzione di claude-opus-5 è costata $62,78, rispetto a una stima di $105,54 alle tariffe di listino senza cache per lo stesso utilizzo registrato. Questa stima implica un risparmio del 40,5%. Si tratta di un confronto contabile, senza un'esecuzione separata dell'accuratezza senza cache.
RAG agentica e selezione del database
La RAG agentica dà a un modello il controllo sulle decisioni di recupero. Può scegliere una fonte, esaminare la risposta e fare un'altra richiesta. Una semplice pipeline RAG recupera il contesto attraverso una sequenza predeterminata prima di generare una risposta.
Questo benchmark verifica la selezione della fonte tramite strumenti per database SQL. Non contiene un indice di documenti, passaggi recuperati o un punteggio di ancoraggio delle risposte. I risultati descrivono quindi una parte di un sistema di recupero agentico. La ricerca documentale è trattata separatamente nel nostro benchmark di ricerca agentica.
Un modello inizia con brevi descrizioni dei database. Può richiedere elenchi di tabelle, esaminare colonne, eseguire SQL e cambiare database. La sua risposta finale contiene la scelta del database e una query. Il nostro benchmark text-to-SQL riporta l'accuratezza SQL e due punteggi di revisione supplementari.
Metodologia del benchmark della RAG agentica
Il set di domande è un sottoinsieme congelato di BIRD-SQL, che abbina domande in linguaggio naturale a query di riferimento SQL.1
Due segnali definiscono la difficoltà. Il test di similarità conta quanti dei 20 vicini più prossimi di una domanda appartengono ad altri database. Tre LLM valutano se la domanda è fuorviante tra i database. L'appartenenza al gruppo più difficile richiede almeno cinque vicini cross-database e un'etichetta di confondimento della giuria.
Il routing usa il database indicato nel campo esplicito selected_database. Una rotta dedotta dal testo è esclusa dal dato principale. La correttezza SQL viene valutata separatamente e non determina il credito di routing.
L'harness è il software che presenta gli strumenti e registra le risposte del modello. Il pannello contiene 64 esecuzioni OpenRouter, due esecuzioni Claude Code e un'esecuzione Codex CLI. Tra le esecuzioni API, 47 hanno usato la v3, 15 hanno usato una versione precedente e due hanno combinato record di entrambe le versioni. Nella v3, un livello di recupero analizza i formati alternativi supportati per le chiamate agli strumenti. Per llama-4-maverick, la quota registrata di formato non nativo era del 97,9%, quindi quel risultato dipende fortemente dall'adattatore. minimax-m2.7 è stato escluso perché non ha effettuato le chiamate agli strumenti del database richieste dal task.
GPT-6 Astra è stato eseguito all'interno di Codex CLI. Opus 5.5 e Fable 5.1 sono stati eseguiti tramite Claude Code. Tutti e tre hanno usato uno sforzo di ragionamento medio e completato 759 domande. Le esecuzioni con Claude Code hanno usato abbonamenti. I loro equivalenti a prezzo di listino dichiarati sono esclusi dal confronto dei costi API. Astra non ha riportato alcun costo in dollari. Le esecuzioni di GPT-6 Luna, Luna Pro, Sol e Sol Pro e GPT-5.2 hanno usato OpenRouter.
Aggiungi come fonte preferitaLimitazioni
Il sottoinsieme difficile si concentra sul commercio. Quattro database contribuiscono con 171 delle sue 184 domande, ovvero il 92,9%. Cinque degli 11 database non ne contribuiscono nessuna. Ciò supporta conclusioni sulla scelta tra database simili all'interno di un dominio, con evidenze limitate per altre combinazioni di domini.
I dati del benchmark pubblico potrebbero essere comparsi nell'addestramento dei modelli. I controlli che hanno usato 138 parafrasi validate e 65 domande di nuova creazione non hanno rilevato un calo di accuratezza nei modelli a basso costo testati. La loro copertura era limitata rispettivamente a sei e tre database. Non risolvono la contaminazione per l'intero panel e nessun controllo ha usato database pubblicati dopo la data limite di addestramento dei modelli.
Il troncamento dello schema può nascondere tabelle utili. In works_cycles, il limite di 4.000 caratteri lascia visibili 26 delle 66 tabelle nell'elenco iniziale dello schema. Il modello può richiedere ulteriori dettagli, ma la vista iniziale è incompleta.
Conclusioni
claude-opus-5.5 ha registrato il punteggio di routing più alto sulle domande difficili, pari all'90,2%. claude-sonnet-5.5, gemini-3.7-flash e qwen3.8-max-0902 hanno registrato ciascuno l'85,3%, condividendo il punteggio API più alto. DeepSeek V4 Flash 0731 ha raggiunto l'82,1% con $1,37 di costi delle risposte conservate nell'intera esecuzione.
La configurazione di esecuzione, i tentativi e i prezzi dei provider limitano i confronti. Questi risultati misurano la selezione del database tra fonti SQL simili. Il recupero dei documenti e la generazione di risposte fondate richiedono valutazioni separate.
Ulteriori letture
- Text-to-SQL: confronto dell'accuratezza degli LLM
- Framework RAG: LangChain vs LangGraph vs LlamaIndex
- I migliori strumenti, framework e librerie RAG
- Ricerca agentica nel 2026: benchmark di 8 API di ricerca per agenti
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{sari2026,
author = {Sarı, Ekrem},
title = {{AIM-Agentic RAG Benchmark: routing tra 11 database SQL}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/agentic-rag}},
note = {AIMultiple. Consultato il 29 settembre 2026}
}Risultati e timestamp di 979 punti dati. Scarica i dati di sintesi mostrati nei grafici e nelle tabelle di questo articolo come file ZIP contenente 6 file CSV e un README.
Vuoi i dati granulari che ci stanno dietro? Passa a Premium
Registro delle modifiche
16 aggiornamentiAggiornata la sezione 'Cosa rende difficile una domanda in questo benchmark?' con nuovi contenuti.
Aggiornata la metodologia per chiarire come le domande più difficili sono distribuite tra i database.
La sezione sulla metodologia di benchmark RAG Agentic è stata sostituita con una nuova che copre 36 LLM e 11 database.
Aggiunti nuovi modelli al benchmark: Claude Fable 5, Claude Opus 4.8, Gemini 3.5 Flash, Grok 4.3, Claude Opus 4.7.
Aggiornata la sezione della metodologia con nuovi dettagli sull'ambiente del database, l'architettura dell'agente e il processo di valutazione.
Aggiunta una sezione sui modelli a contesto lungo rispetto al RAG agentico.
Rimosse metriche agentiche aggiuntive dalla metodologia.
Collegamenti di riferimento
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.