Benchmark AIM-Agentic RAG: instradamento tra 11 SQL database
We benchmarked 70+ LLMs on 759 questions that require choosing among 11 SQL databases. The benchmark measures whether each model identifies the right database, explores alternatives and states a final choice.
L'accuratezza dell'instradamento è la percentuale di domande valutate per le quali il modello indica esplicitamente il database corretto nella risposta finale. Il valore principale usa le 184 domande contrassegnate come difficili sia dal nostro test di similarità sia da una giuria di tre LLM. Le dichiarazioni esplicite mancanti non ricevono alcun credito.
Risultati dell'instradamento tra database
Gemini 4 Argon ha registrato la più alta accuratezza di instradamento con il 94,0%
gemini-4-argon ha selezionato il database corretto per 173 delle 184 domande difficili. claude-opus-5.5 lo seguiva al 90,2% (166 su 184). Muse Wonder ha registrato 86,4% (159 su 184).
Gemini 4 Argon è in testa su tutte le domande con 98,4% (747 su 759). È stato eseguito tramite OpenRouter. I punteggi osservati riflettono sia il modello sia le condizioni di esecuzione.
DeepSeek V4 Flash 0731 ha registrato un'accuratezza di instradamento del 82,1% a $1,37
DeepSeek V4 Flash 0731 ha risposto correttamente a 151 delle 184 domande difficili. Le sue risposte conservate su tutte le 759 domande sono costate $1.37. Qwen3.8 Flash ha ottenuto 79,3% a $2,08, mentre MiMo-V2.6-Pro ha raggiunto 82,6% a $4.17.
Questi costi sommano le risposte riuscite conservate in ciascun file dei risultati. I tentativi falliti e sostituiti da nuovi tentativi sono esclusi. Questi totali dipendono dai provider e dalle condizioni di caching utilizzate durante la misurazione. Il grafico dei costi include 73 totali API misurati e tre stime equivalenti OpenRouter etichettate separatamente per Opus 5.5, Fable 5.1 e GPT-6 Astra. Queste stime applicano i prezzi API del 1° ottobre 2026 ai token CLI registrati e all'uso della cache. Non misurano la spesa per gli abbonamenti.
Grok 4.6 ha guadagnato 41.8 punti dopo la prima scelta del database
L'accuratezza di instradamento sulle domande difficili di Grok 4.6 è salita dal 38,0% alla prima verifica al 79,9% alla dichiarazione finale. GPT-6 Sol Pro ha guadagnato 34.2 punti nel corso della sua esecuzione. Nova Lite ha perso 14.0 punti.
Queste variazioni usano domande con un solo database al primo turno. Descrivono le traiettorie registrate. Nessun intervento separato ha isolato il beneficio delle chiamate aggiuntive.
Su tutti i 76 modelli, 7.570 record di domande difficili includevano un cambio di database:
Questa tabella considera il primo database nell'ordine registrato delle chiamate, inclusi i primi turni con più database. Il credito finale richiede una dichiarazione corretta esplicita. Le variazioni in punti percentuali sopra utilizzano il sottoinsieme più ristretto della singola prima scelta.
Risultati dell'instradamento dei database
I modelli sono ordinati per accuratezza di instradamento, dal più alto. La metodologia identifica differenze nel software utilizzato per eseguirli. Queste condizioni contano quando si interpretano piccole differenze di punteggio.
Gli intervalli stimano l'incertezza del campionamento delle domande. I costi registrati coprono i record riusciti in ogni esecuzione. Riflettono i provider e le condizioni di caching utilizzate al momento della misurazione.
Condizioni che influenzano la selezione del database
I database simili hanno ridotto l'accuratezza di instradamento di circa 20 punti
Abbiamo testato il metodo di selezione del database in un esperimento separato su 128 domande. Ogni domanda manteneva il proprio database corretto, mentre le altre 10 candidate provenivano dal nostro gruppo selezionato o da un'estrazione casuale.
Sul sottoinsieme difficile, claude-opus-4.8 ha ottenuto 71,3% con candidate simili e 92,0% con candidate casuali. gemini-3.5-flash ha ottenuto 77,0% e 96,6%. Entrambe le differenze avevano valori p inferiori a 0.001 nei test appaiati.
Questo esperimento ha usato descrizioni e una risposta del modello per domanda, senza il ciclo di strumenti agentico. Supporta il risultato più ristretto secondo cui selezionare candidate simili rende più difficile la scelta del database. Il divario misurato non deve essere presentato come l'effetto dell'esplorazione agentica.
I soli nomi hanno prodotto un'accuratezza del 68,8% e del 71,1% in un test pilota
In un altro test pilota con 128 domande, claude-opus-4.8 ha selezionato il database giusto il 68,8% delle volte basandosi solo sui nomi. Il suo punteggio con nomi e descrizioni era del 67,2%. gemini-3.5-flash ha ottenuto 71,1% dai nomi e 75,0% dal catalogo completo.
Nomi come california_schools e toxicology rivelano direttamente l'argomento. Per il benchmark principale, sostituiamo i nomi dei database con alias da db_01 a db_11. Le descrizioni spiegano comunque il dominio di ciascun database e le risposte degli strumenti ne espongono i nomi delle tabelle e delle colonne.
Affidabilità dei confronti di instradamento e di costo
Le esecuzioni ripetute hanno modificato l'accuratezza di instradamento da 1.6 a 2.7 punti
claude-opus-5 ha selezionato il database corretto per 156 delle 184 domande difficili alla prima esecuzione e 151 alla ripetizione. La sua accuratezza è scesa dal 84,8% al 82,1%. qwen3.8-max è passato da 153 risposte corrette a 150, con un calo dal 83,2% al 81,5%.
Entrambe le ripetizioni hanno usato le stesse domande, anonimizzazione, temperatura e impostazioni del provider delle esecuzioni originali. qwen3.8-max ha cambiato risposta su 13 domande difficili anche se il suo totale si è spostato di tre. I miglioramenti su alcune domande hanno compensato gli errori su altre.
Queste ripetizioni mostrano che piccole differenze di punteggio possono scomparire in un'altra esecuzione. Una sola ripetizione per modello non può stabilire una distribuzione dei risultati, e gli altri 35 modelli non hanno alcuna misurazione ripetuta.
I costi registrati dipendono dalle impostazioni del provider e della cache
Il prompt caching riutilizza input già elaborati per ridurre i costi fatturati dell'input. L'esecuzione di claude-opus-5 è costata $62,78, rispetto a una stima di $105,54 alle tariffe di listino senza cache per lo stesso utilizzo registrato. Tale stima implica un risparmio del 40,5%. È un confronto contabile, senza un'esecuzione separata di accuratezza senza cache.
Agentic RAG e selezione del database
L'RAG agentico dà a un modello il controllo sulle decisioni di recupero. Può scegliere una fonte, ispezionare la risposta e fare un'altra richiesta. Una semplice RAG pipeline recupera il contesto attraverso una sequenza predeterminata prima di generare una risposta.
Questo benchmark verifica la selezione della fonte tramite strumenti per database SQL. Non contiene indice di documenti, passaggi recuperati o punteggio di fondatezza della risposta. I risultati descrivono quindi una parte di un sistema di recupero agentico. La ricerca documentale è trattata separatamente nel nostro benchmark di ricerca agentica.
Un modello parte da brevi descrizioni dei database. Può richiedere elenchi di tabelle, ispezionare colonne, eseguire SQL e cambiare database. La sua risposta finale contiene una scelta del database e una query. Il nostro benchmark text-to-SQL riporta l'accuratezza SQL e due punteggi di revisione supplementari.
Metodologia del benchmark di Agentic RAG
Il set di domande è un sottoinsieme congelato di BIRD-SQL, che associa domande in linguaggio naturale a query di riferimento SQL.1
Due segnali definiscono la difficoltà. Il test di similarità conta quanti dei 20 vicini più prossimi di una domanda appartengono ad altri database. Tre LLM valutano se la domanda è fuorviante tra i database. L'appartenenza al gruppo più difficile richiede almeno cinque vicini tra database diversi e un'etichetta di confondimento della giuria.
L'instradamento utilizza il database indicato nel campo esplicito selected_database. Un instradamento dedotto dal testo è escluso dal valore principale. La correttezza SQL è valutata separatamente e non determina il credito di instradamento.
L'harness è il software che presenta gli strumenti e registra le risposte dei modelli. Il pannello contiene 64 esecuzioni OpenRouter, due esecuzioni Claude Code e un'esecuzione Codex CLI. Tra le esecuzioni API, 47 hanno usato la v3, 15 una versione precedente e due hanno combinato record di entrambe le versioni. Nella v3, un livello di ripristino analizza i formati alternativi di chiamata degli strumenti supportati. Per llama-4-maverick, la quota registrata di formato non nativo era 97,9%, quindi quel risultato dipende fortemente dall'adattatore. minimax-m2.7 è stato escluso perché non ha effettuato le chiamate agli strumenti dei database richieste dal compito.
GPT-6 Astra è stato eseguito all'interno di Codex CLI. Opus 5.5 e Fable 5.1 sono stati eseguiti tramite Claude Code. Tutti e tre hanno usato uno sforzo di ragionamento medio e completato 759 domande. Le esecuzioni di Claude Code hanno usato abbonamenti. I loro equivalenti ai prezzi di listino riportati sono esclusi dal confronto dei costi API. Astra non ha riportato alcun costo in dollari. Le esecuzioni di GPT-6 Luna, Luna Pro, Sol e Sol Pro e GPT-5.2 hanno usato OpenRouter.
Aggiungi come fonte preferitaLimitazioni
Il sottoinsieme difficile si concentra sul commercio. Quattro database contribuiscono con 171 delle sue 184 domande, ovvero il 92,9%. Cinque degli 11 database non ne contribuiscono alcuna. Ciò supporta conclusioni sulla scelta tra database simili all'interno di un dominio, con prove limitate per altre combinazioni di domini.
I dati dei benchmark pubblici potrebbero essere comparsi nell'addestramento dei modelli. I controlli che hanno usato 138 parafrasi validate e 65 domande di nuova creazione non hanno rilevato un calo di accuratezza nei modelli a basso costo testati. La loro copertura era limitata rispettivamente a sei e tre database. Non risolvono la contaminazione per l'intero pannello e nessun controllo ha usato database pubblicati dopo la data limite di addestramento dei modelli.
Il troncamento dello schema può nascondere tabelle utili. In works_cycles, il limite di 4.000 caratteri lascia visibili 26 delle 66 tabelle nell'elenco iniziale dello schema. Il modello può richiedere ulteriori dettagli, ma la vista iniziale è incompleta.
Conclusione
gemini-4-argon ha registrato il punteggio di instradamento più alto sulle domande difficili con il 94,0%. DeepSeek V4 Flash 0731 ha raggiunto l'82,1% con $1,37 di costi per risposte conservate nell'intera esecuzione.
La configurazione dell'esecuzione, i nuovi tentativi e i prezzi dei provider limitano i confronti. Questi risultati misurano la selezione del database tra fonti SQL simili. Il recupero dei documenti e la generazione di risposte fondate richiedono valutazioni separate.
Ulteriori letture
- Text-to-SQL: confronto dell'accuratezza dei modelli LLM
- RAG Frameworks: LangChain vs LangGraph vs LlamaIndex
- Migliori strumenti RAG, framework e librerie
- Ricerca agentica nel 2026: benchmark di 8 API di ricerca per agenti
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{sari2026,
author = {Sarı, Ekrem},
title = {{Benchmark AIM-Agentic RAG: instradamento tra 11 SQL database}},
year = {2026},
month = sep,
howpublished = {\url{https://aimultiple.com/agentic-rag}},
note = {AIMultiple. Consultato il 29 settembre 2026}
}Risultati e timestamp di 1.1 mila punti dati. Scarica i dati di sintesi mostrati nei grafici e nelle tabelle di questo articolo come file ZIP contenente 7 file CSV e un README.
Vuoi i dati granulari che ci stanno dietro? Passa a Premium
Registro delle modifiche
16 aggiornamentiAggiornata la sezione 'Cosa rende difficile una domanda in questo benchmark?' con nuovi contenuti.
Aggiornata la metodologia per chiarire come le domande più difficili sono distribuite tra i database.
La sezione sulla metodologia di benchmark RAG Agentic è stata sostituita con una nuova che copre 36 LLM e 11 database.
Aggiunti nuovi modelli al benchmark: Claude Fable 5, Claude Opus 4.8, Gemini 3.5 Flash, Grok 4.3, Claude Opus 4.7.
Aggiornata la sezione della metodologia con nuovi dettagli sull'ambiente del database, l'architettura dell'agente e il processo di valutazione.
Aggiunta una sezione sui modelli a contesto lungo rispetto al RAG agentico.
Rimosse metriche agentiche aggiuntive dalla metodologia.
Collegamenti di riferimento
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.