Agentic RAG Benchmark: Roteamento Multi-Banco de Dados entre 36 LLMs

Fizemos um benchmark de 36 grandes modelos de linguagem em roteamento entre bases de dados. Cada modelo recebe uma pergunta em linguagem natural e 11 bases de dados SQL descritas em parágrafo, e depois tem de decidir qual base contém a resposta antes de escrever qualquer SQL. As 11 bases de dados foram extraídas de 80 candidatas do BIRD-SQL, agrupando os embeddings das suas descrições, para que os candidatos sejam semanticamente próximos uns dos outros, e os seus nomes reais estejam ocultos atrás dos rótulos db_01 a db_11.

Todos os modelos viram o mesmo conjunto congelado de 759 perguntas a temperatura 0, sem a dica de domínio do BIRD.¹ Cada base de dados é exposta como uma ferramenta com três ações – listagem de esquema, detalhe da tabela e execução de consulta – com um limite máximo de 10 chamadas de API por pergunta. A lista de ferramentas é permutada para cada pergunta, para que a posição do candidato não possa ser interpretada como competência de roteamento.

Precisão de roteamento nas perguntas mais difíceis. A proporção das 184 perguntas mais difíceis em que a base de dados declarada pelo modelo coincide com a base de dados de referência. Uma pergunta conta como uma das 184 quando dois sinais independentes concordam. Pelo menos 5 dos seus 20 vizinhos mais próximos no espaço de embedding devem pertencer a outras bases de dados, e um júri de três modelos deve rotulá-la como confusa. Esta é a métrica de roteamento principal.

As 184 perguntas provêm de 6 das 11 bases de dados, nas proporções de 51 (regional_sales), 50 (retail_world), 43 (superstore), 27 (works_cycles), 8 (debit_card_specializing) e 5 (college_completion). As quatro bases de dados de comércio carregam 171 das 184, ou 93%. As outras cinco bases de dados não contribuem com nenhuma, porque estão semanticamente suficientemente isoladas para que nenhuma das suas perguntas ultrapasse ambos os sinais. O número mede, portanto, o roteamento entre bases de dados construídas para serem difíceis de distinguir, e é dominado por um cluster de comércio, em vez de estar distribuído por onze domínios.

Rota declarada. A base de dados que o modelo indica na sua resposta final sob uma chave explícita selected_database. Uma execução que não nomeia nenhuma base de dados recebe pontuação zero, em vez de herdar a sua última chamada de ferramenta. As rotas recuperadas a partir de texto em prosa são excluídas e reportadas separadamente.

Resultados do benchmark de Agentic RAG

Reexecutar o líder do painel fá-lo cair para sexto

claude-opus-5 encaminhou corretamente 0.848 das perguntas mais difíceis, 156 de 184. Executámo-lo uma segunda vez em condições idênticas, mesmo conjunto congelado, mesma anonimização, temperatura 0, e registou 0.8207, 151 de 184. Essa segunda pontuação é a pontuação publicada de claude-fable-5, que ocupa o sexto lugar. As posições 1 a 6 abrangem 156 de 184 respostas corretas até 151 de 184, uma distância de cinco perguntas, que é a distância que o próprio líder percorreu entre duas execuções.

Um segundo modelo reproduziu o padrão. qwen3.8-max passou de 0.8315 (153/184) para 0.8152 (150/184). Os grupos fáceis e médios moveram-se 0.0000 em ambos os modelos, e o resto do movimento fica nos três grupos difíceis, com qwen3.8-max também a mover-se de 153 para 152 nas perguntas sinalizadas pela contagem de vizinhos.

qwen3.8-max tem o menor delta agregado, 1.6 pontos contra 2.7, e a maior discordância consigo mesmo, roteando de forma diferente em 13 das 184 perguntas difíceis, enquanto o opus-5 difere em 8. Um modelo pode reproduzir a sua própria pontuação enquanto discorda de si próprio em uma pergunta difícil em cada catorze.

Duas limitações acompanham este facto. Uma repetição dá uma diferença absoluta, não um desvio padrão, pelo que 1.6 a 2.7 pontos é um limite inferior do ruído, e não uma descrição dele. E 34 das 36 linhas do painel não têm qualquer repetição. Leia estas pontuações em camadas, não em posições.

Os 11 nomes das bases de dados sozinhos roteiam a 4 pontos do catálogo completo

Mostrando os nomes reais das bases de dados e sem quaisquer descrições, claude-opus-4.8 roteia a 0.688 e gemini-3.5-flash a 0.711. Mostrando o catálogo completo, nomes reais mais todas as 11 descrições em parágrafo, os mesmos dois modelos pontuam 0.672 e 0.750, portanto, para claude-opus-4.8, os nomes sozinhos pontuam mais alto do que todo o catálogo.

Substituir os nomes por db_01 a db_11 custa ao opus-4.8 7.0 pontos e ao gemini 4.7. Uma execução com nomes reais mede o reconhecimento de nomes juntamente com a compreensão, razão pela qual todos os números aqui publicados provêm da condição anonimizada.

Uma terceira condição separa os dois canais. Manter os nomes reais e permutar as descrições entre bases de dados reduz o roteamento para 0.148 e 0.055, medido nos mesmos dois modelos num piloto de 128 perguntas.

Bases de dados escolhidas para serem confundíveis são cerca de 20 pontos mais difíceis do que as aleatórias

Trocámos as 10 bases de dados distratoras por 10 extraídas aleatoriamente das outras 69 do BIRD, sobre as mesmas 128 perguntas, mesma base de dados de referência, ambos os braços anonimizados. O roteamento hard_strict passa de 0.713 para 0.920 para claude-opus-4.8 e de 0.770 para 0.966 para gemini-3.5-flash. Ambos os braços respondem às mesmas perguntas, pelo que o teste é McNemar com correção de continuidade sobre os pares discordantes, dando p = 8.6e-04 e p = 2.4e-04. Onze candidatos escolhidos aleatoriamente deixam ambos os modelos perto do teto.

No grupo fácil, o mesmo contraste McNemar não é significativo, p = 0.48 e p = 1.00. Os distratores selecionados por cluster tinham a intenção de interferir com as perguntas que a contagem de vizinhos sinaliza como confusas e de deixar as restantes rotáveis independentemente do painel, e é esse o padrão que os dois braços mostram.

Esta ablação é apenas por descrição e em passo único, em vez de agente, com um sorteio aleatório do painel por pergunta. Ela permite afirmar que a seleção por descoberta de cluster produz um roteamento mensuravelmente mais difícil do que a seleção aleatória. Não permite afirmar que a própria contagem de vizinhos causa dificuldade, o que testámos separadamente e se revelou não significativo por si só.

O nível superior de roteamento não é um nível de preço

qwen3.8-max e kimi-k3 ambos roteiam 153 de 184 perguntas difíceis, 0.8315 cada, a $25.14 e $40.34 por execução de 759 perguntas. claude-fable-5 custa $121.55 e roteia 151. Seis modelos situam-se a menos de 0.03 do líder numa gama de 5x no custo de execução.

A coluna de custo regista o que foi faturado pela execução, não a economia do modelo. O OpenRouter encaminha um slug de modelo para qualquer que seja o fornecedor upstream que o esteja a servir, e as mesmas 594 perguntas no mesmo modelo custaram $2.09 numa execução e $8.33 noutra. Leia a coluna como uma ordem de grandeza. Uma direção sobrevive a essa deriva. As duas execuções mais caras do painel, claude-fable-5 a $121.55 e claude-opus-4.8 a $117.82, não roteiam melhor do que qwen3.8-max a $25.14.

Um modelo pode executar o ciclo agente sem beneficiar dele

Restrito às perguntas cuja primeira vez sondou uma única base de dados, a diferença de precisão entre a primeira base de dados que um modelo toca e aquela que finalmente declara é de +25.0 pontos para claude-opus-5 e +38.0 para grok-4.5. Para gpt-5.4-mini, essa diferença é de 0.0. Para gpt-oss-120b é -3.8 e para o nova-lite-v1 é -14.0. Ambos esses modelos abandonam uma primeira sondagem correta mais frequentemente do que recuperam de uma errada.

Os dois grupos diferem na amplitude de exploração. Agregados sobre todo o painel, os modelos sondam 1.12 bases de dados distintas nas perguntas fáceis e 1.93 nas mais difíceis. kimi-k3 passa de 1.07 para 2.27 e grok-4.5 de 1.06 para 2.21, enquanto gpt-oss-120b passa de 1.01 para 1.10 e gpt-5.4-nano de 1.11 para 1.20.

gpt-5.4-nano gasta 6.5 voltas por pergunta e emite chamadas de ferramenta ao longo de todo o processo, pelo que o ciclo de facto é executado. Executar o ciclo rende-lhe 2.2 pontos.

Alguns fornecedores ignoraram o nosso pedido de chamadas de ferramenta sequenciais. Quando uma primeira volta tocou várias bases de dados de uma só vez, excluímo-la desta comparação, que então se processa sobre menos de 184 perguntas para alguns modelos (qwen3.8-max 86, glm-5.2 101, kimi-k3 105).

Sondagem, troca e a diferença entre a primeira sondagem e a rota declarada

A exploração escala com o rótulo de dificuldade. Agregado por todos os 36 modelos e 759 perguntas:

Nos 3.122 registos de perguntas mais difíceis em que um modelo mudou de rota pelo menos uma vez, 1.717 passaram de uma base de dados errada para a correta e 90 moveram-se no sentido oposto, um ganho líquido de 1.627 registos a uma razão próxima de 19 para 1. Outros 983 começaram numa base de dados errada e nunca chegaram à correta, e 332 abandonaram a base de dados correta e voltaram a ela. Todas as quatro contagens utilizam a rota de declaração explícita, a mesma definição de todos os outros números de roteamento aqui apresentados.

Esta assimetria é a razão pela qual o benchmark pontua a rota declarada em vez da primeira sondagem. A versão anterior registava a primeira chamada de função de base de dados do agente como a sua decisão de roteamento. Neste painel, essa convenção subestima 30 dos 36 modelos entre 14.7 e 38.0 pontos.

Custo por execução no painel de 36 modelos

As 36 execuções custaram $874.53 no total, de $0.47 a $121.55. Seis delas pontuaram menos de 759 perguntas após erros residuais do fornecedor (gemini-3.1-pro-preview 744, gemini-3-flash-preview 755, claude-haiku-4.5 750, nova-lite-v1 750, gpt-5.6-luna 758, gpt-5.6-terra 758).

A contagem de voltas varia de 3.79 a 7.64 em todo o painel e alimenta a fatura juntamente com o preço por token. claude-opus-5 tem uma média de 3.92 voltas por pergunta a $62.78, gemini-3.1-pro-preview 7.02 a $80.01, e gpt-oss-120b 3.79 a $0.47.

Três das 36 execuções usaram cache de prompt e as outras 33 não, pelo que as linhas não são faturadas na mesma base e as três linhas em cache ficam mais baixas do que uma execução sem cache do mesmo modelo ficaria.

Cache de prompt e quanto custa o controlo do viés de posição

Neste benchmark, 44% de cada chamada do ciclo de ferramentas é um prefixo byte-idêntico – o prompt de sistema com 362 tokens mais as 11 definições de ferramenta com 2.259, portanto 2.621 tokens de uma chamada que tem em média cerca de 6.000. Três execuções levaram um ponto de paragem de cache explícito nesse prefixo. claude-opus-5 leu 62.2% da sua entrada da cache e foi faturado em $62.78 contra $105.54 ao preço de tabela, 40.5% de desconto. qwen3.8-max leu 68.2%, o valor mais alto que medimos, na Alibaba em vez da Anthropic.

A poupança é limitada por uma decisão de design. A lista de ferramentas é permutada por pergunta, pelo que o prefixo difere desde o byte 0 entre perguntas e a cache de cada pergunta é escrita e lida dentro das suas próprias cerca de cinco chamadas, nunca ao longo da execução. Congelar a ordem das ferramentas alargaria a cache e pouparia cerca de $8.95 por execução de 759 perguntas. Mantivemos a permutação e contabilizámos o seu custo.

O caching alterou a fatura e não a entrada do modelo. Um conjunto de testes negativos captura os corpos reais dos pedidos com o sinalizador ativado e desativado e exige que sejam byte-idênticos depois de removidos os marcadores de cache, e o seu teste de carga útil muta um único caractere sob um marcador e exige que a verificação o detete. Um defeito de custo sobreviveu, ainda assim, a esse conjunto de testes. A volta de finalização deliberadamente não envia definições de ferramenta, pelo que o seu prefixo falha todas as entradas em cache, e deixar um ponto de paragem nela escreveu cerca de 3.2M tokens de cache que nada pôde ler, aproximadamente $4 da fatura do opus-5. Uma revisão adversarial após o lançamento da alteração encontrou-o, com todas as guardas verdes.

Agentic RAG e RAG padrão

A geração aumentada por recuperação coloca um passo de recuperação à frente de um modelo de linguagem. A pergunta é embebida, os fragmentos mais próximos voltam de um índice, e o modelo responde a partir deles. O caminho é fixo, e nada no pipeline escolhe coisa alguma.

O Agentic RAG entrega as decisões de recuperação ao modelo. Ele escolhe que fonte consultar, lê o que volta, e pode consultar novamente, mudar de fonte ou refinar a consulta antes de responder. A recuperação deixa de ser um passo que é executado uma vez e passa a ser um ciclo que o modelo conduz.

Essa primeira escolha – que fonte contém a resposta – é o que este benchmark mede. Cada modelo vê 11 bases de dados SQL descritas em parágrafo, com os seus nomes ocultos, e tem de escolher uma antes de escrever qualquer SQL. Pode depois sondar uma segunda e uma terceira e mudar de ideias. Nas perguntas mais difíceis, o painel sonda em média 1.93 bases de dados, e 47.3% das execuções tocam em mais do que uma.

Como funciona o roteamento agente de bases de dados

O harness dá ao modelo uma pergunta e um catálogo de 11 descrições em parágrafo, uma por base de dados, sem nomes de tabelas ou colunas nas mesmas. Juntamente com o catálogo, anexa 11 ferramentas, uma por base de dados, cada uma expondo três ações: get_schema devolve a lista de tabelas, get_table_schema devolve as colunas de uma tabela, e execute_query executa SQL contra essa base de dados. A saída do esquema é limitada a 4.000 caracteres e os resultados das consultas a 50 linhas.

A partir daí, o modelo conduz. Ele escolhe uma ferramenta, lê a resposta dentro da mesma conversa, e pode sondar uma base de dados diferente, pedir o detalhe de uma tabela ou executar uma consulta contra a base de dados em que se fixou. Pode mudar de base de dados em qualquer volta, e 47.3% das perguntas mais difíceis são de facto sondadas em mais do que uma.

O ciclo termina de uma de duas maneiras. Ou o modelo deixa de pedir ferramentas, ou usa a sua nona chamada com ferramentas ativadas. Em qualquer dos casos, o harness envia depois uma chamada de finalização sem ferramentas anexadas, na qual o modelo indica a sua base de dados escolhida e o seu SQL. Essa chamada é executada incondicionalmente, para cada modelo e cada pergunta, pelo que o orçamento de chamadas é de nove voltas com ferramentas mais uma, no máximo 10 chamadas de API.

O orçamento igual é uma correção a um design anterior. Esse design adicionava a volta de finalização para os modelos que ainda não tinham emitido SQL, o que entregava uma chamada extra a um hábito de saída em vez de a uma capacidade. O limite máximo também não é uma quota. O painel tem uma média entre 3.79 e 7.64 voltas com ferramentas por pergunta, porque um modelo pode parar de sondar cedo.

Metodologia do benchmark de Agentic RAG

O benchmark mede duas competências em separado. O roteamento decide que base de dados contém a resposta, e a geração de SQL decide se a consulta devolve as linhas corretas. O roteamento é a contribuição e carrega o título principal. A correção do SQL é medida contra as consultas de referência do BIRD e é reportada com a sua própria incerteza na página de benchmark de text-to-SQL.

• Conjunto de dados: divisões de treino e dev do BIRD-SQL, 759 perguntas congeladas e fixadas por hash.
• Bases de dados: 11, selecionadas de 80 candidatas do BIRD por agrupamento aglomerativo dos embeddings das suas descrições com cosseno 0.65.
• Sinal de dificuldade: os 20 vizinhos mais próximos de cada pergunta contados por quantos pertencem a uma base de dados diferente.
• Grupos de dificuldade: fácil 222, médio 118, qq_only_hard 165, jury_only_hard 70, hard_strict 184.
• Condição primária: anonimizado. Os nomes das bases de dados são substituídos por db_01 a db_11 nos nomes das ferramentas e na saída do esquema.
• Condição de evidência: nenhuma. A dica de domínio do BIRD é retida de todos os modelos.
• Ferramentas: 1 por base de dados, cada uma expondo 3 ações (get_schema, get_table_schema, execute_query), 11 no total, ordem permutada por pergunta.
• Vocabulário: uma chamada de API é um pedido ao modelo. Uma volta com ferramenta é uma chamada de API que transporta a lista de ferramentas e pode voltar com chamadas de ferramenta. Uma chamada de ferramenta é uma ação de base de dados dentro de uma volta, no máximo 11 por volta. A chamada de finalização é a última chamada de API, enviada sem ferramentas.
• Orçamento de voltas: no máximo 10 chamadas de API por pergunta, até 9 voltas com ferramentas mais exatamente uma chamada de finalização que é sempre executada.
• Voltas com ferramentas utilizadas: 3.79 a 7.64 por pergunta, em média, em todo o painel, porque um modelo pode parar de sondar cedo. O campo registado conta as voltas com ferramentas e exclui a chamada de finalização, pelo que o seu teto é 9 e não 10.
• Temperatura: 0. Chamadas de ferramenta sequenciais solicitadas. As perguntas foram baralhadas uma vez com uma semente fixa antes de qualquer fatia.
• Métrica de roteamento: precisão final de roteamento sobre a base de dados explicitamente declarada.
• Métrica de SQL: correspondência de execução contra a consulta de referência do BIRD, reportada como um intervalo de três valores.
• Painel: 36 modelos, uma única execução cada, exceto duas repetições, $874.53 nas execuções do painel mais $85.37 nas repetições.

Quais as bases de dados que carregam as perguntas difíceis. Cinco das onze não contribuem com nenhuma das 184 perguntas mais difíceis. São as california_schools mais as quatro semanticamente isoladas (financial, synthea, superhero, toxicology), que ainda assim fornecem 27 das 165 perguntas sinalizadas por vizinhos entre elas.

A taxonomia de dificuldade. Dois sinais independentes rotulam cada pergunta. O primeiro embebe todas as 1.922 perguntas pertencentes às 11 bases de dados e conta, entre os 20 vizinhos mais próximos de cada pergunta, quantos se situam numa base de dados diferente. O segundo é um júri de três modelos questionados se a pergunta é confusa entre bases de dados. O grupo mais difícil exige ambos em vez de os misturar.

Nenhum dos sinais é significativo por si só. A conjunção é que é. Medida num modelo, a precisão de roteamento nas perguntas que ambos os sinais sinalizam foi 0.803 vezes a precisão nas perguntas fáceis dessa mesma base de dados, 95% IC [0.685, 0.943], p = 0.007. Comparamos dentro de cada base de dados e depois agregamos entre bases de dados com uma razão de risco logarítmica de variância inversa e uma correção de continuidade de 0.5. Agrega sobre 5 bases de dados em vez de 6, porque regional_sales contém perguntas difíceis mas nenhuma fácil e, portanto, não tem nada com que emparelhar. Três coisas mantêm o contraste exploratório. Baseia-se num modelo e em cinco estratos, e é observacional em vez de aleatório.

O que o modelo vê. Cada modelo recebe uma descrição em parágrafo de todas as 11 bases de dados, sem nomes de tabelas ou colunas, mais as 11 ferramentas de base de dados. A anonimização remove o nome e não o domínio. As descrições ainda dizem sobre o que é cada base de dados, e quando o modelo chama get_schema, ele vê nomes reais de tabelas e colunas. A condição mede a compreensão da descrição.

Pontuação da rota. A base de dados declarada é aquela que o modelo nomeia sob uma chave explícita selected_database na volta de finalização. Um modelo que não produza nenhuma declaração explícita pontua zero nessa pergunta. As rotas inferidas a partir de prosa ficam de fora do título principal e são publicadas separadamente. Uma versão anterior deste trabalho transportava três definições diferentes da métrica, e a variante raspada de prosa inflacionava seis linhas do painel entre 0.6 e 4.9 pontos.

Pontuação do SQL. A correção é decidida executando ambas as consultas e comparando os conjuntos de resultados. A nossa auditoria de cinco modelos sinalizou 31.1% das consultas de referência do BIRD como quebradas, pelo que esse eixo é reportado como um intervalo de três valores em vez de uma pontuação única. As regras de pontuação, a auditoria de referência e o intervalo completo encontram-se na página de text-to-SQL ligada acima.

Recuperação de chamadas de ferramenta. Cinco famílias de modelos serializam as chamadas de ferramenta em formatos que o parser padrão não aceita. Uma camada de recuperação faz o parsing dessas formas em vez de as pontuar como silêncio, e cada recuperação é registada por registo e por execução. As chamadas truncadas nunca são reconstruídas. Seis das 36 linhas têm uma quota de recuperação não nula. Cinco delas são do tamanho de uma nota de rodapé, 0.4% a 4.4%. A sexta é maior. llama-4-maverick fica em 97.9%, pelo que quase todas as chamadas de ferramenta nessa linha foram recuperadas por adaptador e essa linha mede o modelo mais a camada de recuperação, em vez de apenas o modelo. Um modelo, minimax-m2.7, narra sem emitir qualquer chamada de ferramenta, e excluímo-lo do painel em vez de o pontuar a zero.

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Modelos testados

Quatro linhas têm um denominador mais pequeno nas perguntas difíceis depois de duas passagens de repetição terem deixado erros residuais do fornecedor, em 182 para gemini-3.1-pro-preview, gemini-3-flash-preview e nova-lite-v1, e 181 para claude-haiku-4.5. Essas perguntas são retiradas do denominador em vez de pontuadas como falhas, pelo que cada percentagem é sobre os registos que foram executados.

Precisão de roteamento (todas as 759): A mesma medição sobre todo o conjunto congelado, incluindo os braços de controlo fácil e médio. O braço fácil está saturado por design.

Os intervalos de 95%: Cada intervalo na tabela acima é um intervalo de Wilson sobre as perguntas difíceis pontuadas para esse modelo, que é de 184 para a maioria das linhas e de 182 ou 181 para as quatro linhas que perderam perguntas devido a erros residuais do fornecedor. Cobre a incerteza da amostragem das perguntas e mais nada. Não cobre o agrupamento de perguntas dentro das bases de dados, e não cobre a variação de execução para execução, que medimos separadamente em 1.6 a 2.7 pontos e que é o termo maior para quaisquer dois modelos próximos um do outro.

Acaso e linhas de base. O acaso é 0.091 em 11 bases de dados. A classe maioritária é 0.196 sobre as 759 perguntas e 0.277 nas mais difíceis. Três recuperadores não agentes pontuam 0.471 (TF-IDF), 0.495 (BM25) e 0.522 (embedding da base de dados mais próxima) no geral, e 0.207 a 0.230 nas mais difíceis. Esses três foram medidos no conjunto anterior de 594 perguntas e não foram reexecutados nas 759, pelo que são pontos de referência históricos e não linhas de base para este painel. O acaso e a classe maioritária são calculados sobre as 759 congeladas e são diretamente comparáveis.

Limitações

Ambos os modelos de execução repetida estão no nível superior, onde as perguntas são mais difíceis e as pontuações estão mais comprimidas. Nenhum modelo do meio da tabela foi repetido, pelo que o termo de ruído fora do nível superior não é medido.

Os controlos de contaminação limitam o efeito, não o removem. Reescrevemos as perguntas difíceis para preservar o significado e a referência, alterando a formulação. Nas 138 de 184 paráfrases que passaram nos três controlos de validade, o roteamento não caiu, e o efeito do painel foi significativo na direção oposta, 0.543 para 0.583, McNemar p = 0.032. Cada pergunta é pontuada em ambos os braços, pelo que o emparelhamento é real: 87 pares favoreceram a paráfrase contra 60. Sessenta e cinco perguntas criadas de raiz e emparelhadas em dificuldade, estilo de formulação e mistura de bases de dados pontuaram dentro de +0.012 do conjunto publicado, p = 0.74. Esta última comparação é entre dois conjuntos de perguntas independentes em vez de emparelhados, pelo que é uma comparação de duas proporções e o mais fraco dos dois designs. O controlo criado abrange 3 das 11 bases de dados, o controlo de paráfrase 6, e ambos correram apenas em modelos baratos. Um controlo em bases de dados publicadas após as datas de corte dos modelos não foi tentado, e 560 das 759 perguntas (73.8%) provêm da divisão de treino do BIRD, a parte com maior probabilidade de ter sido memorizada.

Excluir os registos não pontuados move o título principal no máximo em 0.90 pontos. Seis linhas perderam perguntas devido a erros residuais do fornecedor, e essas perguntas saem do denominador em vez de contarem como falhas, o que inflaciona uma pontuação se as perdas recaírem sobre perguntas difíceis. Pontuar cada pergunta perdida como errada move gemini-3.1-pro-preview de 0.8242 para 0.8152 nas perguntas mais difíceis (-0.90 pt) e de 0.9140 para 0.8959 sobre as 759 (-1.81 pt), gemini-3-flash-preview -0.81 pt, claude-haiku-4.5 -0.79 pt, nova-lite-v1 -0.13 pt. Sete posições de ranking trocam nas perguntas mais difíceis, cada uma delas adjacente e cada uma dentro do ruído de execução para execução de 1.6 a 2.7 pontos. A convenção não é, portanto, estruturante na resolução deste painel.

As perguntas mais difíceis são uma medição de cluster de comércio. Quatro bases de dados de comércio carregam 171 das 184 perguntas difíceis e cinco bases de dados não carregam nenhuma. O título principal generaliza para o roteamento entre bases de dados mutuamente confundíveis, que é o que o benchmark foi construído para medir, e não para o roteamento entre domínios em geral. Alargá-lo significa adicionar perguntas difíceis de um segundo cluster semântico, o que o corpus atual não pode fornecer.

O painel foi executado num harness misto. Dezanove modelos foram pontuados depois de a camada de recuperação de chamadas de ferramenta ter sido adicionada, quinze antes dela, e dois abrangem a mudança. Um modelo no grupo anterior que emitiu uma chamada de ferramenta não padrão teve-a pontuada como silêncio. A aplicação retroativa da camada de recuperação a todos os 27.306 registos armazenados não encontrou nenhuma chamada recuperável em nenhuma das linhas anteriores, pelo que o custo medido da mistura é zero, mas uma serialização que nenhum parser processa seria igualmente invisível a essa aplicação retroativa.

As execuções não são reprodutíveis bit a bit. O OpenRouter serviu o kimi-k2.6 a partir de 19 fornecedores upstream distintos dentro de uma única execução e o deepseek-v4-pro a partir de 12, e o comportamento de serialização difere entre eles. Três das 36 execuções fixaram um fornecedor.

A anonimização é apenas de nome. As descrições ainda nomeiam os seus domínios, e a primeira chamada de ferramenta devolve nomes reais de tabelas e colunas, pelo que esta condição mede a compreensão de uma descrição e não o reconhecimento de um nome.

A saída do esquema está truncada a 4.000 caracteres. works_cycles é a maior base de dados, com 66 tabelas, e 26 delas sobrevivem ao corte. Essa base de dados carrega 149 das 759 perguntas. Os resultados das consultas são limitados a 50 linhas.

O eixo do roteamento está a ficar sem margem. O braço de controlo fácil está esgotado em 222 de 222 para os melhores modelos, e o grupo mais difícil comprime seis modelos em cinco perguntas. Este benchmark já não consegue separar os modelos de fronteira uns dos outros no roteamento.

Leitura adicional

• Frameworks de RAG: LangChain vs LangGraph vs LlamaIndex
• Melhores Ferramentas, Frameworks e Bibliotecas de RAG
• Pesquisa Agentic em 2026: Benchmark de 8 APIs de Pesquisa para Agentes
• Os 5 Melhores Frameworks de IA Agentic de Código Aberto em 2026
• Text-to-SQL: Comparação da Precisão de LLMs

Perguntas frequentes

Cite este benchmark

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Agentic RAG Benchmark: Roteamento Multi-Banco de Dados entre 36 LLMs}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/agentic-rag}},
  note   = {AIMultiple. Acessado em 11 Agosto 2026}
}

Links de referência

1.

BIRD-bench

Ekrem Sarı

Pesquisador de IA

Siga-nos

Ekrem é Pesquisador de IA e Analista de Dados na AIMultiple. Ele projeta e executa benchmarks práticos para sistemas de IA e LLM.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário