RELC-Bench: Referência de Recuperação em Contextos Longos
RELC-Bench (RELC-Bench: Referência de Recuperação em Contextos Longos) tem como objetivo medir a capacidade de um modelo de encontrar e extrair um valor numérico específico de um ou mais documentos dentro do seu contexto. Ele testa se o modelo consegue lembrar e recuperar um fato específico que acabou de ver na entrada.
Resultados
claude-fable-5 atinge 97.0% nos 100 itens de recuperação direta, estável em todas as posições do haystack (97.0% início, 97.1% meio, 97.0% fim).
Metodologia
Question format
Uma pergunta em linguagem natural solicitando uma métrica numérica. Exemplo:
Pergunta: Qual foi a receita do Q1 de 2026 da Adobe (ADBE)?
Esperado: $6.40 bilhões
Fonte dos dados
O script analisa a seção Takeaways de cada transcrição de resultados do Motley Fool e extrai todas as métricas numéricas. Para cada métrica, o script verifica se o número aparece literalmente no corpo da transcrição pós-Takeaways (o texto real da teleconferência), de modo que o modelo precise ler a conversa real, não o resumo. Os itens de resumo são removidos dos textos.
Regra de pontuação
- Cada item tem uma lista de valores alvo; o primeiro é o alvo principal (a resposta principal para a pergunta)
- Pontuação = 1.0 se o alvo principal corresponder a qualquer número na previsão
- Pontuação = 0.0 caso contrário
- Recusas (“Não sei”) pontuam 0.0
- claude-fable-5 é testado através do Claude Code: o haystack é fornecido como um arquivo e o modelo recupera informações dele com ferramentas de busca, em vez de lê-lo da sua janela de contexto. Suas pontuações medem o modelo juntamente com o sistema Claude Code, e a invariância de posição é esperada nessa configuração porque a profundidade do alvo não se aplica à busca em arquivos.
O que é um bom desempenho
Fase 1 ≥ 85% (o modelo encontra métricas de forma confiável em um único documento).
Fase 2 ≥ 90% (o modelo navega até o alvo em um haystack sem distrações).
Pontuações invariantes à posição indicam capacidade real de contexto longo; pontuações decrescentes com a profundidade indicam “perdido no meio”.
Quantidade de itens
100 itens de recuperação direta espalhados por 14 transcrições.
Leitura adicional
- Agentes Cognitivos: Criando uma Mente com LangChain
- 5 Frameworks de IA Agêntica de Código Aberto
- Aplicativos de IA com Benchmark de Memória MCP e Tutorial
- Execução de Código com MCP: Uma Nova Abordagem para a Eficiência de Agentes de IA
Adicionar como fonte preferencialCite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{RELC-Bench: Referência de Recuperação em Contextos Longos}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/ai-memory}},
note = {AIMultiple. Acessado em 7 Julho 2026}
}
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.