VELC-Bench: Verificação em Benchmark de Contexto Longo
A capacidade do modelo de localizar uma métrica específica no contexto, comparar seu valor com uma afirmação e confirmá-la ou rejeitá-la. Isto testa a correspondência refinada de valores em condições de contexto longo. O modelo deve tanto recuperar o valor quanto realizar uma comparação precisa.
Resultados
Os modelos são testados nas seguintes janelas de contexto:
- anthropic/claude-fable-5: 850.000 tokens testados
- openai/gpt-5.5: 1.000.000 tokens
- google/gemini-3.1-pro-preview: 1.000.000 tokens
- google/gemini-3.5-flash: 1.000.000 tokens
- anthropic/claude-sonnet-4.6: 1.000.000 tokens
- qwen/qwen3.6-plus: 1.000.000 tokens
- moonshotai/kimi-k2.6: 200.000 tokens
- z-ai/glm-5.1: 200.000 tokens
- minimax/minimax-m2.7: 150.000 tokens
- openai/gpt-5.4-mini: 250.000 tokens
claude-fable-5 pontua 90,0% em verificar SIM e 94,0% em verificar NÃO. A diferença corresponde à assimetria descrita abaixo: confirmar um valor exige encontrá-lo, enquanto rejeitar um exige apenas identificar uma discrepância.
Question formats
Verificar SIM (o valor da afirmação está correto):
Afirmação: A Receita do Q1 2026 da Adobe (ADBE) é de US$ 6,40 bilhões.
Esperado: SIM
Verificar NÃO (o valor da afirmação está errado):
Afirmação: A Receita do Q1 2026 da Adobe (ADBE) é de US$ 7,92 bilhões.
Esperado: NÃO
Fonte de dados
Mesmas métricas extraídas do TAKEAWAYS que na recordação direta. Para cada métrica escolhida:
- Itens de Verificar SIM usam o valor real da transcrição
- Itens de Verificar NÃO usam um valor programaticamente alterado (8–25% de desvio, em qualquer direção, com precisão e unidades correspondentes)
Regra de pontuação
Detecção de três estados na resposta do modelo:
- Se a resposta contiver uma frase de NÃO MENCIONADO (ex.: "não mencionado", "não discutido") → previsto =
not_mentioned - Caso contrário, se contiver "sim" → previsto =
yes - Caso contrário, se contiver "não" → previsto =
no
Pontuação = 1,0 se previsto == esperado, caso contrário 0,0.
A prioridade de detecção é NÃO MENCIONADO > NÃO > SIM para evitar que "não mencionado" corresponda acidentalmente a "não" pela substring "não".
claude-fable-5 é testado através do Claude Code: ele recebe o haystack de 850.000 tokens como um arquivo e o pesquisa com ferramentas de recuperação em vez de lê-lo de sua janela de contexto, portanto suas pontuações medem o modelo em conjunto com o harness do Claude Code.
Interpretação fase a fase
A assimetria entre SIM e NÃO é informativa: SIM exige identificação positiva de um valor (mais difícil quando o alvo está mais profundo), enquanto NÃO exige apenas identificar uma discrepância (mais fácil quando lido recentemente).
As fases são 0,1, 0,5 e 0,9 da janela de contexto, para ver a diferença de precisão em diferentes posições do haystack.
O que é um bom desempenho?
Fase 2 SIM ≥ 80% e NÃO ≥ 80% indica que o modelo pode tanto confirmar quanto rejeitar ao longo de um haystack.
Um modelo que pontua muito alto em NÃO mas baixo em SIM está enviesado para rejeição. Um modelo que pontua muito alto em SIM mas baixo em NÃO está confiando excessivamente nas afirmações.
Contagem de itens
50 verify_yes + 50 verify_no = 100 itens de verificação.
Cite esta pesquisa
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{VELC-Bench: Verificação em Benchmark de Contexto Longo}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/ai-context-window}},
note = {AIMultiple. Acessado em 7 Julho 2026}
}
Adicionar como fonte preferencial
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.