VELC-Bench: Verifica su Benchmark a Lungo Contesto
La capacità del modello di individuare una metrica specifica nel contesto, confrontare il suo valore con un'affermazione e confermarla o respingerla. Questo testa il confronto di valori a grana fine in condizioni di contesto lungo. Il modello deve sia recuperare il valore sia eseguire un confronto preciso.
Risultati
I modelli sono testati nelle seguenti finestre di contesto:
- anthropic/claude-fable-5: 850,000 token testati
- openai/gpt-5.5: 1,000,000 token
- google/gemini-3.1-pro-preview: 1,000,000 token
- google/gemini-3.5-flash: 1,000,000 token
- anthropic/claude-sonnet-4.6: 1,000,000 token
- qwen/qwen3.6-plus: 1,000,000 token
- moonshotai/kimi-k2.6: 200,000 token
- z-ai/glm-5.1: 200,000 token
- minimax/minimax-m2.7: 150,000 token
- openai/gpt-5.4-mini: 250,000 token
claude-fable-5 ottiene un punteggio di 90.0% su verifica SÌ e 94.0% su verifica NO. Il divario corrisponde all'asimmetria descritta di seguito: confermare un valore richiede di trovarlo, mentre respingerlo richiede solo di individuare una discrepanza.
Question formats
Verifica SÌ (il valore dell'affermazione è corretto):
Affermazione: Il fatturato per il Q1 2026 di Adobe (ADBE) è di $6.40 miliardi.
Previsto: SÌ
Verifica NO (il valore dell'affermazione è errato):
Affermazione: Il fatturato per il Q1 2026 di Adobe (ADBE) è di $7.92 miliardi.
Previsto: NO
Fonte dati
Stesse metriche estratte da TAKEAWAYS come per il richiamo diretto. Per ogni metrica scelta:
- Gli elementi Verifica SÌ utilizzano il valore effettivo dalla trascrizione
- Gli elementi Verifica NO utilizzano un valore alterato programmaticamente (dall'8 al 25% in meno o in più, in entrambe le direzioni, con precisione e unità corrispondenti)
Regola di punteggio
Rilevamento a tre stati sulla risposta del modello:
- Se la risposta contiene una frase NON MENZIONATO (ad es., "non menzionato," "non discusso") → previsto =
not_mentioned - Altrimenti se contiene "sì" → previsto =
yes - Altrimenti se contiene "no" → previsto =
no
Punteggio = 1.0 se previsto == atteso, altrimenti 0.0.
La priorità di rilevamento è NON MENZIONATO > NO > SÌ per evitare che "non menzionato" corrisponda accidentalmente a "no" tramite la sottostringa "not."
claude-fable-5 è testato tramite Claude Code: riceve il pagliaio da 850,000 token come file e lo cerca con strumenti di recupero invece di leggerlo dalla sua finestra di contesto, quindi i suoi punteggi misurano il modello insieme al supporto di Claude Code.
Interpretazione fase per fase
L'asimmetria tra SÌ e NO è informativa: SÌ richiede l'identificazione positiva di un valore (più difficile quando l'obiettivo è più profondo), mentre NO richiede solo di individuare una discrepanza (più facile quando letto di recente).
Le fasi sono 0.1, 0.5 e 0.9 della finestra di contesto, per vedere la differenza di accuratezza in diverse posizioni del pagliaio.
Cos'è una buona prestazione?
Fase 2 SÌ ≥ 80% e NO ≥ 80% indica che il modello può sia confermare sia respingere attraverso un pagliaio.
Un modello che ottiene un punteggio molto alto su NO ma basso su SÌ è sbilanciato verso il rifiuto. Un modello che ottiene un punteggio molto alto su SÌ ma basso su NO si fida eccessivamente delle affermazioni.
Conteggio elementi
50 verify_yes + 50 verify_no = 100 elementi di verifica.
Cita questa ricerca
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{VELC-Bench: Verifica su Benchmark a Lungo Contesto}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/ai-context-window}},
note = {AIMultiple. Consultato il 7 Luglio 2026}
}
Aggiungi come fonte preferita
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.