VELC-Bench: Verifica su Benchmark a Contesto Lungo
La capacità del modello di individuare una metrica specifica nel contesto, confrontare il suo valore con un'affermazione e confermarla o respingerla. Questo testa il confronto preciso di valori in condizioni di contesto lungo. Il modello deve sia recuperare il valore sia eseguire un confronto preciso.
Risultati
I modelli sono testati nelle seguenti finestre di contesto:
- anthropic/claude-fable-5: 850.000 tokens testati
- openai/gpt-5.5: 1.000.000 tokens
- google/gemini-3.1-pro-preview: 1.000.000 tokens
- google/gemini-3.5-flash: 1.000.000 tokens
- anthropic/claude-sonnet-4.6: 1.000.000 tokens
- qwen/qwen3.6-plus: 1.000.000 tokens
- moonshotai/kimi-k2.6: 200.000 tokens
- z-ai/glm-5.1: 200.000 tokens
- minimax/minimax-m2.7: 150.000 tokens
- openai/gpt-5.4-mini: 250.000 tokens
claude-fable-5 ottiene 90.0% in Verify YES e 94.0% in Verify NO. Il divario corrisponde all'asimmetria descritta di seguito: confermare un valore richiede di trovarlo, mentre respingerlo richiede solo di individuare una discrepanza.
Question formats
Verify YES (il valore dell'affermazione è corretto):
Affermazione: Il fatturato del primo trimestre 2026 di Adobe (ADBE) è di $6,40 miliardi.
Previsto: YES
Verify NO (il valore dell'affermazione è errato):
Affermazione: Il fatturato del primo trimestre 2026 di Adobe (ADBE) è di $7,92 miliardi.
Previsto: NO
Fonte dei dati
Stesse metriche estratte da TAKEAWAYS come per il richiamo diretto. Per ogni metrica scelta:
- Gli elementi Verify YES utilizzano il valore effettivo della trascrizione
- Gli elementi Verify NO utilizzano un valore perturbato programmaticamente (8–25% in meno o in più, con precisione e unità corrispondenti)
Regola di punteggio
Rilevamento a tre stati sulla risposta del modello:
- Se la risposta contiene una frase NOT MENTIONED (ad esempio “not mentioned,” “not discussed”) → predicted =
not_mentioned - Altrimenti se contiene “yes” → predicted =
yes - Altrimenti se contiene “no” → predicted =
no
Punteggio = 1.0 se predetto == atteso, altrimenti 0.0.
La priorità di rilevamento è NOT MENTIONED > NO > YES per evitare che “not mentioned” corrisponda accidentalmente a “no” a causa della sottostringa “not.”
claude-fable-5 viene testato tramite Claude Code: riceve il pagliaio da 850.000 token come file e lo cerca con strumenti di recupero invece di leggerlo dalla sua finestra di contesto, quindi i suoi punteggi misurano il modello insieme all'harness di Claude Code.
Claude Sonnet 5 è stato lanciato il 30 giugno 2026 con una finestra nativa da 1M token a prezzo standard, e Claude Opus 4.8 porta la stessa finestra da 1M; entrambi ora fanno parte di questo set di test.1
Due modelli open-weight addestrati interamente su hardware non Nvidia sono entrati nel campo del contesto lungo la stessa settimana: LongCat-2.0 di Meituan, un modello MoE da 1.6T parametri con una finestra nativa da 1M token costruito su acceleratori IA cinesi, e openPangu-2.0-Flash di Huawei, un modello MoE da 92B parametri con una finestra da 512K addestrato su chip Ascend.2
Interpretazione fase per fase
L'asimmetria tra YES e NO è informativa: YES richiede l'identificazione positiva di un valore (più difficile quando il target è più profondo), mentre NO richiede solo l'individuazione di una discrepanza (più facile quando letto di recente).
Le fasi sono 0.1, 0.5 e 0.9 della finestra di contesto, per vedere la differenza di accuratezza in diverse posizioni del pagliaio.
Cos'è una buona prestazione?
Una fase 2 con YES ≥ 80% e NO ≥ 80% indica che il modello può sia confermare sia respingere in tutto il pagliaio.
Un modello che ottiene punteggi molto alti su NO ma bassi su YES è sbilanciato verso il rifiuto. Un modello che ottiene punteggi molto alti su YES ma bassi su NO tende a fidarsi troppo delle affermazioni.
Conteggio elementi
50 verify_yes + 50 verify_no = 100 elementi verify.
Cos'è una finestra di contesto?
Anthropic’la documentazione tecnica offre la definizione canonica: la finestra di contesto è "tutto il testo a cui un modello linguistico può fare riferimento quando genera una risposta, inclusa la risposta stessa", distinguendola dal più ampio corpus di addestramento e rappresentando invece una "memoria di lavoro" per il modello.3 IBM la definisce in termini quasi identici come la quantità di testo, in token, che il modello può considerare o "ricordare" in un dato momento.4 McKinsey inquadra il concetto come paragonabile alla memoria a breve termine umana, notando che il modello può "guardare" solo una quantità fissa di informazioni alla volta prima di combinarle con parametri pre-addestrati per produrre una risposta.5
L'unità di misura è il token. La documentazione per sviluppatori di OpenAI afferma che un token corrisponde a circa 4 caratteri o 0.75 parole per il testo inglese, anche se il rapporto varia in base alla lingua e al contenuto.6 IBM descrive un token come la più piccola unità che i modelli di IA linguistica utilizzano, una rappresentazione leggibile dalla macchina di una parola, parte di una parola o punteggiatura.4
La finestra copre il prompt di sistema, ogni messaggio inclusi i risultati degli strumenti e i documenti, e l'output generato combinato. La documentazione di Anthropic afferma esplicitamente che "l'output che Claude genera per il turno, incluso il suo pensiero esteso, conta anch'esso."3 OpenAI conferma che per i modelli di generazione di testo, il prompt e l'output generato combinati non devono superare la lunghezza massima del contesto.6
La dimensione della finestra di contesto è una proprietà architetturale fissa impostata al momento dell'addestramento, non un'impostazione regolabile dall'utente. La documentazione del corso LLM di Hugging Face osserva che le architetture Transformer di base senza modifiche per il contesto esteso sono limitate a una lunghezza massima di sequenza fissa e andranno in crash o troncheranno l'input quando tale lunghezza viene superata, anche se tecniche specializzate ora permettono ad alcuni modelli implementati di gestire sequenze molto più lunghe.7 Un modello non può ricevere una finestra di contesto più grande dopo la distribuzione senza riaddestramento o tecniche di estensione specializzate.
Finestra di contesto vs termini correlati
"Lunghezza del contesto" funziona come un sinonimo diretto di "finestra di contesto", non un concetto distinto. IBM presenta entrambi i termini insieme, affermando che la "finestra di contesto (o 'lunghezza del contesto')" è la quantità di testo che il modello può considerare in qualsiasi momento.4 OpenAI utilizza "lunghezza massima del contesto" per descrivere lo stesso limite combinato prompt più output.6
Il limite dei token di output è un termine separato e più ristretto. OpenAI lo espone come parametro distinto (come `max_tokens`) che limita solo la parte generata della risposta, mentre la finestra di contesto vincola il totale di input più output.6
La finestra di contesto è distinta dalla memoria persistente o agentica tra le sessioni. La documentazione di Anthropic per il suo strumento di memoria chiarisce che la finestra di contesto è effimera e legata alla sessione: "La tua finestra di contesto potrebbe essere resettata in qualsiasi momento, quindi rischi di perdere ogni progresso non registrato nella tua directory di memoria."8 La memoria persistente, al contrario, memorizza informazioni in file esterni che sopravvivono tra le sessioni.8
Infine, la finestra di contesto non è il corpus di dati su cui il modello è stato addestrato. La documentazione di Anthropic traccia questa linea esplicitamente: la finestra di contesto "è diversa dal grande corpus di dati su cui il modello linguistico è stato addestrato, e rappresenta invece una 'memoria di lavoro' per il modello".3
Come funziona una finestra di contesto?
Prima dell'elaborazione, il testo grezzo viene convertito in token tramite tokenizzazione. Il metodo dominante è la codifica a coppie di byte (BPE), originariamente un algoritmo di compressione dati del 1994 adattato per la traduzione automatica neurale nel 2016, che costruisce un vocabolario unendo iterativamente le sequenze di caratteri che co-occorrono più frequentemente.9 BPE alimenta i tokenizzatori di GPT-2, GPT-3, GPT-4 e LLaMA, tra gli altri.9 OpenAI osserva che la tokenizzazione è sensibile al contesto; la stessa parola può mapparsi a token diversi a seconda delle maiuscole o degli spazi circostanti.10
Una volta tokenizzato, ogni token viene convertito in un vettore ed elaborato attraverso l'architettura transformer introdotta nel documento del 2017 "Attention Is All You Need".11 Il meccanismo centrale, l'auto-attenzione, calcola i vettori Query, Key e Value per ogni token, quindi utilizza l'attenzione a prodotto scalare scalato in modo che ogni token presti attenzione a ogni altro token nella sequenza, incluso se stesso.11 Questo confronto parallelo di tutte le coppie di token è ciò che consente ai transformer di sostituire l'elaborazione sequenziale delle precedenti architetture ricorrenti.
Durante la generazione autoregressiva, il modello produce un token alla volta. Ogni fase di auto-attenzione del nuovo token richiede i vettori Key e Value di ogni token precedente. Invece di ricalcolarli da zero a ogni passo, i modelli LLM di produzione li memorizzano dopo il primo calcolo e li riutilizzano; questo insieme memorizzato è chiamato cache KV.12 Riutilizzando le matrici Key e Value memorizzate nella cache, la complessità dell'inferenza per passo diminuisce, sebbene l'impronta di memoria della cache cresca linearmente con la lunghezza del contesto e debba risiedere nella memoria della GPU per tutta la durata della richiesta.12
I token al di fuori della finestra sono architetturalmente invisibili. Poiché l'auto-attenzione calcola solo le relazioni tra i token presenti nel tensore di input corrente, e la cache KV memorizza solo i vettori per i token che sono stati forniti al modello, un token mai incluso nella richiesta non ha alcuna rappresentazione a cui il modello possa fare riferimento.11 Questo è il motivo per cui il superamento della finestra di contesto provoca un errore API grave; l'API di Anthropic restituisce un errore 400 `invalid_request_error` se il solo input supera il limite, e la generazione si interrompe con un motivo di arresto `model_context_window_exceeded` se l'output spingerebbe il totale oltre il tetto.3
Dimensioni della finestra di contesto nei principali modelli di IA
A metà del 2026, il valore predefinito dell'API di frontiera si è assestato su circa 1 milione di token, sebbene il limite effettivo vari in base alla superficie di accesso.
La famiglia GPT-5.6 di OpenAI (Sol, Terra e Luna) offre una finestra di contesto da 1.05 milioni di token e un output massimo di 128.000 token tramite API.13 Tuttavia, l'interfaccia consumer di ChatGPT offre meno: quando un utente seleziona manualmente la modalità "Thinking", la finestra combinata è di 256.000 token (128.000 input più 128.000 output massimo).14
Claude Opus 5 e Sonnet 5 di Anthropic offrono una finestra da 1 milione di token tramite l'API Claude e su Amazon Bedrock, Google Cloud e Microsoft Foundry.3
Gemini 3.5 Flash di Google supporta una finestra di contesto di input da 1 milione di token con fino a 65.536 token di output.15 Le affermazioni che il più recente Gemini 3.5 Pro raggiunga 2 milioni di token non hanno potuto essere verificate rispetto alla documentazione primaria di Google al momento della stesura.
Grok 4.3 di xAI, lanciato il 30 aprile 2026, porta una finestra di contesto da 1 milione di token.16 Llama 4 Scout di Meta pubblicizza una finestra di contesto da 10 milioni di token raggiunta tramite un'architettura iRoPE, sebbene il modello sia stato preaddestrato solo fino a 256.000 token, il che significa che la cifra di 10 milioni rappresenta una capacità estrapolata.17
Mistral Large 3 rimane limitato a 256.000 token, un'eccezione tra i modelli di frontiera.18 DeepSeek-V4 viene distribuito in due varianti che supportano 1 milione di token, ottenuto tramite un meccanismo di attenzione efficiente.19
Aggiungi come fonte preferitaFinestre di contesto lunghe vs generazione aumentata da recupero
La scelta tra inserire token in una finestra di contesto lunga rispetto all'uso della generazione aumentata da recupero (RAG) dipende dalla dimensione del corpus e dalla frequenza di aggiornamento. Le linee guida ingegneristiche di Anthropic consigliano che se una base di conoscenza è inferiore a 200.000 token (circa 500 pagine), l'intero corpus può essere incluso nel prompt, il che con la cache del prompt diventa "significativamente più veloce ed economico". Una volta che il corpus supera quella soglia, è necessaria una soluzione più scalabile.20
IA agentica e attività di lunga durata
Gli agenti di codifica e ricerca fanno affidamento sulla dimensione della finestra di contesto per contenere gli output accumulati degli strumenti e la cronologia della conversazione. Il team di ingegneria di Anthropic documenta la gestione del contesto come il vincolo centrale per le attività a lungo orizzonte, raccomandando un contesto "just-in-time" in cui gli agenti mantengono riferimenti leggeri e caricano dinamicamente i dati a runtime invece di caricare tutto in anticipo.21
Claude Code implementa questo tramite sotto-agenti. In un esempio documentato, un sotto-agente incaricato di analizzare una codebase ha letto 6.100 token di contenuto del file e ha restituito un riepilogo di 420 token alla sessione padre, mantenendo circa 5.700 token di contenuto del file completamente fuori dalla finestra di contesto dell'agente principale.22 La finestra di contesto predefinita di Claude Code per Sonnet 5 è di 1 milione di token sull'API di Anthropic, con le sessioni che si compattano auto-compacting per impostazione predefinita a circa 967.000 token, ovvero circa il 96.7% di tale limite, a meno che una configurazione limiti la finestra a 200.000 token.23
Analisi di documenti e codebase
La documentazione dell'API Gemini di Google afferma che la sua finestra di contesto da 1 milione di token equivale a circa 50.000 righe di codice, illustrando la scala di una singola finestra di contesto piuttosto che descrivere un caso d'uso dedicato alla revisione di codebase.24
Cita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Alper, Şevval},
title = {{VELC-Bench: Verifica su Benchmark a Contesto Lungo}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/ai-context-window}},
note = {AIMultiple. Consultato il 4 Agosto 2026}
}Collegamenti di riferimento
Il lavoro di Cem è stato citato da importanti pubblicazioni globali tra cui Business Insider, Forbes, Washington Post, aziende globali come Deloitte, HPE e ONG come il World Economic Forum e organizzazioni sovranazionali come la Commissione europea.
Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, acquirente di tecnologia e imprenditore tecnologico. Ha consigliato aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per oltre un decennio. Ha anche pubblicato un rapporto McKinsey sulla digitalizzazione.
Ha guidato la strategia tecnologica e gli approvvigionamenti di una società di telecomunicazioni rispondendo direttamente al CEO. Ha anche guidato la crescita commerciale dell'azienda deep tech Hypatos che ha raggiunto un fatturato annuo ricorrente a 7 cifre e una valutazione a 9 cifre partendo da 0 in 2 anni. Il lavoro di Cem in Hypatos è stato trattato da importanti pubblicazioni tecnologiche come TechCrunch e Business Insider.
Cem interviene regolarmente a conferenze tecnologiche internazionali. Si è laureato in ingegneria informatica all'Università Bogazici e ha conseguito un MBA presso la Columbia Business School.
Şevval si concentra su strumenti di programmazione IA, agenti IA e tecnologie quantistiche.
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.