Premium
Servizi
Premium

VELC-Bench: verifica sul benchmark a contesto lungo

Cem Dilmegani
Cem Dilmegani
aggiornato il 4 ago. 2026

La capacità del modello di individuare una metrica specifica nel contesto, confrontare il suo valore con un'affermazione e confermarla o rifiutarla. Questo verifica la corrispondenza precisa dei valori in condizioni di contesto lungo. Il modello deve sia recuperare il valore sia eseguire un confronto preciso.

Risultati

Caricamento del grafico

I modelli sono testati nelle seguenti finestre di contesto:

  • anthropic/claude-fable-5: 850.000 token testati
  • openai/gpt-5.5: 1.000.000 token
  • google/gemini-3.1-pro-preview: 1.000.000 token
  • google/gemini-3.5-flash: 1.000.000 token
  • anthropic/claude-sonnet-4.6: 1.000.000 token
  • qwen/qwen3.6-plus: 1.000.000 token
  • moonshotai/kimi-k2.6: 200.000 token
  • z-ai/glm-5.1: 200.000 token
  • minimax/minimax-m2.7: 150.000 token
  • openai/gpt-5.4-mini: 250.000 token

claude-fable-5 ottiene 90,0% in verifica SÌ e 94,0% in verifica NO. Il divario corrisponde all'asimmetria descritta di seguito: confermare un valore richiede di trovarlo, mentre rifiutarne uno richiede solo di individuare una discrepanza.

Question formats

Verifica SÌ (il valore dell'affermazione è corretto):

Affermazione: Il fatturato del primo trimestre 2026 di Adobe (ADBE) è di $6,40 miliardi.
Previsto: SÌ

Verifica NO (il valore dell'affermazione è errato):

Affermazione: Il fatturato del primo trimestre 2026 di Adobe (ADBE) è di $7,92 miliardi.
Previsto: NO

Fonte dei dati

Stesse metriche estratte da TAKEAWAYS come per il richiamo diretto. Per ogni metrica scelta:

  • Verifica SÌ gli elementi usano il valore effettivo della trascrizione
  • Verifica NO gli elementi usano un valore perturbato programmaticamente (8–25% di scostamento, in entrambe le direzioni, con precisione e unità corrispondenti)

Regola di punteggio

Rilevamento a tre stati sulla risposta del modello:

  1. Se la risposta contiene una frase NON MENZIONATO (ad es., "non menzionato", "non discusso") → predicted = not_mentioned
  2. Altrimenti, se contiene "sì" → predicted = yes
  3. Altrimenti, se contiene "no" → predicted = no

Punteggio = 1.0 se predicted == expected, altrimenti 0.0.

La priorità di rilevamento è NON MENZIONATO > NO > SÌ per evitare che "non menzionato" corrisponda accidentalmente a "no" tramite la sottostringa "no".

claude-fable-5 viene testato tramite Claude Code: riceve il pagliaio da 850.000 token come file e lo cerca con strumenti di recupero invece di leggerlo dalla propria finestra di contesto, quindi i suoi punteggi misurano il modello insieme all'harness di Claude Code.

Claude Sonnet 5 è stato lanciato il 30 giugno 2026 con una finestra nativa da 1M token a prezzo standard, e Claude Opus 4.8 ha la stessa finestra da 1M; entrambi fanno ora parte di questo set di test.1

Due modelli a pesi aperti addestrati interamente su hardware non Nvidia sono entrati nel campo del contesto lungo la stessa settimana: LongCat-2.0 di Meituan, un modello MoE da 1.6T parametri con una finestra nativa da 1M token costruito su acceleratori IA cinesi, e openPangu-2.0-Flash di Huawei, un modello MoE da 92B parametri con una finestra da 512K addestrato su chip Ascend.2

Interpretazione fase per fase

L'asimmetria tra SÌ e NO è informativa: SÌ richiede l'identificazione positiva di un valore (più difficile quando l'obiettivo è più profondo), mentre NO richiede solo di individuare una discrepanza (più facile quando letto di recente).

Le fasi sono 0.1, 0.5 e 0.9 della finestra di contesto, per vedere la differenza di accuratezza nelle diverse posizioni del pagliaio.

Che cos'è una buona prestazione?

Un punteggio di SÌ nella fase 2 ≥ 80% e NO ≥ 80% indica che il modello è in grado sia di confermare sia di rifiutare attraverso il contesto.

Un modello che ottiene punteggi molto alti su NO ma bassi su SÌ è sbilanciato verso il rifiuto. Un modello che ottiene punteggi molto alti su SÌ ma bassi su NO tende a fidarsi eccessivamente delle affermazioni.

Conteggio degli elementi

50 verify_yes + 50 verify_no = 100 elementi di verifica.

Che cos'è una finestra di contesto?

La documentazione tecnica di Anthropic offre la definizione canonica: la finestra di contesto è "tutto il testo a cui un modello linguistico può fare riferimento quando genera una risposta, inclusa la risposta stessa", distinguendola dal corpus di addestramento più ampio e rappresentando invece una "memoria di lavoro" per il modello.3 IBM la definisce in termini quasi identici come la quantità di testo, in token, che il modello può considerare o "ricordare" in qualsiasi momento.4 McKinsey inquadra il concetto come paragonabile alla memoria a breve termine umana, osservando che il modello può "guardare" solo una quantità fissa di informazioni alla volta prima di combinarle con i parametri preaddestrati per produrre una risposta.5

L'unità di misura è il token. La documentazione per sviluppatori di OpenAI afferma che un token corrisponde a circa 4 caratteri o 0.75 parole per il testo inglese, sebbene il rapporto vari in base alla lingua e al contenuto.6 IBM descrive un token come la più piccola unità utilizzata dai modelli linguistici di IA, una rappresentazione leggibile dalla macchina di una parola, parte di una parola o punteggiatura.4

La finestra copre il prompt di sistema, ogni messaggio inclusi i risultati degli strumenti e i documenti, e l'output generato complessivamente. La documentazione di Anthropic afferma esplicitamente che "anche l'output che Claude genera per il turno, incluso il suo pensiero esteso, viene conteggiato".3 OpenAI conferma che per i modelli di generazione del testo, il prompt e l'output generato insieme non devono superare la lunghezza massima del contesto.6

La dimensione della finestra di contesto è una proprietà architetturale fissa stabilita al momento dell'addestramento, non un'impostazione regolabile dall'utente. La documentazione del corso di Hugging Face LLM osserva che le architetture Transformer di base senza modifiche per contesti estesi sono limitate a una lunghezza massima di sequenza fissa e andranno in errore o troncheranno l'input quando tale lunghezza viene superata, sebbene tecniche specializzate consentano ora ad alcuni modelli distribuiti di gestire sequenze molto più lunghe.7 Un modello non può ricevere una finestra di contesto più ampia dopo la distribuzione senza riaddestramento o tecniche di estensione specializzate.

Finestra di contesto rispetto ai termini correlati

"Lunghezza del contesto" funziona come sinonimo diretto di "finestra di contesto", non come un concetto distinto. IBM presenta entrambi i termini insieme, affermando che la "finestra di contesto (o 'lunghezza del contesto')" è la quantità di testo che il modello può considerare in qualsiasi momento.4 OpenAI utilizza "lunghezza massima del contesto" per descrivere lo stesso tetto combinato di prompt più output.6

Il limite dei token di output è un termine separato e più ristretto. OpenAI lo espone come un parametro distinto (come `max_tokens`) che limita solo la parte generata della risposta, mentre la finestra di contesto vincola il totale di input più output.6

La finestra di contesto è distinta dalla memoria persistente o agentica tra le sessioni. La documentazione di Anthropic per il suo strumento di memoria chiarisce che la finestra di contesto è effimera e legata alla sessione: "La tua finestra di contesto potrebbe essere reimpostata in qualsiasi momento, quindi rischi di perdere qualsiasi progresso non registrato nella tua directory di memoria."8 La memoria persistente, al contrario, archivia le informazioni in file esterni che sopravvivono tra le sessioni.8

Infine, la finestra di contesto non è il corpus di dati su cui il modello è stato addestrato. La documentazione di Anthropic traccia esplicitamente questa distinzione: la finestra di contesto "è diversa dall'ampio corpus di dati su cui è stato addestrato il modello linguistico e rappresenta invece una 'memoria di lavoro' per il modello."3

Lascia che il nostro team automatizzi uno dei tuoi processi aziendali con agenti IA, gratuitamente.
Automatizza un processo

Come funziona una finestra di contesto?

Prima dell'elaborazione, il testo grezzo viene convertito in token tramite la tokenizzazione. Il metodo dominante è la codifica a coppie di byte (BPE), originariamente un algoritmo di compressione dati del 1994 adattato alla traduzione automatica neurale nel 2016, che costruisce un vocabolario unendo iterativamente le sequenze di caratteri che co-occorrono più frequentemente.9 La BPE alimenta i tokenizzatori di GPT-2, GPT-3, GPT-4 e LLaMA, tra gli altri.9 OpenAI osserva che la tokenizzazione è sensibile al contesto; la stessa parola può essere mappata su token diversi a seconda delle maiuscole o degli spazi bianchi circostanti.10

Una volta tokenizzato, ogni token viene convertito in un vettore ed elaborato attraverso l'architettura transformer introdotta nell'articolo del 2017 "Attention Is All You Need".11 Il meccanismo principale, l'auto-attenzione, calcola i vettori Query, Key e Value per ogni token, quindi utilizza l'attenzione a prodotto scalare scalato in modo che ogni token presti attenzione a ogni altro token nella sequenza, incluso se stesso.11 Questo confronto parallelo di tutte le coppie di token è ciò che consente ai transformer di sostituire l'elaborazione sequenziale delle precedenti architetture ricorrenti.

Durante la generazione autoregressiva, il modello produce un token alla volta. Il passo di auto-attenzione di ogni nuovo token richiede i vettori Key e Value di tutti i token precedenti. Anziché ricalcolarli da zero a ogni passo, gli LLM in produzione li memorizzano dopo il primo calcolo e li riutilizzano; questo insieme memorizzato è chiamato cache KV.12 Riutilizzando le matrici Key e Value memorizzate nella cache, la complessità dell'inferenza per passo diminuisce, sebbene l'ingombro di memoria della cache cresca linearmente con la lunghezza del contesto e debba risiedere nella memoria della GPU per tutta la durata della richiesta.12

I token al di fuori della finestra sono architetturalmente invisibili. Poiché l'auto-attenzione calcola solo le relazioni tra i token presenti nel tensore di input corrente e la cache KV memorizza solo vettori per i token che sono stati forniti al modello, un token mai incluso nella richiesta non ha alcuna rappresentazione a cui il modello possa fare riferimento.11 Questo è il motivo per cui il superamento della finestra di contesto provoca un errore rigido dell'API; la Anthropic API restituisce un errore 400 `invalid_request_error` se il solo input supera il limite, e la generazione si interrompe con un motivo di arresto `model_context_window_exceeded` se l'output spingerebbe il totale oltre il tetto.3

Dimensioni delle finestre di contesto nei principali modelli di IA

A metà del 2026, il valore predefinito delle API di frontiera si è attestato a circa 1 milione di token, sebbene il limite effettivo vari in base alla superficie di accesso.

La famiglia di OpenAI GPT-5.6 (Sol, Terra e Luna) offre una finestra di contesto da 1.05 milioni di token e un output massimo di 128.000 token tramite API.13 Tuttavia, l'interfaccia consumer di ChatGPT offre meno: quando un utente seleziona manualmente la modalità "Thinking", la finestra combinata è di 256.000 token (128.000 input più 128.000 output massimo).14

I modelli di Anthropic Claude Opus 5, e Sonnet 5 offrono una finestra da 1 milione di token tramite la Claude API e su Amazon Bedrock, Google Cloud e Microsoft Foundry.3

La Google Gemini 3.5 Flash supporta una finestra di contesto di input da 1 milione di token con fino a 65.536 token di output.15 Le affermazioni secondo cui il più recente Gemini 3.5 Pro raggiunge 2 milioni di token non hanno potuto essere verificate rispetto alla documentazione primaria di Google al momento della stesura.

Il Grok 4.3 di xAI, lanciato il 30 aprile 2026, dispone di una finestra di contesto da 1 milione di token.16 La Meta Llama 4 Scout pubblicizza una finestra di contesto da 10 milioni di token raggiunta tramite un'architettura iRoPE, sebbene il modello sia stato preaddestrato solo fino a 256.000 token, il che significa che la cifra di 10 milioni rappresenta una capacità estrapolata.17

Mistral Large 3 rimane con un limite di 256.000 token, un'eccezione tra i modelli di frontiera.18 DeepSeek-V4 è disponibile in due varianti che supportano 1 milione di token, ottenuta tramite un meccanismo di attenzione efficiente.19

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.
GoogleAggiungi come fonte preferita

Finestre di contesto lunghe rispetto alla generazione aumentata dal recupero

La scelta tra inserire token in una finestra di contesto lunga e usare la generazione aumentata dal recupero (RAG) dipende dalla dimensione del corpus e dalla frequenza di aggiornamento. La guida tecnica di Anthropic consiglia che se una base di conoscenza è inferiore a 200.000 token (circa 500 pagine), l'intero corpus può essere incluso nel prompt, il che con la cache del prompt diventa "significativamente più veloce e più conveniente". Una volta che il corpus supera tale soglia, è necessaria una soluzione più scalabile.20

IA agentica e attività di lunga durata

Gli agenti di codifica e ricerca si affidano alla dimensione della finestra di contesto per conservare gli output accumulati degli strumenti e la cronologia delle conversazioni. Il team di ingegneri di Anthropic documenta la gestione del contesto come vincolo centrale per le attività a lungo orizzonte, raccomandando un contesto "just-in-time" in cui gli agenti mantengono riferimenti leggeri e caricano i dati dinamicamente in fase di esecuzione anziché caricare tutto in anticipo.21

Claude Code implementa questa strategia tramite i sub-agenti. In un esempio documentato, un sub-agente incaricato di analizzare una codebase ha letto 6.100 token di contenuto dei file e ha restituito un riepilogo da 420 token alla sessione principale, tenendo circa 5.700 token di contenuto dei file completamente fuori dalla finestra di contesto dell'agente primario.22 La finestra di contesto predefinita di Claude Code per Sonnet 5 è di 1 milione di token sull'Anthropic API, con auto-compattazione per impostazione predefinita a circa 967.000 token, ovvero circa il 96,7% di tale limite, a meno che una configurazione limiti invece la finestra a 200.000 token.23

Analisi di documenti e codebase

La documentazione di Google Gemini API afferma che la sua finestra di contesto da 1 milione di token equivale a circa 50.000 righe di codice, illustrando la scala di una singola finestra di contesto piuttosto che descrivere un caso d'uso dedicato alla revisione della codebase.24

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

Cem Dilmegani and Şevval Alper (2026) - "VELC-Bench: verifica sul benchmark a contesto lungo". Pubblicato online su AIMultiple.com. Consultato il 4 agosto 2026, da: https://aimultiple.com/ai-context-window [Risorsa online]

Dilmegani, C., & Alper, Ş. (2026, 4 agosto). VELC-Bench: verifica sul benchmark a contesto lungo. AIMultiple. https://aimultiple.com/ai-context-window

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Alper, Şevval},
  title  = {{VELC-Bench: verifica sul benchmark a contesto lungo}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/ai-context-window}},
  note   = {AIMultiple. Consultato il 4 agosto 2026}
}
Scarica tutti i dati

Risultati e timestamp di 40 punti dati. Scarica i dati di sintesi mostrati nei grafici e nelle tabelle di questo articolo come file ZIP contenente 4 file CSV.

Ultimo aggiornamento: 11 novembre 2026
Scarica

Vuoi i dati granulari che ci stanno dietro? Passa a Premium

Registro delle modifiche

9 aggiornamenti
  1. Aggiunti Claude Sonnet 5, Claude Opus 4.8, LongCat-2.0 e openPangu-2.0-Flash al set di test.

  2. Aggiunto anthropic/claude-fable-5 come modello testato con una finestra di contesto di 850.000 token.

  3. Sostituita la sezione di confronto delle finestre di contesto e dei profili dei modelli con un benchmark di verifica delle affermazioni su nove modelli.

  4. Aggiunto Magic LTM-2-Mini alla sezione Modelli AI chiave con notevoli capacità di finestra di contesto.

  5. Rimosso GPT-5 dalla sezione Modelli AI chiave con notevoli capacità di finestra di contesto.

Cem Dilmegani
Cem Dilmegani
Analista principale
Cem è analista principale presso AIMultiple dal 2017.

Il lavoro di Cem presso AIMultiple è stato citato da importanti testate internazionali tra cui Business Insider, Forbes, Morning Brew e Washington Post, da aziende globali come Deloitte e HPE, da ONG come il World Economic Forum e da organizzazioni sovranazionali come la Commissione europea. [1], [2], [3], [4], [5]

Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, acquirente tecnologico e imprenditore tecnologico. Ha consigliato le aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per più di un decennio. Ha inoltre pubblicato un report McKinsey sulla digitalizzazione.

Ha guidato la strategia tecnologica e gli approvvigionamenti di una società di telecomunicazioni rispondendo direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto ricavi ricorrenti annuali a 7 cifre e una valutazione a 9 cifre partendo da zero in 2 anni. Il lavoro di Cem in Hypatos è stato ripreso da importanti testate tecnologiche come TechCrunch e Business Insider.

Cem interviene regolarmente a conferenze tecnologiche internazionali. Si è laureato come ingegnere informatico presso l'Università di Bogazici e possiede un MBA della Columbia Business School.
Visualizza il profilo completo
Revisionato tecnicamente da
Şevval Alper
Şevval Alper
Ricercatrice di IA
Şevval è una ricercatrice di IA presso AIMultiple. Ha precedenti esperienze di ricerca nella generazione di numeri pseudocasuali utilizzando sistemi caotici.
Şevval si concentra su strumenti di programmazione IA, agenti IA e tecnologie quantistiche.
Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

0/450