La capacité du model à localiser une métrique spécifique dans le contexte, à comparer sa valeur à une affirmation et à la confirmer ou la rejeter. Cela teste la correspondance fine des valeurs dans des conditions de contexte long. Le model doit à la fois récupérer la valeur et effectuer une comparaison précise.
Résultats
Les models sont testés dans les fenêtres de contexte suivantes :
- anthropic/claude-fable-5 : 850 000 tokens testés
- openai/gpt-5.5 : 1 000 000 tokens
- google/gemini-3.1-pro-preview : 1 000 000 tokens
- google/gemini-3.5-flash : 1 000 000 tokens
- anthropic/claude-sonnet-4.6 : 1 000 000 tokens
- qwen/qwen3.6-plus : 1 000 000 tokens
- moonshotai/kimi-k2.6 : 200 000 tokens
- z-ai/glm-5.1 : 200 000 tokens
- minimax/minimax-m2.7 : 150 000 tokens
- openai/gpt-5.4-mini : 250 000 tokens
claude-fable-5 obtient 90,0 % sur Vérifier OUI et 94,0 % sur Vérifier NON. L’écart correspond à l’asymétrie décrite ci-dessous : confirmer une valeur nécessite de la trouver, tandis que rejeter une valeur ne nécessite que de repérer une discordance.
Question formats
Vérifier OUI (la valeur de l’affirmation est correcte) :
Affirmation : Le chiffre d’affaires du Q1 2026 d’Adobe (ADBE) s’élève à 6.40 milliards de dollars.
Attendu : OUI
Vérifier NON (la valeur de l’affirmation est erronée) :
Affirmation : Le chiffre d’affaires du Q1 2026 d’Adobe (ADBE) s’élève à 7.92 milliards de dollars.
Attendu : NON
Source des données
Mêmes métriques extraites de TAKEAWAYS que pour le rappel direct. Pour chaque métrique choisie :
- Vérifier OUI : les éléments utilisent la valeur réelle issue de la transcription
- Vérifier NON : les éléments utilisent une valeur perturbée par programme (8–25 % d’écart, dans un sens ou l’autre, avec une précision et des unités correspondantes)
Règle de notation
Détection à trois états sur la réponse du model :
- Si la réponse contient une expression NOT MENTIONED (par exemple, « not mentioned », « not discussed ») → prédit =
not_mentioned - Sinon, si elle contient « yes » → prédit =
yes - Sinon, si elle contient « no » → prédit =
no
Score = 1.0 si prédit == attendu, sinon 0.0.
La priorité de détection est NOT MENTIONED > NO > YES pour éviter que « not mentioned » ne corresponde accidentellement à « no » via la sous-chaîne « not ».
claude-fable-5 est testé via Claude Code : il reçoit une botte de foin de 850 000 tokens sous forme de fichier et y effectue des recherches avec des outils de récupération au lieu de la lire depuis sa fenêtre de contexte, de sorte que ses scores mesurent le model avec l’environnement Claude Code.
Claude Sonnet 5 a été lancé le 30 juin 2026 avec une fenêtre native de 1M tokens au tarif standard, et Claude Opus 4.8 possède la même fenêtre de 1M ; tous deux font désormais partie de cet ensemble de test.1
Deux models à poids ouverts formés entièrement sur du matériel non Nvidia sont également entrés dans le domaine du contexte long la même semaine : Meituan’s LongCat-2.0, un model MoE de 1.6T paramètres doté d’une fenêtre native de 1M tokens construit sur des accélérateurs d’IA chinois, et openPangu-2.0-Flash de Huawei, un model MoE de 92B paramètres avec une fenêtre de 512K entraîné sur des puces Ascend.2
Interprétation phase par phase
L’asymétrie entre OUI et NON est instructive : OUI exige l’identification positive d’une valeur (plus difficile lorsque la cible est plus profonde), tandis que NON exige seulement de repérer une discordance (plus facile lorsque la lecture est récente).
Les phases correspondent à 0.1, 0.5 et 0.9 de la fenêtre de contexte, afin d’observer la différence de précision selon la position dans la botte de foin.
Qu’est-ce qu’une bonne performance ?
Une phase 2 avec OUI ≥ 80 % et NON ≥ 80 % indique que le model peut à la fois confirmer et rejeter dans l’ensemble de la botte de foin.
Un model qui obtient de très bons scores en NON mais de mauvais en OUI est biaisé en faveur du rejet. Un model qui obtient de très bons scores en OUI mais de mauvais en NON fait trop confiance aux affirmations.
Nombre d’éléments
50 verify_yes + 50 verify_no = 100 éléments verify.
Qu’est-ce qu’une fenêtre de contexte ?
La documentation technique d’Anthropic propose la définition canonique : la fenêtre de contexte est « tout le texte qu’un language model peut consulter lorsqu’il génère une réponse, y compris la réponse elle-même », ce qui la distingue du corpus d’entraînement plus vaste et en fait plutôt une « mémoire de travail » pour le model.3 IBM la définit en des termes presque identiques comme la quantité de texte, en tokens, que le model peut prendre en compte ou « mémoriser » à un moment donné.4 McKinsey présente le concept comme comparable à la mémoire à court terme humaine, en notant que le model ne peut « regarder » qu’une quantité fixe d’informations à la fois avant de la combiner avec les paramètres préentraînés pour produire une réponse.5
L’unité de mesure est le token. La documentation développeur d’OpenAI indique qu’un token correspond à environ 4 caractères ou 0.75 mot pour un texte anglais, bien que ce rapport varie selon la langue et le contenu.6 IBM décrit un token comme la plus petite unité utilisée par les models d’IA de langage, une représentation lisible par machine d’un mot, d’une partie de mot ou d’une ponctuation.4
La fenêtre couvre le prompt système, chaque message y compris les résultats d’outils et les documents, ainsi que la sortie générée combinée. La documentation d’Anthropic indique explicitement que « la sortie que Claude génère pour le tour, y compris sa réflexion étendue, compte également ».3 OpenAI confirme que, pour les models de génération de texte, le prompt et la sortie générée, combinés, ne doivent pas dépasser la longueur de contexte maximale.6
La taille de la fenêtre de contexte est une propriété architecturale fixe définie lors de l’entraînement, et non un paramètre ajustable par l’utilisateur. Hugging Face, dans la documentation de son cours LLM, note que les architectures Transformer de base sans modifications de contexte étendu sont limitées à une longueur de séquence maximale fixe et planteront ou tronqueront l’entrée lorsque cette longueur est dépassée, bien que des techniques spécialisées permettent désormais à certains models déployés de traiter des séquences beaucoup plus longues.7 Un model ne peut pas recevoir une fenêtre de contexte plus grande après le déploiement sans réentraînement ou sans techniques d’extension spécialisées.
Fenêtre de contexte et termes apparentés
« Context length » fonctionne comme un synonyme direct de « context window », et non comme un concept distinct. IBM présente les deux termes ensemble, en indiquant que la « context window (ou “context length”) » est la quantité de texte que le model peut prendre en compte à un moment donné.4 OpenAI utilise « maximum context length » pour décrire le même plafond combiné de prompt et de sortie.6
La limite de tokens de sortie est un terme distinct et plus étroit. OpenAI l’expose comme un paramètre distinct (tel que `max_tokens`) qui plafonne uniquement la partie générée de la réponse, tandis que la fenêtre de contexte contraint le total entrée plus sortie.6
La fenêtre de contexte est distincte de la mémoire persistante ou agentique entre sessions. La documentation d’Anthropic sur son outil de mémoire précise que la fenêtre de contexte est éphémère et liée à la session : « Votre fenêtre de contexte peut être réinitialisée à tout moment, vous risquez donc de perdre toute progression qui n’est pas enregistrée dans votre répertoire de mémoire. »8 La mémoire persistante, en revanche, stocke les informations dans des fichiers externes qui subsistent entre les sessions.8
Enfin, la fenêtre de contexte n’est pas le corpus de données sur lequel le model a été entraîné. La documentation d’Anthropic trace explicitement cette frontière : la fenêtre de contexte « est différente du vaste corpus de données sur lequel le language model a été entraîné et représente plutôt une “mémoire de travail” pour le model ».3
Comment fonctionne une fenêtre de contexte ?
Avant le traitement, le texte brut est converti en tokens par la tokenisation. La méthode dominante est l’encodage par paires d’octets (BPE), à l’origine un algorithme de compression de données de 1994 adapté à la traduction automatique neuronale en 2016, qui construit un vocabulaire en fusionnant de manière itérative les séquences de caractères les plus fréquemment co-occurrentes.9 BPE alimente les tokeniseurs de GPT-2, GPT-3, GPT-4 et LLaMA, entre autres.9 OpenAI note que la tokenisation est sensible au contexte ; le même mot peut correspondre à différents tokens selon la capitalisation ou les espaces environnants.10
Une fois tokenisé, chaque token est converti en vecteur et traité par l’architecture transformer présentée dans l’article de 2017 « Attention Is All You Need ».11 Le mécanisme central, l’auto-attention, calcule des vecteurs Query, Key et Value pour chaque token, puis utilise une attention à produit scalaire mis à l’échelle afin que chaque token prête attention à tous les autres tokens de la séquence, y compris lui-même.11 Cette comparaison parallèle de toutes les paires de tokens est ce qui permet aux transformers de remplacer le traitement séquentiel des anciennes architectures récurrentes.
Lors de la génération autorégressive, le model produit un token à la fois. Chaque nouvelle étape d’auto-attention d’un token nécessite les vecteurs Key et Value de tous les tokens précédents. Plutôt que de les recalculer à partir de zéro à chaque étape, les LLM de production les stockent après le premier calcul et les réutilisent ; cet ensemble stocké est appelé cache KV.12 En réutilisant les matrices Key et Value mises en cache, la complexité d’inférence par étape diminue, bien que l’empreinte mémoire du cache augmente linéairement avec la longueur de contexte et doive résider dans la mémoire du GPU pendant toute la durée de la requête.12
Les tokens situés hors de la fenêtre sont architecturalement invisibles. Comme l’auto-attention ne calcule que les relations entre les tokens présents dans le tenseur d’entrée courant, et que le cache KV ne stocke que les vecteurs des tokens qui ont été fournis au model, un token jamais inclus dans la requête n’a aucune représentation que le model pourrait référencer.11 C’est pourquoi le dépassement de la fenêtre de contexte provoque une défaillance API stricte ; Anthropic, via son API, renvoie une 400 `invalid_request_error` si l’entrée seule dépasse la limite, et la génération s’arrête avec un motif d’arrêt `model_context_window_exceeded` si la sortie devait faire dépasser le plafond au total.3
Tailles des fenêtres de contexte des principaux models d’IA
À la mi-2026, la valeur par défaut des API de pointe s’est stabilisée autour d’un million de tokens, bien que la limite effective varie selon la surface d’accès.
OpenAI, avec sa famille GPT-5.6 (Sol, Terra et Luna), offre une fenêtre de contexte de 1.05 million de tokens et une sortie maximale de 128 000 tokens via l’API.13 Toutefois, l’interface grand public de ChatGPT offre moins : lorsqu’un utilisateur sélectionne manuellement le mode « Thinking », la fenêtre combinée est de 256 000 tokens (128 000 en entrée plus 128 000 en sortie maximale).14
Anthropic, avec Claude Opus 5 et Sonnet 5, offre une fenêtre de 1 million de tokens via Claude API et sur Amazon Bedrock, Google Cloud et Microsoft Foundry.3
Google, avec Gemini 3.5 Flash, prend en charge une fenêtre de contexte d’entrée de 1 million de tokens avec jusqu’à 65 536 tokens de sortie.15 Les affirmations selon lesquelles Gemini 3.5 Pro atteindrait 2 millions de tokens n’ont pas pu être vérifiées dans la documentation primaire de Google au moment de la rédaction.
xAI, avec son Grok 4.3, lancé le 30 avril 2026, possède une fenêtre de contexte de 1 million de tokens.16 Meta, avec Llama 4 Scout, annonce une fenêtre de contexte de 10 millions de tokens atteinte grâce à une architecture iRoPE, bien que le model n’ait été pré-entraîné que jusqu’à 256 000 tokens, ce qui signifie que le chiffre de 10 millions représente une capacité extrapolée.17
Mistral Large 3 reste plafonné à 256 000 tokens, une exception parmi les models de pointe.18 DeepSeek-V4 est livré en deux variantes prenant en charge 1 million de tokens, grâce à un mécanisme d’attention efficace.19
Fenêtres de contexte longues contre génération augmentée par récupération
Le choix entre empiler des tokens dans une longue fenêtre de contexte ou utiliser la génération augmentée par récupération (RAG) dépend de la taille du corpus et de la fréquence de mise à jour. Les conseils d’ingénierie d’Anthropic indiquent que si une base de connaissances est plus petite que 200 000 tokens (environ 500 pages), l’ensemble du corpus peut être inclus dans le prompt, ce qui, avec la mise en cache des prompts, devient « nettement plus rapide et plus rentable ». Une fois que le corpus dépasse ce seuil, une solution plus évolutive devient nécessaire.20
IA agentique et tâches de longue durée
Les agents de codage et de recherche s’appuient sur la taille de la fenêtre de contexte pour conserver les sorties d’outils accumulées et l’historique de conversation. L’équipe d’ingénierie d’Anthropic documente la gestion du contexte comme la contrainte centrale des tâches de longue durée, en recommandant un contexte « juste-à-temps » dans lequel les agents conservent des références légères et chargent dynamiquement les données au moment de l’exécution plutôt que de tout charger dès le départ.21
Claude Code met en œuvre cela via des sous-agents. Dans un exemple documenté, un sous-agent chargé d’explorer une base de code a lu 6 100 tokens de contenu de fichiers et a renvoyé un résumé de 420 tokens à la session parente, gardant ainsi environ 5 700 tokens de contenu de fichiers entièrement hors de la fenêtre de contexte de l’agent principal.22 La fenêtre de contexte par défaut de Claude Code pour Sonnet 5 est de 1 million de tokens sur Anthropic API, avec des sessions auto-compactées par défaut à environ 967 000 tokens, soit environ 96,7 % de cette limite, à moins qu’une configuration ne plafonne la fenêtre à 200 000 tokens au lieu de cela.23
Analyse de documents et de bases de code
Google, dans sa documentation Gemini API, indique que sa fenêtre de contexte de 1 million de tokens équivaut à environ 50 000 lignes de code, illustrant l’échelle d’une fenêtre de contexte unique plutôt que décrivant un cas d’usage dédié à l’examen de bases de code.24
Citez ce benchmark
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Alper, Şevval},
title = {{VELC-Bench: Vérification sur le benchmark à contexte long}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/ai-context-window}},
note = {AIMultiple. Consulté le 4 août 2026}
}Résultats et horodatages de 40 points de données. Téléchargez les données de synthèse présentées dans les graphiques et les tableaux de cet article sous forme de fichier ZIP contenant 4 fichiers CSV.
Vous voulez les données détaillées derrière ? Rejoindre Premium
Journal des modifications
9 mises à jourAjout de Claude Sonnet 5, Claude Opus 4.8, LongCat-2.0 et openPangu-2.0-Flash à l'ensemble de test.
Ajout d'anthropic/claude-fable-5 comme modèle testé avec une fenêtre de contexte de 850 000 tokens.
Remplacement de la section de comparaison des fenêtres de contexte et des profils de modèles par un benchmark de vérification d'affirmations portant sur neuf modèles.
Ajout de Magic LTM-2-Mini à la section Modèles d'IA clés avec des capacités de fenêtre contextuelle notables.
Suppression de GPT-5 de la section Modèles d'IA clés avec des capacités de fenêtre contextuelle notables.
Liens de référence
Le travail de Cem chez AIMultiple a été cité par des publications mondiales de premier plan, notamment Business Insider, Forbes, Morning Brew et Washington Post, par des entreprises mondiales comme Deloitte et HPE, par des ONG comme World Economic Forum et par des organisations supranationales comme European Commission. [1], [2], [3], [4], [5]
Tout au long de sa carrière, Cem a été consultant en technologies, acheteur de technologies et entrepreneur technologique. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la digitalisation.
Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité du PDG. Il a également dirigé la croissance commerciale de l'entreprise de technologie profonde Hypatos, qui a atteint un revenu récurrent annuel à 7 chiffres et une valorisation à 9 chiffres, passant de 0 à ce résultat en deux ans. Le travail de Cem chez Hypatos a été couvert par des publications technologiques de premier plan comme TechCrunch et Business Insider.
Cem intervient régulièrement lors de conférences technologiques internationales. Il est diplômé de Bogazici University en tant qu'ingénieur informatique et titulaire d'un MBA de la Columbia Business School.
Şevval se concentre sur les outils de codage IA, les agents IA et les technologies quantiques.
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.