VELC-Bench: Vérification sur le benchmark Long Context
La capacité du modèle à localiser une métrique spécifique dans le contexte, à comparer sa valeur à une affirmation et à la confirmer ou la rejeter. Cela teste la correspondance fine de valeurs dans des conditions de contexte long. Le modèle doit à la fois récupérer la valeur et effectuer une comparaison précise.
Résultats
Les modèles sont testés dans les fenêtres de contexte suivantes :
- anthropic/claude-fable-5 : 850,000 tokens testés
- openai/gpt-5.5 : 1,000,000 tokens
- google/gemini-3.1-pro-preview : 1,000,000 tokens
- google/gemini-3.5-flash : 1,000,000 tokens
- anthropic/claude-sonnet-4.6 : 1,000,000 tokens
- qwen/qwen3.6-plus : 1,000,000 tokens
- moonshotai/kimi-k2.6 : 200,000 tokens
- z-ai/glm-5.1 : 200,000 tokens
- minimax/minimax-m2.7 : 150,000 tokens
- openai/gpt-5.4-mini : 250,000 tokens
claude-fable-5 obtient 90.0% en verify YES et 94.0% en verify NO. L'écart correspond à l'asymétrie décrite ci-dessous : confirmer une valeur nécessite de la trouver, alors que la rejeter ne nécessite que de repérer une discordance.
Question formats
Verify YES (la valeur de l'affirmation est correcte) :
Affirmation : Le chiffre d'affaires du T1 2026 Adobe (ADBE) est de 6.40 milliards de dollars.
Attendu : OUI
Verify NO (la valeur de l'affirmation est incorrecte) :
Affirmation : Le chiffre d'affaires du T1 2026 Adobe (ADBE) est de 7.92 milliards de dollars.
Attendu : NON
Source des données
Mêmes métriques extraites de TAKEAWAYS que pour le rappel direct. Pour chaque métrique choisie :
- Verify YES utilisent la valeur réelle de la transcription
- Verify NO utilisent une valeur perturbée par programme (de 8 à 25% d'écart, dans les deux sens, avec une précision et des unités correspondantes)
Règle de notation
Détection à trois états sur la réponse du modèle :
- Si la réponse contient une expression NON MENTIONNÉ (par exemple, « non mentionné », « pas discuté ») → prédiction =
not_mentioned - Sinon, si elle contient « oui » → prédiction =
yes - Sinon, si elle contient « non » → prédiction =
no
Score = 1.0 si la prédiction correspond à l'attendu, sinon 0.0.
La priorité de détection est NON MENTIONNÉ > NON > OUI pour éviter que « non mentionné » ne corresponde accidentellement à « non » via la sous-chaîne « not ».
claude-fable-5 est testé via Claude Code : il reçoit la botte de foin de 850,000 tokens sous forme de fichier et la recherche avec des outils de récupération au lieu de la lire dans sa fenêtre de contexte, ainsi ses scores mesurent le modèle conjointement avec le harnais Claude Code.
Interprétation phase par phase
L'asymétrie entre OUI et NON est instructive : OUI nécessite une identification positive d'une valeur (plus difficile lorsque la cible est plus profonde), tandis que NON ne nécessite que de repérer une discordance (plus facile lorsque lu récemment).
Les phases sont 0.1, 0.5, et 0.9 de la fenêtre de contexte, pour voir la différence de précision aux différentes positions de la botte de foin.
Qu'est-ce qu'une bonne performance ?
La phase 2 OUI ≥ 80% et NON ≥ 80% indique que le modèle peut à la fois confirmer et rejeter dans une botte de foin.
Un modèle qui obtient un score très élevé en NON mais faible en OUI est biaisé vers le rejet. Un modèle qui obtient un score très élevé en OUI mais faible en NON fait trop confiance aux affirmations.
Nombre d'items
50 verify_yes + 50 verify_no = 100 items de vérification.
Citer cette recherche
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{VELC-Bench: Vérification sur le benchmark Long Context}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/ai-context-window}},
note = {AIMultiple. Consulté le 7 Juillet 2026}
}
Ajouter comme source préférée
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.