RELC-Bench: benchmark de récupération sur contexte long
RELC-Bench (RELC-Bench : benchmark de récupération sur contexte long) vise à mesurer la capacité d'un modèle à trouver et à extraire une valeur numérique spécifique d'un ou plusieurs documents dans son contexte. Il teste si le modèle peut se souvenir et récupérer un fait spécifique qu'il vient de voir dans l'entrée.
Résultats
claude-fable-5 obtient un score de 97,0 % sur les 100 éléments de rappel direct, constant selon les positions dans la botte de foin (97,0 % au début, 97,1 % au milieu, 97,0 % à la fin).
Méthodologie
Question format
Une question en langage naturel demandant une mesure numérique. Exemple :
Q : Quel était le chiffre d'affaires du T1 2026 d'Adobe (ADBE) ?
Attendu : $6,40 milliards
Source de données
Le script analyse la section Takeaways de chaque transcription de résultats Motley Fool et extrait toutes les mesures numériques. Pour chaque mesure, le script vérifie que le nombre apparaît textuellement dans le corps de la transcription post-Takeaways (le texte réel de la conférence téléphonique), afin que le modèle doive lire la conversation réelle, et non la puce de résumé. Les puces de résumé sont supprimées des textes.
Règle de notation
- Chaque élément possède une liste de valeurs cibles ; la première est la cible principale (la réponse principale à la question)
- Score = 1.0 si la cible principale correspond à n'importe quel nombre dans la prédiction
- Score = 0.0 sinon
- Les refus (« Je ne sais pas ») obtiennent un score de 0.0
- claude-fable-5 est testé via Claude Code : la botte de foin est fournie sous forme de fichier et le modèle y effectue des recherches avec des outils de recherche au lieu de la lire dans sa fenêtre de contexte. Ses scores mesurent le modèle avec le harnais Claude Code, et l'invariance de position est attendue dans cette configuration car la profondeur de la cible ne s'applique pas à la recherche de fichiers.
À quoi ressemble une bonne performance
Phase 1 ≥ 85 % (le modèle trouve de manière fiable des mesures dans un document unique).
Phase 2 ≥ 90 % (le modèle navigue vers la cible dans une botte de foin sans distraction).
Des scores invariants selon la position indiquent une véritable capacité de contexte long ; des scores qui diminuent avec la profondeur indiquent un « perdu au milieu ».
Nombre d'éléments
100 éléments de rappel direct répartis sur 14 transcriptions.
Qu'est-ce que la mémoire de l'IA ?
La mémoire de l'IA est la capacité d'un système d'intelligence artificielle à stocker et à rappeler des expériences passées pour améliorer la prise de décision, la perception et les performances globales.1 Contrairement à la mémoire humaine, qui est subjective et sélective, la mémoire de l'IA est une architecture technique, un stockage structuré d'informations au sein de réseaux neuronaux ou de bases de données externes.
Le concept est distinct de la fenêtre de contexte d'un modèle, qui est le tampon de tokens fini et lié à la session servant de mémoire de travail pendant l'inférence.2 Alors que la fenêtre de contexte se réinitialise entre les sessions et perd des informations lorsque les tokens sont tronqués, la mémoire de l'IA persiste entre les sessions grâce à un stockage externe.3 Elle se distingue également de la génération augmentée par récupération (RAG), qui est en lecture seule et traite la pertinence comme une propriété du contenu plutôt que de l'utilisateur ; la mémoire de l'IA nécessite un chemin d'écriture qui extrait des faits des conversations et met à jour le stockage lorsque les informations changent.4
Le domaine reconnaît deux niveaux principaux. La mémoire à court terme, ou mémoire de travail, suit la conversation en cours au sein d'une session, tandis que la mémoire à long terme stocke des données spécifiques à l'utilisateur ou au niveau de l'application entre les sessions.5 Certains frameworks ajoutent une troisième catégorie, la mémoire épisodique, qui permet aux agents de se rappeler des expériences passées spécifiques, de la même manière que les humains se souviennent d'événements individuels.
Dans les produits grand public, la « mémoire de chat » fait spécifiquement référence aux préférences de l'utilisateur et à l'essentiel des conversations remontés automatiquement, ce qui est architecturalement plus étroit que la « mémoire d'agent » telle qu'utilisée dans les frameworks de développement, cette dernière englobant l'état des tâches, l'historique des appels d'outils et les procédures apprises.6
Comment fonctionne la mémoire de l'IA ?
Les systèmes de mémoire de l'IA convergent vers un pipeline commun d'écriture/récupération/consolidation qui diffère de la récupération statique. Les nouvelles informations entrent par une phase d'extraction qui traite des paires de messages pour identifier des faits candidats, passent par une phase de mise à jour où un LLM décide d'ajouter, de mettre à jour, de supprimer ou d'ignorer chaque fait, et sortent par une phase de récupération qui effectue une recherche sémantique au moment de la requête.7
Applications concrètes de la mémoire de l'IA
Assistants IA personnels
La fonction de mémoire de ChatGPT d'OpenAI construit des profils persistants à partir des conversations, des fichiers et des applications connectées de l'utilisateur. Une mise à jour « Dreaming » de 2026 a introduit une synthèse en arrière-plan sur de nombreuses conversations, permettant aux souvenirs de se mettre à jour automatiquement au fil du temps ; par exemple, un souvenir enregistré indiquant « l'utilisateur se rend à Singapour en juillet » se réécrit automatiquement en « l'utilisateur s'est rendu à Singapour en juillet 2026 » une fois le voyage passé.8 Les utilisateurs gèrent la mémoire via Paramètres > Personnalisation > Mémoire, bien qu'OpenAI note que le résumé visible ne capture pas tout ce qui est stocké.
La mémoire de Claude d'Anthropic a été lancée pour les utilisateurs du plan Team le 11 septembre 2025, étendue à Enterprise le 18 septembre 2025, et a atteint tous les utilisateurs, y compris le niveau gratuit, le 2 mars 2026.9 Le 10 juillet 2026, Anthropic a repensé la fonctionnalité en entrées catégorisées que Claude lit et met à jour pendant les conversations, remplaçant l'ancien résumé quotidien unique.
Gemini de Google stocke les informations que les utilisateurs lui demandent de mémoriser ainsi que des détails déduits des conversations passées lorsque le contexte personnel est activé.10 La mise à niveau distincte « Personal Intelligence », lorsqu'elle est activée, se connecte à Gmail et à Photos sans entraîner de modèles sur ce contenu.11
Agents d'entreprise et support client
Le déploiement de Decagon avec Rippling a connecté l'agent IA à des APIs internes afin que l'agent puisse extraire les données de compte de chaque employé plutôt que de répondre de manière générique, augmentant la déviation du chat de 38 % à plus de 50 %, soit une amélioration relative de 32 %.12 Le travail de Decagon avec Chime a automatisé les tâches à forte friction, notamment le remplacement de cartes et les vérifications de statut de dépôt, réduisant les coûts de support client de 60 % tout en doublant les scores de satisfaction des membres.13
Robotique, santé et IA incarnée
Le robot logistique hospitalier Moxi de Diligent Robotics opère dans plus de 25 établissements américains et a réalisé plus de 1.25 million de livraisons autonomes en 2026, en cartographiant chaque environnement hospitalier à l'aide de capteurs embarqués et en naviguant parmi des obstacles dynamiques, notamment des portes à accès par badge.14 Moxi 2.0 fonctionne sur la plateforme de calcul NVIDIA IGX Thor avec une capacité de traitement 10 fois supérieure à celle de l'original, entraîné sur trois ans de données réelles de livraison hospitalière.
Le framework ReMEmbR de NVIDIA donne aux robots mobiles une mémoire spatio-temporelle à long horizon pour construire et raisonner sur des enregistrements continus de ce qu'ils ont vu pour des tâches de navigation.15 ASPIRE, publié le 29 juin 2026, stocke chaque correctif de débogage validé sous forme de motif de code nommé et réutilisable, augmentant les taux de réussite de 20 % à 92 % sur le benchmark de passation d'objet bimanuel de Robosuite par le seul débogage itératif.16
Dans le secteur de la santé, la plateforme de documentation IA ambiante d'Abridge est déployée par Northwell Health dans 28 hôpitaux afin de réduire la charge de documentation clinique.17 Riverside Health a piloté des outils de documentation ambiante pendant deux mois avant de sélectionner Abridge pour un déploiement élargi.18
Ajouter comme source préféréeAvantages de la mémoire de l'IA
Les systèmes de mémoire réduisent les coûts de tokens et la latence dans les benchmarks à long horizon par rapport à la relecture du contexte complet. Sur le benchmark LoCoMo, qui teste des conversations d'une moyenne de 300 tours sur un maximum de 35 sessions, Mem0 indique économiser plus de 90 % sur le coût des tokens par rapport à la relecture de l'historique complet des conversations, réduisant la latence p95 de 91 % (1.44s contre 17.12s), et obtenant une amélioration relative de 26 % du score LLM-as-a-Judge par rapport à la mémoire de référence d'OpenAI.7
Zep rapporte une précision de 94,8 % sur le benchmark Deep Memory Retrieval contre 93,4 % pour MemGPT, jusqu'à 18,5 % de gains de précision globaux sur LongMemEval associé à GPT-4o, et une réduction de 90 % de la latence de réponse par rapport aux références à contexte complet, le temps de réponse médian passant de 28,9 secondes à 2,58 secondes tandis que les tokens de contexte passaient d'environ 115 000 à 1 600.1920
Le benchmark BEAM, testant jusqu'à 10 millions de tokens, a constaté que son framework de mémoire LIGHT améliorait les performances de 3.5 à 12.69 points de pourcentage en moyenne par rapport aux références existantes les plus solides, et que même les LLMs avec des fenêtres de contexte d'un million de tokens se dégradent considérablement à mesure que la longueur de la conversation augmente.21
L'architecture Dreaming d'OpenAI pour ChatGPT a amélioré la précision de la mémoire sensible au temps de 9,4 % à 75,1 %, avec un rappel factuel de 82,8 % et une adhésion aux préférences de 71,3 %, tout en réduisant le coût de calcul d'environ 5x.8
Défis et risques de la mémoire de l'IA
Empoisonnement de la mémoire et sécurité
L'empoisonnement de la mémoire est classé ASI06, « Empoisonnement de la mémoire et du contexte », dans le OWASP Top 10 pour les applications agentiques, défini comme la corruption de la mémoire persistante de l'agent conduisant à un désalignement et à des comportements malveillants entre les sessions.2223 En février 2025, le chercheur Johann Rehberger a démontré une attaque par « invocation d'outil différée » contre Google Gemini qui a conduit le système à stocker de faux faits comme souvenirs à long terme, notamment des informations d'âge incorrectes.24
MINJA (Memory INJection Attack), accepté à NeurIPS 2025, montre que des attaquants disposant uniquement d'interactions ordinaires de requête et de réponse peuvent empoisonner la mémoire à long terme, atteignant un taux de réussite d'injection de 98,2 % et un taux de réussite d'attaque de 76,8 % en moyenne sur les agents testés.25 AgentPoison, publié à NeurIPS 2024, atteint un taux de réussite d'attaque supérieur à 80 % tout en empoisonnant moins de 0,1 % des enregistrements de mémoire, dégradant les performances des tâches bénignes de moins de 1 %.26
Confidentialité et gouvernance des données
MEXTRA, une attaque d'extraction de mémoire en boîte noire, conçoit des requêtes pour extraire des données privées stockées, atteignant des taux d'extraction complète de 83 % contre EHRAgent et de 87 % contre des agents d'achat en ligne utilisant 30 prompts d'attaque.27 L'augmentation de la profondeur de récupération ou de la taille totale de la mémoire augmente les taux de fuite.27
L'autorité italienne de protection des données a infligé à OpenAI une amende de €15 millions en décembre 2024 pour traitement de données personnelles afin d'entraîner ChatGPT sans base juridique adéquate, bien que la Cour de Rome ait annulé l'amende en mars 2026, jugeant que la Commission irlandaise de protection des données était compétente en tant qu'autorité de contrôle principale de l'UE.2829
La documentation d'OpenAI indique que désactiver la mémoire ne supprime pas automatiquement les souvenirs stockés précédemment ; une réinitialisation complète nécessite à la fois de désactiver la mémoire et d'effacer séparément les entrées existantes.
Limites techniques
Sur dix approches de mémoire évaluées sur le benchmark LoCoMo, la plupart des méthodes obtiennent des scores plus faibles sur les questions de raisonnement temporel que sur la récupération factuelle à saut unique, bien qu'au moins une approche inverse ce schéma.7
L'obsolescence de la mémoire présente un autre problème non résolu : lorsque des faits stockés sont contredits par de nouvelles informations, les systèmes peinent à distinguer les données actuelles des données obsolètes. Le benchmark MemConflict évalue des scénarios où les faits stockés deviennent obsolètes ou entrent directement en conflit, constatant que les systèmes existants ne parviennent pas à résoudre ces conflits de manière fiable.30
De plus, les performances sur des benchmarks standardisés ne se traduisent pas de manière fiable en fiabilité en production, car les environnements synthétiques simplifient à l'excès l'utilisation réelle.31
Pour aller plus loin
- 5 frameworks d'IA agentique open source
- Exécution de code avec MCP : une nouvelle approche de l'efficacité des agents IA
Citez ce benchmark
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Alper, Şevval},
title = {{RELC-Bench: benchmark de récupération sur contexte long}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/ai-memory}},
note = {AIMultiple. Consulté le 21 août 2026}
}Résultats et horodatages de 0 points de données. Téléchargez les données de synthèse présentées dans les graphiques et les tableaux de cet article sous forme de fichier ZIP contenant 0 fichiers CSV.
Vous voulez les données détaillées derrière ? Rejoindre Premium
Journal des modifications
10 mises à jourAjout des résultats de claude-fable-5 à la section Méthodologie.
Remplacé le benchmark de mémoire IA à 26 modèles par les sections résultats et méthodologie de RELC-Bench.
Mise à jour des données d'« exclusion de GPT-5 » dans l'introduction.
La section « Pourquoi les grands modèles ont-ils des difficultés avec la mémoire ? » a été enrichie de solutions architecturales.
Remplacé la méthodologie de référence de la mémoire IA par des types de questions.
Liens de référence
Le travail de Cem chez AIMultiple a été cité par des publications mondiales de premier plan, notamment Business Insider, Forbes, Morning Brew et Washington Post, par des entreprises mondiales comme Deloitte et HPE, par des ONG comme World Economic Forum et par des organisations supranationales comme European Commission. [1], [2], [3], [4], [5]
Tout au long de sa carrière, Cem a été consultant en technologies, acheteur de technologies et entrepreneur technologique. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la digitalisation.
Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité du PDG. Il a également dirigé la croissance commerciale de l'entreprise de technologie profonde Hypatos, qui a atteint un revenu récurrent annuel à 7 chiffres et une valorisation à 9 chiffres, passant de 0 à ce résultat en deux ans. Le travail de Cem chez Hypatos a été couvert par des publications technologiques de premier plan comme TechCrunch et Business Insider.
Cem intervient régulièrement lors de conférences technologiques internationales. Il est diplômé de Bogazici University en tant qu'ingénieur informatique et titulaire d'un MBA de la Columbia Business School.
Şevval se concentre sur les outils de codage IA, les agents IA et les technologies quantiques.
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.