Mémoire IA
La mémoire des IA permet aux modèles et aux agents de se souvenir des interactions passées, de s'adapter au fil du temps et de raisonner plus efficacement. Nous avons examiné la capacité des LLM les plus populaires à stocker des informations en mémoire à long terme et à court terme, ainsi que leurs fonctionnalités de gestion du contexte.
VELC-Bench: Vérification sur le benchmark de contexte long
Mémoire IABenchmark15 sepLa capacité du modèle à localiser une métrique spécifique dans le contexte, à comparer sa valeur à une affirmation, et à la confirmer ou la rejeter. Cela teste la correspondance fine des valeurs dans des conditions de contexte long. Le modèle doit à la fois récupérer la valeur et effectuer une comparaison précise. Les modèles…
- Mémoire IABenchmark15 sep
RELC-Bench: benchmark de récupération sur contexte long
RELC-Bench (RELC-Bench : benchmark de récupération sur contexte long) vise à mesurer la capacité d'un modèle à trouver et à extraire une valeur numérique spécifique d'un ou plusieurs documents dans son contexte. Il teste si le modèle peut se souvenir et récupérer un fait spécifique qu'il vient de voir dans l'entrée. claude-fable-5 obtient un score…