Memoria de IA
La memoria de IA permite a los modelos y agentes recordar interacciones pasadas, adaptarse con el tiempo y razonar con mayor eficacia. Analizamos la capacidad de los modelos de aprendizaje automático más populares para almacenar información tanto en la memoria a largo como a corto plazo, así como sus capacidades de ventana de contexto.
VELC-Bench: Verificación en el Benchmark de Contexto Largo
Memoria de IABenchmark15 de octLa capacidad del modelo para localizar una métrica específica en el contexto, comparar su valor con una afirmación y confirmarla o rechazarla. Esto evalúa la coincidencia precisa de valores en condiciones de contexto largo. El modelo debe recuperar el valor y realizar una comparación precisa. Los modelos se evalúan en las siguientes ventanas de contexto:…
- Memoria de IABenchmark15 de sep
RELC-Bench: benchmark de recuperación en contexto largo
RELC-Bench (RELC-Bench: benchmark de recuperación en contexto largo) tiene como objetivo medir la capacidad de un model para encontrar y extraer un valor numérico específico de uno o más documentos dentro de su contexto. Comprueba si el model puede recordar y recuperar un dato concreto que acaba de ver en la entrada. claude-fable-5 obtiene 97,0 %…