RELC-Bench: Prueba de recuperación en contexto largo
RELC-Bench (RELC-Bench: Prueba de recuperación en contexto largo) tiene como objetivo medir la capacidad de un modelo para encontrar y extraer un valor numérico específico de uno o más documentos dentro de su contexto. Comprueba si el modelo puede recordar y recuperar un hecho específico que acaba de ver en la entrada.
Resultados
claude-fable-5 obtiene 97.0% en los 100 ítems de recuperación directa, estable en todas las posiciones del pajar (97.0% al principio, 97.1% en el medio, 97.0% al final).
Metodología
Question format
Una pregunta en lenguaje natural que solicita una métrica numérica. Ejemplo:
P: ¿Cuáles fueron los ingresos del primer trimestre de 2026 de Adobe (ADBE)?
Esperado: $6.40 mil millones
Fuente de datos
El script analiza la sección 'Takeaways' de cada transcripción de ganancias de Motley Fool y extrae todas las métricas numéricas. Para cada métrica, el script verifica que el número aparezca textualmente en el cuerpo de la transcripción posterior a la sección 'Takeaways' (el texto real de la llamada de conferencia), por lo que el modelo tiene que leer la conversación real, no los puntos del resumen. Los puntos de resumen se eliminan de los textos.
Regla de puntuación
- Cada ítem tiene una lista de valores objetivo; el primero es el objetivo principal (la respuesta principal a la pregunta)
- Puntuación = 1.0 si el objetivo principal coincide con cualquier número en la predicción
- Puntuación = 0.0 en caso contrario
- Los rechazos (“No sé”) puntúan 0.0
- claude-fable-5 se prueba mediante Claude Code: el pajar se proporciona como un archivo y el modelo recupera de él con herramientas de búsqueda en lugar de leerlo desde su ventana de contexto. Sus puntuaciones miden el modelo junto con el entorno de Claude Code, y se espera invarianza de posición en esta configuración porque la profundidad del objetivo no se aplica a la búsqueda de archivos.
Qué aspecto tiene un buen rendimiento
Fase 1 ≥ 85% (el modelo encuentra métricas de forma fiable en un solo documento).
Fase 2 ≥ 90% (el modelo navega hacia el objetivo en un pajar sin distracciones).
Las puntuaciones invariantes a la posición indican una verdadera capacidad de contexto largo; las puntuaciones decrecientes según la profundidad indican “perdido en el medio”.
Recuento de ítems
100 ítems de recuperación directa repartidos en 14 transcripciones.
Lectura adicional
- Agentes cognitivos: Creando una mente con LangChain
- 5 Frameworks de IA Agéntica de Código Abierto
- Aplicaciones de IA con Prueba de Memoria MCP y Tutorial
- Ejecución de código con MCP: Un nuevo enfoque para la eficiencia de los agentes de IA
Añadir como fuente preferidaCita este benchmark
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{RELC-Bench: Prueba de recuperación en contexto largo}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/ai-memory}},
note = {AIMultiple. Recuperado el 7 de Julio de 2026}
}
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.