RELC-Bench: Benchmark di Recupero su Contesto Lungo
RELC-Bench (RELC-Bench: Benchmark di Recupero su Contesto Lungo) ha l'obiettivo di misurare la capacità di un modello di trovare ed estrarre un valore numerico specifico da uno o più documenti all'interno del suo contesto. Verifica se il modello è in grado di ricordare e recuperare un fatto specifico appena visto nell'input.
Risultati
claude-fable-5 ottiene 97.0% sui 100 item di richiamo diretto, costante nelle posizioni del pagliaio (97.0% inizio, 97.1% metà, 97.0% fine).
Metodologia
Question format
Una domanda in linguaggio naturale che richiede una metrica numerica. Esempio:
D: Qual è stato il fatturato del Q1 2026 di Adobe (ADBE)?
Atteso: $6.40 miliardi
Fonte dei dati
Lo script analizza la sezione Takeaways di ogni trascrizione degli utili di Motley Fool ed estrae tutte le metriche numeriche. Per ogni metrica, lo script verifica che il numero compaia testualmente nel corpo della trascrizione post-Takeaways (il testo effettivo della conference call), in modo che il modello debba leggere la conversazione reale, non i punti riassuntivi. I punti riassuntivi vengono rimossi dai testi.
Regola di punteggio
- Ogni item ha una lista di valori target; il primo è il target primario (la risposta principale alla domanda)
- Punteggio = 1.0 se il target primario corrisponde a qualsiasi numero nella predizione
- Punteggio = 0.0 altrimenti
- I rifiuti (“Non lo so”) ottengono punteggio 0.0
- claude-fable-5 viene testato tramite Claude Code: il pagliaio viene fornito come file e il modello recupera da esso con strumenti di ricerca anziché leggerlo dalla sua finestra di contesto. I suoi punteggi misurano il modello insieme all'infrastruttura Claude Code, e l'invarianza della posizione è attesa in questa configurazione perché la profondità del target non si applica alla ricerca su file.
Cosa significa buona performance
Fase 1 ≥ 85% (il modello trova in modo affidabile le metriche in un singolo documento).
Fase 2 ≥ 90% (il modello naviga verso il target in un pagliaio senza distrazioni).
Punteggi invarianti rispetto alla posizione indicano una reale capacità di contesto lungo; punteggi decrescenti con la profondità indicano “perso nel mezzo”.
Conteggio degli item
100 item di richiamo diretto distribuiti su 14 trascrizioni.
Ulteriori letture
- Agenti Cognitivi: Creare una Mente con LangChain
- 5 Framework IA Agentici Open-Source
- Applicazioni IA con Benchmark di Memoria MCP & Tutorial
- Esecuzione di Codice con MCP: Un Nuovo Approccio all'Efficienza degli Agenti IA
Aggiungi come fonte preferitaCita questo benchmark
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{RELC-Bench: Benchmark di Recupero su Contesto Lungo}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/ai-memory}},
note = {AIMultiple. Consultato il 7 Luglio 2026}
}
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.