Benchmark

RELC-Bench: Benchmark di Recupero su Contesto Lungo

aggiornato il 7 lug. 2026

RELC-Bench (RELC-Bench: Benchmark di Recupero su Contesto Lungo) ha l'obiettivo di misurare la capacità di un modello di trovare ed estrarre un valore numerico specifico da uno o più documenti all'interno del suo contesto. Verifica se il modello è in grado di ricordare e recuperare un fatto specifico appena visto nell'input.

Risultati

RELC-Bench: Retrieval on Long Context

Loading Chart

claude-fable-5 ottiene 97.0% sui 100 item di richiamo diretto, costante nelle posizioni del pagliaio (97.0% inizio, 97.1% metà, 97.0% fine).

Metodologia

Question format

Una domanda in linguaggio naturale che richiede una metrica numerica. Esempio:

D: Qual è stato il fatturato del Q1 2026 di Adobe (ADBE)?
Atteso: $6.40 miliardi

Fonte dei dati

Lo script analizza la sezione Takeaways di ogni trascrizione degli utili di Motley Fool ed estrae tutte le metriche numeriche. Per ogni metrica, lo script verifica che il numero compaia testualmente nel corpo della trascrizione post-Takeaways (il testo effettivo della conference call), in modo che il modello debba leggere la conversazione reale, non i punti riassuntivi. I punti riassuntivi vengono rimossi dai testi.

Regola di punteggio

Ogni item ha una lista di valori target; il primo è il target primario (la risposta principale alla domanda)
Punteggio = 1.0 se il target primario corrisponde a qualsiasi numero nella predizione
Punteggio = 0.0 altrimenti
I rifiuti (“Non lo so”) ottengono punteggio 0.0
claude-fable-5 viene testato tramite Claude Code: il pagliaio viene fornito come file e il modello recupera da esso con strumenti di ricerca anziché leggerlo dalla sua finestra di contesto. I suoi punteggi misurano il modello insieme all'infrastruttura Claude Code, e l'invarianza della posizione è attesa in questa configurazione perché la profondità del target non si applica alla ricerca su file.

Cosa significa buona performance

Fase 1 ≥ 85% (il modello trova in modo affidabile le metriche in un singolo documento).
Fase 2 ≥ 90% (il modello naviga verso il target in un pagliaio senza distrazioni).
Punteggi invarianti rispetto alla posizione indicano una reale capacità di contesto lungo; punteggi decrescenti con la profondità indicano “perso nel mezzo”.

Conteggio degli item

100 item di richiamo diretto distribuiti su 14 trascrizioni.

Ulteriori letture

Lascia che il nostro team automatizzi uno dei tuoi processi aziendali con agenti IA, gratuitamente.

Automatizza un processo

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

Cem Dilmegani (2026) - "RELC-Bench: Benchmark di Recupero su Contesto Lungo". Pubblicato online su AIMultiple.com. Consultato il 7 Luglio 2026, da: https://aimultiple.com/ai-memory [Risorsa online]

Dilmegani, C. (2026, 7 Luglio). RELC-Bench: Benchmark di Recupero su Contesto Lungo. AIMultiple. https://aimultiple.com/ai-memory

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{RELC-Bench: Benchmark di Recupero su Contesto Lungo}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/ai-memory}},
  note   = {AIMultiple. Consultato il 7 Luglio 2026}
}

Cem Dilmegani

Analista principale

Segui

Cem è l'analista principale di AIMultiple dal 2017. AIMultiple informa centinaia di migliaia di aziende (secondo SimilarWeb) compreso il 60% delle Fortune 500 ogni mese. Il lavoro di Cem è stato citato da importanti pubblicazioni globali tra cui Business Insider, Forbes, Washington Post, aziende globali come Deloitte, HPE e ONG come il World Economic Forum e organizzazioni sovranazionali come la Commissione europea. Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, acquirente di tecnologia e imprenditore tecnologico. Ha consigliato aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per oltre un decennio. Ha anche pubblicato un rapporto McKinsey sulla digitalizzazione. Ha guidato la strategia tecnologica e gli approvvigionamenti di una società di telecomunicazioni rispondendo direttamente al CEO. Ha anche guidato la crescita commerciale dell'azienda deep tech Hypatos che ha raggiunto un fatturato annuo ricorrente a 7 cifre e una valutazione a 9 cifre partendo da 0 in 2 anni. Il lavoro di Cem in Hypatos è stato trattato da importanti pubblicazioni tecnologiche come TechCrunch e Business Insider. Cem interviene regolarmente a conferenze tecnologiche internazionali. Si è laureato in ingegneria informatica all'Università Bogazici e ha conseguito un MBA presso la Columbia Business School.

Visualizza il profilo completo