Memoria IA
La memoria dell'IA consente a modelli e agenti di richiamare interazioni passate, adattarsi nel tempo e ragionare in modo più efficace. Abbiamo esaminato la capacità dei modelli di apprendimento per rinforzo (LLM) più diffusi di memorizzare informazioni sia nella memoria a lungo termine che in quella a breve termine, insieme alle loro capacità di finestra di contesto.
VELC-Bench: Verifica su Benchmark a Contesto Lungo
Memoria IABenchmark15 ottLa capacità del modello di individuare una metrica specifica nel contesto, confrontare il suo valore con un'affermazione e confermarla o respingerla. Questo testa il confronto preciso di valori in condizioni di contesto lungo. Il modello deve sia recuperare il valore sia eseguire un confronto preciso. I modelli sono testati nelle seguenti finestre di contesto: claude-fable-5…
- Memoria IABenchmark15 set
RELC-Bench: benchmark di retrieval su contesto lungo
RELC-Bench (RELC-Bench: benchmark di retrieval su contesto lungo) mira a misurare la capacità di un model di trovare ed estrarre un valore numerico specifico da uno o più documenti presenti nel proprio contesto. Verifica se il model riesce a ricordare e recuperare un fatto specifico appena visto nell'input. claude-fable-5 ottiene 97,0% nei 100 elementi di…