Memória de IA
A memória de IA permite que modelos e agentes se lembrem de interações passadas, se adaptem ao longo do tempo e raciocinem com mais eficácia. Examinamos a capacidade dos modelos de memória de longo prazo (LLMs) mais populares de armazenar informações tanto na memória de longo prazo quanto na de curto prazo, juntamente com seus recursos de janela contextual.
VELC-Bench: Verificação em Benchmark de Contexto Longo
Memória de IABenchmark15 outA capacidade do modelo de localizar uma métrica específica no contexto, comparar seu valor com uma afirmação e confirmá-la ou rejeitá-la. Isso testa a correspondência precisa de valores em condições de contexto longo. O modelo deve tanto recuperar o valor quanto realizar uma comparação precisa. Os modelos são testados nas seguintes janelas de contexto: claude-fable-5…
- Memória de IABenchmark15 set
RELC-Bench: Benchmark de Recuperação em Contexto Longo
O RELC-Bench (RELC-Bench: Benchmark de Recuperação em Contexto Longo) visa medir a capacidade de um model de encontrar e extrair um valor numérico específico de um ou mais documentos dentro de seu contexto. Ele testa se o model consegue lembrar e recuperar um fato específico que acabou de ver na entrada. claude-fable-5 pontua 97,0% nos…