Memória de IA

A memória de IA permite que modelos e agentes se lembrem de interações passadas, se adaptem ao longo do tempo e raciocinem com mais eficácia. Examinamos a capacidade dos modelos de memória de longo prazo (LLMs) mais populares de armazenar informações tanto na memória de longo prazo quanto na de curto prazo, juntamente com seus recursos de janela contextual.

RELC-Bench: Referência de Recuperação em Contextos Longos

AI Memory

7 Jul

RELC-Bench (RELC-Bench: Referência de Recuperação em Contextos Longos) tem como objetivo medir a capacidade de um modelo de encontrar e extrair um valor numérico específico de um ou mais documentos dentro do seu contexto. Ele testa se o modelo consegue lembrar e recuperar um fato específico que acabou de ver na entrada. Resultados claude-fable-5 atinge…

VELC-Bench: Verificação em Benchmark de Contexto Longo

A capacidade do modelo de localizar uma métrica específica no contexto, comparar seu valor com uma afirmação e confirmá-la ou rejeitá-la. Isto testa a correspondência refinada de valores em condições de contexto longo. O modelo deve tanto recuperar o valor quanto realizar uma comparação precisa. Resultados Os modelos são testados nas seguintes janelas de contexto:…