KI-Speicher

Der Speicher von KI-Systemen ermöglicht es Modellen und Agenten, vergangene Interaktionen abzurufen, sich im Laufe der Zeit anzupassen und effektiver zu argumentieren. Wir untersuchten die Fähigkeit der gängigsten LLMs, Informationen sowohl im Langzeit- als auch im Kurzzeitspeicher zu speichern, sowie ihre Kontextfensterfähigkeiten.

RELC-Bench: Retrieval auf langem Kontext Benchmark

AI Memory

7. Jul

RELC-Bench (RELC-Bench: Retrieval auf langem Kontext Benchmark) zielt darauf ab, die Fähigkeit eines Modells zu messen, einen bestimmten numerischen Wert aus einem oder mehreren Dokumenten in seinem Kontext zu finden und zu extrahieren. Es testet, ob das Modell sich eine bestimmte Tatsache, die es gerade in der Eingabe gesehen hat, merken und abrufen kann. Ergebnisse…

AI Memory7. Jul

VELC-Bench: Verifizierung auf Langkontext-Benchmark

Die Fähigkeit des Modells, eine bestimmte Metrik im Kontext zu lokalisieren, ihren Wert mit einer Behauptung zu vergleichen und diese zu bestätigen oder abzulehnen. Dies testet das feinkörnige Werteabgleichen unter Langkontext-Bedingungen. Das Modell muss sowohl den Wert abrufen als auch einen präzisen Vergleich durchführen. Ergebnisse Die Modelle werden in den folgenden Kontextfenstern getestet: anthropic/claude-fable-5: 850,000…