KI-Speicher
Der Speicher von KI-Systemen ermöglicht es Modellen und Agenten, vergangene Interaktionen abzurufen, sich im Laufe der Zeit anzupassen und effektiver zu argumentieren. Wir untersuchten die Fähigkeit der gängigsten LLMs, Informationen sowohl im Langzeit- als auch im Kurzzeitspeicher zu speichern, sowie ihre Kontextfensterfähigkeiten.
VELC-Bench: Verifikation im Langkontext-Benchmark
KI-SpeicherBenchmark15. OktDie Fähigkeit des Modells, eine bestimmte Metrik im Kontext zu lokalisieren, ihren Wert mit einer Behauptung zu vergleichen und sie zu bestätigen oder abzulehnen. Dies testet die feingranulare Werteübereinstimmung unter Langkontext-Bedingungen. Das Modell muss den Wert sowohl abrufen als auch einen präzisen Vergleich durchführen. Die Modelle werden in den folgenden Kontextfenstern getestet: claude-fable-5 erzielt 90,0 %…
- KI-SpeicherBenchmark15. Sep
RELC-Bench: Abruf im Langkontext-Benchmark
RELC-Bench (RELC-Bench: Abruf im Langkontext-Benchmark) zielt darauf ab, die Fähigkeit eines model zu messen, einen bestimmten numerischen Wert aus einem oder mehreren Dokumenten in seinem Kontext zu finden und zu extrahieren. Es wird getestet, ob das model sich an eine bestimmte Tatsache erinnern und sie abrufen kann, die es gerade in der Eingabe gesehen hat.…