RELC-Bench: Retrieval auf Langkontext-Benchmark
RELC-Bench (RELC-Bench: Retrieval auf Langkontext-Benchmark) zielt darauf ab, die Fähigkeit eines Modells zu messen, einen bestimmten numerischen Wert aus einem oder mehreren Dokumenten innerhalb seines Kontexts zu finden und zu extrahieren. Es testet, ob das Modell eine bestimmte Tatsache, die es gerade in der Eingabe gesehen hat, sich merken und abrufen kann.
Ergebnisse
claude-fable-5 erzielt 97.0 % bei den 100 Direktabruf-Elementen, gleichmäßig über die Heuhaufen-Positionen (97.0 % Anfang, 97.1 % Mitte, 97.0 % Ende).
Methodik
Question format
Eine natürlichsprachliche Frage, die nach einer numerischen Kennzahl fragt. Beispiel:
F: Wie hoch war der Umsatz für Q1 2026 von Adobe (ADBE)?
Erwartet: $6.40 Milliarden
Datenquelle
Das Skript durchsucht den Abschnitt „Takeaways“ jedes Motley Fool-Gewinnberichts und extrahiert alle numerischen Kennzahlen. Für jede Kennzahl überprüft das Skript, ob die Zahl wortwörtlich im Hauptteil des Protokolls nach den Takeaways (dem eigentlichen Konferenztext) vorkommt, sodass das Modell das echte Gespräch lesen muss und nicht die Zusammenfassungspunkte. Die Zusammenfassungspunkte werden aus den Texten entfernt.
Bewertungsregel
- Jedes Element hat eine Liste von Zielwerten; der erste ist das Primärziel (die Hauptantwort auf die Frage).
- Punktzahl = 1.0, wenn das Primärziel mit einer beliebigen Zahl in der Vorhersage übereinstimmt.
- Punktzahl = 0.0 sonst.
- Ablehnungen („Ich weiß es nicht“) erhalten 0.0.
- claude-fable-5 wird über Claude Code getestet: Der Heuhaufen wird als Datei bereitgestellt und das Modell ruft daraus mit Suchwerkzeugen ab, anstatt ihn aus seinem Kontextfenster zu lesen. Die Ergebnisse messen das Modell zusammen mit dem Claude Code-Harness, und Positionsinvarianz wird in diesem Aufbau erwartet, da die Zieltiefe bei der Dateisuche nicht zutrifft.
Wie gute Leistung aussieht
Phase 1 ≥ 85 % (Modell findet zuverlässig Kennzahlen in einem einzigen Dokument).
Phase 2 ≥ 90 % (Modell navigiert in einem Heuhaufen zum Ziel ohne Ablenkung).
Positionsinvariante Werte zeigen echte Langkontext-Fähigkeit; nachlassende Werte mit zunehmender Tiefe deuten auf „Lost in the Middle“ hin.
Anzahl der Elemente
100 Direktabruf-Elemente, verteilt auf 14 Transkripte.
Was ist KI-Gedächtnis?
KI-Gedächtnis ist die Fähigkeit eines KI-Systems, vergangene Erfahrungen zu speichern und abzurufen, um Entscheidungsfindung, Wahrnehmung und die Gesamtleistung zu verbessern.1 Anders als das menschliche Gedächtnis, das subjektiv und selektiv ist, handelt es sich beim KI-Gedächtnis um eine technische Architektur, einen strukturierten Informationsspeicher in neuronalen Netzen oder externen Datenbanken.
Das Konzept unterscheidet sich vom Kontextfenster eines Modells, dem endlichen, sitzungsgebundenen Token-Puffer, der während der Inferenz als Arbeitsgedächtnis dient.2 Während das Kontextfenster zwischen den Sitzungen zurückgesetzt wird und Informationen verliert, wenn Tokens gekürzt werden, bleibt das KI-Gedächtnis über externe Speicherung über Sitzungen hinweg bestehen.3 Es unterscheidet sich auch von der retrieval-augmented generation (RAG), die nur lesend ist und Relevanz als Eigenschaft des Inhalts und nicht des Nutzers betrachtet; KI-Gedächtnis erfordert einen Schreibpfad, der Fakten aus Gesprächen extrahiert und den Speicher aktualisiert, wenn sich Informationen ändern.4
Im Fachgebiet werden zwei Hauptstufen unterschieden. Das Kurzzeitgedächtnis, auch Arbeitsgedächtnis, verfolgt laufende Gespräche innerhalb einer Sitzung, während das Langzeitgedächtnis benutzerspezifische oder anwendungsspezifische Daten über Sitzungen hinweg speichert.5 Einige Frameworks fügen eine dritte Kategorie, das episodische Gedächtnis, hinzu, das es Agenten ermöglicht, sich an bestimmte vergangene Erfahrungen zu erinnern, ähnlich wie Menschen sich an einzelne Ereignisse erinnern.
In Verbraucherprodukten bezieht sich „Chat-Speicher“ speziell auf Benutzereinstellungen und den Kern von Gesprächen, der automatisch angezeigt wird, was architektonisch enger gefasst ist als der in Entwickler-Frameworks verwendete „Agentenspeicher“, der Aufgabenstatus, Aufrufverlauf von Werkzeugen und erlernte Prozeduren umfasst.6
Wie funktioniert KI-Gedächtnis?
KI-Gedächtnissysteme laufen auf eine gemeinsame Pipeline aus Schreiben/Abrufen/Konsolidieren hinaus, die sich von statischem Retrieval unterscheidet. Neue Informationen gelangen durch eine Extraktionsphase, die Nachrichtenpaare verarbeitet, um Kandidaten-Fakten zu identifizieren, durchlaufen eine Aktualisierungsphase, in der ein LLM entscheidet, ob es eine Tatsache hinzufügt, aktualisiert, löscht oder ignoriert, und verlassen das System über eine Abrufphase, die zum Abfragezeitpunkt eine semantische Suche durchführt.7
Reale Anwendungen von KI-Gedächtnis
Persönliche KI-Assistenten
Die ChatGPT-Speicherfunktion von OpenAI erstellt persistente Profile aus Benutzergesprächen, Dateien und verbundenen Anwendungen. Ein „Dreaming“-Update von 2026 führte eine Hintergrundsynthese über viele Gespräche hinweg ein, sodass Erinnerungen sich im Laufe der Zeit selbst aktualisieren können; zum Beispiel wird eine gespeicherte Erinnerung mit dem Inhalt „der Benutzer fliegt im Juli nach Singapur“ automatisch zu „der Benutzer ist im Juli 2026 nach Singapur gereist“, sobald die Reise vorüber ist.8 Nutzer verwalten den Speicher über Einstellungen > Personalisierung > Speicher, wobei OpenAI anmerkt, dass die sichtbare Zusammenfassung nicht alles Gespeicherte erfasst.
Der Claude-Speicher von Anthropic wurde am 11. September 2025 für Nutzer des Team-Plans eingeführt, am 18. September 2025 auf Enterprise ausgeweitet und erreichte am 2. März 2026 alle Nutzer einschließlich der kostenlos Stufe.9 Am 10. Juli 2026 gestaltete Anthropic die Funktion in kategorisierte Einträge um, die Claude während Gesprächen liest und aktualisiert, und ersetzt damit die frühere einzelne tägliche Zusammenfassung.
Gemini von Google speichert Informationen, die Nutzer sich merken lassen wollen, sowie Details, die aus früheren Gesprächen abgeleitet werden, wenn der persönliche Kontext aktiviert ist.10 Das separate Upgrade „Personal Intelligence“ verbindet sich, wenn man zustimmt, mit Gmail und Fotos, ohne Modelle mit diesen Inhalten zu trainieren.11
Unternehmensagenten und Kundensupport
Fastweb und Vodafone Italien haben ein Multi-Agenten-System eingesetzt, das mit LangGraph und LangSmith entwickelt wurde und 9.5 Millionen Kunden betreut, wobei CRM-Daten zu Beginn jeder Interaktion automatisch eingespielt werden, um Kunden zu identifizieren und Antworten anzupassen. Das System meldet eine Korrektheitsrate von 90 %, eine Lösungsrate von 82 % und einen Customer Effort Score von 5.2 von 7.12
Der Einsatz von Decagon mit Rippling verband den KI-Agenten mit internen APIs, sodass der Agent individuelle Mitarbeiterkontodaten abrufen konnte, anstatt allgemein zu antworten, und die Chat-Ablenkung von 38 % auf über 50 % erhöhte, eine relative Verbesserung von 32 %.13 Die Arbeit von Decagon mit Chime automatisierte aufwändige Aufgaben wie Kartenaustausch und Überprüfung des Einzahlungsstatus, wodurch die Kundensupportkosten um 60 % gesenkt und die Mitgliederzufriedenheitswerte verdoppelt wurden.14
Robotik, Gesundheitswesen und verkörperte KI
Der Krankenhauslogistikroboter Moxi von Diligent Robotics ist in mehr als 25 US-amerikanischen Einrichtungen im Einsatz und hat bis 2026 über 1.25 Millionen autonome Lieferungen durchgeführt, wobei er jede Krankenhausumgebung mit Hilfe von Bordsensoren kartiert und dynamische Hindernisse, einschließlich Türen mit Badge-Zugang, umfährt.15 Moxi 2.0 läuft auf NVIDIA IGX Thor Compute mit der 10-fachen Rechenkapazität des Originals und wurde mit drei Jahren realer Krankenhauslieferdaten trainiert.
Das ReMEmbR-Framework von NVIDIA verleiht mobilen Robotern ein langfristiges räumlich-zeitliches Gedächtnis, um laufende Aufzeichnungen dessen, was sie gesehen haben, für Navigationsaufgaben aufzubauen und zu analysieren.16 ASPIRE, veröffentlicht am 29. Juni 2026, speichert jede validierte Debugging-Korrektur als benanntes, wiederverwendbares Codemuster und erhöht die Erfolgsraten beim bimanuellen Objektübergabe-Benchmark von Robosuite allein durch iteratives Debugging von 20 % auf 92 %.17
Im Gesundheitswesen setzt Northwell Health die ambient KI-Dokumentationsplattform von Abridge in 28 Krankenhäusern ein, um die klinische Dokumentationslast zu reduzieren.18 Riverside Health testete zwei Monate lang ambient Dokumentationstools, bevor es sich für Abridge für eine erweiterte Einführung entschied.19
Als bevorzugte Quelle hinzufügenVorteile von KI-Gedächtnis
Gedächtnissysteme reduzieren Tokenkosten und Latenz in Langzeit-Benchmarks im Vergleich zur vollständigen Kontextwiedergabe. Beim LoCoMo-Benchmark, der Gespräche mit durchschnittlich 300 Wendungen über bis zu 35 Sitzungen testet, berichtet Mem0, mehr als 90 % der Tokenkosten im Vergleich zur Wiedergabe des gesamten Gesprächsverlaufs einzusparen, die p95-Latenz um 91 % zu senken (1.44s gegenüber 17.12s) und eine relative Verbesserung von 26 % im LLM-als-Judge-Score gegenüber dem Speicher-Baseline von OpenAI zu erzielen.7
Zep meldet eine Genauigkeit von 94.8 % beim Deep Memory Retrieval-Benchmark gegenüber 93.4 % für MemGPT, aggregierte Genauigkeitssteigerungen von bis zu 18.5 % bei LongMemEval in Kombination mit GPT-4o und eine Verringerung der Antwortlatenz um 90 % im Vergleich zu Vollkontext-Baselines, wobei die mediane Antwortzeit von 28.9 Sekunden auf 2.58 Sekunden sank und die Anzahl der Kontext-Tokens von etwa 115.000 auf 1.600 zurückging.20 21
Der BEAM-Benchmark, der bis zu 10 Millionen Tokens testet, stellte fest, dass sein LIGHT-Gedächtnis-Framework die Leistung um durchschnittlich 3.5 bis 12.69 Prozentpunkte gegenüber den stärksten bestehenden Baselines verbesserte und dass selbst LLMs mit Kontextfenstern von einer Million Tokens mit zunehmender Gesprächslänge erheblich an Leistung einbüßen.22
Die Dreaming-Architektur von OpenAI für ChatGPT verbesserte die Genauigkeit des zeitkritischen Gedächtnisses von 9.4 % auf 75.1 %, mit faktischer Erinnerung von 82.8 % und Präferenztreue von 71.3 %, während die Rechenkosten um etwa das 5x gesenkt wurden.8
Herausforderungen und Risiken von KI-Gedächtnis
Gedächtnisvergiftung und Sicherheit
Gedächtnisvergiftung wird als ASI06, „Memory and Context Poisoning“, in den OWASP Top 10 für Agentic Applications eingestuft und definiert als Korruption des persistenten Agentenspeichers, die zu Fehlausrichtung und bösartigem Verhalten über Sitzungen hinweg führt.23 24 Im Februar 2025 demonstrierte der Forscher Johann Rehberger einen Angriff mittels „verzögerter Werkzeugaufruf“ gegen Google Gemini, der das System dazu brachte, falsche Fakten als Langzeiterinnerungen zu speichern, einschließlich falscher Altersangaben.25
MINJA (Memory INJection Attack), angenommen bei NeurIPS 2025, zeigt, dass Angreifer mit nur gewöhnlicher Anfrage-Antwort-Interaktion das Langzeitgedächtnis vergiften können und dabei eine Injektionserfolgsrate von 98.2 % und eine durchschnittliche Angriffserfolgsrate von 76.8 % über getestete Agenten hinweg erreichen.26 AgentPoison, veröffentlicht bei NeurIPS 2024, erreicht eine Angriffserfolgsrate von über 80 %, während weniger als 0.1 % der Speichereinträge vergiftet werden und die Leistung bei harmlosen Aufgaben um weniger als 1 % abnimmt.27
Datenschutz und Datenverwaltung
MEXTRA, ein Black-Box-Memory-EXTRaction-Angriff, erstellt Abfragen, um gespeicherte private Daten zu extrahieren, und erreicht 83 % vollständige Extraktionsraten gegen EHRAgent und 87 % gegen Web-Shopping-Agenten mit 30 Angriffs-Prompts.28 Eine Erhöhung der Abruftiefe oder der gesamten Speichergröße erhöht die Datenabflussraten.28
Die italienische Datenschutzbehörde verhängte im Dezember 2024 eine Geldstrafe von OpenAI in Höhe von 15 Millionen Euro wegen der Verarbeitung personenbezogener Daten zum Training von ChatGPT ohne ausreichende Rechtsgrundlage, doch das Gericht in Rom hob die Geldstrafe im März 2026 mit der Begründung auf, dass die irische Datenschutzkommission als federführende EU-Aufsichtsbehörde zuständig sei.29 30
Die Dokumentation von OpenAI besagt, dass das Ausschalten des Speichers zuvor gespeicherte Erinnerungen nicht automatisch löscht; ein vollständiges Zurücksetzen erfordert sowohl das Deaktivieren des Speichers als auch das separate Löschen vorhandener Einträge.
Technische Einschränkungen
Bei zehn evaluierten Gedächtnisansätzen im LoCoMo-Benchmark schneiden die meisten Methoden bei zeitlichen Denkfragen schlechter ab als bei der einstufigen faktischen Abfrage, obwohl mindestens ein Ansatz dieses Muster umkehrt.7
Die Verfallszeit des Gedächtnisses stellt ein weiteres ungelöstes Problem dar: Wenn gespeicherte Fakten durch neue Informationen widerlegt werden, haben Systeme Schwierigkeiten, aktuelle von veralteten Daten zu unterscheiden. Der MemConflict-Benchmark bewertet Szenarien, in denen gespeicherte Fakten veraltet sind oder direkt widersprechen, und stellt fest, dass bestehende Systeme diese Konflikte nicht zuverlässig lösen können.31
Darüber hinaus lässt sich die Leistung in standardisierten Benchmarks nicht zuverlässig auf die Produktionszuverlässigkeit übertragen, da synthetische Umgebungen die reale Nutzung zu stark vereinfachen.32
Weiterführende Literatur
- Kognitive Agenten: Einen Geist mit LangChain erschaffen
- 5 Open-Source-Frameworks für agentische KI
- KI-Apps mit MCP Memory-Benchmark & Tutorial
- Codeausführung mit MCP: Ein neuer Ansatz für die Effizienz von KI-Agenten
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{RELC-Bench: Retrieval auf Langkontext-Benchmark}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/ai-memory}},
note = {AIMultiple. Abgerufen am 4. August 2026}
}Referenzlinks
Cems Arbeit wurde von führenden globalen Publikationen zitiert, darunter Business Insider, Forbes, Washington Post, globalen Unternehmen wie Deloitte, HPE und NGOs wie dem World Economic Forum sowie supranationalen Organisationen wie der European Commission.
Während seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen über ein Jahrzehnt lang bei McKinsey & Company und Altman Solon in Technologieentscheidungen. Er veröffentlichte auch einen McKinsey-Bericht zur Digitalisierung.
Er leitete die Technologiestrategie und Beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Zudem führte er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos an, das innerhalb von 2 Jahren von null auf einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung anwuchs. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.
Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er schloss sein Studium an der Bogazici University als Computer-Ingenieur ab und hat einen MBA von der Columbia Business School.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.