RELC-Bench: Retrieval auf langem Kontext Benchmark
RELC-Bench (RELC-Bench: Retrieval auf langem Kontext Benchmark) zielt darauf ab, die Fähigkeit eines Modells zu messen, einen bestimmten numerischen Wert aus einem oder mehreren Dokumenten in seinem Kontext zu finden und zu extrahieren. Es testet, ob das Modell sich eine bestimmte Tatsache, die es gerade in der Eingabe gesehen hat, merken und abrufen kann.
Ergebnisse
claude-fable-5 erzielt 97.0% bei den 100 direkten Abruf-Elementen, gleichbleibend über die Heuhaufen-Positionen (97.0% Anfang, 97.1% Mitte, 97.0% Ende).
Methodik
Question format
Eine natürlichsprachliche Frage, die nach einer numerischen Metrik fragt. Beispiel:
F: Wie hoch war der Umsatz für Q1 2026 von Adobe (ADBE)?
Erwartet: $6.40 Milliarden
Datenquelle
Das Skript analysiert den Takeaways-Abschnitt jedes Motley-Fool-Ergebnis-Transkripts und extrahiert alle numerischen Metriken. Für jede Metrik überprüft das Skript, ob die Zahl wörtlich im Hauptteil des Transkripts nach den Takeaways (dem tatsächlichen Konferenzgespräch) vorkommt, damit das Modell die echte Unterhaltung lesen muss, nicht den Zusammenfassungspunkt. Zusammenfassungspunkte werden aus den Texten entfernt.
Bewertungsregel
- Jedes Element hat eine Liste von Zielwerten; der erste ist das Primärziel (die Kernantwort auf die Frage)
- Punktzahl = 1.0, wenn das Primärziel mit irgendeiner Zahl in der Vorhersage übereinstimmt
- Punktzahl = 0.0 andernfalls
- Verweigerungen („Ich weiß nicht“) ergeben 0.0
- claude-fable-5 wird über Claude Code getestet: Der Heuhaufen wird als Datei bereitgestellt und das Modell ruft daraus mit Suchwerkzeugen ab, anstatt ihn aus seinem Kontextfenster zu lesen. Die Punktzahlen messen das Modell zusammen mit dem Claude-Code-Harness, und Positionsinvarianz wird in diesem Setup erwartet, da die Zieltiefe bei der Dateisuche keine Rolle spielt.
Wie eine gute Leistung aussieht
Phase 1 ≥ 85% (Modell findet Metriken zuverlässig in einem einzelnen Dokument).
Phase 2 ≥ 90% (Modell navigiert ohne Ablenkung zum Ziel im Heuhaufen).
Positionsinvariante Punktzahlen deuten auf echte Langkontext-Fähigkeit hin; mit der Tiefe abnehmende Punktzahlen deuten auf „Lost in the middle“ hin.
Anzahl der Elemente
100 direkte Abruf-Elemente verteilt auf 14 Transkripte.
Weiterführende Literatur
- Kognitive Agenten: Einen Verstand mit LangChain erschaffen
- 5 Open-Source-Agentic-KI-Frameworks
- KI-Apps mit MCP-Speicher-Benchmark & Tutorial
- Codeausführung mit MCP: Ein neuer Ansatz zur Effizienz von KI-Agenten
Als bevorzugte Quelle hinzufügenZitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{RELC-Bench: Retrieval auf langem Kontext Benchmark}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/ai-memory}},
note = {AIMultiple. Abgerufen am 7. Juli 2026}
}
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.