VELC-Bench: Verifikation im Langkontext-Benchmark
Die Fähigkeit des Modells, eine bestimmte Metrik im Kontext zu lokalisieren, ihren Wert mit einer Behauptung zu vergleichen und sie zu bestätigen oder abzulehnen. Dies testet die feingranulare Werteübereinstimmung unter Langkontext-Bedingungen. Das Modell muss den Wert sowohl abrufen als auch einen präzisen Vergleich durchführen.
Ergebnisse
Die Modelle werden in den folgenden Kontextfenstern getestet:
- anthropic/claude-fable-5: 850.000 Tokens getestet
- openai/gpt-5.5: 1.000.000 Tokens
- google/gemini-3.1-pro-preview: 1.000.000 Tokens
- google/gemini-3.5-flash: 1.000.000 Tokens
- anthropic/claude-sonnet-4.6: 1.000.000 Tokens
- qwen/qwen3.6-plus: 1.000.000 Tokens
- moonshotai/kimi-k2.6: 200.000 Tokens
- z-ai/glm-5.1: 200.000 Tokens
- minimax/minimax-m2.7: 150.000 Tokens
- openai/gpt-5.4-mini: 250.000 Tokens
claude-fable-5 erzielt 90.0 % bei Verify JA und 94.0 % bei Verify NEIN. Die Lücke entspricht der unten beschriebenen Asymmetrie: Um einen Wert zu bestätigen, muss man ihn finden, während man zur Ablehnung nur eine Abweichung erkennen muss.
Question formats
Verify JA (der Wert der Behauptung ist korrekt):
Behauptung: Der Umsatz für Q1 2026 Adobe (ADBE) beträgt $6.40 Milliarden.
Erwartet: JA
Verify NEIN (der Wert der Behauptung ist falsch):
Behauptung: Der Umsatz für Q1 2026 Adobe (ADBE) beträgt $7.92 Milliarden.
Erwartet: NEIN
Datenquelle
Dieselben aus TAKEAWAYS extrahierten Metriken wie beim direkten Abruf. Für jede ausgewählte Metrik:
- Verify JA-Elemente verwenden den tatsächlichen Wert aus dem Transkript
- Verify NEIN-Elemente verwenden einen programmatisch verfälschten Wert (8–25 % Abweichung, in beide Richtungen, mit übereinstimmender Genauigkeit und Einheiten)
Bewertungsregel
Drei-Zustands-Erkennung der Modellantwort:
- Wenn die Antwort eine NOT MENTIONED-Phrase enthält (z. B. „not mentioned“, „not discussed“) → predicted =
not_mentioned - Sonst, wenn sie „ja“ enthält → predicted =
yes - Sonst, wenn sie „no“ enthält → predicted =
no
Punktzahl = 1.0 wenn predicted == expected, sonst 0.0.
Die Erkennungspriorität ist NOT MENTIONED > NO > Ja, um zu verhindern, dass „not mentioned“ versehentlich über den Teilstring „not“ mit „no“ übereinstimmt.
claude-fable-5 wird über Claude Code getestet: Es erhält den 850.000-Token-Heuhaufen als Datei und durchsucht ihn mit Abrufwerkzeugen, anstatt ihn aus seinem Kontextfenster zu lesen, sodass seine Punktzahlen das Modell zusammen mit dem Claude Code-Harnisch messen.
Claude Sonnet 5 wurde am 30. Juni 2026 mit einem nativen 1M-Token-Fenster zu Standardpreisen eingeführt, und Claude Opus 4.8 trägt dasselbe 1M-Fenster, beide sind nun Teil dieses Testsets.1
In derselben Woche betraten auch zwei Open-Weight-Modelle, die vollständig auf Nicht-Nvidia-Hardware trainiert wurden, das Feld des Langkontexts: Meituans LongCat-2.0, ein 1.6T-Parameter-MoE-Modell mit einem nativen 1M-Token-Fenster, das auf chinesischen KI-Beschleunigern aufbaut, und Huaweis openPangu-2.0-Flash, ein 92B-Parameter-MoE-Modell mit einem 512K-Fenster, das auf Ascend-Chips trainiert wurde.2
Phasenweise Interpretation
Die Asymmetrie zwischen JA und NEIN ist aufschlussreich: JA erfordert die positive Identifikation eines Wertes (schwieriger, wenn das Ziel tiefer liegt), während NEIN nur das Erkennen einer Abweichung erfordert (einfacher, wenn kürzlich gelesen).
Die Phasen sind 0.1, 0.5 und 0.9 des Kontextfensters, um den Unterschied in der Genauigkeit an verschiedenen Heuhaufen-Positionen zu sehen.
Was ist eine gute Leistung?
Phase 2 JA ≥ 80 % und NEIN ≥ 80 % zeigt, dass das Modell über einen Heuhaufen hinweg sowohl bestätigen als auch ablehnen kann.
Ein Modell, das bei NEIN sehr hohe, aber bei JA niedrige Werte erzielt, neigt zur Ablehnung. Ein Modell, das bei JA sehr hohe, aber bei NEIN niedrige Werte erzielt, vertraut Behauptungen zu sehr.
Anzahl der Elemente
50 verify_yes + 50 verify_no = 100 Verify-Elemente.
Was ist ein Kontextfenster?
Anthropics technische Dokumentation bietet die kanonische Definition: Das Kontextfenster ist „der gesamte Text, den ein Sprachmodell bei der Generierung einer Antwort referenzieren kann, einschließlich der Antwort selbst“, unterscheidet es vom größeren Trainingskorpus und stellt stattdessen einen „Arbeitsspeicher“ für das Modell dar.3 IBM definiert es nahezu identisch als die Textmenge in Tokens, die das Modell zu einem beliebigen Zeitpunkt berücksichtigen oder „sich merken“ kann.4 McKinsey stellt das Konzept als vergleichbar mit dem menschlichen Kurzzeitgedächtnis dar und weist darauf hin, dass das Modell nur eine feste Menge an Informationen auf einmal „ansehen“ kann, bevor es diese mit vortrainierten Parametern kombiniert, um eine Antwort zu erzeugen.5
Die Maßeinheit ist der Token. OpenAIs Entwicklerdokumentation besagt, dass ein Token ungefähr 4 Zeichen oder 0.75 Wörter für englischen Text entspricht, wobei das Verhältnis je nach Sprache und Inhalt variiert.6 IBM beschreibt einen Token als die kleinste Einheit, die KI-Sprachmodelle verwenden, eine maschinenlesbare Darstellung eines Wortes, eines Wortteils oder eines Satzzeichens.4
Das Fenster umfasst den System-Prompt, jede Nachricht einschließlich Tool-Ergebnissen und Dokumenten sowie die generierte Ausgabe zusammen. Anthropics Dokumentation stellt ausdrücklich fest, dass „die Ausgabe, die Claude für den Turn generiert, einschließlich seines erweiterten Denkens, ebenfalls zählt.“3 OpenAI bestätigt, dass bei Textgenerierungsmodellen Prompt und generierte Ausgabe zusammen die maximale Kontextlänge nicht überschreiten dürfen.6
Die Größe des Kontextfensters ist eine feste architektonische Eigenschaft, die zur Trainingszeit festgelegt wird, und keine benutzerseitig anpassbare Einstellung. Hugging Faces LLM-Kursdokumentation stellt fest, dass Basis-Transformer-Architekturen ohne Erweiterungen für lange Kontexte auf eine feste maximale Sequenzlänge beschränkt sind und bei Überschreitung abstürzen oder die Eingabe kürzen, obwohl spezielle Techniken es nun einigen eingesetzten Modellen ermöglichen, weitaus längere Sequenzen zu verarbeiten.7 Einem Modell kann nach der Bereitstellung kein größeres Kontextfenster gegeben werden, ohne erneutes Training oder spezielle Erweiterungstechniken.
Kontextfenster im Vergleich zu verwandten Begriffen
„Context length“ fungiert als direktes Synonym für „Kontextfenster“, nicht als eigenständiges Konzept. IBM führt beide Begriffe zusammen an und gibt an, dass das „context window (or ‘context length’)“ die Textmenge sei, die das Modell zu einem beliebigen Zeitpunkt berücksichtigen kann.4 OpenAI verwendet „maximum context length“, um dieselbe kombinierte Obergrenze von Prompt plus Ausgabe zu beschreiben.6
Das Ausgabe-Token-Limit ist ein separater, engerer Begriff. OpenAI stellt dies als eigenen Parameter (z. B. `max_tokens`) zur Verfügung, der nur den generierten Teil der Antwort begrenzt, während das Kontextfenster die Gesamtsumme aus Eingabe plus Ausgabe beschränkt.6
Das Kontextfenster unterscheidet sich von persistentem oder agentischem Gedächtnis über Sitzungen hinweg. Anthropics Dokumentation für sein Memory-Tool stellt klar, dass das Kontextfenster flüchtig und sitzungsgebunden ist: „Ihr Kontextfenster kann jederzeit zurückgesetzt werden, sodass Sie riskieren, jeden Fortschritt zu verlieren, der nicht in Ihrem Speicherverzeichnis aufgezeichnet ist.“8 Persistenter Speicher hingegen speichert Informationen in externen Dateien, die zwischen Sitzungen erhalten bleiben.8
Schließlich ist das Kontextfenster nicht der Datenkorpus, auf dem das Modell trainiert wurde. Anthropics Dokumentation zieht diese Grenze ausdrücklich: Das Kontextfenster „unterscheidet sich vom großen Datenkorpus, auf dem das Sprachmodell trainiert wurde, und stellt stattdessen einen ‚Arbeitsspeicher‘ für das Modell dar.“3
Wie funktioniert ein Kontextfenster?
Vor der Verarbeitung wird Rohtext durch Tokenisierung in Tokens umgewandelt. Die vorherrschende Methode ist Byte Pair Encoding (BPE), ursprünglich ein Datenkompressionsalgorithmus von 1994, der 2016 für die neuronale maschinelle Übersetzung adaptiert wurde und einen Wortschatz durch iteratives Zusammenführen der am häufigsten gemeinsam auftretenden Zeichenfolgen aufbaut.9 BPE treibt Tokenizer in GPT-2, GPT-3, GPT-4 und LLaMA sowie anderen an.9 OpenAI weist darauf hin, dass die Tokenisierung kontextabhängig ist; dasselbe Wort kann je nach Großschreibung oder umgebendem Leerzeichen auf unterschiedliche Tokens abgebildet werden.10
Nach der Tokenisierung wird jeder Token in einen Vektor umgewandelt und durch die Transformer-Architektur verarbeitet, die 2017 in dem Paper „Attention Is All You Need“ vorgestellt wurde.11 Der Kernmechanismus, Self-Attention, berechnet Query-, Key- und Value-Vektoren für jeden Token und verwendet dann skalierte Punktprodukt-Attention, sodass jeder Token jedem anderen Token in der Sequenz Aufmerksamkeit schenkt, einschließlich sich selbst.11 Dieser parallele Vergleich aller Token-Paare ermöglicht es Transformern, die sequenzielle Verarbeitung früherer rekurrenter Architekturen zu ersetzen.
Während der autoregressiven Generierung erzeugt das Modell einen Token nach dem anderen. Jeder neue Token-Schritt der Selbstaufmerksamkeit erfordert die Key- und Value-Vektoren jedes vorherigen Tokens. Anstatt diese bei jedem Schritt von Grund auf neu zu berechnen, speichern produktive LLMs sie nach der ersten Berechnung und verwenden sie wieder; dieser gespeicherte Satz wird als KV-Cache bezeichnet.12 Durch die Wiederverwendung der zwischengespeicherten Key- und Value-Matrizen sinkt die Komplexität der Inferenz pro Schritt, obwohl der Speicherbedarf des Caches linear mit der Kontextlänge wächst und für die Dauer der Anfrage im GPU-Speicher verbleiben muss.12
Tokens außerhalb des Fensters sind architektonisch unsichtbar. Da die Selbstaufmerksamkeit nur Beziehungen zwischen Tokens berechnet, die im aktuellen Eingabetensor vorhanden sind, und der KV-Cache nur Vektoren für Tokens speichert, die dem Modell zugeführt wurden, hat ein Token, der nie in der Anfrage enthalten war, keine Repräsentation, auf die das Modell verweisen kann.11 Dies ist der Grund, warum eine Überschreitung des Kontextfensters einen harten API-Fehler auslöst; Anthropics API gibt einen 400 `invalid_request_error` zurück, wenn allein die Eingabe das Limit überschreitet, und die Generierung wird mit einem `model_context_window_exceeded`-Stoppgrund beendet, wenn die Ausgabe die Gesamtsumme über die Obergrenze treiben würde.3
Kontextfenstergrößen führender KI-Modelle
Mitte 2026 hat sich die Standardgröße der führenden APIs bei etwa 1 Million Tokens eingependelt, wobei die effektive Grenze je nach Zugriffsoberfläche variiert.
OpenAIs GPT-5.6-Familie (Sol, Terra und Luna) bietet ein 1.05 Millionen Token Kontextfenster und 128.000 Token maximalen Output über die API.13 Die ChatGPT-Verbraucher-Oberfläche bietet jedoch weniger: Wenn ein Benutzer manuell den „Thinking“-Modus auswählt, beträgt das kombinierte Fenster 256.000 Tokens (128.000 Eingabe plus 128.000 maximaler Output).14
Anthropics Claude Opus 5 und Sonnet 5 bieten ein 1-Millionen-Token-Fenster über die Claude API sowie auf Amazon Bedrock, Google Cloud und Microsoft Foundry.3
Googles Gemini 3.5 Flash unterstützt ein 1-Millionen-Token-Eingabe-Kontextfenster mit bis zu 65.536 Ausgabe-Tokens.15 Behauptungen, dass die neuere Gemini 3.5 Pro 2 Millionen Tokens erreicht, konnten zum Zeitpunkt des Schreibens nicht anhand der primären Google-Dokumentation verifiziert werden.
xAI’s Grok 4.3, eingeführt am 30. April 2026, verfügt über ein 1-Millionen-Token-Kontextfenster.16 Metas Llama 4 Scout bewirbt ein 10-Millionen-Token-Kontextfenster, das über eine iRoPE-Architektur erreicht wird, obwohl das Modell nur bis zu 256.000 Tokens vortrainiert wurde, was bedeutet, dass die 10-Millionen-Zahl eine extrapolierte Fähigkeit darstellt.17
Mistral Large 3 bleibt auf 256.000 Tokens begrenzt, ein Außenseiter unter den führenden Modellen.18 DeepSeek-V4 wird in zwei Varianten ausgeliefert, die 1 Million Tokens unterstützen, erreicht durch einen effizienten Attention-Mechanismus.19
Als bevorzugte Quelle hinzufügenLange Kontextfenster vs. Retrieval-Augmented Generation
Die Entscheidung zwischen dem Hineinstopfen von Tokens in ein langes Kontextfenster und der Verwendung von Retrieval-Augmented Generation (RAG) hängt von der Korpusgröße und der Aktualisierungshäufigkeit ab. Anthropics technische Anleitung empfiehlt, dass, wenn eine Wissensbasis kleiner als 200.000 Tokens (etwa 500 Seiten) ist, der gesamte Korpus in den Prompt aufgenommen werden kann, was mit Prompt-Caching „deutlich schneller und kosteneffizienter“ wird. Sobald der Korpus diese Schwelle überschreitet, besteht Bedarf an einer skalierbareren Lösung.20
Agentische KI und lang laufende Aufgaben
Programmier- und Forschungsagenten verlassen sich auf die Größe des Kontextfensters, um angesammelte Tool-Ausgaben und den Gesprächsverlauf zu halten. Anthropics Entwicklungsteam dokumentiert das Kontextmanagement als die zentrale Einschränkung für Aufgaben mit langem Zeithorizont und empfiehlt „Just-in-Time“-Kontext, bei dem Agenten leichtgewichtige Referenzen behalten und Daten zur Laufzeit dynamisch laden, anstatt alles im Voraus zu laden.21
Claude Code implementiert dies über Subagenten. In einem dokumentierten Beispiel las ein Subagent, der mit der Untersuchung einer Codebasis beauftragt war, 6.100 Tokens Dateiinhalt und gab eine 420-Token-Zusammenfassung an die übergeordnete Sitzung zurück, wobei etwa 5.700 Tokens Dateiinhalt vollständig aus dem Kontextfenster des primären Agenten ferngehalten wurden.22 Das Standard-Kontextfenster von Claude Code für Sonnet 5 beträgt 1 Million Tokens über die Anthropic API, wobei Sitzungen standardmäßig bei etwa 967.000 Tokens automatisch-komprimiert werden, also bei etwa 96.7 % dieses Limits, es sei denn, eine Konfiguration begrenzt das Fenster stattdessen auf 200.000 Tokens.23
Dokument- und Codebasis-Analyse
Googles Gemini API-Dokumentation gibt an, dass ihr 1-Millionen-Token-Kontextfenster ungefähr 50.000 Codezeilen entspricht, was den Umfang eines einzelnen Kontextfensters veranschaulicht, anstatt einen dedizierten Anwendungsfall für die Codebasis-Überprüfung zu beschreiben.24
Diese Forschung zitieren
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Alper, Şevval},
title = {{VELC-Bench: Verifikation im Langkontext-Benchmark}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/ai-context-window}},
note = {AIMultiple. Abgerufen am 4. August 2026}
}Referenzlinks
Cems Arbeit wurde von führenden globalen Publikationen zitiert, darunter Business Insider, Forbes, Washington Post, globalen Unternehmen wie Deloitte, HPE und NGOs wie dem World Economic Forum sowie supranationalen Organisationen wie der European Commission.
Während seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen über ein Jahrzehnt lang bei McKinsey & Company und Altman Solon in Technologieentscheidungen. Er veröffentlichte auch einen McKinsey-Bericht zur Digitalisierung.
Er leitete die Technologiestrategie und Beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Zudem führte er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos an, das innerhalb von 2 Jahren von null auf einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung anwuchs. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.
Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er schloss sein Studium an der Bogazici University als Computer-Ingenieur ab und hat einen MBA von der Columbia Business School.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.