HALC-Bench: LLM-Halluzination beim Long-Context-Retrieval-Benchmark
HALC-Bench (LLM-Halluzination beim Long-Context-Retrieval-Benchmark) misst die Widerstandsfähigkeit eines großen Sprachmodells gegen das Erfinden von Belegen für eine Kennzahl, die im Zieldokument nicht existiert, und verwendet dazu 3 Heuhaufen, die am Anfang, in der Mitte und am Ende des Kontextfensters des Modells platziert sind, mit 204 Fragen.
Ergebnisse
claude-fable-5 beantwortete alle 204 Fallen an jeder Heuhaufen-Position korrekt. Unter den übrigen Modellen halluzinierte gpt-5.5 am wenigsten. Es wurde keine Korrelation zwischen Heuhaufen-Position und Halluzinationsraten festgestellt.
Methodik
204 Fragen werden aus Motley-Fool-Artikeln mit Datumsangaben nach dem Wissensstichtag vorbereitet, und die Heuhaufen werden an den Positionen 0.1, 0.5 und 0.9 des Kontextfensters des Modells positioniert.
Benchmarkte Modelle und ihre getesteten Kontextfenster in Tokens sind unten aufgeführt:
- anthropic/claude-fable-5: 850.000 Tokens getestet
- openai/gpt-5.5: 1.000.000 Tokens
- google/gemini-3.1-pro-preview: 1.000.000 Tokens
- google/gemini-3.5-flash: 1.000.000 Tokens
- anthropic/claude-opus-4.8: 1.000.000 Tokens angegeben, 850.000 getestet.
- anthropic/claude-sonnet-4.6: 1.000.000 Tokens
- qwen/qwen3.6-plus: 1.000.000 Tokens
- moonshotai/kimi-k2.6: 200.000 Tokens
- z-ai/glm-5.1: 200.000 Tokens
- minimax/minimax-m2.7: 150.000 Tokens
- openai/gpt-5.4-mini: 250.000 Tokens
claude-opus-4.8 wird auf der Stufe 850.000 getestet, weil es die Eingabe der Tests mit einem Kontextfenster von 1.000.000 Tokens nicht erfolgreich bewältigen kann.
claude-fable-5 wird über Claude Code getestet: Das Modell erhält den 850.000-Token-Heuhaufen als Datei und durchsucht ihn mit Abrufwerkzeugen, statt ihn aus dem Kontextfenster zu lesen; seine Ergebnisse messen daher das Modell zusammen mit dem Claude-Code-Harness.
Question format
Eine Behauptung über eine Kennzahl, die nirgendwo im Zieltranskript erörtert wird.
Beispielbehauptung: Die von DocuSign (DOCU) für Q4 2026 gemeldeten Scope-1- und Scope-2-Kohlenstoffemissionen betragen 8.700 Tonnen CO2e.
Erwartete Antwort: Nicht erwähnt
Datenquelle
Als Datenquelle dienen Motley-Fool-Transkripte, die nach dem Wissensstichtag der Modelle veröffentlicht wurden. Die Fallen werden manuell auf Grundlage der tatsächlichen Inhaltslücken jedes Transkripts erstellt. Für jedes der 14 Quelltranskripte:
- Manuell Kennzahl-Kategorien identifizieren, die im Transkript fehlen (z. B. erörtert DocuSign Q4 2026 niemals ESG-/Kohlenstoffkennzahlen; Adobe schlüsselt nie den APAC-Umsatz auf; Lennar weist F&E-Aufwendungen nicht aus, weil es ein Hausbauer ist).
- Eine plausibel klingende Behauptung mit einer realistischen Zahl, Einheiten und Quartalsangabe konstruieren.
- Die Abwesenheit programmatisch per Schlüsselwortsuche im Textkörper überprüfen. Jede Behauptung hat 3–8 Schlüsselwortvarianten (z. B. „carbon emissions“, „scope 1“, „scope 2“, „ghg“, „co2“); wenn ein Schlüsselwort im bereinigten Textkörper vorkommt, wird die Falle als mehrdeutig verworfen.
- Überlebende manuell prüfen, um falsche Negativtreffer aus der Schlüsselwortprüfung herauszufiltern.
Warum isoliert dies Halluzination?
Das Zieldokument erörtert die Kennzahl nicht, aber Ablenkungsdokumente im Heuhaufen erörtern oft ähnliche Kennzahlen für andere Unternehmen. Ein Modell, das halluziniert, wird:
- Entweder eine Zahl auf Grundlage der Ablenker erfinden
- Oder behaupten, die Kennzahl werde mit einem falschen Wert erwähnt (Vorhersage von „no“ statt „not_mentioned“)
Beide Fehlermodi werden als Score = 0 gewertet. Nur die korrekte Antwort „nicht erwähnt“ erzielt 1.0.
Bewertungsregel
Score = 1.0, wenn predicted == not_mentioned, sonst 0.0.
Das aussagekräftigste Fehlermuster ist predicted = no bei expected = not_mentioned. Das bedeutet, das Modell behauptet, die Kennzahl gesehen zu haben, aber mit einem falschen Wert. Es hat Belege für das Vorhandensein erfunden.
Fallenverteilung nach Quelltranskript
~17 Fallen pro Transkript über 14 Quelltranskripte aus 10 Branchen (Halbleiter, SaaS, Einzelhandel, Gastronomie, CPG, Hausbau, Finanzen, Lebensmittelproduktion, Unternehmenshardware und andere), die so konzipiert sind, dass der Test Halluzination nicht nur in einer einzigen Domäne misst.
Insgesamt werden 204 verschiedene Fragen im Benchmark verwendet, die an unterschiedlichen Heuhaufen-Positionen innerhalb des Kontextfensters positioniert sind.
Was ist KI-Halluzination?
Eine KI-Halluzination ist eine von einem System der künstlichen Intelligenz generierte Antwort, die falsche, erfundene oder irreführende Informationen enthält, die als Tatsache dargestellt werden. IBM definiert das Phänomen als auftretend, wenn ein großes Sprachmodell Muster oder Objekte wahrnimmt, die für menschliche Beobachter nicht existent oder nicht wahrnehmbar sind, und Ausgaben erzeugt, die unsinnig oder sachlich ungenau und nicht in den Trainingsdaten verankert sind.1 Wikipedias Eintrag definiert es ähnlich als eine Antwort, die falsche oder irreführende Informationen enthält, die als Tatsache dargestellt werden, und nennt „bullshitting“, „confabulation“ und „delusion“ als in der Literatur verwendete alternative Begriffe.2
Das National Institute of Standards and Technology KI Risk Management Framework Generative KI Profile (NIST KI 600-1), veröffentlicht im Juli 2024, übernimmt formal „confabulation“ statt „hallucination“ als primären Begriff. NIST definiert Konfabulation als die Produktion von mit Überzeugung geäußerten, aber fehlerhaften oder falschen Inhalten, umgangssprachlich als Halluzinationen oder Fabrikationen bekannt, durch die Nutzer irregeführt oder getäuscht werden können.3 Diese Definition erfasst ausdrücklich Ausgaben, die vom Prompt abweichen oder zuvor im selben Kontext generierten Aussagen widersprechen, und nicht nur Behauptungen, die mit der externen Realität in Konflikt stehen.
Halluzination unterscheidet sich in zwei entscheidenden Dimensionen von einem gewöhnlichen Fehler oder Tippfehler. Erstens, Flüssigkeit und Sicherheit: Die Definition von NIST verlangt, dass der Inhalt „mit Überzeugung geäußert“ wird und dieselben grammatischen und stilistischen Marker der Sicherheit trägt wie eine korrekte Antwort, ohne Abschwächung oder Signal des Zweifels.3 Zweitens, Fabrikation versus Verfälschung: IBM beschreibt den Fehler so, dass das Modell Inhalte generiert, die keine Grundlage in seinen Trainingsdaten oder Eingaben haben.
Reale Auswirkungen von KI-Halluzination in verschiedenen Branchen
Dokumentierte Vorfälle im Rechts-, Gesundheits- und Finanzsektor zeigen, dass Halluzination kein theoretisches Problem ist, sondern eine Quelle messbarer finanzieller und betrieblicher Schäden.
Rechtssystem: erfundene Zitate und gerichtliche Sanktionen
Die Datenbank Damien Charlotin KI Hallucination Cases, die umfassendste öffentliche Zählung, dokumentierte mit Stand 9. Juni 2026 weltweit 1.598 Fälle, wobei täglich etwa 8 neue Fälle hinzukamen.4
In Coomer v. Lindell (U.S. District Court, District of Colorado) verhängte Richterin Nina Wang im Juli 2025 gegen die Anwälte Christopher I. Kachouroff und Jennifer T. DeMaster jeweils 3.000 $ Sanktionen, nachdem sie in Schriftsätzen für Mike Lindell und MyPillow rund 30 fehlerhafte Zitate festgestellt hatte, darunter falsche Zitate und nicht existierende Fälle.5 Dieselbe Richterin verhängte im Mai 2026 erneut eine Sanktion gegen Kachouroff, diesmal 5.000 $, wegen eines weiteren wesentlich fehlerhaften Zitats.6
In Couvrette v. Wisnovsky wies ein Bundesgericht in Oregon die Ansprüche der Kläger endgültig ab und verhängte in Beschlüssen vom Dezember 2025 und März 2026 gegen den kalifornischen Anwalt Stephen Brigandi und den Anwalt Tim Murphy aus Portland Sanktionen in Höhe von insgesamt 110.204.38 $. Das Duo zitierte 15 nicht existierende Fälle und 8 erfundene Zitate in drei Schriftsätzen, die über fünf Monate eingereicht wurden.7
In Whiting v. City of Athens, Tennessee, stellte ein Panel des Sixth Circuit im März 2026 fest, dass die Anwälte Van Irion und Russ Egli mehr als zwei Dutzend erfundene Zitate aufgenommen und einen Sanktionsbeschluss eines Bezirksgerichts falsch dargestellt hatten. Das Gericht ordnete an, dass jeder Anwalt 15.000 $ an die Gerichtskasse zahlen, die vollständigen Berufungsgebühren der Gegenpartei erstatten, doppelte Kosten tragen und an ein Disziplinarverfahren verwiesen werden muss.89
Am 20. Juli 2025 erließ US-Bezirksrichter Henry T. Wingate (Southern District of Mississippi) eine einstweilige Verfügung, die sachliche Fehler enthielt, darunter falsch benannte Parteien und ein Zitat eines nicht existierenden Falles. Nachdem Senator Chuck Grassley eine Anfrage gesendet hatte, räumte Wingate ein, dass sein juristischer Mitarbeiter Perplexity zum Entwerfen des Beschlusses verwendet hatte. Wingate führte eine interne Richtlinie ein, die eine zweite unabhängige Überprüfung von Beschlussentwürfen und physische Ausdrucke aller zitierten Fälle vorschreibt.1011
Das Tracking-Unternehmen ComplexDiscovery dokumentierte, dass die Sanktionen von rund 5.000 $ in einer einzigen Angelegenheit aus dem Jahr 2023 auf 55.597 $ in einer einzigen Angelegenheit aus dem Jahr 2025 stiegen, ein Anstieg um 11x über etwa 18 Monate; zusammen mit dem Betrag aus Couvrette erreichten die Sanktionen pro Fall bis Anfang/Mitte 2026 rund 110.000 $.12 Gerichte im Vereinigten Königreich, Singapur, Kanada, Australien, Argentinien, der EU, Korea, Italien, Norwegen und Frankreich haben alle Entscheidungen zu KI-halluzinierten Schriftsätzen erlassen.1314
Gesundheitswesen und klinische Dokumentation
Der 18th jährliche Bericht Top 10 Health Technology Hazards von ECRI, veröffentlicht am 4. Dezember 2024, stufte „Risiken durch KI-gestützte Gesundheitstechnologien“ als die größte Gefahr für 2025 ein und verwies speziell auf KI-Systeme, die falsche oder irreführende halluzinierte Ergebnisse produzieren, sowie auf das Risiko, dass KI Vorurteile gegenüber unterrepräsentierten Patientengruppen verfestigt.1516
Eine 2025 in Communications Medicine veröffentlichte Studie testete mehrere LLMs bei der Zusammenfassung klinischer Fälle anhand von 300 ärztlich validierten simulierten klinischen Vignetten, die jeweils ein erdachtes Detail enthielten. Die Studie ermittelte eine Gesamthalluzinationsrate von 65,9 % ohne mitigierendes Prompting, die mit strukturiertem mitigierendem Prompting auf 44,2 % sank; GPT-4o war das leistungsstärkste Modell und fiel von 53 % Ausgangswert auf 23 % bei aktiver Minderung.1718
Finanzen und Kundenservice
Die Securities and Exchange Commission hat Durchsetzungsmaßnahmen wegen KI-Falschdarstellungen ergriffen. Am 18. März 2024 legte die SEC ihre ersten KI-Washing-Vorwürfe gegen zwei Anlageberater, Delphia (USA) Inc. und Global Predictions, Inc., bei und verhängte zivilrechtliche Strafen in Höhe von insgesamt 400.000 $. Im Januar 2025 erhob die SEC ihren ersten KI-Washing-Fall gegen ein börsennotiertes Unternehmen, Presto Automation Inc., weil es nicht offengelegt hatte, dass sein KI-Spracherkennungsprodukt tatsächlich ein Tool eines Drittanbieters war, das erhebliche menschliche Eingriffe erforderte.19 20
In Moffatt v. Air Canada, 2024 BCCRT 149, entschieden am 14. Februar 2024 vom Civil Resolution Tribunal of British Columbia, wies das Tribunal das Argument von Air Canada zurück, es hafte nicht für die Aussagen seines Chatbots. Jake Moffatt war vom Chatbot der Fluggesellschaft mitgeteilt worden, er könne nach dem Kauf von Tickets zum vollen Preis rückwirkend einen Trauerrabatt beantragen; das war falsch. Das Tribunal verurteilte Air Canada zur Zahlung von 650.88 $ Schadensersatz an Moffatt wegen fahrlässiger Falschdarstellung.2122
Wie häufig sind KI-Halluzinationen?
Die Halluzinationsraten variieren je nach Aufgabentyp und Evaluierungsmethodik enorm, weshalb Einzelwert-Zusammenfassungen irreführend sind. Der Stanford HAI 2026 KI Index Report dokumentiert einen neuen Genauigkeits-Benchmark, der testet, ob Modelle bei falschen Aussagen zwischen der Überzeugung Dritter und der Überzeugung des Nutzers unterscheiden können. Die Halluzinationsraten bei 26 Top-Modellen reichen bei diesem Benchmark von 22 % bis 94 %.23
Diese große Spannweite wird durch die Methodik verursacht. Modelle gehen gut mit falschen Behauptungen um, wenn diese als etwas formuliert sind, das ein Dritter glaubt, aber die Leistung bricht ein, wenn dieselbe falsche Behauptung als etwas formuliert ist, das der Nutzer glaubt. Unter dieser „User-Belief“-Rahmung fiel die Genauigkeit von GPT-4o von 98,2 % auf 64,4 %, und DeepSeek R1 fiel von über 90 % auf 14,4 %.23
Bei Aufgaben der verankerten Zusammenfassung sind die Raten niedriger, aber Änderungen am Benchmark erschweren die Trendanalyse. Vectaras Hallucination Leaderboard (HHEM-Modell) misst, wie oft Zusammenfassungen Behauptungen enthalten, die nicht durch die Quelldokumente gestützt werden. In der ursprünglichen Leaderboard-Version, die den Großteil des Jahres 2025 lief, erreichte Googles Gemini-2.0-Flash-001 eine Halluzinationsrate von 0,7 %. Im November 2025 ersetzte Vectara den Benchmark durch einen schwierigeren Datensatz mit längeren Dokumenten (bis zu 32K Tokens) aus den Bereichen Recht, Medizin, Finanzen, Technologie und Bildung. Auf diesem neuen Benchmark liegt der aktuelle Spitzenreiter Ant Groups finix_s1_32b bei 1,8 %, gefolgt von Googles Gemini-2.5-flash-lite bei 3,3 % und OpenAIs gpt-5.4-nano bei 3,1 %.24 Vectara stellt ausdrücklich fest, dass die Ergebnisse der alten und neuen Version nicht direkt verglichen werden sollten, da der neue Datensatz absichtlich schwieriger ist.25
Erkennen und Reduzieren von KI-Halluzinationen
Technische Minderungsansätze zielen auf verschiedene Stufen der Generierungs-Pipeline ab, von der Abrufarchitektur bis zum Evaluierungsdesign.
Retrieval-Augmented Generation und Grounding
Standardmäßige Retrieval-Augmented Generation kombiniert ein vortrainiertes parametrisches Sprachmodell mit einem nicht-parametrischen Retrieval-Index und konditioniert die Ausgabe auf Dokumente, die zur Inference-Zeit abgerufen werden, statt sich ausschließlich auf während des Trainings gespeicherte Fakten zu verlassen.26 Die mechanistische Interpretierbarkeitsforschung führt Halluzinationen in RAG-Systemen auf zwei interne Komponenten zurück: „Knowledge FFNs“ (Feedforward-Netzwerkschichten, die parametrisches Wissen kodieren) und „Copying Heads“ (Attention Heads, die für die Übertragung des abgerufenen Kontexts in die Ausgabe verantwortlich sind). Halluzination tritt auf, wenn Knowledge FFNs parametrisches Wissen überbetonen, während Copying Heads abgerufene externe Inhalte nicht beibehalten.27
SQL-RAG wendet den Abruf auf Schemaebene statt auf Dokumentebene an und ruft CREATE TABLE-Anweisungen und Beispielabfragen mithilfe semantischer Embeddings ab. Dadurch wird strukturell verhindert, dass Modelle Schemaelemente erfinden, da nur echte, abgerufene Schemadefinitionen im Kontext vorhanden sind. Allerdings verbessert die Vergrößerung des abgerufenen Schemainhalts die Abrufdiskriminierung, erhöht aber die Halluzinationsraten, sobald die Prompts über eine optimale Größe hinauswachsen, was darauf hindeutet, dass die nachgelagerte Generierungskapazität begrenzt, wie sehr SQL-RAG die Fabrikation reduzieren kann.28
Microsoft Researchs GraphRAG wandelt Quellkorpora vor dem Abruf in Wissensgraphen um und generiert vorab Community-Zusammenfassungen für Cluster verwandter Entitäten. Dies adressiert die Schwierigkeit von Standard-RAG bei globalen Fragen zu gesamten Korpora, indem strukturierte Entitätsbeziehungen statt isolierter Textabschnitte abgerufen werden.29
Kalibrierung, Prompting und Evaluierungsmethoden
Ein Paper von OpenAI vom September 2025 argumentiert, dass Änderungen am Evaluierungsdesign die Halluzinationsraten verändern können, indem sie verändern, was während der Modellentwicklung optimiert wird. Die Autoren schlagen vor, Benchmarks um explizite Konfidenzschwellen zu ergänzen, etwa „Antworte nur, wenn du dir zu mehr als t % sicher bist, da Fehler mit t/(1−t) Punkten bestraft werden.“ Unter dieser Bewertungsregel lohnt sich Antworten gegenüber Enthalten erst, wenn die tatsächliche Konfidenz des Modells die Schwelle überschreitet, wodurch der Anreiz zum Raten entfällt.3031
Strukturiertes Prompting reduziert die Halluzinationsraten in bestimmten Domänen. Die Communications Medicine-Studie ergab, dass ein Minderungs-Prompt, der Modelle anweist, „ausschließlich klinisch validierte Informationen zu verwenden und Unsicherheit einzuräumen, statt weiter zu spekulieren“, die Halluzinationsraten bei langen klinischen Vignetten von 64,1 % auf 43,1 % senkte und im Durchschnitt über alle Modelle und Falllängen von etwa 66 % auf 44 %. 3218 Dekodierung mit Temperatur-0 (deterministisch) brachte keine signifikante Verbesserung, wodurch die Prompt-Struktur und nicht die Zufälligkeit der Dekodierung als wirksame Variable isoliert wurde.32
Ist KI-Halluzination ein lösbares Problem?
Die Frage, ob Halluzination beseitigt werden kann, bleibt zwischen theoretischen Unmöglichkeitsergebnissen und empirischen Trends sinkender Benchmark-Raten wirklich umstritten.
Das Paper „Hallucination is Inevitable“ liefert ein formales Argument, dass LLMs nicht alle berechenbaren Funktionen lernen können und daher unvermeidlich halluzinieren, wenn sie als allgemeine Problemlöser eingesetzt werden, und betrachtet dies als angeborene Einschränkung, unabhängig von Architektur- oder Trainingsverbesserungen.33 Ein verwandtes theoretisches Ergebnis beweist, dass Modelle nicht gleichzeitig hohe Konsistenz (nur durch Trainingsdaten gestützte Aussagen erzeugen) und hohe Breite (die volle Vielfalt der Zielsprache abdecken) erreichen können; das Streben nach dem einen führt notwendigerweise zum anderen Fehlermodus, entweder Halluzination oder Modus-Kollaps.3435
Den theoretischen Grenzen steht der empirische Trend sinkender Halluzinationsraten bei standardisierten Benchmarks gegenüber, wobei Top-Modelle bei Aufgaben der verankerten Zusammenfassung unter 2 % erreichen. Dieser Trend wird jedoch durch eine Fehlausrichtung der Evaluierung erschwert. Die Forschung von OpenAI identifiziert binäre Bewertung in gängigen Benchmarks als strukturelles Hindernis, das mathematisch selbstsicheres Raten gegenüber kalibrierter Unsicherheit belohnt, sodass berichtete Raten die Leistung gegenüber Anreizstrukturen messen, die möglicherweise nicht die Anforderungen an Zuverlässigkeit in der realen Welt widerspiegeln.30
Eine Umfrage vom Februar 2024 argumentiert, dass Halluzination und kreative Generierung möglicherweise gemeinsame zugrunde liegende Mechanismen teilen, und betrachtet die beiden als Kompromiss und nicht als trennbare Fehlermodi und Erfolge. Das Unterdrücken des generativen Mechanismus, der explorative Ausgaben hervorbringt, riskiert, Fähigkeiten zu unterdrücken, nicht nur Risiken, insbesondere in Bereichen wie Brainstorming oder Fiktion.36 Dies passt zum beobachteten Verhalten der Dekodierungsparameter: Niedrige Temperatureinstellungen (0 bis 0.3) werden für die Faktenextraktion empfohlen, während höhere Einstellungen (0.7 bis 1.0) die Varianz und damit das Halluzinationsrisiko bei kreativen Aufgaben bewusst erhöhen.37
Als bevorzugte Quelle hinzufügenWohin entwickeln sich Politik und Forschung zur KI-Halluzination?
Die KI Incident Database verzeichnete 2025 laut dem 2026 KI Index Report von Stanford HAI 362 dokumentierte Vorfälle, gegenüber 233 im Jahr 2024.23 Unter Unternehmen, die KI-Vorfälle meldeten, stieg der Anteil mit 3–5 Vorfällen, während der Anteil mit nur 1–2 Vorfällen sank, was darauf hindeutet, dass wiederholte Vorfälle statt einmaliger Ereignisse häufiger werden.23
Der Foundation Model Transparency Index zeigt eine abnehmende Transparenz, obwohl die Vorfälle zunehmen. Die durchschnittliche Punktzahl der bewerteten Entwickler stieg von 37 im Jahr 2023 auf 58 im Jahr 2024 und fiel dann 2025 auf 40.3839 Die Einzelwerte 2025 reichten von IBM mit 95 bis xAI und Midjourney mit jeweils 14.40
KI-spezifische Governance-Rollen wuchsen 2025 um 17 %, und der Anteil der Unternehmen ohne Richtlinien für verantwortungsvolle KI sank von 24 % auf 11 %.23
Gerichte haben sich von fallweisen Sanktionen hin zu dauerhaften Regeln bewegt. Am 28. Mai 2026 änderte der Oberste Gerichtshof von Florida die Rule of General Practice and Judicial Administration 2.515(d)(2) und verlangt nun, dass jeder Unterzeichner eines Gerichtsschriftsatzes bescheinigt, dass „die angegebenen Rechtsquellen existieren und korrekt zitiert sind“, wirksam ab 15. Juni 2026.41 Im Southern District of New York verlangen die Civil Rules von Richter Vernon Broderick (aktualisiert am 29. Oktober 2025) die Offenlegung jeder zur Vorbereitung von Schriftsätzen verwendeten generativen KI und die Bescheinigung, dass KI-generierte Teile unabhängig überprüft wurden.42
FAQs
Nein. Formale Berechenbarkeitsargumente beweisen, dass große Sprachmodelle nicht alle berechenbaren Funktionen lernen können und unabhängig von Architektur oder Qualität der Trainingsdaten bei einigen Eingaben unvermeidlich halluzinieren werden.33 Die Forschung deutet darauf hin, dass die Wahrscheinlichkeit von Halluzinationen auf statistisch vernachlässigbare Werte gesenkt werden kann, aber nicht auf null, während die Modellleistung erhalten bleibt.4344
Nein. Die technische Definition von IBM besagt, dass KI-Halluzinationen „keine absichtlichen Täuschungshandlungen“ sind, sondern aus Faktoren wie Verzerrungen in den Trainingsdaten und Modellkomplexität resultieren und unbeabsichtigt falsche Ausgaben erzeugen.1 Lügen erfordert, die richtige Antwort zu kennen und sich dafür zu entscheiden, etwas Falsches zu sagen; Modelle haben keine Täuschungsabsicht und erzeugen stattdessen Ausgaben, die gegenüber dem Wahrheitswert gleichgültig sind.30
Zu den Warnsignalen gehören sachlich falsche Aussagen, die mit Überzeugung präsentiert werden, Antworten, die vom Thema abschweifen oder den logischen Fluss unterbrechen, fehlerhafte Schritt-für-Schritt-Logik wie einfache Rechenfehler und bei multimodalen Tools generierte Bilder, die nicht zur Anfrage passen.45 Da Trainingsanreize das Raten belohnen, sollten Nutzer unbelegte, mit Bestimmtheit geäußerte Einzelheiten als unbestätigt behandeln, bis sie anhand von Primärquellen überprüft wurden.30
Weiterführende Lektüre
- LLM-Preisgestaltung: Wichtige Anbieter im Vergleich
- KI-Speicher-Benchmark
- KI-Agenten-Leistung: Erfolgsraten & ROI
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Alper, Şevval},
title = {{HALC-Bench: LLM-Halluzination beim Long-Context-Retrieval-Benchmark}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/ai-hallucination}},
note = {AIMultiple. Abgerufen am 4. August 2026}
}Ergebnisse und Zeitstempel von 44 Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 4 CSV-Dateien enthält.
Möchten Sie die granularen Daten dahinter? Premium beitreten
Änderungsprotokoll
14 AktualisierungenPerfektes Ergebnis von claude-fable-5 im Abschnitt Methodik hinzugefügt
Anthropic/claude-fable-5 zum Abschnitt der getesteten Modelle hinzugefügt.
Anzahl von 204 Fragen zur Beschreibung des HALC-Bench-Benchmarks hinzugefügt.
anthropic/claude-opus-4.8 zur Liste der getesteten Modelle hinzugefügt, bewertet auf der 850.000-Token-Stufe statt der angegebenen 1.000.000.
Der gesamte Halluzinations-Benchmark-Artikel wurde durch HALC-Bench-Ergebnisse zum Long-Context-Retrieval, Methodik und neun getestete Modelle ersetzt.
Ein Beispiel für KI-generierte Zitate auf der NeurIPS 2025 wurde dem Abschnitt Vertrauen und Reputation hinzugefügt.
Der Abschnitt zur Methodik des KI-Halluzinations-Benchmarks wurde entfernt.
Referenzlinks
Cems Arbeit bei AIMultiple wurde von führenden globalen Publikationen wie Business Insider, Forbes, Morning Brew und Washington Post, von globalen Unternehmen wie Deloitte und HPE, von NGOs wie dem World Economic Forum und von supranationalen Organisationen wie der European Commission zitiert. [1], [2], [3], [4], [5]
Im Laufe seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen bei ihren Technologieentscheidungen bei McKinsey & Company und Altman Solon über mehr als ein Jahrzehnt. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung.
Er leitete Technologiestrategie und -beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Außerdem verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von 0 einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung erreichte. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.
Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er absolvierte die Bogazici University als Computeringenieur und hat einen MBA von der Columbia Business School.
Şevval konzentriert sich auf KI-Programmierwerkzeuge, KI-Agenten und Quantentechnologien.
Kommentare 5
Teilen Sie Ihre Gedanken
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.
Can you test the Gemini 3 model? Thank you!
Hi Lishim, We included Gemini-3 models, Thank you for your comment!
This article is updated in June while the GPT 5 is announced in August. How did you test GPT 5 in AI Hallucination Rates figure
Hi! Thanks for your comment. We use WordPress for our articles, which allows us to update graphs and tables independently of the main text. This means that even if the article text shows an earlier update date, we can still add the latest results to the figures without altering the written sections.
Hi Cem, I've been using this article as a reference of severity of hallucination. Is it possible to refresh the report with the newly released GPT-5? Thanks!
Hi Rui, Thanks a lot for your interest and for using our article as a reference. We’ve already refreshed the report with GPT-5 results, so you’ll find the latest updates included in the article.
Is there any chance that you might add Claude Sonnet/Opus 4 as well as Gemini 2.5 Pro?
Hi Tim, Thank you for your support and suggestion. Claude Sonnet/Opus 4 and Gemini 2.5 Pro have already been added to the article, so you can now see them included in the comparisons.
Hi, thank you for interesting benchmark! I was wondering Grok3's hallucination rate, both in Think mode and without. Are you planning to add these?
Hi Joon and thank you for your comment, Yes, we are waiting for API access.