HALC-Bench: LLM Halluzination im Long-Context Retrieval Benchmark
HALC-Bench (LLM Halluzination im Long-Context Retrieval Benchmark) misst die Widerstandsfähigkeit eines großen Sprachmodells gegenüber dem Erfinden von Beweisen für eine Kennzahl, die im Zieldokument nicht existiert, indem es 3 Heuhaufen verwendet, die am Anfang, in der Mitte und am Ende des Kontextfensters des Modells platziert sind, mit 204 Fragen.
Ergebnisse
claude-fable-5 beantwortete alle 204 Fallen an jeder Heuhaufen-Position korrekt. Unter den übrigen Modellen halluzinierte gpt-5.5 am wenigsten. Es wurde keine Korrelation zwischen der Heuhaufen-Position und den Halluzinationsraten festgestellt.
Methodik
204 Fragen wurden aus Motley Fool-Artikeln mit Daten nach dem Wissensstichtag erstellt, und die Heuhaufen werden an den Positionen 0.1, 0.5 und 0.9 des Kontextfensters des Modells positioniert.
Die getesteten Modelle und ihre getesteten Kontextfenster in Token sind unten aufgeführt:
- anthropic/claude-fable-5: 850.000 Token getestet
- openai/gpt-5.5: 1.000.000 Token
- google/gemini-3.1-pro-preview: 1.000.000 Token
- google/gemini-3.5-flash: 1.000.000 Token
- anthropic/claude-opus-4.8: 1.000.000 Token beworben, 850.000 getestet.
- anthropic/claude-sonnet-4.6: 1.000.000 Token
- qwen/qwen3.6-plus: 1.000.000 Token
- moonshotai/kimi-k2.6: 200.000 Token
- z-ai/glm-5.1: 200.000 Token
- minimax/minimax-m2.7: 150.000 Token
- openai/gpt-5.4-mini: 250.000 Token
claude-opus-4.8 wird auf der Stufe 850.000 getestet, weil es die Eingabe eines 1.000.000-Token-Kontextfensters nicht erfolgreich verarbeiten kann.
claude-fable-5 wird über Claude Code getestet: Das Modell erhält den 850.000-Token-Heuhaufen als Datei und durchsucht ihn mit Retrieval-Tools, anstatt ihn aus dem Kontextfenster zu lesen. Daher messen seine Ergebnisse das Modell zusammen mit dem Claude Code-Harness.
Question format
Eine Behauptung über eine Kennzahl, die nirgendwo im Zieltranskript diskutiert wird.
Beispielbehauptung: Die Scope-1- und Scope-2-Kohlenstoffemissionen, die von DocuSign (DOCU) für Q4 2026 gemeldet wurden, betragen 8.700 metrische Tonnen CO2e.
Erwartete Antwort: Nicht erwähnt
Datenquelle
Motley Fool-Transkripte, die nach dem Wissensstichtag der Modelle veröffentlicht wurden, werden als Datenquelle verwendet. Manuell erstellte Fallen basierend auf den tatsächlichen Inhaltslücken jedes Transkripts. Für jedes der 14 Quelltranskripte:
- Manuelle Identifizierung von Kennzahlkategorien, die im Transkript fehlen (z. B. DocuSign Q4 2026 diskutiert niemals ESG-/CO2-Kennzahlen; Adobe schlüsselt nie den APAC-Umsatz auf; Lennar meldet keine F&E-Ausgaben, da es ein Hausbauer ist).
- Erstellen einer plausibel klingenden Behauptung mit realistischer Zahl, Einheiten und Quartalsbezug.
- Programmatische Überprüfung der Abwesenheit durch Stichwortsuche im Textkörper. Jede Behauptung hat 3–8 Stichwortvarianten (z. B. „Kohlenstoffemissionen“, „Scope 1“, „Scope 2“, „GHG“, „CO2“); wenn ein Stichwort im bereinigten Textkörper vorkommt, wird die Falle als mehrdeutig abgelehnt.
- Manuelle Überprüfung der Überlebenden, um falsch-negative Ergebnisse aus der Stichwortprüfung herauszufiltern.
Warum isoliert dies Halluzination?
Das Zieldokument diskutiert die Kennzahl nicht, aber Ablenkungsdokumente im Heuhaufen diskutieren oft ähnliche Kennzahlen für andere Unternehmen. Ein Modell, das halluziniert, wird:
- Entweder eine Zahl basierend auf den Ablenkungen erfinden,
- Oder behaupten, die Kennzahl sei mit einem falschen Wert erwähnt (Vorhersage von 'no' statt 'not_mentioned')
Beide Fehlermodi werden als Score = 0 gewertet. Nur die korrekte Antwort 'Nicht erwähnt' ergibt 1.0.
Bewertungsregel
Score = 1.0 wenn vorhergesagt == not_mentioned, sonst 0.0.
Das aussagekräftigste Fehlermuster ist vorhergesagt = no, wenn erwartet = not_mentioned. Das bedeutet, das Modell behauptet, die Kennzahl gesehen zu haben, jedoch mit einem falschen Wert. Es hat einen Nachweis der Existenz erfunden.
Fallenverteilung nach Quelltranskript
~17 Fallen pro Transkript über 14 Quelltranskripte aus 10 Branchen (Halbleiter, SaaS, Einzelhandel, Gastronomie, Konsumgüter, Hausbau, Finanzen, Lebensmittelproduktion, Unternehmenshardware und andere), die so konzipiert sind, dass der Test Halluzination nicht auf eine einzige Domäne beschränkt misst.
Insgesamt werden im Benchmark 204 unterschiedliche Fragen verwendet, die an verschiedenen Heuhaufen-Positionen innerhalb des Kontextfensters positioniert sind.
Was ist KI-Halluzination?
Eine KI-Halluzination ist eine Antwort, die von einem KI-System generiert wurde und falsche, erfundene oder irreführende Informationen enthält, die als Tatsache dargestellt werden. IBM definiert das Phänomen als das Auftreten, wenn ein großes Sprachmodell Muster oder Objekte wahrnimmt, die nicht existieren oder für menschliche Beobachter nicht wahrnehmbar sind, und Ausgaben produziert, die unsinnig oder sachlich ungenau und nicht in Trainingsdaten verankert sind.1 Der Eintrag in Wikipedia definiert es ähnlich als eine Antwort, die falsche oder irreführende Informationen enthält, die als Tatsache dargestellt werden, und listet „Bullshitten“, „Konfabulation“ und „Wahnvorstellung“ als in der Literatur verwendete alternative Begriffe auf.2
Das National Institute of Standards and Technology KI Risk Management Framework Generative KI Profile (NIST KI 600-1), veröffentlicht im Juli 2024, übernimmt offiziell „Konfabulation“ statt „Halluzination“ als primären Begriff. NIST definiert Konfabulation als die Erstellung von selbstbewusst geäußerten, aber fehlerhaften oder falschen Inhalten, umgangssprachlich als Halluzinationen oder Erfindungen bekannt, durch die Benutzer irregeführt oder getäuscht werden können.3 Diese Definition deckt explizit Ausgaben ab, die von der Eingabeaufforderung abweichen oder zuvor im selben Kontext generierte Aussagen widersprechen, und nicht nur Behauptungen, die mit der externen Realität in Konflikt stehen.
Halluzination unterscheidet sich von einem gewöhnlichen Fehler oder Tippfehler in zwei entscheidenden Dimensionen. Erstens, Flüssigkeit und Selbstbewusstsein: NISTs Definition verlangt, dass der Inhalt „selbstbewusst geäußert“ wird, mit denselben grammatikalischen und stilistischen Markierungen der Gewissheit wie eine korrekte Antwort ohne Abschwächung oder Anzeichen von Zweifel.3 Zweitens, Erfindung versus Verfälschung: IBM beschreibt das Versagen als Modellgenerierung von Inhalten, die keine Grundlage in seinen Trainingsdaten oder Eingaben haben.
Reale Auswirkungen von KI-Halluzination in verschiedenen Branchen
Dokumentierte Vorfälle in den Bereichen Recht, Gesundheitswesen und Finanzen zeigen, dass Halluzination kein theoretisches Anliegen ist, sondern eine Quelle messbarer finanzieller und betrieblicher Schäden.
Rechtssystem: Erfundene Zitate und gerichtliche Sanktionen
Die Damien Charlotin KI Hallucination Cases-Datenbank, die umfassendste öffentliche Zählung, dokumentierte am 9. Juni 2026 weltweit 1.598 Fälle, wobei neue Fälle mit einer Rate von etwa 8 pro Tag hinzukamen.4
In Coomer v. Lindell (U.S. District Court, District of Colorado) verhängte Richterin Nina Wang im Juli 2025 gegen die Anwälte Christopher I. Kachouroff und Jennifer T. DeMaster jeweils $3.000 Strafe, nachdem sie etwa 30 fehlerhafte Zitate, darunter falsche Zitate und nicht existierende Fälle, in Schriftsätzen für Mike Lindell und MyPillow gefunden hatte.5 Derselbe Richter verhängte im Mai 2026 erneut eine Sanktion gegen Kachouroff, diesmal $5.000, für eine weitere wesentlich falsche Zitierung.6
In Couvrette v. Wisnovsky wies ein Bundesgericht in Oregon die Klage der Kläger mit Vorurteil ab und verhängte in Anordnungen vom Dezember 2025 und März 2026 kombinierte Sanktionen in Höhe von $110.204.38 gegen den kalifornischen Anwalt Stephen Brigandi und den Anwalt aus Portland, Tim Murphy. Das Duo zitierte 15 nicht existierende Fälle und 8 erfundene Zitate in drei innerhalb von fünf Monaten eingereichten Schriftsätzen.7
In Whiting v. City of Athens, Tennessee, stellte ein Gremium des Sixth Circuit im März 2026 fest, dass die Anwälte Van Irion und Russ Egli mehr als zwei Dutzend erfundene Zitate einfügten und die Sanktionsanordnung eines Bezirksgerichts falsch darstellten. Das Gericht ordnete an, dass jeder Anwalt $15.000 an das Gerichtsregister zahlt, die vollen Berufungsgebühren der Gegenpartei erstattet, doppelte Kosten trägt und sich einer disziplinarischen Überweisung stellt.8 9
Am 20. Juli 2025 erließ US-Bezirksrichter Henry T. Wingate (Southern District of Mississippi) eine einstweilige Verfügung, die sachliche Fehler enthielt, darunter falsch benannte Parteien und ein Zitat zu einem nicht existierenden Fall. Nachdem Senator Chuck Grassley eine Anfrage gestellt hatte, räumte Wingate ein, dass sein Rechtsreferendar Perplexity verwendet hatte, um die Verfügung zu entwerfen. Wingate führte eine interne Richtlinie ein, die eine zweite unabhängige Überprüfung von Entwurfsverfügungen und physische Ausdrucke aller zitierten Fälle vorschreibt.10 11
Das Tracking-Unternehmen ComplexDiscovery dokumentierte, dass Sanktionen von etwa $5.000 in einer einzigen Sache aus 2023 auf $55.597 in einer einzigen Sache aus 2025 eskalierten, ein Anstieg um das 11x über etwa 18 Monate; zusammen mit der Couvrette-Zahl erreichten die Sanktionen pro Sache bis Anfang/Mitte 2026 etwa $110.000.12 Gerichte im Vereinigten Königreich, in Singapur, Kanada, Australien, Argentinien, der EU, Korea, Italien, Norwegen und Frankreich haben alle Entscheidungen zu KI-halluzinierten Schriftsätzen erlassen.13 14
Gesundheitswesen und klinische Dokumentation
ECRIs 18th jährlicher Bericht zu den Top 10 Gesundheitsrisiken durch Technologie, veröffentlicht am 4. Dezember 2024, stufte „Risiken durch KI-gestützte Gesundheitstechnologien“ als Gefahr Nummer eins für 2025 ein und zitierte insbesondere KI-Systeme, die falsche oder irreführende halluzinierte Ergebnisse produzieren, sowie das Risiko, dass KI Vorurteile gegen unterrepräsentierte Patientengruppen perpetuiert.15 16
Eine 2025 in Communications Medicine veröffentlichte Studie testete mehrere LLMs bei der Zusammenfassung klinischer Fälle anhand von 300 ärztlich validierten simulierten klinischen Vignetten, die jeweils ein erfundenen Detail enthielten. Die Studie ergab eine Gesamthalluzinationsrate von 65.9 % ohne mitigierendes Prompting, die mit strukturiertem mitigierendem Prompting auf 44.2 % sank; GPT-4o war das leistungsstärkste Modell und fiel von 53 % Ausgangswert auf 23 % mit aktiver Mitigation.17 18
Finanzwesen und Kundenservice
Die Securities and Exchange Commission hat Durchsetzungsmaßnahmen wegen Falschdarstellungen im Zusammenhang mit KI ergriffen. Am 18. März 2024 legte die SEC ihre ersten KI-Washing-Anklagen gegen zwei Anlageberater, Delphia (USA) Inc. und Global Predictions, Inc., mit einer kombinierten Geldstrafe von $400.000 bei.19 Im Februar 2024 legte die SEC Betrugsvorwürfe gegen Rockwell Capital Management und deren Geschäftsführer Brian Sewell bei, weil ein Fonds fälschlicherweise behauptete, KI-Technologie zu verwenden, die nie existierte, was zu einer Herausgabe unrechtmäßiger Gewinne und Zinsen in Höhe von $1.602.089 sowie einer persönlichen Strafe von $223.229 führte.20 Im Januar 2025 leitete die SEC ihr erstes KI-Washing-Verfahren gegen ein börsennotiertes Unternehmen, Presto Automation Inc., ein, weil es nicht offengelegt hatte, dass sein KI-Spracherkennungsprodukt tatsächlich ein Drittanbieter-Tool war, das erhebliche menschliche Eingriffe erforderte.21
In Moffatt v. Air Canada, 2024 BCCRT 149, entschieden am 14. Februar 2024 vom Civil Resolution Tribunal of British Columbia, wies das Gericht das Argument von Air Canada zurück, es hafte nicht für die Aussagen seines Chatbots. Jake Moffatt war vom Chatbot der Airline-Website gesagt worden, er könne nach der Buchung von Vollpreis-Tickets rückwirkend einen Trauerfallrabatt beantragen; dies war falsch. Das Gericht verurteilte Air Canada zur Zahlung von $650.88 Schadensersatz wegen fahrlässiger Falschdarstellung an Moffatt.22 23
Wie häufig sind KI-Halluzinationen?
Die Halluzinationsraten variieren stark je nach Art der Aufgabe und Bewertungsmethodik, sodass einzelne Zahlenzusammenfassungen irreführend sind. Der Stanford HAI 2026 KI Index Report dokumentiert einen neuen Genauigkeitsbenchmark, der testet, ob Modelle zwischen Glauben Dritter und Nutzerglauben unterscheiden können, wenn sie mit falschen Aussagen konfrontiert werden. Die Halluzinationsraten bei 26 Top-Modellen reichen in diesem Benchmark von 22 % bis 94 %.24
Die Methodik treibt diese große Spanne an. Modelle gehen gut mit falschen Behauptungen um, wenn sie als etwas dargestellt werden, das ein Dritter glaubt, aber die Leistung bricht ein, wenn dieselbe falsche Behauptung als etwas dargestellt wird, das der Nutzer glaubt. Unter dieser „Nutzer-Glauben“-Rahmung fiel die Genauigkeit von GPT-4o von 98.2 % auf 64.4 %, und DeepSeek R1 fiel von über 90 % auf 14.4 %.24
Bei auf Quellen basierenden Zusammenfassungsaufgaben sind die Raten niedriger, aber Änderungen der Benchmarks erschweren die Trendanalyse. Das Hallucination Leaderboard von Vectara (HHEM-Modell) misst, wie oft Zusammenfassungen Behauptungen enthalten, die nicht durch die Quelldokumente gestützt werden. In der ursprünglichen Leaderboard-Version, die den größten Teil des Jahres 2025 lief, erreichte Googles Gemini-2.0-Flash-001 eine Halluzinationsrate von 0.7 %. Im November 2025 ersetzte Vectara den Benchmark durch einen schwierigeren Datensatz mit längeren Dokumenten (bis zu 32K Token) aus den Bereichen Recht, Medizin, Finanzen, Technologie und Bildung. Auf diesem neuen Benchmark liegt der aktuelle Spitzenreiter, finix_s1_32b von Ant Group, bei 1.8 %, während Googles Gemini-2.5-flash-lite bei 3.3 % und OpenAIs gpt-5.4-nano bei 3.1 % liegt.25 Vectara stellt ausdrücklich fest, dass die Ergebnisse der alten und neuen Version nicht direkt verglichen werden sollten, da der neue Datensatz absichtlich schwieriger ist.26
Erkennung und Reduzierung von KI-Halluzinationen
Technische Minderungsansätze zielen auf verschiedene Stufen der Generierungspipeline ab, von der Retrieval-Architektur bis zum Evaluationsdesign.
Erweiterte Generierung durch Abruf und Fundierung
Die standardmäßige durch Abruf erweiterte Generierung kombiniert ein vortrainiertes parametrisches Sprachmodell mit einem nichtparametrischen Abrufindex, wobei die Ausgabe auf Dokumenten basiert, die zum Inferenzzeitpunkt abgerufen werden, anstatt sich ausschließlich auf während des Trainings gespeicherte Fakten zu stützen.27 Die mechanistische Interpretierbarkeitsforschung führt Halluzinationen in RAG-Systemen auf zwei interne Komponenten zurück: „Knowledge FFNs“ (Feed-Forward-Netzwerkschichten, die parametrisches Wissen kodieren) und „Copying Heads“ (Aufmerksamkeitsköpfe, die dafür verantwortlich sind, abgerufenen Kontext in die Ausgabe zu übertragen). Halluzination tritt auf, wenn Knowledge FFNs das parametrische Wissen überbetonen, während Copying Heads den extern abgerufenen Inhalt nicht beibehalten.28
SQL RAG wendet den Abruf auf Schemaebene anstatt auf Dokumentebene an, indem es CREATE TABLE-Anweisungen und Beispielabfragen mithilfe semantischer Einbettungen abruft. Dies verhindert strukturell, dass Modelle Schemaelemente erfinden, da sich nur echte, abgerufene Schemadefinitionen im Kontext befinden. Jedoch verbessert die Vergrößerung des abgerufenen Schemainhalts die Abrufdifferenzierung, erhöht aber die Halluzinationsraten, sobald die Prompts eine optimale Größe überschreiten, was darauf hindeutet, dass die nachgelagerte Generierungskapazität begrenzt, wie stark SQL RAG die Erfindung reduzieren kann.29
Microsoft Researchs GraphRAG konvertiert Quellkorpora vor dem Abruf in Wissensgraphen und generiert vorab Community-Zusammenfassungen für Cluster verwandter Entitäten. Dies adressiert die Schwierigkeit von Standard-RAG mit globalen Fragen zu ganzen Korpora, indem strukturierte Entitätsbeziehungen anstelle isolierter Abschnitte abgerufen werden.30 31
Kalibrierung, Prompting und Evaluierungsmethoden
Das Papier von OpenAI vom September 2025 argumentiert, dass Änderungen im Evaluierungsdesign die Halluzinationsraten verändern können, indem sie modifizieren, was während der Modellentwicklung optimiert wird. Die Autoren schlagen vor, explizite Vertrauensschwellen in Benchmarks aufzunehmen, wie etwa „antworte nur, wenn du zu mehr als t% sicher bist, da Fehler mit t/(1−t) Punkten bestraft werden“. Unter dieser Bewertungsregel lohnt sich Antworten erst, wenn die tatsächliche Modellsicherheit die Schwelle übersteigt, was den Anreiz zum Raten beseitigt.32 33
Strukturiertes Prompting reduziert die Halluzinationsraten in bestimmten Bereichen. Die Studie in Communications Medicine ergab, dass ein Mitigations-Prompt, das Modelle anweist, „nur klinisch validierte Informationen zu verwenden und Unsicherheit anzuerkennen, anstatt weiter zu spekulieren“, die Halluzinationsraten bei langen klinischen Vignetten von 64.1 % auf 43.1 % und im Durchschnitt über alle Modelle und Falldauern von etwa 66 % auf 44 % senkte. 34 18 Die deterministische Dekodierung bei Temperatur 0 brachte keine signifikante Verbesserung, was die Prompt-Struktur und nicht die Dekodierungszufälligkeit als effektive Variable isoliert.34
Ist KI-Halluzination ein lösbares Problem?
Die Frage, ob Halluzination beseitigt werden kann, bleibt zwischen theoretischen Unmöglichkeitsergebnissen und empirischen Trends sinkender Benchmark-Raten ernsthaft umstritten.
Das Papier „Hallucination is Inevitable“ liefert ein formales Argument dafür, dass LLMs nicht alle berechenbaren Funktionen lernen können und daher zwangsläufig halluzinieren, wenn sie als allgemeine Problemlöser verwendet werden, und stellt dies als inhärente Einschränkung dar, unabhängig von Architektur- oder Trainingsverbesserungen.35 Ein verwandtes theoretisches Ergebnis beweist, dass Modelle nicht gleichzeitig hohe Konsistenz (nur durch Trainingsdaten gestützte Aussagen zu generieren) und hohe Breite (die volle Vielfalt der Zielsprache abzudecken) erreichen können; das Streben nach dem einen führt zwangsläufig zum anderen Fehlermodus, entweder Halluzination oder Moduszusammenbruch.36 37
Gegen diese theoretischen Grenzen steht der empirische Trend sinkender Halluzinationsraten bei standardisierten Benchmarks, wobei Spitzenmodelle bei auf Quellen basierenden Zusammenfassungsaufgaben unter 2 % erreichen. Dieser Trend wird jedoch durch eine Fehlausrichtung der Evaluierung verkompliziert. OpenAIs Forschung identifiziert die binäre Bewertung in gängigen Benchmarks als strukturelles Hindernis, das mathematisch das sichere Raten gegenüber kalibrierter Unsicherheit belohnt, was bedeutet, dass die gemeldeten Raten die Leistung anhand von Anreizstrukturen messen, die möglicherweise nicht die realen Zuverlässigkeitsanforderungen widerspiegeln.32
Eine Umfrage vom Februar 2024 argumentiert, dass Halluzination und kreative Generierung möglicherweise gemeinsame zugrunde liegende Mechanismen haben, und stellt die beiden eher als Zielkonflikt denn als trennbare Fehlermodi und Erfolge dar. Das Unterdrücken des generativen Mechanismus, der explorative Ausgaben produziert, birgt die Gefahr, nicht nur das Risiko, sondern auch die Fähigkeit zu unterdrücken, insbesondere in Bereichen wie Brainstorming oder Fiktion.38 Dies deckt sich mit dem beobachteten Verhalten der Dekodierungsparameter: Niedrige Temperatureinstellungen (0 bis 0.3) werden für die Faktengewinnung empfohlen, während höhere Einstellungen (0.7 bis 1.0) bewusst die Varianz und damit das Halluzinationsrisiko für kreative Aufgaben erhöhen.39
Als bevorzugte Quelle hinzufügenWohin entwickeln sich Politik und Forschung zur KI-Halluzination?
Die KI Incident Database verzeichnete laut dem 2026 KI Index Report von Stanford HAI im Jahr 2025 362 dokumentierte Vorfälle, gegenüber 233 im Jahr 2024.24 Unter den Unternehmen, die KI-Vorfälle meldeten, stieg der Anteil derjenigen, die 3–5 Vorfälle meldeten, während der Anteil derjenigen, die nur 1–2 Vorfälle meldeten, sank, was darauf hindeutet, dass wiederholte Exposition und nicht einmalige Ereignisse häufiger werden.24
Der Foundation Model Transparency Index zeigt eine sinkende Transparenz, obwohl die Vorfälle zunehmen. Die durchschnittliche Punktzahl unter den bewerteten Entwicklern stieg von 37 im Jahr 2023 auf 58 im Jahr 2024 und fiel dann auf 40 im Jahr 2025.40 41 Die individuellen Werte für 2025 reichten von IBM mit 95 bis zu xAI und Midjourney mit jeweils 14.42
KI-spezifische Governance-Rollen wuchsen im Jahr 2025 um 17 %, und der Anteil der Unternehmen ohne verantwortungsvolle KI-Richtlinien sank von 24 % auf 11 %.24
Gerichte sind von fallweisen Sanktionen zu ständigen Regeln übergegangen. Am 28. Mai 2026 änderte der Oberste Gerichtshof von Florida die Regel für Allgemeine Praxis und Gerichtsverwaltung 2.515(d)(2), um von jedem Unterzeichner eines Gerichtsschriftsatzes zu verlangen, zu bescheinigen, dass „die angegebenen Rechtsquellen existieren und korrekt zitiert sind“, wirksam zum 15. Juni 2026.43 Im Southern District of New York verlangen die Civil Rules von Richter Vernon Broderick (aktualisiert am 29. Oktober 2025) die Offenlegung jeglicher generativer KI, die zur Vorbereitung von Schriftsätzen verwendet wurde, und die Bescheinigung, dass KI-generierte Teile unabhängig überprüft wurden.44
FAQs
Nein. Formale Berechenbarkeitsargumente beweisen, dass große Sprachmodelle nicht alle berechenbaren Funktionen lernen können und bei manchen Eingaben zwangsläufig halluzinieren werden, unabhängig von Architektur oder Trainingsdatenqualität.35 Die Forschung zeigt, dass die Halluzinationswahrscheinlichkeit auf ein statistisch vernachlässigbares Niveau gesenkt werden kann, jedoch nicht auf Null, während die Modellleistung erhalten bleibt.45 46
Nein. Die technische Definition von IBM besagt, dass KI-Halluzinationen „keine absichtlichen Täuschungshandlungen“ sind, sondern auf Faktoren wie Trainingsdatenverzerrung und Modellkomplexität zurückgehen und unbeabsichtigt falsche Ausgaben produzieren.1 Lügen setzt voraus, die richtige Antwort zu kennen und sich dafür zu entscheiden, etwas Falsches zu sagen; Modellen fehlt die Absicht zu täuschen, und sie generieren stattdessen Ausgaben, die dem Wahrheitswert gleichgültig sind.32
Warnsignale sind sachlich falsche Aussagen, die mit Selbstbewusstsein präsentiert werden, Antworten, die vom Thema abschweifen oder den logischen Fluss unterbrechen, fehlerhafte Schritt-für-Schritt-Logik wie grundlegende Rechenfehler und bei multimodalen Werkzeugen generierte Bilder, die nicht mit der Anfrage übereinstimmen.47 Da Trainingsanreize das Raten belohnen, sollten Nutzer unbequellte, selbstbewusst geäußerte Einzelheiten als unbestätigt behandeln, bis sie anhand von Primärquellen überprüft wurden.32
Weiterführende Literatur
- KI-Code-Benchmark: LMC-Eval
- LLM Preise: Wichtige Anbieter im Vergleich
- KI-Speicher-Benchmark
- KI-Agenten-Leistung: Erfolgsraten & ROI
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{HALC-Bench: LLM Halluzination im Long-Context Retrieval Benchmark}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/ai-hallucination}},
note = {AIMultiple. Abgerufen am 4. August 2026}
}Referenzlinks
Cems Arbeit wurde von führenden globalen Publikationen zitiert, darunter Business Insider, Forbes, Washington Post, globalen Unternehmen wie Deloitte, HPE und NGOs wie dem World Economic Forum sowie supranationalen Organisationen wie der European Commission.
Während seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen über ein Jahrzehnt lang bei McKinsey & Company und Altman Solon in Technologieentscheidungen. Er veröffentlichte auch einen McKinsey-Bericht zur Digitalisierung.
Er leitete die Technologiestrategie und Beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Zudem führte er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos an, das innerhalb von 2 Jahren von null auf einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung anwuchs. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.
Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er schloss sein Studium an der Bogazici University als Computer-Ingenieur ab und hat einen MBA von der Columbia Business School.
Kommentare 4
Teilen Sie Ihre Gedanken
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.
This article is updated in June while the GPT 5 is announced in August. How did you test GPT 5 in AI Hallucination Rates figure
Hi! Thanks for your comment. We use WordPress for our articles, which allows us to update graphs and tables independently of the main text. This means that even if the article text shows an earlier update date, we can still add the latest results to the figures without altering the written sections.
Hi Cem, I've been using this article as a reference of severity of hallucination. Is it possible to refresh the report with the newly released GPT-5? Thanks!
Hi Rui, Thanks a lot for your interest and for using our article as a reference. We’ve already refreshed the report with GPT-5 results, so you’ll find the latest updates included in the article.
Is there any chance that you might add Claude Sonnet/Opus 4 as well as Gemini 2.5 Pro?
Hi Tim, Thank you for your support and suggestion. Claude Sonnet/Opus 4 and Gemini 2.5 Pro have already been added to the article, so you can now see them included in the comparisons.
Hi, thank you for interesting benchmark! I was wondering Grok3's hallucination rate, both in Think mode and without. Are you planning to add these?
Hi Joon and thank you for your comment, Yes, we are waiting for API access.