AI Halluzination: Vergleichen Sie führende LLMs wie GPT-5.2

KI-Modelle können Antworten generieren, die plausibel erscheinen, aber falsch oder irreführend sind, bekannt als KI-Halluzinationen. 77% der Unternehmen sind besorgt über KI-Halluzinationen.¹

Wir haben 37 verschiedene LLMs mit 60 Fragen getestet, um ihre Halluzinationsraten zu messen:

Ergebnisse des KI-Halluzinations-Benchmarks

Unser Benchmark ergab, dass selbst die neuesten Modelle >15% Halluzinationsraten aufweisen, wenn sie aufgefordert werden, bereitgestellte Aussagen zu analysieren. Lesen Sie die Benchmark-Methodik, um zu erfahren, wie wir diese Raten gemessen haben.

Analyse der Halluzinationsrate: Kosten vs. Kontext

Um einen fairen Kostenvergleich zwischen den Modellen zu gewährleisten, normalisieren wir die Preise mit einer einheitlichen Metrik, die reale Nutzungsmuster widerspiegelt. Da die meisten Tokens in praktischen Workloads aus Eingaben stammen und nicht aus Ausgaben, berechnen wir die Modellkosten als 0,75 × Eingabe-Token-Preis + 0,25 × Ausgabe-Token-Preis.

Dadurch wird verhindert, dass Modelle mit künstlich günstigen Ausgaben oder unverhältnismäßig teuren Eingaben irreführend effizient erscheinen, sodass jedes Modell auf einer konsistenten, vergleichbaren Skala bewertet werden kann.

Kontextgröße vs. Halluzinationstrends

Das Diagramm zeigt deutliche Muster beim Vergleich der Halluzinationsraten mit der Kontextfenstergröße. Konsistent mit früheren Daten bezüglich der Kosten gibt es kaum oder keine lineare Korrelation zwischen der Kontextkapazität und der Genauigkeit.

Großer Kontext garantiert keine Genauigkeit

Entgegen der Annahme, dass größere Eingaben zu besserem Schlussfolgern führen, entsteht eine gemischte Beziehung. Modelle, die für massive Kontextfenster (1M+ Tokens) entwickelt wurden, erreichen nicht konsistent niedrigere Halluzinationsraten als ihre kleineren Gegenstücke. Wie in den Daten gezeigt, finden sich hochzuverlässige Modelle sowohl in kurzen als auch in langen Kontextspektren, ebenso wie leistungsschwächere Modelle.

Dies deutet darauf hin, dass ein massives Kontextfenster nicht automatisch eine verbesserte faktische Konsistenz garantiert. Letztendlich sind technische Spezifikationen wie die Kontextgröße keine definitiven Indikatoren für Zuverlässigkeit; die Leistung hängt mehr von der spezifischen Modellarchitektur und der Trainingsqualität ab als von der Kapazität allein.

Was sind KI-Halluzinationen?

Halluzinationen treten auf, wenn ein LLM Informationen produziert, die real erscheinen, aber entweder vollständig erfunden oder faktisch ungenau sind. Im Gegensatz zu einfachen Fehlern sind Halluzinationen besonders problematisch, da sie mit derselben Zuversicht präsentiert werden wie genaue Informationen, was es für Benutzer schwierig macht, sie ohne externe Bestätigung zu erkennen.

Die Auswirkungen von LLM-Halluzinationen

KI-Halluzinationen betreffen viele Branchen, da Organisationen sich auf generative KI-Tools verlassen, um Texte zu produzieren, Daten zu analysieren und Entscheidungsfindung zu unterstützen. Die möglichen Ergebnisse variieren, aber mehrere Risiken treten konsistent auf:

Reputationsschaden

Wenn ein Modell ungenaue Informationen, falsche Narrative oder irreführende Ausgaben produziert, können Benutzer das Vertrauen in das System und die Organisation, die es einsetzt, verlieren. Der Wiederaufbau von Vertrauen, nachdem falsche Informationen Kunden, interne Teams oder die Öffentlichkeit erreicht haben, kann herausfordernd sein.

Beispielsweise ergab eine kürzlich durchgeführte Analyse von GPTZero² , dass Dutzende von bei NeurIPS 2025 angenommenen Papers KI-generierte Zitate enthielten, die während des Peer-Reviews nicht erkannt wurden. Nach der Analyse von mehr als 4.000 angenommenen Papers fand das Unternehmen Hunderte von fehlerhaften Referenzen in mindestens 50 Papers, die von völlig gefälschten Zitaten bis hin zu veränderten Versionen echter reichten.

Einige Fehler betrafen erfundene Autoren, Titel, Zeitschriften oder Links, während andere echte Zitate subtil änderten, indem sie Autorennamen oder Papiertitel modifizierten. GPTZero sagt, dass alle markierten Zitate später von menschlichen Experten verifiziert wurden.

NeurIPS erkannte die zunehmende Nutzung großer Sprachmodelle im wissenschaftlichen Schreiben an und sagte, dass es das Problem überwacht, wobei festgehalten wurde, dass falsche Referenzen die Ergebnisse eines Papers nicht automatisch ungültig machen. Dennoch nannte GPTZero die Ergebnisse alarmierend, da die Papers formell angenommen und auf einer hochselektiven Konferenz veröffentlicht wurden.

Die Ergebnisse unterstreichen, wie die Zunahme der Einreichungen, über 21.000 im Jahr 2025, eine gründliche Überprüfung erschwert und Bedenken hinsichtlich der Forschungsintegrität, Reproduzierbarkeit und der Risiken des Vertrauens auf KI-generierte Zitate im wissenschaftlichen Publizieren aufwirft.³

Rechtliche Risiken

In regulierten Bereichen wie Gesundheitswesen, Finanzen und Recht kann KI-generierter Inhalt, der faktische Fehler enthält, zu Compliance-Verstößen führen. Wenn generierter Inhalt ohne Verifizierung verwendet wird, können falsche Interpretationen von Daten oder Richtlinien zu Strafen, Schäden für Kunden oder Rechtsstreitigkeiten führen.

Beispielsweise sind KI-generierte gefälschte Fallzitate zu einem ernsthaften und wachsenden Problem für Gerichte geworden. Allein im Jahr 2025 erließen Richter weltweit Hunderte von Entscheidungen zu KI-Halluzinationen in rechtlichen Einreichungen, was etwa 90% aller bekannten Fälle dieses Problems bis heute ausmacht.

Richter sagen, dass diese Fehler knappe Zeit und Ressourcen verschwenden und Gerichte zwingen, nicht existente Fälle zu untersuchen, anstatt sich auf die Vorzüge von Streitigkeiten zu konzentrieren. Sowohl Anwälte als auch Richter selbst wurden dabei erwischt, sich auf fehlerhafte KI-Ausgaben zu verlassen, was zu Warnungen, ständigen Anordnungen und zunehmend strengen Sanktionen führte.

Da das Bewusstsein für die Grenzen der KI wächst, werden Gerichte weniger tolerant gegenüber Ausreden und betrachten halluzinierte Zitate als Fehlverhalten und nicht als Unwissenheit. Während Forscher, die das Problem verfolgen, ein schnelles Wachstum solcher Fälle melden, sehen viele die KI als allgemein vorteilhaft für juristische Arbeit an, wenn ihre Nutzung transparent, sorgfältig geprüft und als Entwurfswerkzeug und nicht als Quelle rechtlicher Wahrheit behandelt wird.⁴

Operative Ineffizienz

Wenn Benutzer sich nicht auf KI-generierten Text oder Ausgaben verlassen können, müssen sie Ergebnisse manuell doppelt überprüfen. Dies fügt Zeit hinzu und reduziert den Wert generativer künstlicher Intelligenz. Anstatt Workflows zu unterstützen, können Halluzinationen Engpässe schaffen, die eine menschliche Überprüfung erfordern, um falsche Informationen zu identifizieren.

Beispielsweise verursachte während eines Tests von KI-geschriebenen Polizeiberichten in Utah Hintergrundaudio aus einem Disney-Film, dass das System fälschlicherweise angab, ein Polizeibeamter habe sich in einen Frosch verwandelt. Der Vorfall ereignete sich während eines Pilotprojekts im Dezember mit KI-Tools wie Axons Draft One, die Körperkamera-Audio in schriftliche Berichte umwandeln, um Beamten Zeit zu sparen.

Während Beamte sagen, dass die Tools mehrere Stunden pro Woche an Bürokratie sparen können, enthüllte die Episode tiefere Bedenken hinsichtlich Genauigkeit und Aufsicht. Selbst routinemäßige Testberichte erforderten Korrekturen, und Kritiker warnen, dass KI Geräusche missverstehen, Unsicherheit glätten oder subtile Fehler einführen kann, die später Teil des offiziellen Protokolls werden.⁵

Ursachen von KI-Halluzinationen

Das Verständnis, warum Halluzinationen auftreten, ist entscheidend für die Entwicklung von Halluzinations-Minderungsstrategien und die Entscheidung, wann KI-generierten Inhalten vertraut werden soll.

Einschränkungen der Trainingsdaten

LLM werden trainiert auf riesigen Mengen an Internetdaten, Dokumenten und anderem Text. Einschränkungen in diesen Trainingsdaten können zu Halluzinationen führen:

• Unzureichende Trainingsdaten in spezialisierten Bereichen können Wissenslücken hinterlassen. Wenn das Modell aufgefordert wird, Text in solchen Domänen zu generieren, kann es fehlende Fakten mit erfundenen Informationen füllen, anstatt Unsicherheit zuzugeben.
• Qualitativ minderwertige Webseiten, Fake News oder irreführende Inhalte im Trainingsset können das Modell zu falschen Narrativen und faktischen Fehlern verzerren.
• Veraltete faktische Daten können dazu führen, dass das Modell falsche Informationen über Themen produziert, die sich nach dem Trainingszeitraum geändert haben.
• Trainingsdaten Verzerrungen können verzerren, wie KI-Modelle Menschen, Ereignisse oder mögliche Ergebnisse beschreiben.

Diese Probleme sind nicht einzigartig für die Textgenerierung. Ähnliche Probleme treten bei Computer-Vision-Modellen auf, die auf verzerrten oder unvollständigen Datensätzen trainiert wurden, obwohl Halluzinationen andere Formen annehmen, wie Fehlklassifikationen.

Wissensgrenze und kontinuierliche Updates

Frühere Generationen von KI-Modellen hatten ein genaues Stichtagsdatum für Wissen und keinen Zugriff auf Live-Daten aus externen Quellen. Wenn Benutzer nach aktuellen Ereignissen fragten, generierte das Modell oft trotzdem Ausgaben, was das Risiko von Halluzinationen erhöhte.

Moderne KI-Systeme kombinieren zunehmend statische Trainingsdaten mit Abruf aus einer Live-Wissensdatenbank oder anderen externen Quellen. Infolgedessen:

• Die Wissensgrenze ist für einige Modelle, hauptsächlich Offline-Bereitstellungen, immer noch relevant.
• In vielen Unternehmensumgebungen reduziert die retrieval-augmented generation die Auswirkungen von Stichtagen, indem sie aktuelle faktische Daten aus internen oder externen Datenquellen zieht.
• Halluzinationen in Bezug auf Aktualität spiegeln nun oft fehlende oder fehljustierte Abrufe wider, nicht nur das Alter der Modellparameter.

Übermäßiges Selbstvertrauen und Vorhersage des nächsten Wortes

Ein Sprachmodell generiert Text Token für Token und sagt das nächste Wort basierend auf Eingabekontext und vorherigen Tokens voraus. Das Modell ist optimiert, um flüssige, wahrscheinliche Fortsetzungen zu produzieren, nicht garantierte korrekte Antworten. Dies verursacht mehrere Effekte:

• Das Modell kann eine flüssige Erklärung priorisieren, anstatt zuzugeben, dass es die richtige Antwort nicht kennt.
• Es kann ein plausibles, aber falsches Informationsmuster auswählen, wenn dieses Muster häufig in den Trainingsdaten erscheint.
• Das Modell kann aus Mustern in Daten übergeneralisieren und Inhalte generieren, die spezifisch erscheinen, aber nicht in faktischen Quellen verankert sind.

Aus Sicht des Benutzers macht der Stil des KI-generierten Textes es schwierig zu erkennen, dass die Antwort falsch sein könnte.

Fehlinterpretation von Prompts und vage Prompts

Halluzinationen können auch aus der Formulierung von Eingabe-Prompts entstehen:

• Vage Prompts geben dem Modell zu viel Freiheit, was zu unerwarteten Ergebnissen oder Antworten führt, die nicht der Absicht des Benutzers entsprechen.
• Übermäßig breite Fragen ermutigen das Modell, Ausgaben jenseits des Wissens zu generieren, das entweder in seinen Parametern oder abgerufenen Dokumenten vorhanden ist.
• Ambige Formulierung kann dazu führen, dass das Modell eine Interpretation auswählt und selbstbewusst ungenaue Informationen basierend auf dieser Interpretation produziert.

Precisere Anweisungen und explizite Einschränkungen reduzieren diese Effekte oft, beseitigen sie aber nicht.

Strategien zur Reduzierung von KI-Halluzinationen

Techniken zur Minderung von Halluzinationen kombinieren typischerweise Architekturentscheidungen, Trainingsansätze und System-Level-Design anstatt einer einzelnen Lösung.

Tools zur Erkennung von KI-Halluzinationen

Tools zur Erkennung von KI-Halluzinationen bewerten, ob der gegebene Kontext oder Referenzdaten KI-generierte Ausgaben unterstützen. Diese Tools verwenden am häufigsten LLM-als-Richter-Methoden zusammen mit Techniken wie Konsistenzanalyse, Vertrauensbewertung und Implikations-basierter Verifizierung.

Wir haben 100 ausgewogene faktische Q&A-Testfälle getestet, um Tools zur Erkennung von KI-Halluzinationen zu vergleichen. W&B Weave und Arize Phoenix zeigten eine ähnliche Gesamtleistung von 91% bzw. 90%, während Comet Opik aufgrund einer konservativeren Erkennungsstrategie eine Genauigkeit von 72% erreichte. Lesen Sie Tools zur Erkennung von KI-Halluzinationen, um mehr über die Ergebnisse zu erfahren.

Retrieval-augmented generation

Retrieval-augmented generation verbindet generative KI-Modelle mit einer externen Wissensdatenbank. Wenn ein Benutzer eine Anfrage sendet:

• Das System ruft relevante Dokumente oder Daten aus kuratierten Quellen ab, wie interne Datenbanken, domänenspezifische Literatur oder ausgewählte Webseiten.
• Diese abgerufenen Passagen werden als zusätzlicher Kontext an das Sprachmodell weitergegeben.
• Das Modell generiert Ausgaben, die erwartet werden, näher an den abgerufenen faktischen Daten zu bleiben, anstatt sich ausschließlich auf seine gelernten Parameter zu verlassen.

Kürzliche Retrieval-augmented generation-Designs erweitern dieses Muster durch:

• Mehrschrittigen Abruf, bei dem das System abruft, zusammenfasst und dann erneut abruft, wenn Informationen fehlen.
• Strukturierten Abruf, bei dem die KI-Tools APIs, SQL-Datenbanken oder Wissensgraphen abfragen, anstatt nur unstrukturierte Dokumente.
• Überwachung der Abrufqualität, die prüft, ob der abgerufene Kontext die Antwort tatsächlich unterstützt, kann potenzielle Fälle von Halluzinationen markieren.

RAG garantiert keine faktische Genauigkeit, reduziert aber normalerweise Halluzinationen, insbesondere wenn die Wissensdatenbank sorgfältig kuratiert und regelmäßig aktualisiert wird.

Beispielsweise stellt ein neuer Artikel REFIND vor, eine retrieval-augmented Methode zum Erkennen halluzinierter Spannen in Ausgaben großer Sprachmodelle durch Messung der Empfindlichkeit jedes generierten Tokens gegenüber externen Beweisen.

Mit einer neuen Metrik namens Context Sensitivity Ratio (CSR) vergleicht REFIND Token-Wahrscheinlichkeiten mit und ohne abgerufene Dokumente und markiert Tokens, die sich signifikant ändern, als wahrscheinliche Halluzinationen.

Evaluiert auf dem mehrsprachigen SemEval-2025 Mu-SHROOM-Datensatz hilft der Ansatz, bestehende Baselines zu übertreffen, insbesondere in ressourcenarmen Sprachen. Die Ergebnisse zeigen, dass die Verankerung der Halluzinationserkennung in abgerufenen Beweisen eine präzisere, zuverlässigere und skalierbare Identifizierung faktischer Fehler in LLM-generiertem Text ermöglicht.⁶

Prompt-Design in modernen Systemen

Prompt-Engineering hat sich geändert, da generative KI-Modelle verbessert wurden. Es geht nicht mehr nur um clevere Formulierung. In aktuellen Systemen konzentriert sich Prompt-Design auf:

• Das klare Darlegen der Aufgabe, Eingaben und Einschränkungen, einschließlich dessen, was als korrekt gilt und was unbeantwortet bleiben sollte.
• Das Anweisen des Modells, „Ich weiß es nicht" zu sagen oder mehr Informationen anzufordern, wenn die gegebene Eingabe unvollständig ist.
• Das Ermutigen des Modells, sich explizit auf den zitierten Kontext zu beziehen, anstatt Details zu erfinden, die nicht in den bereitgestellten Daten vorhanden sind.
• Das Ausrichten von Rollen-Anweisungen, Tools und Abruf-Einstellungen, damit das Modell weiß, wann es externe Quellen verwenden und wann es sich auf seine eigenen Parameter verlassen soll.

Gute Prompts verbessern die Qualität von KI-Ausgaben, aber sie sind jetzt Teil eines größeren Systems, das Abruf, Tools und Verifizierung umfasst.

Exakte Faktenprüfung und Verifizierungsmethoden

Das Überprüfen von KI-generiertem Inhalt gegen zuverlässige faktische Daten bleibt eine zentrale Strategie. Verifizierung kann auf verschiedene Arten erfolgen:

• Automatisierter Abruf und Vergleich: Das System verwendet retrieval-augmented generation, um Dokumente zu ziehen, und prüft dann, ob diese Dokumente wichtige Behauptungen im generierten Inhalt unterstützen.
• Cross-Model-Verifizierung: Ein Sprachmodell generiert eine Antwort, und ein anderes Modell oder eine andere Konfiguration überprüft sie auf faktische Fehler.
• Tool-basierte Verifizierung: KI-Modelle rufen spezialisierte KI-Tools ab, wie Code-Interpreter, Rechner oder domänenspezifische APIs, um numerische Werte, Daten oder strukturierte Ausgaben zu verifizieren.
• Menschliche Überprüfung im Loop: Fachexperten untersuchen den kritischsten KI-generierten Text, bevor er in Produktion verwendet oder veröffentlicht wird.

Moderne Systeme kombinieren oft diese Ansätze, indem sie automatische Checks für den meisten Inhalt verwenden und verdächtige Fälle zur menschlichen Überprüfung eskalieren.

Agente Ansätze zur Reduzierung von Halluzinationen

Kürzliche Arbeiten in der künstlichen Intelligenz haben agente Systeme eingeführt, bei denen ein Modell planen, Tools aufrufen und mehrere Schritte unternehmen darf, anstatt in einem Durchgang zu antworten. Dies ändert, wie Halluzinationen erscheinen und wie sie reduziert werden können.

Agente Sprachmodellsysteme können:

• Eine Frage in Teilprobleme zerlegen und sie schrittweise lösen.
• Entscheiden, wann mehr Daten benötigt werden, und zusätzlichen Abruf aus einer Wissensdatenbank oder externen Quellen durchführen.
• Domänenspezifische Tools aufrufen, wie Such-APIs, Datenbanken oder Rechner, um Zwischenergebnisse zu verifizieren.
• Ihre eigene Entwurfsantwort neu bewerten und Teile, die mit abgerufenen Beweisen im Widerspruch stehen, überarbeiten.

Beispielsweise kann der KI-Agent anstatt sofort eine lange Antwort zu generieren:

1. Relevante Dokumente abrufen.
2. Quellen zusammenfassen und vergleichen.
3. Widersprüche oder fehlende Daten identifizieren.
4. Dem Benutzer Folgefragen stellen, wenn die Aufgabe unter-spezifiziert ist.
5. Erst dann die endgültige Antwort generieren.

Diese mehrstufige Struktur macht Halluzinationen sichtbarer und bietet zusätzliche Punkte, an denen Checks angewendet werden können.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Unsicherheitsschätzung und Vertrauenswerte

Ein weiterer aktiver Bereich ist die Schätzung der Wahrscheinlichkeit, dass eine KI-Ausgabe faktische Fehler enthält. Unsicherheitsschätzung kann sowohl während als auch nach der Generierung verwendet werden. Einige Ansätze umfassen:

• Token-Level-Vertrauenswerte, die zeigen, wie sicher das Modell bei jedem Wort oder jeder Phrase ist. Regionen mit niedrigem Vertrauen können zur Überprüfung markiert werden.
• Konsistenzchecks, bei denen das Modell dieselbe Frage auf verschiedene Arten oder mit variierenden Prompts beantwortet, und das System misst, wie stabil die Antworten sind.
• Kontextausreichlichkeitschecks, bei denen ein separates Modell bewertet, ob die abgerufenen Dokumente ausreichende Informationen enthalten, um die Frage zu beantworten.
• Prä-Generierungs-Risikobewertung, bei der das System vorhersagt, ob eine gegebene Eingabe wahrscheinlich Halluzinationen in einer bestimmten Modellkonfiguration induziert.

Diese Methoden entfernen keine Halluzinationen, helfen aber Organisationen, hochriskante Ausgaben zu identifizieren und sie zu stärkeren Verifizierungsflüssen oder menschlichen Prüfern zu leiten.

Unsicherheit gegenüber Benutzern kommunizieren

Das Kommunizieren von Unsicherheit gegenüber Benutzern ist entscheidend, wenn KI-Systeme auf Einschränkungen stoßen. Einige effektive Praktiken sind:

1. Die Verwendung von absichtlich unsicherer Sprache hilft, angemessene Erwartungen zu setzen und irreführende Ausgaben zu reduzieren, die falsche Informationen verbreiten könnten.
2. Durch die Integration von Indikatoren für faktische Fehler können Modelle signalisieren, wenn ihnen das Vertrauen in ihre Antworten fehlt. Diese Transparenz, die in jüngsten Technologie-Review-Publikationen empfohlen wird, verhindert, dass Benutzer KI-generierten Inhalt als wahrheitsgemäß betrachten.
3. Das Hervorheben spezifischer textlicher Elemente, die die Antwort des Modells beeinflusst haben, hilft Benutzern, die Begründung hinter unsicheren Ausgaben zu verstehen, während die Anzeige von Vertrauensbewertungen eine zuverlässigere Bewertung ermöglicht.
4. Beim Umgang mit komplexen Problemen ermutigt das Präsentieren mehrerer Quellen Benutzer, Behauptungen unabhängig zu verifizieren, anstatt sich ausschließlich auf KI-Ausgaben zu verlassen, die Halluzinationen enthalten könnten.

Diese Ansätze, die durch umfangreiches menschliches Feedback validiert wurden, schaffen eine ehrlichere Beziehung zwischen Benutzern und generativen KI-Modellen, indem sie anerkennen, wann Wissensdatenbank-Einschränkungen zu potenziellen Halluzinationen führen könnten.

Das Risiko von Halluzinationen vor ihrem Auftreten abschätzen

Das Erkennen von gefälschtem Inhalt, nachdem das LLM es bereits generiert hat, ist der Hauptfokus der meisten aktuellen Halluzinationsforschung. Tools wie RefChecker und Hallucination Guard zielen darauf ab, verdächtige Ausgaben hervorzuheben oder zu bewerten, um Benutzern zu helfen, die halluzinierten Ergebnisse zu filtern oder zu korrigieren.

Eine neue Perspektive interpretiert das Problem neu und schlägt vor, dass Halluzinationen Kompressionsartefakte und keine „Bugs" sind. Während des Betriebs dekomprimieren große Sprachmodelle Informationen, die zuvor in ihre Parameter komprimiert wurden. Ähnlich wie eine beschädigte ZIP-Datei Müll beim Entpacken produziert, füllt das Modell Lücken mit plausiblen, aber gefälschten Inhalten, wenn sein „Informationsbudget" begrenzt ist.⁷

LLMs optimieren die Effizienz im Durchschnittsfall, was zu gelegentlichen systematischen Halluzinationen führen kann. Das Expectation-level Decompression Law (EDFL) definiert die Informationsgrenzwerte, die benötigt werden, um Halluzinationen in LLMs zu verhindern.

Der Open-source Hallucination Risk Calculator ermöglicht eine Prä-Generierungs-Risikobewertung, Fehlergrenz-Einstellung, Kontextbewertung und SLA-ähnliche Garantien, die alle in regulierten Bereichen sehr nützlich sind. Er kann mit jeder OpenAI-kompatiblen API verwendet werden.

Methodik des KI-Halluzinations-Benchmarks

Unser Ziel ist es, festzustellen, ob Modelle Unternehmensinformationen verdauen und genaue Schlussfolgerungen daraus ziehen können. Dies ist ein Bereich, in dem LLMs den größten Wert für Unternehmen generieren können, und wir wollten die Halluzinationsraten in diesem Kontext verstehen.

Unser Benchmark bewertet LLM-Halluzinationsraten unter Verwendung eines Datensatzes von Fragen, die von CNN News-Artikeln abgeleitet sind.

Wir verwendeten ein automatisiertes Web-Datenerfassungssystem zum Aufbau des Datensatzes, indem wir Artikel direkt aus dem RSS-Feed von CNN bezogen. Aus diesen Artikeln erstellten wir 60 Fragen, die entwickelt wurden, um die Fähigkeit eines LLMs, faktische, artikel-spezifische Informationen abzurufen, rigoros zu testen.

Die Fragen wurden absichtlich so konstruiert, dass sie:

• Präzise numerische Werte (Prozentsätze, Daten, Mengen) abfragen.
• Verschiedene Themen wie Ölpreise, Kunstgeschichte, wissenschaftliche Forschung, Finanzen und mehr abdecken.
• Zeitliche Beziehungen und statistische Fakten enthalten, die schwer zu erraten sind.
• Exakten Abruf aus dem bereitgestellten Text erfordern, anstatt generalisiertes Schlussfolgern.
• Die Verifizierung erleichtern, indem geprüft wird, ob die Antwort mit der Zahl aus dem Originalartikel übereinstimmt.

Evaluation unter Verwendung eines dreistufigen Faktenprüfersystems

Nachdem die Fragen an jedes LLM durch API-Aufrufe gesendet wurden, werden die Antworten unter Verwendung einer zweistufigen Faktenprüfungs-Pipeline bewertet:

1. Statischer Exact-Match-Check: Das System führt zunächst einen schnellen String-Vergleich zwischen der Antwort des LLM und dem aus dem Artikel extrahierten Grundwahrheitswert durch. Wenn die Werte exakt übereinstimmen, wird die Antwort als korrekt markiert.
2. LLM als Richter-Semantik-Validierung: Wenn kein exakter Treffer gefunden wird, verwendet ein zusätzlicher Evaluierungsschritt ein LLM-als-Richter-Modell, um zu bestimmen, ob die Antwort semantisch äquivalent zum Grundwahrheitswert ist.
   Dies berücksichtigt Variationen in der Formatierung oder Formulierung, wie
   • „26 Millionen" vs. „26000000"
   • „n/a", „nicht verfügbar" oder „nicht gegeben"
   • geringe Formulierungsunterschiede, die die gleiche Bedeutung behalten.
3. Endgültiger Check: Der LLM-als-Richter kann auch halluzinieren. Um dies zu lösen, haben wir einen weiteren LLM-als-Richter gebaut, um die Ausgaben zu überprüfen, die vom ersten LLM-als-Richter als „gescheitert" markiert wurden, um zu verifizieren, ob sie wirklich gescheitert sind oder unser LLM-als-Richter halluziniert hat. Wenn eine Antwort von diesem LLM-als-Richter als verdächtig markiert wird, haben wir sie überprüft und manuell bewertet, um sicherzustellen, dass während der Evaluierungen keine Fehler auftreten.

Die Antwort wird nur dann als Halluzination klassifiziert, wenn sie sowohl den Exact-Match-Check, die semantische Äquivalenz-Evaluation als auch den endgültigen Check nicht besteht.

Beispiel

Prompt: „Beantworten Sie die Frage unter Verwendung nur der Informationen, die im bereitgestellten Artikel erscheinen. Runden Sie die Antworten nicht ab. Antworten Sie nur mit einem Wort oder einer Zahl oder ‚nicht gegeben'."

Artikel: Wissenschaftler identifizieren geheimes Ingredient in Leonardo da Vinci-Gemälden ⁸

Frage: In welchem Jahrhundert breitete sich Ölgemälde nach Nordeuropa aus?
Grundwahrheit: Nicht gegeben.

Der Artikel liefert diese Information nicht; er verweist nur auf das Mittelalter. Daher zeigt jede Antwort außer „nicht gegeben", dass das Modell dem Artikel nicht folgt und erfundene oder angenommene Informationen generiert, was zu einer Halluzination führt.

FAQs

Weitere Lesungen

• 8 KI-Code-Modelle getestet: LMC-Eval
• Verstehen der LLM-Preise: Große Anbieter verglichen
• KI-Gedächtnis: Beliebteste KI-Modelle mit dem besten Gedächtnis
• KI-Agent-Leistung: Erfolgsquoten & ROI

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{alper2026,
  author = {Alper, Şevval and Kalelioğlu, Berk},
  title  = {{AI Halluzination: Vergleichen Sie führende LLMs wie GPT-5.2}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/ai-hallucination}},
  note   = {AIMultiple. Abgerufen am 4. Juni 2026}
}

Referenzlinks

1.

Managing gen AI risks | Deloitte Insights

Deloitte

2.

GPTZero finds 100 new hallucinations in NeurIPS 2025 accepted papers

AI Detection Resources | GPTZero

3.

NeurIPS research papers contained 100+ AI-hallucinated citations, new report claims | Fortune

Fortune

4.

AI-Faked Cases Become Core Issue Irritating Overworked Judges

5.

forbes.com

Forbes

6.

https://arxiv.org/pdf/2502.13622

7.

LLM hallucinations predicted with new algorithm, open-sourced | Leon Chlon, PhD posted on the topic | LinkedIn

8.

An Old Master’s secret ingredient? Egg yolk, new study suggests | CNN

Getty Images

Şevval Alper

KI-Forscher

Folgen auf

Şevval ist Branchenanalystin bei AIMultiple und spezialisiert auf KI-Codierungswerkzeuge, KI-Agenten und Quantentechnologien.

Vollständiges Profil anzeigen

Technisch geprüft von

Berk Kalelioğlu

KI-Forscher

Folgen aufVollständiges Profil anzeigen

Kommentare 4

Teilen Sie Ihre Gedanken

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten

Abraham

Aug 25, 2025 at 11:57

This article is updated in June while the GPT 5 is announced in August. How did you test GPT 5 in AI Hallucination Rates figure

Antworten

Aleyna Daldal

Sep 05, 2025 at 08:46

Hi! Thanks for your comment. We use WordPress for our articles, which allows us to update graphs and tables independently of the main text. This means that even if the article text shows an earlier update date, we can still add the latest results to the figures without altering the written sections.

Antworten

Rui

Aug 08, 2025 at 20:31

Hi Cem, I've been using this article as a reference of severity of hallucination. Is it possible to refresh the report with the newly released GPT-5? Thanks!

Antworten

Aleyna Daldal

Sep 05, 2025 at 08:48

Hi Rui, Thanks a lot for your interest and for using our article as a reference. We’ve already refreshed the report with GPT-5 results, so you’ll find the latest updates included in the article.

Antworten

Tim

Jul 19, 2025 at 10:13

Is there any chance that you might add Claude Sonnet/Opus 4 as well as Gemini 2.5 Pro?

Antworten

Aleyna Daldal

Sep 05, 2025 at 08:48

Hi Tim, Thank you for your support and suggestion. Claude Sonnet/Opus 4 and Gemini 2.5 Pro have already been added to the article, so you can now see them included in the comparisons.

Antworten

Joon

Feb 28, 2025 at 16:29

Hi, thank you for interesting benchmark! I was wondering Grok3's hallucination rate, both in Think mode and without. Are you planning to add these?

Antworten

Cem Dilmegani

Mar 17, 2025 at 02:52

Hi Joon and thank you for your comment, Yes, we are waiting for API access.

Antworten