HALC-Bench: LLM Hallucination sur un benchmark de récupération en contexte long
HALC-Bench (LLM Hallucination on Long-Context Retrieval Benchmark) mesure la résistance d'un LLM à fabriquer des preuves pour une métrique qui n'existe pas dans le document cible en utilisant 3 bottes de foin placées au début, au milieu et à la fin de la fenêtre de contexte du modèle, avec 204 questions.
Résultats
claude-fable-5 a répondu correctement aux 204 pièges à chaque position de botte de foin. Parmi les modèles restants, gpt-5.5 a le moins halluciné. Aucune corrélation n'a été trouvée entre l'emplacement de la botte de foin et les taux d'hallucination.
Méthodologie
204 questions sont préparées à partir d'articles de Motley Fool avec des dates postérieures à la coupure des connaissances, et les bottes de foin sont positionnées à 0,1, 0,5 et 0,9 de la fenêtre de contexte du modèle.
Les modèles évalués et leurs fenêtres de contexte testées en tokens sont les suivants :
- anthropic/claude-fable-5 : 850 000 tokens testés
- openai/gpt-5.5 : 1 000 000 tokens
- google/gemini-3.1-pro-preview : 1 000 000 tokens
- google/gemini-3.5-flash : 1 000 000 tokens
- anthropic/claude-opus-4.8 : 1 000 000 tokens annoncés, 850 000 testés.
- anthropic/claude-sonnet-4.6 : 1 000 000 tokens
- qwen/qwen3.6-plus : 1 000 000 tokens
- moonshotai/kimi-k2.6 : 200 000 tokens
- z-ai/glm-5.1 : 200 000 tokens
- minimax/minimax-m2.7 : 150 000 tokens
- openai/gpt-5.4-mini : 250 000 tokens
claude-opus-4.8 est testé au niveau de 850 000 tokens car il ne peut pas recevoir avec succès l'entrée d'un test de fenêtre de contexte de 1 000 000 tokens.
claude-fable-5 est testé via Claude Code : le modèle reçoit la botte de foin de 850 000 tokens sous forme de fichier et la recherche avec des outils de récupération au lieu de la lire depuis sa fenêtre de contexte, ses scores mesurent donc le modèle avec le harnais Claude Code.
Question format
Une affirmation concernant une métrique qui n'est discutée nulle part dans la transcription cible.
Exemple d'affirmation : Les émissions de carbone Scope 1 et 2 déclarées par DocuSign (DOCU) pour le T4 2026 sont de 8 700 tonnes métriques CO2e.
Réponse attendue : Non mentionné
Source des données
Les transcriptions de Motley Fool publiées après la date de coupure des connaissances des modèles sont utilisées comme source de données. Des pièges rédigés manuellement basés sur les lacunes réelles de contenu de chaque transcription. Pour chacune des 14 transcriptions sources :
- Identifier manuellement les catégories de métriques absentes de la transcription (par ex., DocuSign T4 2026 ne discute jamais des métriques ESG / carbone ; Adobe ne détaille jamais les revenus APAC ; Lennar ne déclare jamais les dépenses R&D car c'est un constructeur de maisons).
- Construire une affirmation plausible avec un nombre, des unités et une référence de trimestre réalistes.
- Vérifier l'absence par programme via une recherche par mots-clés dans le corps du texte. Chaque affirmation a 3 à 8 variantes de mots-clés (par ex., « carbon emissions », « scope 1 », « scope 2 », « ghg », « co2 ») ; si un mot-clé correspond au corps nettoyé, le piège est rejeté comme ambigu.
- Examiner manuellement les survivants pour filtrer les faux négatifs de la vérification par mots-clés.
Pourquoi cela isole-t-il l'hallucination ?
Le document cible ne discute pas de la métrique, mais les documents distracteurs dans la botte de foin discutent souvent de métriques similaires pour d'autres entreprises. Un modèle qui hallucine va :
- Soit fabriquer un nombre basé sur les distracteurs
- Soit affirmer que la métrique est mentionnée avec une valeur erronée (prédire non au lieu de not_mentioned)
Les deux modes d'échec donnent un score = 0. Seule la réponse correcte « not mentioned » obtient 1,0.
Règle de notation
Score = 1,0 si prédit == not_mentioned, sinon 0,0.
Le modèle d'erreur le plus diagnostique est prédit = non alors qu'attendu = not_mentioned. Cela signifie que le modèle prétend avoir vu la métrique mais avec une valeur erronée. Il a fabriqué une preuve de présence.
Distribution des pièges par transcription source
Environ 17 pièges par transcription sur 14 transcriptions sources couvrant 10 secteurs (semi-conducteurs, SaaS, vente au détail, restaurants, CPG, construction de maisons, finance, production alimentaire, matériel d'entreprise et autres) conçus pour que le test ne mesure pas l'hallucination sur un seul domaine.
Un total de 204 questions distinctes sont utilisées dans le benchmark, positionnées à différentes positions de botte de foin dans la fenêtre de contexte.
Qu'est-ce que l'hallucination d'IA ?
Une hallucination d'IA est une réponse générée par un système d'intelligence artificielle qui contient des informations fausses, fabriquées ou trompeuses présentées comme des faits. IBM définit le phénomène comme se produisant lorsqu'un LLM perçoit des motifs ou des objets inexistants ou imperceptibles pour les observateurs humains, produisant des résultats absurdes ou factuellement inexacts et non fondés sur les données d'entraînement.1 L'article de Wikipédia le définit de manière similaire comme une réponse contenant des informations fausses ou trompeuses présentées comme des faits, en listant « bullshitting », « confabulation » et « délire » comme termes alternatifs utilisés dans la littérature.2
Le profil d'IA générative du cadre de gestion des risques de l'IA du National Institute of Standards and Technology (NIST IA 600-1), publié en juillet 2024, adopte formellement « confabulation » plutôt que « hallucination » comme terme principal. Le NIST définit la confabulation comme la production de contenu énoncé avec confiance mais erroné ou faux, connu familièrement sous le nom d'hallucinations ou de fabrications, par lequel les utilisateurs peuvent être induits en erreur ou trompés.3 Cette définition couvre explicitement les résultats qui divergent de l'invite ou contredisent des déclarations précédemment générées dans le même contexte, pas seulement les affirmations qui entrent en conflit avec la réalité externe.
L'hallucination diffère d'une erreur ou d'une faute de frappe ordinaire sur deux dimensions critiques. Premièrement, la fluidité et la confiance : la définition du NIST exige que le contenu soit « énoncé avec confiance », portant les mêmes marqueurs grammaticaux et stylistiques de certitude qu'une réponse correcte, sans atténuation ni signal de doute.3 Deuxièmement, la fabrication par opposition à la corruption : IBM définit l'échec comme le modèle générant du contenu qui n'a aucun fondement dans ses données d'entraînement ou son entrée.
Impact réel de l'hallucination d'IA dans tous les secteurs
Des incidents documentés dans les secteurs juridique, de la santé et de la finance démontrent que l'hallucination n'est pas une préoccupation théorique mais une source de dommages financiers et opérationnels mesurables.
Système juridique : citations fabriquées et sanctions judiciaires
La base de données des cas d'hallucination d'IA de Damien Charlotin, le recensement public le plus complet, a documenté 1 598 cas dans le monde au 9 juin 2026, avec de nouveaux cas ajoutés à un rythme d'environ 8 par jour.4
Dans l'affaire Coomer c. Lindell (tribunal de district des États-Unis, district du Colorado), la juge Nina Wang a sanctionné les avocats Christopher I. Kachouroff et Jennifer T. DeMaster de 3 000 $ chacun en juillet 2025 après avoir constaté environ 30 citations défectueuses, y compris des citations erronées et des affaires inexistantes, dans les dépôts pour Mike Lindell et MyPillow.5 La même juge a de nouveau sanctionné Kachouroff en mai 2026, cette fois de 5 000 $, pour une autre citation matériellement incorrecte.6
Dans l'affaire Couvrette c. Wisnovsky, un tribunal fédéral de l'Oregon a rejeté les demandes des plaignants avec préjudice et imposé un total de 110 204,38 $ de sanctions dans des ordonnances datées de décembre 2025 et mars 2026 contre l'avocat californien Stephen Brigandi et l'avocat de Portland Tim Murphy. Le duo a cité 15 affaires inexistantes et 8 citations fabriquées dans trois mémoires déposés sur cinq mois.7
Dans l'affaire Whiting c. City of Athens, Tennessee, un panel de la Sixth Circuit a constaté en mars 2026 que les avocats Van Irion et Russ Egli avaient inclus plus de deux douzaines de citations fabriquées et déformé une ordonnance de sanctions du tribunal de district. Le tribunal a ordonné à chaque avocat de payer 15 000 $ au greffe du tribunal, de rembourser la totalité des frais d'appel de la partie adverse, de payer le double des coûts et de faire face à un renvoi disciplinaire.8 9
Le 20 juillet 2025, le juge de district américain Henry T. Wingate (district sud du Mississippi) a émis une ordonnance de restriction temporaire contenant des erreurs factuelles, y compris des parties mal nommées et une citation d'une affaire inexistante. Après que le sénateur Chuck Grassley a envoyé une demande de renseignements, Wingate a reconnu que son assistant juridique avait utilisé Perplexity pour rédiger l'ordonnance. Wingate a adopté une politique interne exigeant une deuxième révision indépendante des projets d'ordonnances et des impressions physiques de toutes les affaires citées.10 11
La firme de suivi ComplexDiscovery a documenté des sanctions passant d'environ 5 000 $ dans une seule affaire en 2023 à 55 597 $ dans une seule affaire en 2025, une augmentation de 11x sur environ 18 mois ; combinées avec le chiffre de Couvrette, les sanctions par affaire ont atteint environ 110 000 $ d'ici le début à la mi-2026.12 Des tribunaux au Royaume-Uni, à Singapour, au Canada, en Australie, en Argentine, dans l'UE, en Corée, en Italie, en Norvège et en France ont tous rendu des décisions sur des dépôts hallucinés par l'IA.13 14
Soins de santé et documentation clinique
Le 18e rapport annuel Top 10 des risques technologiques pour la santé de l'ECRI, publié le 4 décembre 2024, a classé « les risques liés aux technologies de santé assistées par l'IA » comme le danger numéro un pour 2025, citant spécifiquement les systèmes d'IA produisant des résultats hallucinés faux ou trompeurs et le risque que l'IA perpétue les biais contre les groupes de patients sous-représentés.15 16
Une étude de 2025 publiée dans Communications Medicine a testé plusieurs LLM sur la synthèse de cas cliniques en utilisant 300 vignettes cliniques simulées validées par des médecins, chacune contenant un détail fabriqué. L'étude a trouvé un taux d'hallucination global de 65,9 % sans incitation d'atténuation, tombant à 44,2 % avec une incitation d'atténuation structurée ; GPT-4o était le modèle plus performant, passant de 53 % au départ à 23 % avec l'atténuation active.17 18
Finance et service client
La Securities and Exchange Commission a engagé des actions d'application pour des déclarations inexactes sur l'IA. Le 18 mars 2024, la SEC a réglé ses premières accusations d'écoblanchiment d'IA contre deux conseillers en investissement, Delphia (USA) Inc. et Global Predictions, Inc., pour un total de 400 000 $ de sanctions civiles.19 En février 2024, la SEC a réglé des accusations de fraude contre Rockwell Capital Management et son directeur Brian Sewel concernant un fonds qui prétendait faussement utiliser une technologie d'IA qui n'a jamais existé, entraînant 1 602 089 $ de restitution et d'intérêts plus une pénalité personnelle de 223 229 $.20 En janvier 2025, la SEC a intenté sa première action d'écoblanchiment d'IA contre une entreprise publique, Presto Automation Inc., pour ne pas avoir divulgué que son produit de reconnaissance vocale d'IA était en réalité un outil tiers nécessitant une intervention humaine importante.21
Dans l'affaire Moffatt c. Air Canada, 2024 BCCRT 149, décidée le 14 février 2024 par le Civil Resolution Tribunal de la Colombie-Britannique, le tribunal a rejeté l'argument d'Air Canada selon lequel elle n'était pas responsable des déclarations de son chatbot. Jake Moffatt avait été informé par le chatbot du site web de la compagnie aérienne qu'il pouvait demander une réduction de deuil rétroactivement après avoir réservé des billets plein tarif ; c'était faux. Le tribunal a ordonné à Air Canada de payer à Moffatt 650,88 $ de dommages-intérêts pour déclaration négligente.22 23
Quelle est la fréquence des hallucinations d'IA ?
Les taux d'hallucination varient énormément selon le type de tâche et la méthodologie d'évaluation, ce qui rend les résumés à un seul chiffre trompeurs. Le rapport IA Index 2026 de Stanford HAI documente un nouveau benchmark de précision testant si les modèles peuvent distinguer entre la croyance d'un tiers et la croyance de l'utilisateur lorsqu'on leur présente des déclarations fausses. Les taux d'hallucination sur 26 modèles de premier plan vont de 22 % à 94 % sur ce benchmark.24
La méthodologie explique cette large dispersion. Les modèles gèrent bien les fausses déclarations lorsqu'elles sont formulées comme quelque chose qu'un tiers croit, mais les performances s'effondrent lorsque la même fausse déclaration est formulée comme quelque chose que l'utilisateur croit. Dans ce cadre de « croyance de l'utilisateur », la précision de GPT-4o est passée de 98,2 % à 64,4 %, et DeepSeek R1 est tombé de plus de 90 % à 14,4 %.24
Sur les tâches de résumé ancré, les taux sont plus bas mais les changements de benchmark compliquent l'analyse des tendances. Le classement d'hallucination de Vectara (modèle HHEM) mesure la fréquence à laquelle les résumés contiennent des affirmations non étayées par les documents sources. Dans la version originale du classement utilisée pendant la majeure partie de 2025, Google Gemini-2.0-Flash-001 a atteint un taux d'hallucination de 0,7 %. En novembre 2025, Vectara a remplacé le benchmark par un ensemble de données plus difficile utilisant des documents plus longs (jusqu'à 32K tokens) couvrant le droit, la médecine, la finance, la technologie et l'éducation. Sur ce nouveau benchmark, le leader actuel est finix_s1_32b d'Ant Group à 1,8 %, avec Google Gemini-2.5-flash-lite à 3,3 % et OpenAI gpt-5.4-nano à 3,1 %.25 Vectara déclare explicitement que les scores des anciennes et nouvelles versions ne doivent pas être comparés directement, car le nouvel ensemble de données est intentionnellement plus difficile.26
Détecter et réduire les hallucinations d'IA
Les approches techniques d'atténuation ciblent différentes étapes du pipeline de génération, de l'architecture de récupération à la conception de l'évaluation.
Génération augmentée par récupération et ancrage
La génération augmentée par récupération standard combine un modèle de langage paramétrique pré-entraîné avec un index de récupération non paramétrique, conditionnant la sortie sur des documents récupérés au moment de l'inférence plutôt que de se fier uniquement aux faits mémorisés pendant l'entraînement.27 La recherche en interprétabilité mécanistique retrace les hallucinations dans les systèmes RAG à deux composants internes : les « Knowledge FFNs » (couches de réseau feed-forward encodant les connaissances paramétriques) et les « Copying Heads » (têtes d'attention responsables du transfert du contexte récupéré dans la sortie). L'hallucination se produit lorsque les Knowledge FFNs surestiment les connaissances paramétriques tandis que les Copying Heads échouent à retenir le contenu externe récupéré.28
Le SQL RAG applique la récupération au niveau du schéma plutôt qu'au niveau du document, en récupérant les instructions CREATE TABLE et les requêtes d'exemple à l'aide d'embeddings sémantiques. Cela empêche structurellement les modèles d'inventer des éléments de schéma car seules les définitions de schéma réelles et récupérées sont en contexte. Cependant, l'élargissement du contenu du schéma récupéré améliore la discrimination de récupération mais augmente les taux d'hallucination une fois que les invites dépassent une taille optimale, indiquant que la capacité de génération en aval limite la mesure dans laquelle le SQL RAG peut réduire la fabrication.29
GraphRAG de Microsoft Research convertit les corpus sources en graphes de connaissances avant la récupération, en pré-générant des résumés communautaires pour les clusters d'entités liées. Cela répond à la difficulté du RAG standard avec les questions globales sur des corpus entiers en récupérant des relations structurées entre entités plutôt que des fragments isolés.30 31
Calibration, prompting et méthodes d'évaluation
L'article de septembre 2025 d'OpenAI soutient que les changements de conception d'évaluation peuvent modifier les taux d'hallucination en modifiant ce qui est optimisé pendant le développement du modèle. Les auteurs proposent d'ajouter des seuils de confiance explicites aux benchmarks, tels que « répondez seulement si vous êtes sûr à plus de t%, car les erreurs sont pénalisées de t/(1−t) points. » Avec cette règle de notation, répondre ne surpasse l'abstention que lorsque la confiance réelle du modèle dépasse le seuil, supprimant l'incitation à deviner.32 33
Le prompting structuré réduit les taux d'hallucination dans des domaines spécifiques. L'étude de Communications Medicine a révélé qu'une invite d'atténuation demandant aux modèles d'« utiliser uniquement des informations cliniquement validées et de reconnaître l'incertitude au lieu de spéculer davantage » a réduit les taux d'hallucination de 64,1 % à 43,1 % pour les vignettes cliniques longues, et d'environ 66 % à 44 % en moyenne sur tous les modèles et longueurs de cas.34 18 Le décodage à température 0 (déterministe) n'a produit aucune amélioration significative, isolant la structure de l'invite plutôt que le caractère aléatoire du décodage comme variable efficace.34
L'hallucination d'IA est-elle un problème résoluble ?
La question de savoir si l'hallucination peut être éliminée reste véritablement contestée entre les résultats théoriques d'impossibilité et les tendances empiriques de baisse des taux sur les benchmarks.
L'article « Hallucination is Inevitable » fournit un argument formel selon lequel les LLM ne peuvent pas apprendre toutes les fonctions calculables et hallucineront donc inévitablement s'ils sont utilisés comme résolveurs de problèmes généraux, encadrant cela comme une limitation innée indépendamment de l'architecture ou des améliorations d'entraînement.35 Un résultat théorique connexe prouve que les modèles ne peuvent pas simultanément atteindre une cohérence élevée (générer uniquement des déclarations étayées par les données d'entraînement) et une couverture élevée (couvrir toute la diversité de la langue cible) ; pousser vers l'un pousse nécessairement vers l'autre mode d'échec, soit l'hallucination, soit l'effondrement modal.36 37
Face à ces limites théoriques se trouve la tendance empirique de baisse des taux d'hallucination sur les benchmarks standardisés, les meilleurs modèles atteignant moins de 2 % sur les tâches de résumé ancré. Cependant, cette tendance est compliquée par le désalignement de l'évaluation. La recherche d'OpenAI identifie la notation binaire dans les benchmarks dominants comme un obstacle structurel qui récompense mathématiquement les suppositions confiantes plutôt que l'incertitude calibrée, ce qui signifie que les taux rapportés mesurent les performances par rapport à des structures d'incitation qui peuvent ne pas refléter les exigences de fiabilité du monde réel.32
Une enquête de février 2024 soutient que l'hallucination et la génération créative peuvent partager des mécanismes sous-jacents, encadrant les deux comme un compromis plutôt que comme des modes d'échec et de succès séparables. Supprimer le mécanisme génératif qui produit des sorties exploratoires risque de supprimer la capacité, pas seulement le risque, en particulier dans des domaines comme le brainstorming ou la fiction.38 Cela s'aligne avec le comportement observé des paramètres de décodage : les réglages de température basse (0 à 0,3) sont recommandés pour l'extraction factuelle, tandis que les réglages plus élevés (0,7 à 1,0) augmentent délibérément la variance et avec elle le risque d'hallucination pour les tâches créatives.39
Ajouter comme source préféréeOù se dirigent la politique et la recherche sur l'hallucination d'IA ?
La base de données des incidents d'IA a enregistré 362 incidents documentés en 2025, contre 233 en 2024, selon le rapport IA Index 2026 de Stanford HAI.24 Parmi les entreprises signalant des incidents d'IA, la part signalant 3 à 5 incidents a augmenté tandis que la part signalant seulement 1 à 2 incidents a diminué, indiquant que l'exposition répétée plutôt que les événements ponctuels devient plus courante.24
L'indice de transparence des modèles de fondation montre une baisse de la transparence même si les incidents augmentent. Le score moyen des développeurs évalués est passé de 37 en 2023 à 58 en 2024, puis a chuté à 40 en 2025.40 41 Les scores individuels de 2025 variaient de IBM à 95 jusqu'à xAI et Midjourney à 14 chacun.42
Les rôles de gouvernance spécifiques à l'IA ont augmenté de 17 % en 2025, et la part des entreprises sans politiques d'IA responsable est passée de 24 % à 11 %.24
Les tribunaux sont passés de sanctions au cas par cas à des règles permanentes. Le 28 mai 2026, la Cour suprême de Floride a modifié la règle de pratique générale et d'administration judiciaire 2.515(d)(2) pour exiger que chaque signataire d'un dépôt judiciaire certifie que « les autorités juridiques identifiées existent et sont citées avec précision », avec effet au 15 juin 2026.43 Dans le district sud de New York, les règles civiles du juge Vernon Broderick (mises à jour le 29 octobre 2025) exigent la divulgation de toute IA générative utilisée pour préparer les dépôts et la certification que les portions générées par l'IA ont été examinées indépendamment.44
FAQ
Non. Les arguments formels de calculabilité prouvent que les grands modèles de langage ne peuvent pas apprendre toutes les fonctions calculables et hallucineront inévitablement sur certaines entrées, indépendamment de l'architecture ou de la qualité des données d'entraînement.35 La recherche indique que la probabilité d'hallucination peut être réduite à des niveaux statistiquement négligeables mais pas à zéro tout en préservant les performances du modèle.45 46
Non. La définition technique d'IBM indique que les hallucinations d'IA « ne sont pas des actes intentionnels de tromperie » mais résultent de facteurs tels que les biais des données d'entraînement et la complexité du modèle, produisant des résultats faux de manière non intentionnelle.1 Le mensonge nécessite de connaître la réponse correcte et de choisir d'énoncer quelque chose de faux ; les modèles n'ont pas l'intention de tromper et génèrent plutôt des résultats indifférents à la valeur de vérité.32
Les signaux d'alarme incluent des déclarations factuellement incorrectes présentées avec confiance, des réponses qui s'écartent du sujet ou brisent le flux logique, une logique étape par étape défaillante comme des erreurs arithmétiques de base, et dans les outils multimodaux, des images générées qui ne correspondent pas à la demande.47 Parce que les incitations d'entraînement récompensent la supposition, les utilisateurs doivent traiter les détails non sourcés et énoncés avec confiance comme non vérifiés jusqu'à ce qu'ils soient vérifiés par rapport à des sources primaires.32
Lectures complémentaires
- Benchmark de code IA : LMC-Eval
- Tarification des LLM : principaux fournisseurs comparés
- Benchmark de mémoire IA
- Performance des agents IA : taux de réussite et ROI
Citez ce benchmark
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{HALC-Bench: LLM Hallucination sur un benchmark de récupération en contexte long}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/ai-hallucination}},
note = {AIMultiple. Consulté le 4 Août 2026}
}Liens de référence
Les travaux de Cem ont été cités par des publications internationales de premier plan telles que Business Insider, Forbes, Washington Post, des entreprises mondiales comme Deloitte, HPE et des ONG comme le Forum économique mondial et des organisations supranationales comme la Commission européenne.
Tout au long de sa carrière, Cem a exercé en tant que consultant tech, acheteur tech et entrepreneur tech. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus d'une décennie. Il a également publié un rapport McKinsey sur la numérisation.
Il a dirigé la stratégie technologique et les achats d'un opérateur télécom tout en rendant compte au PDG. Il a également mené la croissance commerciale de l'entreprise deep tech Hypatos qui a atteint un chiffre d'affaires récurrent annuel à 7 chiffres et une valorisation à 9 chiffres à partir de 0 en 2 ans. Le travail de Cem chez Hypatos a été couvert par des publications technologiques de premier plan comme TechCrunch et Business Insider.
Cem intervient régulièrement lors de conférences technologiques internationales. Il est diplômé de la Bogazici University en tant qu'ingénieur informatique et détient un MBA de la Columbia Business School.
Commentaires 4
Partagez vos idées
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.
This article is updated in June while the GPT 5 is announced in August. How did you test GPT 5 in AI Hallucination Rates figure
Hi! Thanks for your comment. We use WordPress for our articles, which allows us to update graphs and tables independently of the main text. This means that even if the article text shows an earlier update date, we can still add the latest results to the figures without altering the written sections.
Hi Cem, I've been using this article as a reference of severity of hallucination. Is it possible to refresh the report with the newly released GPT-5? Thanks!
Hi Rui, Thanks a lot for your interest and for using our article as a reference. We’ve already refreshed the report with GPT-5 results, so you’ll find the latest updates included in the article.
Is there any chance that you might add Claude Sonnet/Opus 4 as well as Gemini 2.5 Pro?
Hi Tim, Thank you for your support and suggestion. Claude Sonnet/Opus 4 and Gemini 2.5 Pro have already been added to the article, so you can now see them included in the comparisons.
Hi, thank you for interesting benchmark! I was wondering Grok3's hallucination rate, both in Think mode and without. Are you planning to add these?
Hi Joon and thank you for your comment, Yes, we are waiting for API access.