HALC-Bench: LLM Alucinação em Benchmark de Recuperação de Contexto Longo
HALC-Bench (LLM Alucinação em Benchmark de Recuperação de Contexto Longo) mede a resistência de um grande modelo de linguagem em fabricar evidências para uma métrica que não existe no documento alvo usando 3 palheiros posicionados no início, no meio e no fim da janela de contexto do modelo, com 204 perguntas.
Resultados
claude-fable-5 respondeu corretamente a todas as 204 armadilhas em todas as posições do palheiro. Entre os modelos restantes, gpt-5.5 foi o que menos alucinou. Não foi encontrada correlação entre a posição do palheiro e as taxas de alucinação.
Metodologia
204 perguntas são preparadas a partir de artigos da Motley Fool com datas posteriores ao corte de conhecimento, e os palheiros são posicionados em 0.1, 0.5 e 0.9 da janela de contexto do modelo.
Os modelos avaliados e suas janelas de contexto testadas em tokens estão abaixo:
- anthropic/claude-fable-5: 850.000 tokens testados
- openai/gpt-5.5: 1.000.000 tokens
- google/gemini-3.1-pro-preview: 1.000.000 tokens
- google/gemini-3.5-flash: 1.000.000 tokens
- anthropic/claude-opus-4.8: 1.000.000 tokens anunciados, 850.000 testados.
- anthropic/claude-sonnet-4.6: 1.000.000 tokens
- qwen/qwen3.6-plus: 1.000.000 tokens
- moonshotai/kimi-k2.6: 200.000 tokens
- z-ai/glm-5.1: 200.000 tokens
- minimax/minimax-m2.7: 150.000 tokens
- openai/gpt-5.4-mini: 250.000 tokens
claude-opus-4.8 é testado no nível de 850.000 porque não consegue processar com sucesso a entrada de uma janela de contexto de 1.000.000 tokens nos testes.
claude-fable-5 é testado por meio do Claude Code: o modelo recebe o palheiro de 850.000 tokens como um arquivo e o pesquisa com ferramentas de recuperação em vez de lê-lo em sua janela de contexto, portanto suas pontuações medem o modelo juntamente com o harness do Claude Code.
Question format
Uma alegação sobre uma métrica que não é discutida em nenhum lugar da transcrição alvo.
Exemplo de alegação: As emissões de carbono de Escopo 1 e 2 relatadas pela DocuSign (DOCU) no 4º trimestre de 2026 são 8.700 toneladas métricas de CO2e.
Resposta esperada: Não mencionada
Fonte de dados
Transcrições da Motley Fool publicadas após a data de corte de conhecimento dos modelos são usadas como fonte de dados. Armadilhas criadas manualmente com base nas lacunas reais de conteúdo de cada transcrição. Para cada uma das 14 transcrições de origem:
- Identificar manualmente as categorias de métricas ausentes da transcrição (por exemplo, a DocuSign no 4º trimestre de 2026 nunca discute métricas de ESG/carbono; a Adobe nunca detalha a receita da APAC; a Lennar nunca reporta despesas de P&D porque é uma construtora de imóveis).
- Construir uma alegação com aparência plausível com número, unidades e referência de trimestre realistas.
- Verificar programaticamente a ausência por meio de busca por palavras-chave no corpo do texto. Cada alegação tem de 3 a 8 variantes de palavras-chave (por exemplo, “emissões de carbono”, “escopo 1”, “escopo 2”, “gee”, “co2”); se qualquer palavra-chave aparecer no corpo limpo, a armadilha é rejeitada como ambígua.
- Revisar manualmente os sobreviventes para filtrar falsos negativos da verificação por palavras-chave.
Por que isso isola a alucinação?
O documento alvo não discute a métrica, mas os documentos distratores no palheiro frequentemente discutem métricas semelhantes para outras empresas. Um modelo que alucina irá:
- Ou fabricar um número com base nos distratores
- Ou alegar que a métrica é mencionada com um valor errado (prevendo no em vez de not_mentioned)
Ambos os modos de falha registram pontuação = 0. Somente responder corretamente “não mencionada” pontua 1.0.
Regra de pontuação
Pontuação = 1.0 se previsto == not_mentioned, caso contrário 0.0.
O padrão de erro mais diagnóstico é previsto = no quando o esperado = not_mentioned. Isso significa que o modelo alega ter visto a métrica, mas com um valor errado. Ele fabricou evidências de presença.
Distribuição das armadilhas por transcrição de origem
~17 armadilhas por transcrição em 14 transcrições de origem abrangendo 10 setores (semicondutores, SaaS, varejo, restaurantes, CPG, construção de imóveis, finanças, produção de alimentos, hardware empresarial e outros), projetadas para que o teste não meça a alucinação em um único domínio.
Um total de 204 perguntas distintas são usadas no benchmark, posicionadas em diferentes posições do palheiro dentro da janela de contexto.
O que é alucinação de IA?
Uma alucinação de IA é uma resposta gerada por um sistema de inteligência artificial que contém informações falsas, fabricadas ou enganosas apresentadas como fato. IBM define o fenômeno como ocorrendo quando um grande modelo de linguagem percebe padrões ou objetos que são inexistentes ou imperceptíveis a observadores humanos, produzindo saídas que são sem sentido ou factualmente imprecisas e não fundamentadas nos dados de treinamento.1 O verbete da Wikipédia o define de forma semelhante como uma resposta contendo informações falsas ou enganosas apresentadas como fato, listando “bullshitting”, “confabulação” e “delírio” como termos alternativos usados na literatura.2
O Perfil de IA Generativa do IA Risk Management Framework do National Institute of Standards and Technology (NIST IA 600-1), publicado em julho de 2024, adota formalmente “confabulação” em vez de “alucinação” como termo principal. O NIST define confabulação como a produção de conteúdo afirmado com confiança, mas errôneo ou falso, conhecido coloquialmente como alucinações ou fabricações, pelo qual os usuários podem ser enganados ou induzidos a erro.3 Essa definição cobre explicitamente saídas que divergem do prompt ou contradizem declarações geradas anteriormente no mesmo contexto, não apenas alegações que conflitam com a realidade externa.
A alucinação difere de um erro comum ou erro de digitação em duas dimensões críticas. Primeiro, fluência e confiança: a definição do NIST exige que o conteúdo seja “afirmado com confiança”, carregando os mesmos marcadores gramaticais e estilísticos de certeza de uma resposta correta, sem hesitação ou sinal de dúvida.3 Segundo, fabricação versus corrupção: IBM enquadra a falha como o modelo gerando conteúdo sem base em seus dados de treinamento ou entrada.
Impacto real da alucinação de IA nos setores
Incidentes documentados nos setores jurídico, de saúde e financeiro demonstram que a alucinação não é uma preocupação teórica, mas uma fonte de danos financeiros e operacionais mensuráveis.
Sistema jurídico: citações fabricadas e sanções judiciais
O banco de dados Damien Charlotin IA Hallucination Cases, o levantamento público mais abrangente, documentou 1.598 casos em todo o mundo até 9 de junho de 2026, com novos casos adicionados a uma taxa de cerca de 8 por dia.4
Em Coomer v. Lindell (Tribunal Distrital dos EUA, Distrito do Colorado), a juíza Nina Wang sancionou os advogados Christopher I. Kachouroff e Jennifer T. DeMaster em $3,000 cada um em julho de 2025 após encontrar cerca de 30 citações defeituosas, incluindo citações incorretas e casos inexistentes, em petições de Mike Lindell e MyPillow.5 A mesma juíza sancionou Kachouroff novamente em maio de 2026, desta vez em $5,000, por mais uma citação materialmente incorreta.6
Em Couvrette v. Wisnovsky, um tribunal federal do Oregon rejeitou as alegações dos autores com prejuízo e impôs um total de $110.204.38 em sanções em decisões datadas de dezembro de 2025 e março de 2026 contra o advogado da Califórnia Stephen Brigandi e o advogado de Portland Tim Murphy. A dupla citou 15 casos inexistentes e 8 citações fabricadas em três petições apresentadas ao longo de cinco meses.7
Em Whiting v. City of Athens, Tennessee, um painel do Sexto Circuito concluiu em março de 2026 que os advogados Van Irion e Russ Egli incluíram mais de duas dúzias de citações fabricadas e deturparam uma ordem de sanções do tribunal distrital. O tribunal ordenou que cada advogado pagasse $15,000 ao registro do tribunal, reembolsasse as custas recursais integrais da parte contrária, pagasse custas em dobro e enfrentasse um encaminhamento disciplinar.89
Em 20 de julho de 2025, o juiz distrital dos EUA Henry T. Wingate (Distrito Sul do Mississippi) emitiu uma ordem de restrição temporária contendo erros factuais, incluindo partes nomeadas incorretamente e uma citação de um caso inexistente. Depois que o senador Chuck Grassley enviou uma indagação, Wingate reconheceu que seu assistente jurídico havia usado o Perplexity para redigir a ordem. Wingate adotou uma política interna exigindo uma segunda revisão independente das minutas de ordens e cópias impressas de todos os casos citados.1011
A empresa de monitoramento ComplexDiscovery documentou sanções escalando de cerca de $5,000 em um único caso de 2023 para $55,597 em um único caso de 2025, um aumento de 11x ao longo de cerca de 18 meses; combinado com o valor de Couvrette, as sanções por caso chegaram a cerca de $110,000 entre o início e meados de 2026.12 Tribunais no Reino Unido, Singapura, Canadá, Austrália, Argentina, UE, Coreia, Itália, Noruega e França emitiram decisões sobre petições com alucinações de IA.1314
Saúde e documentação clínica
O relatório anual 18 Top 10 Health Technology Hazards da ECRI, divulgado em 4 de dezembro de 2024, classificou “riscos com tecnologias de saúde habilitadas por IA” como o perigo número um para 2025, citando especificamente sistemas de IA que produzem resultados alucinados falsos ou enganosos e o risco de a IA perpetuar vieses contra grupos de pacientes sub-representados.1516
Um estudo de 2025 publicado na Communications Medicine testou vários LLMs na sumarização de casos clínicos usando 300 vinhetas clínicas simuladas validadas por médicos, cada uma contendo um detalhe fabricado. O estudo encontrou uma taxa geral de alucinação de 65,9% sem prompt de mitigação, caindo para 44,2% com prompt de mitigação estruturado; GPT-4o foi o modelo com melhor desempenho, caindo de uma linha de base de 53% para 23% com a mitigação ativa.1718
Finanças e atendimento ao cliente
A Securities and Exchange Commission tem adotado medidas de fiscalização por declarações falsas sobre IA. Em 18 de março de 2024, a SEC firmou seus primeiros acordos em acusações de IA-washing contra dois consultores de investimento, Delphia (USA) Inc. e Global Predictions, Inc., no total de $400,000 em penalidades civis.19 Em janeiro de 2025, a SEC ajuizou seu primeiro caso de IA-washing contra uma empresa de capital aberto, Presto Automation Inc., por não divulgar que seu produto de reconhecimento de fala por IA era, na verdade, uma ferramenta de terceiros que exigia intervenção humana significativa.20
Em Moffatt v. Air Canada, 2024 BCCRT 149, decidido em 14 de fevereiro de 2024 pelo Civil Resolution Tribunal da Colúmbia Britânica, o tribunal rejeitou o argumento da Air Canada de que não era responsável pelas declarações de seu chatbot. Jake Moffatt havia sido informado pelo chatbot do site da companhia aérea de que poderia solicitar um desconto por luto retroativamente após reservar passagens de tarifa cheia; isso era falso. O tribunal ordenou que a Air Canada pagasse a Moffatt $650,88 em indenização por declaração negligente.2122
Quão comuns são as alucinações de IA?
As taxas de alucinação variam enormemente conforme o tipo de tarefa e a metodologia de avaliação, tornando enganosos resumos de um único número. O Stanford HAI 2026 IA Index Report documenta um novo benchmark de precisão que testa se os modelos conseguem distinguir entre crença de terceiros e crença do usuário quando apresentados a declarações falsas. As taxas de alucinação em 26 modelos de ponta variam de 22% a 94% neste benchmark.23
A metodologia impulsiona essa grande variação. Os modelos lidam bem com alegações falsas quando enquadradas como algo em que um terceiro acredita, mas o desempenho despenca quando a mesma alegação falsa é enquadrada como algo em que o usuário acredita. Sob esse enquadramento de “crença do usuário”, a precisão do GPT-4o caiu de 98,2% para 64,4%, e o DeepSeek R1 caiu de mais de 90% para 14,4%.23
Em tarefas de sumarização fundamentada, as taxas são menores, mas as mudanças de benchmark complicam a análise de tendências. O Hallucination Leaderboard da Vectara (modelo HHEM) mede com que frequência os resumos contêm alegações não apoiadas pelos documentos de origem. Na versão original do leaderboard, em execução durante a maior parte de 2025, o Google, com o Gemini-2.0-Flash-001, alcançou uma taxa de alucinação de 0,7%. Em novembro de 2025, a Vectara substituiu o benchmark por um dataset mais difícil, com documentos mais longos (até 32K tokens) abrangendo direito, medicina, finanças, tecnologia e educação. Nesse novo benchmark, o líder atual é o finix_s1_32b da Ant Group, com 1,8%, com o Google, com o Gemini-2.5-flash-lite a 3,3%, e a OpenAI, com o gpt-5.4-nano a 3,1%.24 A Vectara declara explicitamente que as pontuações das versões antiga e nova não devem ser comparadas diretamente, pois o novo dataset é intencionalmente mais difícil.25
Detecção e redução de alucinações de IA
As abordagens técnicas de mitigação visam diferentes estágios do pipeline de geração, da arquitetura de recuperação ao projeto de avaliação.
Geração aumentada por recuperação e fundamentação
A geração aumentada por recuperação padrão combina um modelo de linguagem paramétrico pré-treinado com um índice de recuperação não paramétrico, condicionando a saída a documentos obtidos no momento da inference em vez de depender apenas de fatos memorizados durante o treinamento.26 A pesquisa de interpretabilidade mecanística localiza as alucinações em sistemas RAG em dois componentes internos: “Knowledge FFNs” (camadas de rede feed-forward que codificam conhecimento paramétrico) e “Copying Heads” (cabeças de atenção responsáveis por transferir o contexto recuperado para a saída). A alucinação ocorre quando as Knowledge FFNs superenfatizam o conhecimento paramétrico enquanto as Copying Heads falham em reter o conteúdo externo recuperado.27
SQL RAG aplica a recuperação no nível do esquema, e não no nível do documento, recuperando instruções CREATE TABLE e consultas de exemplo usando embeddings semânticos. Isso impede estruturalmente que os modelos inventem elementos do esquema, pois apenas as definições reais recuperadas estão no contexto. No entanto, ampliar o conteúdo esquema recuperado melhora a discriminação da recuperação, mas aumenta as taxas de alucinação quando os prompts crescem além de um tamanho ideal, indicando que a capacidade de geração downstream limita o quanto o SQL RAG pode reduzir a fabricação.28
A Microsoft Research, com seu GraphRAG, converte corpora de origem em grafos de conhecimento antes da recuperação, pré-gerando resumos de comunidades para agrupamentos de entidades relacionadas. Isso aborda a dificuldade do RAG padrão com perguntas globais sobre corpora inteiros ao recuperar relações estruturadas entre entidades em vez de trechos isolados.29
Calibração, prompting e métodos de avaliação
O OpenAI, em seu artigo de setembro de 2025, argumenta que mudanças no design de avaliação podem alterar as taxas de alucinação ao modificar o que é otimizado durante o desenvolvimento do modelo. Os autores propõem adicionar limiares de confiança explícitos aos benchmarks, como “responda apenas se você tiver mais de t% de confiança, pois os erros são penalizados em t/(1−t) pontos”. Sob essa regra de pontuação, responder supera a abstenção uma vez que a confiança real do modelo exceda o limiar, removendo o incentivo a adivinhar.3031
O prompting estruturado reduz as taxas de alucinação em domínios específicos. O estudo da Communications Medicine descobriu que um prompt de mitigação instruindo os modelos a “usar apenas informações clinicamente validadas e reconhecer a incerteza em vez de especular mais” reduziu as taxas de alucinação de 64,1% para 43,1% em vinhetas clínicas de casos longos, e de aproximadamente 66% para 44% em média entre todos os modelos e tamanhos de caso. 3218 A decodificação com temperatura 0 (determinística) não produziu melhora significativa, isolando a estrutura do prompt, e não a aleatoriedade da decodificação, como a variável eficaz.32
A alucinação de IA é um problema solucionável?
A questão de saber se a alucinação pode ser eliminada permanece genuinamente contestada entre resultados teóricos de impossibilidade e tendências empíricas de queda nas taxas de benchmark.
O artigo “Hallucination is Inevitable” fornece um argumento formal de que os LLMs não conseguem aprender todas as funções computáveis e, portanto, inevitavelmente alucinarão se usados como resolvedores gerais de problemas, enquadrando isso como uma limitação inata, independentemente de arquitetura ou melhorias de treinamento.33 Um resultado teórico relacionado prova que os modelos não conseguem alcançar simultaneamente alta consistência (gerando apenas declarações apoiadas pelos dados de treinamento) e alta abrangência (cobrindo toda a diversidade do idioma-alvo); avançar em direção a um necessariamente empurra em direção ao outro modo de falha, seja alucinação ou colapso de modo.3435
Contrapondo esses limites teóricos está a tendência empírica de queda nas taxas de alucinação em benchmarks padronizados, com os melhores modelos alcançando menos de 2% em tarefas de sumarização fundamentada. No entanto, essa tendência é complicada pelo desalinhamento da avaliação. A OpenAI, em sua pesquisa, identifica a correção binária nos principais benchmarks como um obstáculo estrutural que recompensa matematicamente a adivinhação confiante em vez da incerteza calibrada, o que significa que as taxas relatadas medem o desempenho em relação a estruturas de incentivo que podem não refletir os requisitos de confiabilidade do mundo real.30
Uma pesquisa de fevereiro de 2024 argumenta que a alucinação e a geração criativa podem compartilhar mecanismos subjacentes, enquadrando as duas como um trade-off, e não como modos de falha e sucessos separáveis. Suprimir o mecanismo generativo que produz saídas exploratórias corre o risco de suprimir a capacidade, não apenas o risco, particularmente em domínios como brainstorming ou ficção.36 Isso está alinhado com o comportamento observado dos parâmetros de decodificação: configurações de baixa temperatura (0 a 0.3) são recomendadas para extração factual, enquanto configurações mais altas (0.7 a 1.0) aumentam deliberadamente a variância e, com ela, o risco de alucinação em tarefas criativas.37
Adicionar como fonte preferencialPara onde estão indo as políticas e pesquisas sobre alucinação de IA?
O IA Incident Database registrou 362 incidentes documentados em 2025, acima dos 233 de 2024, de acordo com o 2026 IA Index Report da Stanford HAI.23 Entre as empresas que relataram incidentes de IA, a parcela que relatou de 3 a 5 incidentes aumentou, enquanto a parcela que relatou apenas 1 a 2 incidentes diminuiu, indicando que a exposição repetida, em vez de eventos isolados, está se tornando mais comum.23
O Foundation Model Transparency Index mostra transparência em declínio mesmo com o aumento dos incidentes. A pontuação média entre os desenvolvedores avaliados subiu de 37 em 2023 para 58 em 2024 e depois caiu para 40 em 2025.3839 As pontuações individuais de 2025 variaram da IBM com 95 até a xAI e a Midjourney com 14 cada uma.40
Os cargos de governança específicos de IA cresceram 17% em 2025, e a parcela de empresas sem políticas de IA responsável caiu de 24% para 11%.23
Os tribunais passaram de sanções caso a caso para regras permanentes. Em 28 de maio de 2026, a Suprema Corte da Flórida alterou a Rule of General Practice and Judicial Administration 2.515(d)(2) para exigir que todo signatário de uma petição judicial certifique que “as autoridades jurídicas identificadas existem e estão citadas com precisão”, com vigência a partir de 15 de junho de 2026.41 No Distrito Sul de Nova York, as Civil Rules do juiz Vernon Broderick (atualizadas em 29 de outubro de 2025) exigem a divulgação de qualquer IA generativa usada na preparação de petições e a certificação de que as partes geradas por IA foram revisadas de forma independente.42
Perguntas frequentes
Não. Argumentos formais de computabilidade provam que grandes modelos de linguagem não conseguem aprender todas as funções computáveis e inevitavelmente alucinarão em algumas entradas, independentemente da arquitetura ou da qualidade dos dados de treinamento.33 Pesquisas indicam que a probabilidade de alucinação pode ser reduzida a níveis estatisticamente insignificantes, mas não a zero, preservando o desempenho do modelo.4344
Não. A IBM, em sua definição técnica, afirma que as alucinações de IA “não são atos intencionais de engano”, mas resultam de fatores como viés nos dados de treinamento e complexidade do modelo, produzindo saídas falsas de forma não intencional.1 Mentir exige saber a resposta correta e escolher declarar algo falso; os modelos não têm a intenção de enganar e, em vez disso, geram saídas indiferentes ao valor de verdade.30
Os sinais de alerta incluem declarações factualmente incorretas apresentadas com confiança, respostas que saem do assunto ou quebram o fluxo lógico, lógica passo a passo falha, como erros aritméticos básicos, e, em ferramentas multimodais, imagens geradas que não correspondem à solicitação.45 Como os incentivos de treinamento recompensam a adivinhação, os usuários devem tratar especificidades afirmadas com confiança e sem fontes como não verificadas até que sejam checadas em fontes primárias.30
Leituras adicionais
- LLM Preços: Principais Provedores Comparados
- Benchmark de Memória de IA
- Desempenho de Agentes de IA: Taxas de Sucesso e ROI
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Alper, Şevval},
title = {{HALC-Bench: LLM Alucinação em Benchmark de Recuperação de Contexto Longo}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/ai-hallucination}},
note = {AIMultiple. Acessado em 4 agosto 2026}
}Resultados e carimbos de data/hora de 0 pontos de dados. Baixe os dados resumidos exibidos nos gráficos e tabelas deste artigo como um arquivo ZIP contendo 0 arquivos CSV.
Quer os dados granulares por trás disso? Assine o Premium
Registro de alterações
14 atualizaçõesAdicionado resultado de pontuação perfeita do claude-fable-5 na seção Metodologia
Adicionado anthropic/claude-fable-5 à seção de modelos avaliados.
Adicionada a contagem de 204 perguntas à descrição do benchmark HALC-Bench.
Adicionado anthropic/claude-opus-4.8 à lista de modelos testados, avaliado no nível de 850.000 tokens em vez do milhão anunciado.
Substituído todo o artigo de benchmark de alucinação pelos resultados do HALC-Bench sobre recuperação de contexto longo, metodologia e nove modelos avaliados.
Adicionado um exemplo de citações geradas por IA na NeurIPS 2025 à seção de Confiança e Reputação.
Removida a seção de metodologia de benchmark de alucinação de IA.
Links de referência
O trabalho de Cem na AIMultiple foi citado por publicações globais líderes, incluindo Business Insider, Forbes, Morning Brew e Washington Post, por empresas globais como Deloitte e HPE, ONGs como o World Economic Forum e organizações supranacionais como a European Commission. [1], [2], [3], [4], [5]
Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas sobre suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização.
Ele liderou a estratégia de tecnologia e as compras de uma operadora de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de deep tech Hypatos, que atingiu uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia líderes como TechCrunch e Business Insider.
Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou como engenheiro da computação pela Bogazici University e possui um MBA pela Columbia Business School.
Şevval se concentra em ferramentas de codificação de IA, agentes de IA e tecnologias quânticas.
Comentários 5
Compartilhe suas ideias
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.
Can you test the Gemini 3 model? Thank you!
Hi Lishim, We included Gemini-3 models, Thank you for your comment!
This article is updated in June while the GPT 5 is announced in August. How did you test GPT 5 in AI Hallucination Rates figure
Hi! Thanks for your comment. We use WordPress for our articles, which allows us to update graphs and tables independently of the main text. This means that even if the article text shows an earlier update date, we can still add the latest results to the figures without altering the written sections.
Hi Cem, I've been using this article as a reference of severity of hallucination. Is it possible to refresh the report with the newly released GPT-5? Thanks!
Hi Rui, Thanks a lot for your interest and for using our article as a reference. We’ve already refreshed the report with GPT-5 results, so you’ll find the latest updates included in the article.
Is there any chance that you might add Claude Sonnet/Opus 4 as well as Gemini 2.5 Pro?
Hi Tim, Thank you for your support and suggestion. Claude Sonnet/Opus 4 and Gemini 2.5 Pro have already been added to the article, so you can now see them included in the comparisons.
Hi, thank you for interesting benchmark! I was wondering Grok3's hallucination rate, both in Think mode and without. Are you planning to add these?
Hi Joon and thank you for your comment, Yes, we are waiting for API access.