Alucinação de IA: Compare os melhores LLMs como GPT-5.2
Os modelos de IA podem gerar respostas que parecem plausíveis, mas são incorretas ou enganosas, um fenômeno conhecido como alucinações da IA. 77% das empresas estão preocupadas com as alucinações da IA. 1
Comparamos 37 modelos diferentes de aprendizagem por linguagem (LLMs) com 60 perguntas para medir suas taxas de alucinações:
Resultados de referência para alucinações por IA
Nossa análise comparativa revelou que mesmo os modelos mais recentes apresentam taxas de alucinação superiores a 15% quando solicitados a analisar declarações fornecidas. Leia a metodologia da análise comparativa para saber como medimos essas taxas.
Análise da taxa de alucinações: custo versus contexto
Para garantir uma comparação justa de custos entre os modelos, normalizamos os preços usando uma métrica unificada que reflete os padrões de uso do mundo real. Como a maioria dos tokens em cargas de trabalho práticas vem de entradas em vez de saídas, calculamos o custo do modelo como 0,75 × preço do token de entrada + 0,25 × preço do token de saída .
Isso impede que modelos com resultados artificialmente baratos ou insumos desproporcionalmente caros pareçam enganosamente eficientes, permitindo que cada modelo seja avaliado em uma escala consistente e comparável.
Tamanho do contexto versus tendências de alucinação
O gráfico revela padrões distintos ao comparar as taxas de alucinação com o tamanho da janela contextual. De acordo com dados anteriores sobre custos, há pouca ou nenhuma correlação linear entre a capacidade contextual e a precisão.
Um contexto amplo não garante precisão.
Contrariamente à suposição de que entradas maiores levam a um raciocínio melhor, surge uma relação mista. Modelos projetados para janelas contextuais massivas (mais de 1 milhão de tokens) não alcançam consistentemente taxas de alucinação menores do que suas contrapartes menores. Como mostram os dados, modelos altamente confiáveis são encontrados tanto em espectros contextuais curtos quanto longos, assim como modelos com desempenho inferior.
Isso sugere que uma janela de contexto ampla não garante automaticamente uma maior consistência factual. Em última análise, especificações técnicas como o tamanho do contexto não são indicadores definitivos de confiabilidade; o desempenho depende mais da arquitetura específica do modelo e da qualidade do treinamento do que apenas da capacidade.
O que são alucinações causadas por IA?
As alucinações ocorrem quando um sistema de aprendizagem online produz informações que parecem reais, mas são totalmente inventadas ou factualmente imprecisas. Ao contrário de erros simples, as alucinações são especialmente problemáticas, pois são apresentadas com a mesma segurança que as informações verdadeiras, dificultando o reconhecimento por parte dos usuários sem confirmação externa.
Os impactos das alucinações da LLM
As alucinações causadas pela IA afetam diversos setores, pois as organizações dependem de ferramentas de IA generativa para produzir texto , analisar dados e apoiar a tomada de decisões. Os possíveis resultados variam, mas alguns riscos se repetem:
Danos à reputação
Se um modelo produzir informações imprecisas, narrativas falsas ou resultados enganosos, os usuários podem perder a confiança no sistema e na organização que o implementa. Reconstruir a confiança depois que informações incorretas chegam a clientes, equipes internas ou ao público pode ser um desafio.
Por exemplo , uma análise recente da GPTZero 2 descobriu que dezenas de artigos aceitos na NeurIPS 2025 incluíam citações geradas por IA que não foram detectadas durante a revisão por pares. Após analisar mais de 4.000 artigos aceitos, a empresa encontrou centenas de referências falhas em pelo menos 50 artigos, variando de citações totalmente falsas a versões alteradas de citações reais.
Alguns erros envolviam autores, títulos, periódicos ou links inventados, enquanto outros alteravam sutilmente citações reais, modificando nomes de autores ou títulos de artigos. A GPTZero afirma que todas as citações sinalizadas foram posteriormente verificadas por especialistas.
A NeurIPS reconheceu o uso crescente de grandes modelos de linguagem na escrita acadêmica e afirmou estar monitorando a questão, observando que referências incorretas não invalidam automaticamente as conclusões de um artigo. Ainda assim, a GPTZero considerou os resultados alarmantes, visto que os artigos foram formalmente aceitos e publicados em uma conferência altamente seletiva.
Os resultados destacam como o aumento repentino no número de submissões, mais de 21.000 em 2025, dificulta a revisão completa e levanta preocupações sobre a integridade da pesquisa, a reprodutibilidade e os riscos de se depender de citações geradas por IA em publicações acadêmicas. 3
Exposição legal
Em áreas regulamentadas como saúde , finanças e direito , conteúdo gerado por IA que contenha erros factuais pode levar a violações de conformidade. Quando esse conteúdo é usado sem verificação, interpretações incorretas de dados ou políticas podem resultar em penalidades, prejuízos aos clientes ou processos judiciais.
Por exemplo, citações falsas de processos judiciais geradas por IA tornaram-se um problema sério e crescente para os tribunais. Só em 2025, juízes de todo o mundo emitiram centenas de decisões relacionadas a alucinações de IA em documentos judiciais, representando cerca de 90% de todos os casos conhecidos desse problema até o momento.
Juízes afirmam que esses erros desperdiçam tempo e recursos escassos, obrigando os tribunais a investigar casos inexistentes em vez de se concentrarem no mérito das disputas. Tanto advogados quanto os próprios juízes já foram flagrados confiando em resultados falhos de IA, o que resultou em advertências, ordens permanentes e sanções cada vez mais severas.
À medida que cresce a conscientização sobre as limitações da IA, os tribunais se tornam menos tolerantes a desculpas, considerando citações alucinadas como má conduta, e não ignorância. Embora pesquisadores que acompanham o assunto relatem um rápido aumento nesses casos, muitos veem a IA como amplamente benéfica para o trabalho jurídico, desde que seu uso seja transparente, cuidadosamente verificado e tratado como uma ferramenta de rascunho, e não como uma fonte de verdade jurídica. 4
Ineficiência operacional
Quando os usuários não podem confiar no texto ou nos resultados gerados por IA, eles precisam verificar manualmente as informações. Isso aumenta o tempo gasto e reduz o valor da inteligência artificial generativa. Em vez de auxiliar os fluxos de trabalho, as alucinações podem criar gargalos que exigem revisão humana para identificar informações falsas.
Por exemplo, durante um teste de relatórios policiais escritos por IA em Utah, o áudio de fundo de um filme da Disney fez com que o sistema afirmasse erroneamente que um policial havia se transformado em um sapo. O incidente ocorreu durante um projeto piloto em dezembro de ferramentas de IA como o Draft One da Axon, que convertem o áudio das câmeras corporais em relatórios escritos para economizar tempo dos policiais.
Embora as autoridades afirmem que as ferramentas podem economizar várias horas por semana em trabalho burocrático, o episódio expôs preocupações mais profundas sobre precisão e supervisão. Até mesmo relatórios de testes de rotina precisaram de correções, e críticos alertam que a IA pode interpretar sons incorretamente, minimizar incertezas ou introduzir erros sutis que posteriormente se tornam parte do registro oficial. 5
Causas das alucinações da IA
Compreender por que as alucinações ocorrem é essencial para desenvolver técnicas de mitigação dessas alucinações e para decidir quando confiar em conteúdo gerado por IA.
Limitações dos dados de treinamento
Grandes modelos de linguagem são treinados com vastas quantidades de dados da internet, documentos e outros textos. Limitações nesses dados de treinamento podem levar a alucinações.
- Dados de treinamento insuficientes em áreas especializadas podem deixar lacunas de conhecimento. Quando o modelo é solicitado a gerar texto nesses domínios, ele pode preencher as informações faltantes com dados inventados em vez de admitir a incerteza.
- Páginas da web de baixa qualidade, notícias falsas ou conteúdo enganoso no conjunto de treinamento podem enviesar o modelo em direção a narrativas falsas e erros factuais.
- Dados factuais desatualizados podem fazer com que o modelo produza informações incorretas sobre tópicos que mudaram após o período de treinamento.
- Os vieses nos dados de treinamento podem distorcer a forma como os modelos de IA descrevem pessoas, eventos ou possíveis resultados.
Esses problemas não são exclusivos da geração de texto. Problemas semelhantes ocorrem emmodelos de visão computacional treinados em conjuntos de dados tendenciosos ou incompletos, embora as alucinações assumam formas diferentes, como classificações incorretas .
Limitação de conhecimento e atualizações contínuas
As gerações anteriores de modelos de IA tinham uma data limite precisa para o conhecimento e não tinham acesso a dados externos em tempo real. Quando os usuários perguntavam sobre eventos recentes, o modelo frequentemente gerava resultados mesmo assim, aumentando o risco de alucinações.
Os sistemas modernos de IA combinam cada vez mais dados de treinamento estáticos com a recuperação de informações de uma base de conhecimento em tempo real ou de outras fontes externas. Como resultado:
- O limite de conhecimento ainda é importante para alguns modelos, principalmente para implementações offline.
- Em muitos ambientes empresariais, a geração aprimorada por recuperação reduz o impacto dos cortes temporais, extraindo dados factuais recentes de fontes de dados internas ou externas.
- As alucinações relacionadas à recência agora frequentemente refletem uma recuperação de dados ausente ou desalinhada, e não apenas a idade dos parâmetros do modelo.
Excesso de confiança e previsão da próxima palavra
Um modelo de linguagem gera texto token por token, prevendo a próxima palavra com base no contexto de entrada e nos tokens anteriores. O modelo é otimizado para produzir continuações fluentes e prováveis, não necessariamente respostas corretas. Isso causa diversos efeitos:
- O modelo pode priorizar uma explicação fluente em vez de admitir que não sabe a resposta correta.
- Pode selecionar um padrão de informação plausível, mas falso, se esse padrão aparecer com frequência nos dados de treinamento.
- O modelo pode generalizar em excesso a partir de padrões nos dados e gerar conteúdo que parece específico, mas não está fundamentado em fontes factuais.
Do ponto de vista do usuário, o estilo do texto gerado por IA dificulta perceber que a resposta pode estar errada.
Interpretação errônea imediata e instruções vagas
As alucinações também podem surgir da forma como os estímulos de entrada são formulados:
- Instruções vagas dão muita liberdade ao modelo, levando a resultados inesperados ou respostas que não correspondem à intenção do usuário.
- Questões excessivamente amplas incentivam o modelo a gerar resultados que extrapolam o conhecimento presente em seus parâmetros ou nos documentos recuperados.
- Uma formulação ambígua pode levar o modelo a escolher uma interpretação e, com base nessa interpretação, produzir informações imprecisas com confiança.
Instruções mais precisas e restrições explícitas geralmente reduzem esses efeitos, mas não os eliminam.
Estratégias para reduzir alucinações causadas por IA
As técnicas de mitigação de alucinações normalmente combinam escolhas arquitetônicas, abordagens de treinamento e projeto em nível de sistema, em vez de uma solução única.
ferramentas de detecção de alucinações por IA
As ferramentas de detecção de alucinações por IA avaliam se o contexto ou os dados de referência fornecidos corroboram as saídas geradas pela IA. Essas ferramentas geralmente utilizam métodos de lógica de longo prazo (LLM) como avaliadores, juntamente com técnicas como análise de consistência, pontuação de confiança e verificação baseada em implicação.
Realizamos testes comparativos com 100 casos de perguntas e respostas factuais e equilibrados para comparar ferramentas de detecção de alucinações por IA. O W&B Weave e o Arize Phoenix apresentaram desempenho geral semelhante, com 91% e 90% de precisão, respectivamente, enquanto o Comet Opik alcançou 72% de precisão devido a uma estratégia de detecção mais conservadora. Leia o artigo sobre ferramentas de detecção de alucinações por IA para saber mais sobre os resultados.
Geração aumentada por recuperação
A geração aumentada por recuperação conecta modelos generativos de IA a uma base de conhecimento externa. Quando um usuário envia uma consulta:
- O sistema recupera documentos ou dados relevantes de fontes selecionadas, como bancos de dados internos, literatura específica da área ou páginas da web selecionadas.
- Essas passagens recuperadas são passadas para o modelo de linguagem como contexto adicional.
- O modelo gera resultados que devem permanecer mais próximos dos dados factuais obtidos, em vez de depender exclusivamente de seusparâmetros aprendidos.
Projetos recentes de geração aumentada por recuperação ampliam esse padrão da seguinte forma:
- Recuperação em múltiplas etapas, onde o sistema recupera, resume e, em seguida, recupera novamente se faltarem informações.
- Recuperação estruturada, onde as ferramentas de IA consultam APIs, bancos de dados SQL ou grafos de conhecimento, em vez de apenas documentos não estruturados.
- O monitoramento da qualidade da recuperação, que verifica se o contexto recuperado realmente sustenta a resposta, pode sinalizar possíveis casos de alucinação.
O método RAG não garante a exatidão factual, mas geralmente reduz as alucinações, especialmente quando a base de conhecimento é cuidadosamente selecionada e atualizada regularmente.
Por exemplo , um novo artigo apresenta o REFIND, um método de recuperação aprimorada para detectar trechos alucinatórios em grandes saídas de modelos de linguagem, medindo a sensibilidade de cada token gerado a evidências externas.
Utilizando uma nova métrica chamada Índice de Sensibilidade ao Contexto (CSR, na sigla em inglês), o REFIND compara as probabilidades dos tokens com e sem documentos recuperados, sinalizando os tokens que mudam significativamente como prováveis alucinações.
Avaliada no conjunto de dados multilíngue SemEval-2025 Mu-SHROOM, a abordagem supera as linhas de base existentes, especialmente em idiomas com poucos recursos. Os resultados mostram que fundamentar a detecção de alucinações em evidências recuperadas permite uma identificação mais precisa, confiável e escalável de erros factuais em textos gerados por modelos de linguagem linguística (LLM). 6
Design ágil em sistemas modernos
A engenharia de prompts mudou à medida que os modelos de IA generativa melhoraram. Não se trata mais apenas de frases inteligentes. Nos sistemas atuais, o design de prompts se concentra em:
- Descrever claramente a tarefa, as entradas e as restrições, incluindo o que é considerado correto e o que deve permanecer sem resposta.
- Instruir o modelo a dizer "Não sei" ou a solicitar mais informações quando a entrada fornecida estiver incompleta.
- Incentivar o modelo a fazer referência explícita ao contexto citado, em vez de inventar detalhes que não estão presentes nos dados fornecidos.
- Alinhar instruções de função, ferramentas e configurações de recuperação para que o modelo saiba quando usar fontes externas e quando confiar em seus próprios parâmetros.
Boas instruções melhoram a qualidade dos resultados da IA, mas agora fazem parte de um sistema maior que inclui recuperação, ferramentas e verificação.
Métodos externos de verificação e checagem de fatos
Verificar se o conteúdo gerado por IA está sendo comparado a dados factuais confiáveis continua sendo uma estratégia central. A verificação pode ocorrer de diversas maneiras:
- Recuperação e comparação automatizadas: O sistema utiliza geração aprimorada por recuperação para extrair documentos e, em seguida, verifica se esses documentos corroboram as principais afirmações no conteúdo gerado.
- Verificação entre modelos: um modelo de linguagem gera uma resposta, e outro modelo ou uma configuração diferente a revisa em busca de erros factuais.
- Verificação baseada em ferramentas: os modelos de IA utilizam ferramentas especializadas de IA, como interpretadores de código, calculadoras ou APIs de domínio, para verificar valores numéricos, datas ou saídas estruturadas.
- Revisão com intervenção humana: Especialistas no assunto examinam os textos mais críticos gerados por IA antes que sejam usados em produção ou publicados.
Os sistemas modernos frequentemente combinam essas abordagens, utilizando verificações automáticas para a maior parte do conteúdo e encaminhando casos suspeitos para análise humana.
Abordagens de agentes para reduzir alucinações
Trabalhos recentes em inteligência artificial introduziram sistemas agentes , nos quais um modelo pode planejar, acionar ferramentas e executar múltiplas ações em vez de responder de uma só vez. Isso altera a forma como as alucinações se manifestam e como podem ser reduzidas.
Sistemas de modelos de linguagem agentivos podem:
- Divida uma questão em subproblemas e resolva-os passo a passo.
- Decida quando são necessários mais dados e realize buscas adicionais em uma base de conhecimento ou em fontes externas.
- Utilize ferramentas específicas do domínio, como APIs de busca, bancos de dados ou calculadoras, para verificar resultados intermediários.
- Reavaliar a própria resposta preliminar e revisar as partes que conflitam com as evidências obtidas.
Por exemplo, em vez de gerar uma resposta longa imediatamente, oagente de IA pode:
- Recupere os documentos relevantes.
- Resuma e compare diferentes fontes.
- Identificar contradições ou dados faltantes.
- Faça perguntas adicionais ao usuário caso a tarefa não esteja suficientemente especificada.
- Só então gere a resposta final.
Essa estrutura de várias etapas torna as alucinações mais visíveis e fornece pontos adicionais nos quais as verificações podem ser aplicadas.
Estimativa de incerteza e pontuações de confiança
Outra área ativa é a estimativa da probabilidade de que a saída de uma IA contenha erros factuais. A estimativa de incerteza pode ser usada tanto durante quanto após a geração. Algumas abordagens incluem:
- As pontuações de confiança ao nível do token mostram o grau de confiança do modelo em cada palavra ou frase. Regiões com baixa confiança podem ser sinalizadas para revisão.
- Testes de consistência, nos quais o modelo responde à mesma pergunta de várias maneiras ou com diferentes instruções, e o sistema mede a estabilidade das respostas.
- Verificações de suficiência de contexto, nas quais um modelo separado avalia se os documentos recuperados contêm informações suficientes para responder à pergunta.
- Avaliação de risco pré-geração, onde o sistema prevê se uma determinada entrada provavelmente induzirá alucinações em uma configuração de modelo específica.
Esses métodos não eliminam as alucinações, mas ajudam as organizações a identificar resultados de alto risco e encaminhá-los para fluxos de verificação mais robustos ou para revisores humanos.
Comunicar incerteza aos usuários
Comunicar a incerteza aos usuários é crucial quando os sistemas de IA encontram limitações. Algumas práticas eficazes são:
- O uso de linguagem intencionalmente incerta ajuda a estabelecer expectativas adequadas e reduz resultados enganosos que poderiam disseminar informações imprecisas.
- Ao integrar indicadores factualmente incorretos, os modelos podem sinalizar quando não têm confiança em suas respostas. Essa transparência, recomendada em publicações recentes de análise tecnológica, impede que os usuários aceitem o conteúdo gerado por IA como verdade absoluta.
- Destacar elementos textuais específicos que influenciaram a resposta do modelo ajuda os usuários a entender o raciocínio por trás de resultados incertos, enquanto exibir classificações de confiança permite uma avaliação mais confiável.
- Ao lidar com problemas complexos, apresentar múltiplas fontes incentiva os usuários a verificarem as afirmações de forma independente, em vez de confiarem exclusivamente nos resultados da IA, que podem conter informações enganosas.
Essas abordagens, validadas por meio de amplo feedback humano, criam uma relação mais honesta entre os usuários e os modelos generativos de IA, reconhecendo quando as limitações da base de conhecimento podem levar a potenciais alucinações.
Estimar o risco de alucinações antes que elas ocorram.
A detecção de conteúdo falso após a geração do modelo de baixa resolução (LLM) é o foco principal da maioria das pesquisas atuais sobre alucinações. Ferramentas como RefChecker e Hallucination Guard visam destacar ou pontuar resultados suspeitos, ajudando os usuários a filtrar ou corrigir as alucinações.
Uma nova perspectiva reinterpreta a questão, sugerindo que as alucinações são artefatos de compressão em vez de "bugs". Durante a operação, grandes modelos de linguagem descomprimem informações que foram previamente comprimidas em seus parâmetros. De forma semelhante a como um arquivo ZIP corrompido produz lixo ao ser descompactado, o modelo preenche as lacunas com conteúdo plausível, porém falso, quando seu "orçamento de informações" é limitado. 7
Os Modelos de Aprendizagem de Longo Prazo (LLMs) otimizam a eficiência no caso médio, o que pode levar a alucinações sistemáticas ocasionais. A Lei de Descompressão em Nível de Expectativa (EDFL) define os limiares de informação necessários para prevenir alucinações em LLMs.
A Calculadora de Risco de Alucinações de Código Aberto permite a avaliação de risco antes da geração, a definição de limites de erro, a avaliação de contexto e garantias no estilo SLA, cada uma delas muito útil em áreas regulamentadas. Ela pode ser usada com qualquer API compatível com OpenAI.
Metodologia de referência para alucinações em IA
Nosso objetivo é determinar se os modelos conseguem assimilar informações empresariais e extrair conclusões precisas a partir delas. Este é um domínio onde os Modelos de Aprendizagem Baseados em Aprendizagem (LLMs) podem gerar o máximo valor para as empresas, e queríamos entender as taxas de alucinação nesse contexto.
Nosso parâmetro de avaliação comparativa analisa as taxas de alucinações relacionadas à síndrome de Lyme utilizando um conjunto de dados de perguntas extraídas de artigos da CNN.
Utilizamos um sistema automatizado de coleta de dados da web para construir o conjunto de dados, extraindo artigos diretamente do feed RSS da CNN. A partir desses artigos, criamos 60 perguntas elaboradas para testar rigorosamente a capacidade de um profissional de Direito (LLM) de recuperar informações factuais e específicas de cada artigo.
As perguntas foram elaboradas intencionalmente para:
- Solicite valores numéricos precisos (percentagens, datas, quantidades).
- Abordamos diversos temas, como preços do petróleo, história da arte, pesquisa científica, finanças e muito mais.
- Inclua relações temporais e fatos estatísticos difíceis de adivinhar.
- Exige-se a recuperação exata do texto fornecido, em vez de raciocínio generalizado.
- Facilite a verificação conferindo se a resposta corresponde ao número apresentado no artigo original.
Avaliação utilizando um sistema de verificação de fatos em três etapas
Após o envio das perguntas a cada LLM por meio de chamadas de API, as respostas são avaliadas usando um processo de verificação de fatos em duas etapas:
- Verificação Estática de Correspondência Exata: O sistema primeiro realiza uma comparação rápida de strings entre a resposta do LLM e o valor real extraído do artigo. Se os valores coincidirem exatamente, a resposta é marcada como correta.
- Validação Semântica com LLM como Juiz: Se nenhuma correspondência exata for encontrada, uma etapa de avaliação adicional utiliza um modelo LLM-como-juiz para determinar se a resposta é semanticamente equivalente à verdade fundamental.
Isso explica as variações de formatação ou fraseado, como por exemplo:- “26 milhões” versus “26.000.000”
- “n/a”, “não disponível” ou “não informado”
- Pequenas diferenças de redação que mantêm o mesmo significado.
- Verificação final: O LLM-como-juiz também pode ter alucinações. Para resolver isso, criamos outro LLM-como-juiz para verificar as respostas marcadas como "reprovadas" pelo primeiro LLM-como-juiz, a fim de confirmar se realmente falharam ou se o nosso LLM-como-juiz teve alucinações. Se alguma resposta for marcada como suspeita por esse LLM-como-juiz, nós a verificamos e corrigimos manualmente para garantir que não haja erros durante as avaliações.
A resposta é classificada como alucinação somente se falhar tanto na verificação de correspondência exata, quanto na avaliação de equivalência semântica e na verificação final.
Exemplo
Instruções: “Responda à pergunta usando apenas as informações que constam no artigo fornecido. Não arredonde as respostas. Responda apenas com uma palavra ou um número, ou com 'não informado'.”
Artigo: Cientistas identificam ingrediente secreto nas pinturas de Leonardo da Vinci 8
Pergunta: Em que século a pintura a óleo se difundiu pelo norte da Europa?
Verdade fundamental: Não informada.
O artigo não fornece essa informação; apenas faz referência à Idade Média. Portanto, qualquer resposta diferente de "não informado" indica que o modelo não está seguindo o artigo e está gerando informações fabricadas ou presumidas, resultando em uma alucinação.
Perguntas frequentes
As ferramentas de IA podem gerar informações falsas ou resultados enganosos. Para evitar alucinações causadas pela IA, os usuários podem verificar as respostas e fazer perguntas mais diretas. Essas informações factualmente incorretas em textos gerados por IA podem levar a resultados indesejáveis, especialmente em áreas como redação científica e pesquisa jurídica.
Publicações identificaram diversas causas para as alucinações da IA. Quando sistemas generativos de inteligência artificial, como grandes modelos de linguagem, produzem resultados factualmente incorretos, isso geralmente se deve à insuficiência de dados de treinamento ou à dependência de dados factuais desatualizados. Pesquisas mostram que os métodos anteriores de criação de sistemas de base de conhecimento não impediam adequadamente que os modelos alucinassem com referências ou produzissem informações imprecisas ao processar dados da internet para responder a problemas complexos.
O conteúdo gerado por IA frequentemente carece de verificação por meio de fontes externas, o que leva a resultados enganosos. Os modelos generativos têm dificuldades com tópicos fora de seu conjunto de treinamento e podem inventar fatos plausíveis que não passam pela verificação de especialistas.
Embora valiosos em áreas como pesquisa jurídica, os sistemas de IA podem produzir imprecisões, especialmente em assuntos com pouco tráfego ou sob ataques adversários.
Os modelos podem confundir correlação com causalidade, e mesmo resultados precisos podem conter informações falsas, o que destaca a necessidade de verificação dos fatos em fontes confiáveis. Esse problema persiste devido a padrões de revisão inadequados para o processamento de dados pelos modelos.
Leituras adicionais
- 8 modelos de código de IA avaliados: LMC-Eval
- Entendendo os preços do LLM: comparação dos principais fornecedores
- Memória de IA: Os modelos de IA mais populares com a melhor memória
- Desempenho de agentes de IA: taxas de sucesso e ROI
Links de referência
Comentários 4
Compartilhe suas ideias
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios.
This article is updated in June while the GPT 5 is announced in August. How did you test GPT 5 in AI Hallucination Rates figure
Hi! Thanks for your comment. We use WordPress for our articles, which allows us to update graphs and tables independently of the main text. This means that even if the article text shows an earlier update date, we can still add the latest results to the figures without altering the written sections.
Hi Cem, I've been using this article as a reference of severity of hallucination. Is it possible to refresh the report with the newly released GPT-5? Thanks!
Hi Rui, Thanks a lot for your interest and for using our article as a reference. We’ve already refreshed the report with GPT-5 results, so you’ll find the latest updates included in the article.
Is there any chance that you might add Claude Sonnet/Opus 4 as well as Gemini 2.5 Pro?
Hi Tim, Thank you for your support and suggestion. Claude Sonnet/Opus 4 and Gemini 2.5 Pro have already been added to the article, so you can now see them included in the comparisons.
Hi, thank you for interesting benchmark! I was wondering Grok3's hallucination rate, both in Think mode and without. Are you planning to add these?
Hi Joon and thank you for your comment, Yes, we are waiting for API access.