HALC-Bench: LLM Alucinación en la Evaluación de Referencia de Recuperación de Contexto Largo
HALC-Bench (LLM Alucinación en la Evaluación de Referencia de Recuperación de Contexto Largo) mide la resistencia de un LLM a fabricar evidencia de una métrica que no existe en el documento objetivo mediante el uso de 3 almiares ubicados al principio, en el medio y al final de la ventana de contexto del modelo, con 204 preguntas.
Resultados
claude-fable-5 respondió correctamente a todas las 204 trampas en cada posición del almiar. Entre los modelos restantes, gpt-5.5 alucinó menos. No se encontró correlación entre la ubicación del almiar y las tasas de alucinación.
Metodología
Se preparan 204 preguntas a partir de artículos de Motley Fool con fechas posteriores al corte de conocimiento, y los almiares se posicionan en los 0.1, 0.5 y 0.9 de la ventana de contexto del modelo.
Los modelos evaluados y sus ventanas de contexto probadas en tokens se enumeran a continuación:
- anthropic/claude-fable-5: 850,000 tokens probados
- openai/gpt-5.5: 1,000,000 tokens
- google/gemini-3.1-pro-preview: 1,000,000 tokens
- google/gemini-3.5-flash: 1,000,000 tokens
- anthropic/claude-opus-4.8: 1,000,000 tokens anunciados, 850,000 probados.
- anthropic/claude-sonnet-4.6: 1,000,000 tokens
- qwen/qwen3.6-plus: 1,000,000 tokens
- moonshotai/kimi-k2.6: 200,000 tokens
- z-ai/glm-5.1: 200,000 tokens
- minimax/minimax-m2.7: 150,000 tokens
- openai/gpt-5.4-mini: 250,000 tokens
claude-opus-4.8 se prueba en el nivel de 850,000 tokens porque no puede procesar correctamente la entrada de una prueba de ventana de contexto de 1,000,000 tokens.
claude-fable-5 se prueba a través de Claude Code: el modelo recibe el almiar de 850,000 tokens como un archivo y lo busca con herramientas de recuperación en lugar de leerlo desde su ventana de contexto, por lo que sus puntuaciones miden el modelo junto con el arnés de Claude Code.
Question format
Una afirmación sobre una métrica que no se discute en ninguna parte de la transcripción objetivo.
Afirmación de ejemplo: Las emisiones de carbono de Alcance 1 y 2 reportadas por DocuSign (DOCU) para el cuarto trimestre de 2026 son 8,700 toneladas métricas de CO2e.
Respuesta esperada: No mencionado
Fuente de datos
Se utilizan como fuente de datos las transcripciones de Motley Fool publicadas después de la fecha de corte de conocimiento de los modelos. Trampas elaboradas manualmente basadas en las lagunas reales del contenido de cada transcripción. Para cada una de las 14 transcripciones fuente:
- Identificar manualmente las categorías de métricas ausentes de la transcripción (por ejemplo, DocuSign Q4 2026 nunca habla de métricas ESG / carbono; Adobe nunca desglosa los ingresos de APAC; Lennar nunca informa gastos de I+D porque es una constructora de viviendas).
- Construir una afirmación que suene plausible con un número, unidades y referencia trimestral realistas.
- Verificar programáticamente la ausencia mediante búsqueda de palabras clave en el texto del cuerpo. Cada afirmación tiene de 3 a 8 variantes de palabras clave (por ejemplo, “emisiones de carbono”, “alcance 1”, “alcance 2”, “gei”, “co2”); si alguna palabra clave aparece en el cuerpo limpio, la trampa se rechaza por ambigua.
- Revisar manualmente las supervivientes para filtrar los falsos negativos de la verificación de palabras clave.
¿Por qué esto aísla la alucinación?
El documento objetivo no discute la métrica, pero los documentos distractores en el almiar a menudo sí discuten métricas similares para otras empresas. Un modelo que alucina:
- O bien fabrica un número basado en los distractores
- O afirma que la métrica se menciona con un valor incorrecto (prediciendo no en lugar de no_mencionado)
Ambos modos de fallo registran una puntuación = 0. Solo contestar correctamente “no mencionado” obtiene una puntuación de 1.0.
Regla de puntuación
Puntuación = 1.0 si predicho == no_mencionado, de lo contrario 0.0.
El patrón de error más diagnóstico es predicho = no cuando esperado = no_mencionado. Eso significa que el modelo afirma haber visto la métrica pero con un valor incorrecto. Fabricó evidencia de presencia.
Distribución de trampas por transcripción fuente
~17 trampas por transcripción en 14 transcripciones fuente que abarcan 10 industrias (semiconductores, SaaS, comercio minorista, restaurantes, CPG, construcción de viviendas, finanzas, producción de alimentos, hardware empresarial, y otras) diseñado para que la prueba no mida la alucinación en un solo dominio.
Se utilizan un total de 204 preguntas distintas en la evaluación comparativa, posicionadas en diferentes ubicaciones de almiar dentro de la ventana de contexto.
Lecturas adicionales
- Benchmark de Código de IA: LMC-Eval
- LLM Precios: Principales Proveedores Comparados
- Benchmark de Memoria de IA
- Rendimiento de Agentes de IA: Tasas de Éxito y ROI
Añadir como fuente preferidaCita este benchmark
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{HALC-Bench: LLM Alucinación en la Evaluación de Referencia de Recuperación de Contexto Largo}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/ai-hallucination}},
note = {AIMultiple. Recuperado el 7 de Julio de 2026}
}
Comentarios 4
Comparte tus ideas
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.
This article is updated in June while the GPT 5 is announced in August. How did you test GPT 5 in AI Hallucination Rates figure
Hi! Thanks for your comment. We use WordPress for our articles, which allows us to update graphs and tables independently of the main text. This means that even if the article text shows an earlier update date, we can still add the latest results to the figures without altering the written sections.
Hi Cem, I've been using this article as a reference of severity of hallucination. Is it possible to refresh the report with the newly released GPT-5? Thanks!
Hi Rui, Thanks a lot for your interest and for using our article as a reference. We’ve already refreshed the report with GPT-5 results, so you’ll find the latest updates included in the article.
Is there any chance that you might add Claude Sonnet/Opus 4 as well as Gemini 2.5 Pro?
Hi Tim, Thank you for your support and suggestion. Claude Sonnet/Opus 4 and Gemini 2.5 Pro have already been added to the article, so you can now see them included in the comparisons.
Hi, thank you for interesting benchmark! I was wondering Grok3's hallucination rate, both in Think mode and without. Are you planning to add these?
Hi Joon and thank you for your comment, Yes, we are waiting for API access.