HALC-Bench: LLM Alucinación en Benchmark de Recuperación de Contexto Largo
HALC-Bench (LLM Hallucination on Long-Context Retrieval Benchmark) mide la resistencia de un LLM a fabricar evidencia para una métrica que no existe en el documento objetivo mediante el uso de 3 pajares colocados al principio, en el medio y al final de la ventana de contexto del modelo, con 204 preguntas.
Resultados
claude-fable-5 respondió correctamente a las 204 trampas en cada posición del pajar. Entre los modelos restantes, gpt-5.5 alucinó menos. No se encontró correlación entre la ubicación del pajar y las tasas de alucinación.
Metodología
Se prepararon 204 preguntas a partir de artículos de Motley Fool con fechas posteriores al corte de conocimiento, y los pajares se posicionaron en 0.1, 0.5 y 0.9 de la ventana de contexto del modelo.
Los modelos evaluados y sus ventanas de contexto probadas en tokens se muestran a continuación:
- anthropic/claude-fable-5: 850.000 tokens probados
- openai/gpt-5.5: 1.000.000 tokens
- google/gemini-3.1-pro-preview: 1.000.000 tokens
- google/gemini-3.5-flash: 1.000.000 tokens
- anthropic/claude-opus-4.8: 1.000.000 tokens anunciados, 850.000 probados.
- anthropic/claude-sonnet-4.6: 1.000.000 tokens
- qwen/qwen3.6-plus: 1.000.000 tokens
- moonshotai/kimi-k2.6: 200.000 tokens
- z-ai/glm-5.1: 200.000 tokens
- minimax/minimax-m2.7: 150.000 tokens
- openai/gpt-5.4-mini: 250.000 tokens
claude-opus-4.8 se prueba en el nivel de 850.000 porque no puede recibir correctamente la entrada de una prueba de ventana de contexto de 1.000.000 tokens.
claude-fable-5 se prueba a través de Claude Code: el modelo recibe el pajar de 850.000 tokens como un archivo y lo busca con herramientas de recuperación en lugar de leerlo desde su ventana de contexto, por lo que sus puntuaciones miden el modelo junto con el arnés de Claude Code.
Question format
Una afirmación sobre una métrica que no se discute en ninguna parte de la transcripción objetivo.
Ejemplo de afirmación: Las emisiones de carbono de Alcance 1 y 2 reportadas por DocuSign (DOCU) para el cuarto trimestre de 2026 son 8.700 toneladas métricas de CO2e.
Respuesta esperada: No mencionado
Fuente de datos
Se utilizan transcripciones de Motley Fool publicadas después de la fecha de corte de conocimiento de los modelos como fuente de datos. Trampas elaboradas manualmente basadas en las lagunas de contenido reales de cada transcripción. Para cada una de las 14 transcripciones fuente:
- Identificar manualmente categorías de métricas ausentes de la transcripción (por ejemplo, DocuSign cuarto trimestre 2026 nunca discute métricas ESG / de carbono; Adobe nunca desglosa los ingresos de APAC; Lennar nunca reporta gastos de I+D porque es una constructora de viviendas).
- Construir una afirmación que suene plausible con un número, unidades y referencia trimestral realistas.
- Verificar programáticamente la ausencia mediante búsqueda de palabras clave en el cuerpo del texto. Cada afirmación tiene de 3 a 8 variantes de palabras clave (por ejemplo, "carbon emissions," "scope 1," "scope 2," "ghg," "co2"); si alguna palabra clave aparece en el cuerpo limpio, la trampa se rechaza como ambigua.
- Revisar manualmente las supervivientes para filtrar falsos negativos de la verificación por palabras clave.
¿Por qué esto aísla la alucinación?
El documento objetivo no discute la métrica, pero los documentos distractores en el pajar a menudo sí discuten métricas similares para otras empresas. Un modelo que alucina:
- O bien fabricará un número basado en los distractores
- O afirmará que la métrica se menciona con un valor incorrecto (prediciendo no en lugar de not_mentioned)
Ambos modos de fallo se registran como puntuación = 0. Solo responder correctamente "not mentioned" puntúa 1.0.
Regla de puntuación
Puntuación = 1.0 si predicho == not_mentioned, de lo contrario 0.0.
El patrón de error más diagnóstico es predicho = no cuando esperado = not_mentioned. Eso significa que el modelo afirma haber visto la métrica pero con un valor incorrecto. Fabricó evidencia de presencia.
Distribución de trampas por transcripción fuente
~17 trampas por transcripción en 14 transcripciones fuente que abarcan 10 industrias (semiconductores, SaaS, venta minorista, restaurantes, CPG, construcción de viviendas, finanzas, producción de alimentos, hardware empresarial y otras) diseñadas para que la prueba no mida la alucinación en un solo dominio.
Se utiliza un total de 204 preguntas distintas en el benchmark, posicionadas en diferentes ubicaciones del pajar dentro de la ventana de contexto.
¿Qué es la alucinación de IA?
Una alucinación de IA es una respuesta generada por un sistema de inteligencia artificial que contiene información falsa, fabricada o engañosa presentada como un hecho. IBM define el fenómeno como aquel que ocurre cuando un LLM percibe patrones u objetos que son inexistentes o imperceptibles para los observadores humanos, produciendo resultados que son sin sentido o factualmente inexactos y no están fundamentados en los datos de entrenamiento.1 La entrada de Wikipedia lo define de manera similar como una respuesta que contiene información falsa o engañosa presentada como un hecho, enumerando "bullshitting," "confabulation," y "delusion" como términos alternativos utilizados en la literatura.2
El Perfil de IA Generativa del Marco de Gestión de Riesgos de IA del Instituto Nacional de Estándares y Tecnología (NIST IA 600-1), publicado en julio de 2024, adopta formalmente "confabulation" en lugar de "hallucination" como su término principal. NIST define la confabulación como la producción de contenido afirmado con confianza pero erróneo o falso, conocido coloquialmente como alucinaciones o fabricaciones, por el cual los usuarios pueden ser engañados o inducidos a error.3 Esta definición cubre explícitamente los resultados que divergen del prompt o contradicen declaraciones previamente generadas dentro del mismo contexto, no solo afirmaciones que entran en conflicto con la realidad externa.
La alucinación difiere de un error ordinario o errata en dos dimensiones críticas. Primero, fluidez y confianza: la definición de NIST requiere que el contenido sea "afirmado con confianza," llevando los mismos marcadores gramaticales y estilísticos de certeza que una respuesta correcta sin atenuación ni señal de duda.3 Segundo, fabricación versus corrupción: IBM enmarca el fallo como el modelo generando contenido que no tiene base en sus datos de entrenamiento o entrada.
Impacto real de la alucinación de IA en todas las industrias
Incidentes documentados en los sectores legal, sanitario y financiero demuestran que la alucinación no es una preocupación teórica sino una fuente de daño financiero y operativo medible.
Sistema legal: citas fabricadas y sanciones judiciales
La base de datos de Casos de Alucinación de IA de Damien Charlotin, el recuento público más completo, documentó 1.598 casos en todo el mundo hasta el 9 de junio de 2026, con nuevos casos añadidos a un ritmo de aproximadamente 8 por día.4
En Coomer v. Lindell (Tribunal de Distrito de EE. UU., Distrito de Colorado), la jueza Nina Wang sancionó a los abogados Christopher I. Kachouroff y Jennifer T. DeMaster con $3,000 cada uno en julio de 2025 tras encontrar aproximadamente 30 citas defectuosas, incluyendo citas erróneas y casos inexistentes, en escritos para Mike Lindell y MyPillow.5 La misma jueza sancionó a Kachouroff nuevamente en mayo de 2026, esta vez con $5,000, por otra cita materialmente incorrecta.6
En Couvrette v. Wisnovsky, un tribunal federal en Oregón desestimó las reclamaciones de los demandantes con perjuicio e impuso una sanción combinada de $110.204.38 en órdenes fechadas en diciembre de 2025 y marzo de 2026 contra el abogado de California Stephen Brigandi y el abogado de Portland Tim Murphy. La pareja citó 15 casos inexistentes y 8 citas textuales fabricadas en tres escritos presentados durante cinco meses.7
En Whiting v. City of Athens, Tennessee, un panel del Sexto Circuito encontró en marzo de 2026 que los abogados Van Irion y Russ Egli incluyeron más de dos docenas de citas fabricadas y tergiversaron una orden de sanciones de un tribunal de distrito. El tribunal ordenó a cada abogado pagar $15,000 al registro del tribunal, reembolsar los honorarios completos de apelación de la parte contraria, pagar el doble de costas y enfrentar una remisión disciplinaria.8 9
El 20 de julio de 2025, el juez de distrito de EE. UU. Henry T. Wingate (Distrito Sur de Mississippi) emitió una orden de restricción temporal que contenía errores factuales incluyendo partes mal nombradas y una cita a un caso inexistente. Después de que el senador Chuck Grassley enviara una consulta, Wingate reconoció que su asistente legal había utilizado Perplexity para redactar la orden. Wingate adoptó una política interna que requiere una segunda revisión independiente de los borradores de órdenes y copias físicas impresas de todos los casos citados.10 11
La firma de seguimiento ComplexDiscovery documentó sanciones que escalaron de aproximadamente $5,000 en un solo caso de 2023 a $55,597 en un solo caso de 2025, un aumento de 11x en aproximadamente 18 meses; combinadas con la cifra de Couvrette, las sanciones por caso alcanzaron aproximadamente $110,000 a principios-mediados de 2026.12 Tribunales en el Reino Unido, Singapur, Canadá, Australia, Argentina, la UE, Corea, Italia, Noruega y Francia han emitido fallos sobre escritos con alucinaciones de IA.13 14
Salud y documentación clínica
El informe anual 18º Top 10 de Riesgos de Tecnología Sanitaria de ECRI, publicado el 4 de diciembre de 2024, clasificó "riesgos con tecnologías sanitarias habilitadas por IA" como el peligro número uno para 2025, citando específicamente los sistemas de IA que producen resultados alucinados falsos o engañosos y el riesgo de que la IA perpetúe sesgos contra grupos de pacientes subrepresentados.15 16
Un estudio de 2025 publicado en Communications Medicine probó múltiples LLMs en la summarización de casos clínicos utilizando 300 viñetas clínicas simuladas validadas por médicos, cada una conteniendo un detalle fabricado. El estudio encontró una tasa general de alucinación del 65.9 % sin prompting de mitigación, bajando al 44.2 % con prompting de mitigación estructurado; GPT-4o fue el modelo con mejor rendimiento, cayendo del 53 % de referencia al 23 % con mitigación activa.17 18
Finanzas y servicio al cliente
La Comisión de Bolsa y Valores ha emprendido acciones de cumplimiento por tergiversaciones de IA. El 18 de marzo de 2024, la SEC resolvió sus primeros cargos de IA-washing contra dos asesores de inversión, Delphia (USA) Inc. y Global Predictions, Inc., por un total combinado de $400,000 en sanciones civiles.19 En febrero de 2024, la SEC resolvió cargos de fraude contra Rockwell Capital Management y su director Brian Sewell por un fondo que afirmaba falsamente utilizar tecnología de IA que nunca existió, resultando en $1.602.089 en devolución de ganancias e intereses más una multa personal de $223.229.20 En enero de 2025, la SEC presentó su primer caso de IA-washing contra una empresa pública, Presto Automation Inc., por no revelar que su producto de reconocimiento de voz con IA era en realidad una herramienta de terceros que requería una intervención humana significativa.21
En Moffatt v. Air Canada, 2024 BCCRT 149, decidido el 14 de febrero de 2024 por el Tribunal de Resolución Civil de Columbia Británica, el tribunal rechazó el argumento de Air Canada de que no era responsable por las declaraciones de su chatbot. A Jake Moffatt el chatbot del sitio web de la aerolínea le había dicho que podía solicitar un descuento por duelo de forma retroactiva después de reservar billetes a precio completo; esto era falso. El tribunal ordenó a Air Canada pagar a Moffatt $650,88 en daños por tergiversación negligente.22 23
¿Qué tan comunes son las alucinaciones de IA?
Las tasas de alucinación varían enormemente según el tipo de tarea y la metodología de evaluación, lo que hace que los resúmenes de una sola cifra sean engañosos. El Informe del Índice de IA 2026 de Stanford HAI documenta un nuevo benchmark de precisión que prueba si los modelos pueden distinguir entre la creencia de terceros y la creencia del usuario cuando se presentan declaraciones falsas. Las tasas de alucinación en 26 modelos principales oscilan entre el 22 % y el 94 % en este benchmark.23
La metodología impulsa esta amplia dispersión. Los modelos manejan bien las afirmaciones falsas cuando se enmarcan como algo que un tercero cree, pero el rendimiento se desploma cuando la misma afirmación falsa se enmarca como algo que el usuario cree. Bajo este encuadre de "creencia del usuario," la precisión de GPT-4o cayó del 98.2 % al 64.4 %, y DeepSeek R1 cayó de más del 90 % al 14.4 %.24
En tareas de summarización fundamentada, las tasas son más bajas pero los cambios de benchmark complican el análisis de tendencias. El Hallucination Leaderboard de Vectara (modelo HHEM) mide con qué frecuencia los resúmenes contienen afirmaciones no respaldadas por los documentos fuente. En la versión original del leaderboard que se ejecutó durante la mayor parte de 2025, Google Gemini-2.0-Flash-001 logró una tasa de alucinación del 0.7 %. En noviembre de 2025, Vectara reemplazó el benchmark con un dataset más difícil utilizando documentos más largos (hasta 32K tokens) que abarcan derecho, medicina, finanzas, tecnología y educación. En este nuevo benchmark, el líder actual es finix_s1_32b de Ant Group con 1.8 %, con Google Gemini-2.5-flash-lite al 3.3 % y OpenAI gpt-5.4-nano al 3.1 %.25 Vectara declara explícitamente que las puntuaciones de las versiones antigua y nueva no deben compararse directamente, ya que el nuevo dataset es intencionalmente más difícil.26
Detección y reducción de alucinaciones de IA
Los enfoques técnicos de mitigación apuntan a diferentes etapas del pipeline de generación, desde la arquitectura de recuperación hasta el diseño de evaluación.
Generación aumentada por recuperación y fundamentación
La generación aumentada por recuperación estándar combina un modelo de lenguaje paramétrico preentrenado con un índice de recuperación no paramétrico, condicionando la salida a documentos obtenidos en tiempo de inferencia en lugar de depender únicamente de hechos memorizados durante el entrenamiento.27 La investigación de interpretabilidad mecanicista rastrea las alucinaciones en sistemas RAG hasta dos componentes internos: "Knowledge FFNs" (capas de redes feed-forward que codifican conocimiento paramétrico) y "Copying Heads" (cabezas de atención responsables de transferir el contexto recuperado a la salida). La alucinación ocurre cuando las Knowledge FFNs sobreenfatizan el conocimiento paramétrico mientras que las Copying Heads no logran retener el contenido externo recuperado.28
SQL RAG aplica la recuperación a nivel de esquema en lugar de a nivel de documento, recuperando declaraciones CREATE TABLE y consultas de ejemplo utilizando embeddings semánticos. Esto previene estructuralmente que los modelos inventen elementos del esquema porque solo las definiciones de esquema reales y recuperadas están en contexto. Sin embargo, ampliar el contenido del esquema recuperado mejora la discriminación de recuperación pero aumenta las tasas de alucinación una vez que los prompts superan un tamaño óptimo, lo que indica que la capacidad de generación downstream limita cuánto puede reducir la fabricación SQL RAG.29
GraphRAG de Microsoft Research convierte los corpus fuente en grafos de conocimiento antes de la recuperación, pregenerando resúmenes comunitarios para grupos de entidades relacionadas. Esto aborda la dificultad del RAG estándar con preguntas globales sobre corpus enteros al recuperar relaciones estructuradas entre entidades en lugar de fragmentos aislados.30 31
Calibración, prompting y métodos de evaluación
El artículo de OpenAI de septiembre de 2025 argumenta que los cambios en el diseño de evaluación pueden alterar las tasas de alucinación al modificar lo que se optimiza durante el desarrollo del modelo. Los autores proponen añadir umbrales de confianza explícitos a los benchmarks, como "responde solo si tienes más del t% de confianza, ya que los errores se penalizan con t/(1−t) puntos." Bajo esta regla de puntuación, responder solo supera a abstenerse una vez que la confianza real del modelo excede el umbral, eliminando el incentivo de adivinar.32 18
El prompting estructurado reduce las tasas de alucinación en dominios específicos. El estudio de Communications Medicine encontró que un prompt de mitigación que instruye a los modelos a "usar solo información clínicamente validada y reconocer la incertidumbre en lugar de especular más" redujo las tasas de alucinación del 64.1 % al 43.1 % para viñetas clínicas de casos largos, y de aproximadamente 66 % al 44 % promediado en todos los modelos y longitudes de caso. 32 33 La decodificación determinista a temperatura-0 no produjo una mejora significativa, aislando la estructura del prompt en lugar de la aleatoriedad de la decodificación como la variable efectiva.34
¿Es la alucinación de IA un problema que se pueda resolver?
La cuestión de si la alucinación puede eliminarse sigue siendo genuinamente disputada entre los resultados de imposibilidad teórica y las tendencias empíricas de tasas decrecientes en benchmarks.
El artículo "Hallucination is Inevitable" proporciona un argumento formal de que los LLMs no pueden aprender todas las funciones computables y, por lo tanto, inevitablemente alucinarán si se utilizan como solucionadores generales de problemas, enmarcando esto como una limitación innata independientemente de la arquitectura o las mejoras de entrenamiento.35 Un resultado teórico relacionado demuestra que los modelos no pueden lograr simultáneamente una alta consistencia (generando solo declaraciones respaldadas por datos de entrenamiento) y una alta amplitud (cubriendo toda la diversidad del lenguaje objetivo); empujar hacia uno necesariamente empuja hacia el otro modo de fallo, ya sea alucinación o colapso modal.30 36
Frente a estos límites teóricos está la tendencia empírica de tasas de alucinación decrecientes en benchmarks estandarizados, con modelos de primer nivel logrando menos del 2 % en tareas de summarización fundamentada. Sin embargo, esta tendencia se complica por la desalineación de la evaluación. La investigación de OpenAI identifica la calificación binaria en los benchmarks convencionales como un obstáculo estructural que recompensa matemáticamente las conjeturas confiadas sobre la incertidumbre calibrada, lo que significa que las tasas reportadas miden el rendimiento frente a estructuras de incentivos que pueden no reflejar los requisitos de fiabilidad del mundo real.37
Una encuesta de febrero de 2024 argumenta que la alucinación y la generación creativa pueden compartir mecanismos subyacentes, enmarcando las dos como un compromiso en lugar de modos de fallo y éxitos separables. Suprimir el mecanismo generativo que produce resultados exploratorios corre el riesgo de suprimir la capacidad, no solo el riesgo, particularmente en dominios como la lluvia de ideas o la ficción.23 Esto se alinea con el comportamiento observado de los parámetros de decodificación: configuraciones de baja temperatura (0 a 0.3) se recomiendan para la extracción factual, mientras que configuraciones más altas (0.7 a 1.0) aumentan deliberadamente la varianza y con ella el riesgo de alucinación para tareas creativas.23
Añadir como fuente preferida¿Hacia dónde se dirigen la política y la investigación sobre la alucinación de IA?
La Base de Datos de Incidentes de IA registró 362 incidentes documentados en 2025, frente a 233 en 2024, según el Informe del Índice de IA 2026 de Stanford HAI.38 Entre las empresas que reportan incidentes de IA, la proporción que reporta de 3 a 5 incidentes aumentó mientras que la proporción que reporta solo 1-2 incidentes disminuyó, lo que indica que la exposición repetida en lugar de eventos aislados se está volviendo más común.39
El Índice de Transparencia de Modelos Fundacionales muestra una transparencia decreciente incluso cuando los incidentes aumentan. La puntuación promedio entre los desarrolladores evaluados subió de 37 en 2023 a 58 en 2024, y luego bajó a 40 en 2025.40 23 Las puntuaciones individuales de 2025 variaron desde IBM con 95 hasta xAI y Midjourney con 14 cada uno.41
Los roles de gobernanza específicos de IA crecieron un 17 % en 2025, y la proporción de empresas sin políticas de IA responsable cayó del 24 % al 11 %.42
Los tribunales han pasado de sanciones caso por caso a reglas permanentes. El 28 de mayo de 2026, la Corte Suprema de Florida modificó la Regla de Práctica General y Administración Judicial 2.515(d)(2) para requerir que cada firmante de un escrito judicial certifique que "las autoridades legales identificadas existen y están citadas con precisión," con efecto a partir del 15 de junio de 2026.33 En el Distrito Sur de Nueva York, las Reglas Civiles del juez Vernon Broderick (actualizadas el 29 de octubre de 2025) requieren la divulgación de cualquier IA generativa utilizada para preparar escritos y la certificación de que las porciones generadas por IA fueron revisadas de forma independiente.43
Preguntas frecuentes
No. Los argumentos formales de computabilidad demuestran que los modelos de lenguaje grandes no pueden aprender todas las funciones computables e inevitablemente alucinarán en algunas entradas independientemente de la arquitectura o la calidad de los datos de entrenamiento.44 La investigación indica que la probabilidad de alucinación puede reducirse a niveles estadísticamente insignificantes pero no a cero preservando el rendimiento del modelo.1 30
No. La definición técnica de IBM establece que las alucinaciones de IA "no son actos intencionales de engaño" sino que resultan de factores como el sesgo en los datos de entrenamiento y la complejidad del modelo, produciendo resultados falsos de manera no intencional.45 Mentir requiere conocer la respuesta correcta y elegir decir algo falso; los modelos carecen de la intención de engañar y en su lugar generan resultados indiferentes al valor de verdad.30
Las señales de alerta incluyen declaraciones factualmente incorrectas presentadas con confianza, respuestas que se desvían del tema o rompen el flujo lógico, lógica paso a paso defectuosa como errores aritméticos básicos y, en herramientas multimodales, imágenes generadas que no coinciden con la solicitud.45 Debido a que los incentivos de entrenamiento recompensan las conjeturas, los usuarios deben tratar los datos específicos afirmados con confianza y sin fuentes como no verificados hasta que se comprueben con fuentes primarias.30
Lecturas adicionales
- Benchmark de Código de IA: LMC-Eval
- Precios de LLM: Principales Proveedores Comparados
- Benchmark de Memoria de IA
- Rendimiento de Agentes de IA: Tasas de Éxito y ROI
Cita este benchmark
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Alper, Şevval},
title = {{HALC-Bench: LLM Alucinación en Benchmark de Recuperación de Contexto Largo}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/ai-hallucination}},
note = {AIMultiple. Recuperado el 4 de Agosto de 2026}
}Enlaces de referencia
El trabajo de Cem ha sido citado por publicaciones globales líderes como Business Insider, Forbes, Washington Post, firmas globales como Deloitte, HPE y ONG como el Foro Económico Mundial y organizaciones supranacionales como la Comisión Europea.
A lo largo de su carrera, Cem se ha desempeñado como consultor tecnológico, comprador de tecnología y emprendedor tecnológico. Asesoró a empresas en sus decisiones tecnológicas en McKinsey & Company y Altman Solon durante más de una década. También publicó un informe de McKinsey sobre digitalización.
Lideró la estrategia tecnológica y las adquisiciones de una empresa de telecomunicaciones reportando directamente al CEO. También lideró el crecimiento comercial de la empresa de tecnología profunda Hypatos, que alcanzó ingresos recurrentes anuales de 7 dígitos y una valoración de 9 dígitos desde 0 en 2 años. El trabajo de Cem en Hypatos fue cubierto por publicaciones tecnológicas líderes como TechCrunch y Business Insider.
Cem habla regularmente en conferencias internacionales de tecnología. Se graduó de la Universidad de Bogazici como ingeniero informático y tiene un MBA de Columbia Business School.
Şevval se centra en herramientas de codificación con IA, agentes de IA y tecnologías cuánticas.
Comentarios 4
Comparte tus ideas
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.
This article is updated in June while the GPT 5 is announced in August. How did you test GPT 5 in AI Hallucination Rates figure
Hi! Thanks for your comment. We use WordPress for our articles, which allows us to update graphs and tables independently of the main text. This means that even if the article text shows an earlier update date, we can still add the latest results to the figures without altering the written sections.
Hi Cem, I've been using this article as a reference of severity of hallucination. Is it possible to refresh the report with the newly released GPT-5? Thanks!
Hi Rui, Thanks a lot for your interest and for using our article as a reference. We’ve already refreshed the report with GPT-5 results, so you’ll find the latest updates included in the article.
Is there any chance that you might add Claude Sonnet/Opus 4 as well as Gemini 2.5 Pro?
Hi Tim, Thank you for your support and suggestion. Claude Sonnet/Opus 4 and Gemini 2.5 Pro have already been added to the article, so you can now see them included in the comparisons.
Hi, thank you for interesting benchmark! I was wondering Grok3's hallucination rate, both in Think mode and without. Are you planning to add these?
Hi Joon and thank you for your comment, Yes, we are waiting for API access.