Herramientas de detección de alucinaciones de IA: W&B Weave y Comet
Hicimos pruebas de referencia de tres herramientas de detección de alucinaciones: HallucinationFree Scorer de Weights & Biases (W&B) Weave, HallucinationEvaluator de Arize Phoenix y Métrica de Alucinación de Comet Opik, en 100 casos de prueba.
Cada herramienta fue evaluada en precisión, exactitud, exhaustividad y latencia para proporcionar una comparación justa de su rendimiento en el mundo real.
Prueba de referencia de herramientas de detección de alucinaciones de IA
Probamos 100 respuestas (50 correctas, 50 alucinadas) de escenarios de preguntas y respuestas fácticas contra su contexto de origen.
Comparación de precisión y latencia
W&B Weave y Arize Phoenix entregaron una precisión casi idéntica del 91% y 90% respectivamente, identificando correctamente 90 de 100 casos de prueba. Ambas herramientas demostraron un rendimiento confiable en todo el conjunto de datos. Comet Opik se quedó atrás con una precisión del 72%, clasificando correctamente solo 72 de 100 pruebas, una brecha significativa impulsada por su enfoque conservador.
En términos de velocidad, Arize Phoenix fue el ganador con 2 segundos por prueba, lo que lo hace adecuado para aplicaciones en tiempo real. W&B Weave procesó las pruebas en 4 segundos, lo cual es razonable para la mayoría de los casos de uso de producción. Comet Opik fue notablemente más lento con 8,5 segundos por prueba, lo que sugiere tiempos de procesamiento inconsistentes que podrían afectar la experiencia del usuario en aplicaciones sensibles a la latencia.
Puntuación F1, precisión y exhaustividad
Las puntuaciones F1 (media armónica de precisión y exhaustividad) confirmaron estos patrones: W&B Weave con 90,5% y Phoenix con 89,4% lograron un rendimiento sólido y equilibrado. En comparación, el 61,1% de Opik reflejó el compromiso entre una precisión perfecta y una exhaustividad débil. Los falsos positivos cero de Opik vinieron a costa de 28 falsos negativos, lo que lo hace adecuado solo para escenarios donde las falsas alarmas son más costosas que las detecciones perdidas.
La exhaustividad (capacidad de detectar alucinaciones reales) reveló estrategias distintas. W&B Weave lideró con una exhaustividad del 86%, detectando 43 de 50 alucinaciones y perdiendo solo 7. Phoenix siguió de cerca con un 84%, detectando 42 alucinaciones y perdiendo 8. La exhaustividad de Comet Opik fue sustancialmente más baja con un 44%, detectando solo 22 alucinaciones mientras perdía 28; más de la mitad de todas las alucinaciones reales pasaron desapercibidas.
La precisión (fiabilidad de las alertas) mostró una variación significativa. Comet Opik logró una precisión perfecta del 100% con cero falsos positivos; cuando marcaba algo como alucinación, siempre era correcto. Tanto Phoenix (95,5%) como Weave (95,6%) mostraron una precisión casi idéntica, produciendo solo 2 falsos positivos de 50 respuestas legítimas, demostrando una fuerte fiabilidad sin ser excesivamente conservadores.
Factores que podrían afectar las diferencias en el rendimiento
Las diferencias de rendimiento observadas son posiblemente impulsadas por la filosofía de diseño, la selección de umbrales y la interpretación de la fundamentación.
Diferencias en la estrategia de detección y los objetivos de optimización
- Las herramientas parecen estar optimizadas para diferentes compensaciones de errores en lugar del mismo objetivo.
- W&B Weave y Arize Phoenix buscan un rendimiento equilibrado, manteniendo una alta precisión mientras aún capturan la mayoría de las alucinaciones.
- Comet Opik adopta una estrategia altamente conservadora, priorizando cero falsos positivos incluso si se pierden muchas alucinaciones.
- Esta elección estratégica explica directamente la precisión perfecta de Opik y su exhaustividad sustancialmente más baja.
Compensaciones de precisión-exhaustividad integradas en el diseño de la herramienta
- Los falsos positivos cero de Comet Opik indican un umbral de decisión estricto, marcando alucinaciones solo cuando la confianza es muy alta.
- W&B Weave y Phoenix utilizan umbrales menos restrictivos, permitiendo algunos falsos positivos a cambio de una exhaustividad mucho mayor.
- Estas diferencias de umbral pueden llevar a:
- Precisión similar entre Weave y Phoenix
- Grandes brechas de exhaustividad entre Opik y las otras dos herramientas
- Diferencias correspondientes en la puntuación F1 y la precisión general
Variaciones en la implementación de LLM como juez
- Aunque las tres herramientas utilizan un enfoque de LLM como juez, sus implementaciones difieren.
- W&B Weave enfatiza el razonamiento de cadena de pensamiento, lo que puede mejorar la sensibilidad a afirmaciones no respaldadas sutiles.
- Arize Phoenix incorpora salidas basadas en etiquetas con puntuaciones de confianza, apoyando juicios más matizados.
- Comet Opik se centra en decisiones binarias de alta confianza, lo que reduce las falsas alarmas pero limita la sensibilidad a alucinaciones limítrofes.
Diferencias de latencia impulsadas por la profundidad de la evaluación
- La menor latencia de Arize Phoenix sugiere un pipeline de evaluación más ligero o simplificado, adecuado para uso en tiempo real.
- La latencia moderada de W&B Weave es consistente con un razonamiento más rico y registro de trazas.
- La latencia más alta y menos consistente de Comet Opik probablemente refleja un razonamiento interno más extenso o pasos de verificación, reforzando su diseño conservador.
Herramientas de detección de alucinaciones de IA
HallucinationFree Scorer de W&B Weave
Figura 1: Panel de trazas de W&B Weave.
Weights & Biases (W&B) HallucinationFree Scorer de Weave es una herramienta de evaluación integrada que verifica si las salidas de LLM contienen alucinaciones comparándolas con el contexto proporcionado. El evaluador utiliza un enfoque de LLM como juez para determinar si la respuesta generada se mantiene fundamentada en el material de origen.
El evaluador toma dos entradas: el contexto (material de origen) y la salida (respuesta generada por LLM). Luego utiliza un modelo de lenguaje para analizar si la salida introduce información no presente en el contexto. El resultado incluye un indicador booleano has_hallucination y un razonamiento que explica la decisión.
Características clave:
- Razonamiento de cadena de pensamiento: Cada evaluación incluye una explicación de por qué la salida fue marcada como alucinación o no.
- Clasificación binaria: Devuelve decisiones claras de verdadero/falso con evidencia de apoyo.
- Integración con el rastreo de Weave: Los resultados se registran automáticamente en el panel de Weave para su visualización.
- Modelo personalizable: Soporta diferentes jueces LLM, incluidos OpenAI, Anthropic y otros proveedores.
HallucinationEvaluator de Arize Phoenix
HallucinationEvaluator de Arize Phoenix es una métrica integrada que detecta alucinaciones en las salidas de LLM verificando si las respuestas están fundamentadas en el material de referencia proporcionado. El evaluador utiliza un enfoque de LLM como juez para evaluar la consistencia fáctica entre el contexto y el contenido generado.
El evaluador toma tres entradas: la consulta del usuario (entrada), el texto de referencia (contexto) y la respuesta del modelo (salida). Analiza si la respuesta contiene información que no puede derivarse del contexto, devolviendo un resultado etiquetado ("fáctico" o "alucinado") junto con una explicación y una puntuación de confianza.
Características clave:
- Rendimiento equilibrado: Proporciona resultados tanto en métricas de precisión como de exhaustividad
- Salida basada en etiquetas: Devuelve etiquetas categóricas ("fáctico" o "alucinado") en lugar de solo puntuaciones numéricas
- Explicaciones detalladas: Proporciona razonamiento para cada decisión de evaluación
Métrica de Alucinación de Comet Opik
La Métrica de Alucinación de Comet Opik es un evaluador integrado que evalúa si las salidas de LLM contienen información fabricada o no respaldada. La métrica utiliza una metodología de LLM como juez para verificar que las respuestas generadas permanezcan fieles al contexto proporcionado.
La métrica acepta tres entradas: la consulta del usuario (entrada), el material de origen (contexto) y la respuesta del modelo (salida). Evalúa si la salida introduce afirmaciones no respaldadas por el contexto.
El resultado incluye una puntuación binaria (0 para sin alucinación, 1 para alucinación detectada) y un razonamiento detallado que explica la evaluación.
Características clave:
- Explicaciones detalladas: Cada evaluación proporciona un razonamiento exhaustivo sobre por qué se marcó o aprobó el contenido
- Análisis de tres entradas: Considera la consulta, el contexto y la respuesta juntos para la evaluación
- Seguimiento de experimentos: Los resultados se registran automáticamente en el sistema de seguimiento de experimentos de Opik
- Enfoque conservador: Diseñado para minimizar los falsos positivos marcando solo alucinaciones de alta confianza
¿Qué es una alucinación de IA?
Las alucinaciones son instancias en las que los sistemas de IA generan contenido que parece coherente pero no es fáctico. En la investigación de modelos de lenguaje grandes, las alucinaciones se plantean como un desafío fundamental porque la IA generativa a menudo responde con confianza incluso cuando los datos de entrenamiento subyacentes no respaldan la afirmación. Una encuesta sobre alucinaciones de IA señala que surgen cuando los modelos dependen de priores lingüísticos en lugar de una verdad fundamental verificable del contexto proporcionado.1
Las fuentes de la industria destacan cómo ocurren las alucinaciones de IA en dominios como aplicaciones de salud, servicios legales, búsqueda empresarial y atención al cliente. En tales entornos, las alucinaciones socavan la confianza del usuario, principalmente cuando las decisiones de alto riesgo dependen de salidas correctas de la IA.
Por lo tanto, reconocer y detectar alucinaciones se ha convertido en central para el desarrollo moderno de la IA, tanto para proteger a los usuarios finales como para garantizar el despliegue seguro de aplicaciones de IA que dependen de LLMs.
Fuentes y taxonomía de las alucinaciones
Las alucinaciones pueden surgir de comportamientos internos del modelo, como el exceso de dependencia en patrones estadísticos, brechas en los datos de entrenamiento y la naturaleza probabilística de la generación de secuencias.
Según un artículo sobre detección y mitigación de alucinaciones, los LLM pueden producir inexactitudes fácticas incluso cuando parecen seguros, porque las continuaciones probables se infieren en lugar de ser evidencia verificable.2
Otras alucinaciones surgen de fallos contextuales, incluidos fallos de recuperación en la generación aumentada por recuperación (sistemas RAG), indicaciones ambiguas o fundamentación incompleta. También se sugiere que los modelos multimodales exhiben alucinaciones a través de confusiones de objetos, inconsistencias temporales o detalles de escenas inventados.
Detección de alucinaciones en flujos de trabajo de agentes
Los flujos de trabajo de agentes de múltiples pasos introducen riesgos únicos de alucinación que difieren de las interacciones de LLM de un solo turno. Cuando un agente opera de forma autónoma a través de múltiples pasos, una alucinación en una etapa temprana puede propagarse a través de decisiones posteriores, llamadas a herramientas y salidas.
Desafíos clave en la detección de alucinaciones de agentes:
- Propagación de errores: Un hecho fabricado en la fase de planificación puede influir en la selección de herramientas, la recuperación de datos y las respuestas finales
- Alucinaciones de llamadas a herramientas: Los agentes pueden invocar herramientas con parámetros incorrectos o malinterpretar las salidas de las herramientas
- Corrupción del estado: La información alucinada almacenada en la memoria del agente afecta los pasos de razonamiento futuros
- Complejidad de atribución: Identificar qué paso introdujo la alucinación requiere un rastreo de extremo a extremo
Enfoques de detección para sistemas de agentes:
- Verificación a nivel de paso: Validar cada salida intermedia antes de que el agente proceda a la siguiente acción
- Validación de salidas de herramientas: Verificar las respuestas de las herramientas contra formatos esperados y restricciones conocidas
- Análisis de trayectoria: Revisar la secuencia completa de decisiones del agente para identificar dónde el razonamiento se desvió de la información fundamentada
- Comprobaciones de consistencia entre pasos: Comparar afirmaciones hechas en diferentes etapas para detectar contradicciones
El HallucinationFree Scorer de W&B Weave y el HallucinationEvaluator de Arize Phoenix se pueden aplicar en cada paso del agente, mientras que sus paneles integrados muestran la traza de ejecución completa para el análisis de la causa raíz.
Prevención de alucinaciones en tiempo real
La detección de alucinaciones después de la generación proporciona información valiosa pero no evita que las salidas problemáticas lleguen a los usuarios. Los sistemas de prevención en tiempo real intervienen antes de que se entregue la respuesta.
Mecanismos de prevención:
- Guardarraíles de salida: Filtros que analizan el contenido generado contra criterios de factualidad antes de devolverlo al usuario.
- Umbrales de confianza: Bloquear o marcar respuestas cuando la confianza interna del modelo cae por debajo de niveles aceptables.
- Compuertas de validación de recuperación: Verificar que las afirmaciones generadas estén respaldadas por documentos recuperados antes de finalizar la respuesta.
- Estrategias de respaldo: Devolver una respuesta predeterminada segura o escalar a colas de revisión cuando el riesgo de alucinación es alto.
Capacidades de herramientas para prevención en tiempo real:
- W&B Weave integra la puntuación de alucinación en pipelines de producción, permitiendo comprobaciones automáticas antes de que se sirvan las respuestas.
- Arize Phoenix proporciona monitoreo en tiempo real con capacidades de alerta que marcan salidas de alto riesgo para revisión inmediata.
- Comet Opik ofrece seguimiento de experimentos con evaluación automática, permitiendo a los equipos establecer compuertas de calidad que bloqueen respuestas que excedan los umbrales de alucinación.
Enfoques para la detección de alucinaciones
Hay seis enfoques principales utilizados para detectar alucinaciones:
1. Métodos basados en consistencia
Los métodos basados en consistencia evalúan una respuesta comparándola con varias generaciones alternativas.
Un enfoque muestrea múltiples respuestas y las compara utilizando medidas de similitud semántica, superposición de n-gramas o verificación de preguntas y respuestas.
Cuando las respuestas se contradicen entre sí o contienen inconsistencias lógicas, la probabilidad de alucinación aumenta.
Otra técnica utiliza entropía semántica, que agrupa respuestas por significado en lugar de redacción. Este método estima la incertidumbre a nivel conceptual. La alta entropía indica conocimiento inestable, lo que lo convierte en una de las herramientas de detección de alucinaciones de IA más efectivas para identificar confabulaciones.
Las recomendaciones de la industria siguen patrones similares:
- Generar varias respuestas internas y marcar inconsistencias.
- Alertar a revisores humanos cuando la confianza varía entre múltiples métricas.
- Usar alertas en tiempo real cuando la variabilidad de la respuesta indique incertidumbre.
Los sistemas basados en consistencia son especialmente valiosos cuando las organizaciones deben detectar alucinaciones temprano en aplicaciones orientadas al usuario.
2. Detección basada en probabilidad y confianza
Muchos sistemas analizan la creencia interna del modelo sobre su propia salida. Las probabilidades a nivel de token, los valores de entropía, las curvas de calibración y las estimaciones de confianza basadas en márgenes se utilizan comúnmente. Los segmentos de baja confianza a menudo se correlacionan con tasas de alucinación más altas.
Aunque la entropía cruda puede ser engañosa debido a la redacción variable, las señales de confianza siguen siendo útiles, especialmente cuando se combinan con indicadores basados en consistencia. Estos valores también apoyan la detección de alucinaciones en tiempo real, donde las respuestas de la IA se monitorean continuamente.
Muchas herramientas exponen estas puntuaciones a través de complementos que:
- Marcan respuestas generadas por IA inciertas
- Priorizan la revisión de expertos
- Soportan el monitoreo en tiempo real de la deriva de confianza en producción
3. Detección basada en referencia o contexto
La evaluación basada en referencia compara la salida del modelo con el contexto proporcionado o fuentes externas, lo cual es esencial para los sistemas RAG. Las técnicas típicas incluyen:
- Modelos de implicación que verifican si los documentos recuperados respaldan la respuesta.
- Métodos de alineación y fundamentación que validan el apoyo de la evidencia.
- Métricas de factualidad que miden si las afirmaciones coinciden con el texto de apoyo.
Nota: La generación aumentada por recuperación debe verificar la fundamentación. Problemas como evidencia faltante, recuperación deficiente fuera del dominio y fuentes obsoletas o incorrectas a menudo son causas raíz de respuestas no respaldadas. Estos métodos apoyan directamente la precisión fáctica asegurando que las afirmaciones estén vinculadas a datos verificables.
4. Verificación aumentada por recuperación
La verificación aumentada por recuperación enfatiza la verificación dinámica. Cada afirmación generada se evalúa contra un índice de búsqueda, un almacén de vectores o una base de conocimientos estructurada como un gráfico de conocimientos. Si una afirmación carece de evidencia de apoyo, el sistema puede:
- Rechazarla
- Revisarla
- Regenerarla con fundamentación explícita
Sistemas más avanzados extienden esto al rastreo a nivel de flujo de trabajo, identificando el paso exacto en el que aparece por primera vez una afirmación no respaldada. Esto permite a las organizaciones rastrear las tasas de alucinación, identificar patrones de alucinación y mantener la transparencia en flujos de razonamiento de múltiples pasos.
5. Métodos basados en reglas y restringidos por dominio
Los métodos basados en reglas imponen restricciones específicas del dominio e incluyen:
- Validadores de citas legales
- Guardias de terminología médica
- Comprobaciones basadas en patrones para números o fechas inventados
Estas restricciones reducen las alucinaciones en industrias reguladas y mejoran la fiabilidad para casos de uso especializados. Se recomienda que estas señales basadas en reglas se combinen con juicio humano, especialmente en decisiones de alto riesgo donde no se puede tolerar el riesgo de información incorrecta.
6. Detección de alucinaciones multimodales
Las alucinaciones también se observan más allá del texto. Los ejemplos incluyen:
- Alucinación de objetos en la descripción de imágenes.
- Descripciones incorrectas de eventos en el video.
- Atributos falsos en anotaciones de audio.
La detección multimodal a menudo utiliza comprobaciones de consistencia cruzada, fundamentación visual y conjuntos de datos como POPE, MHalDetect y FactVC. Estos métodos son cada vez más relevantes a medida que las organizaciones experimentan con agentes de IA multimodales.
Añadir como fuente preferidaTécnicas y algoritmos de detección de alucinaciones de IA
Detección a nivel de token
Los métodos a nivel de token localizan los lugares exactos donde surgen las alucinaciones. Los ejemplos incluyen:
- Conjuntos de datos que etiquetan tokens alucinados usando anotación humana y perturbación contextual, permitiendo que los modelos de clasificación marquen intervalos incorrectos.
- Comprobaciones basadas en probabilidad que analizan la divergencia entre las probabilidades de tokens anteriores y posteriores dado el contexto proporcionado.
- Enfoques de etiquetado de secuencias que marcan intervalos sospechosos.
Estas técnicas apoyan la inspección detallada de las salidas de la IA, lo cual es útil para aplicaciones que involucran la creación de contenido de formato largo.
Detección a nivel de oración
Los métodos a nivel de oración evalúan la veracidad de declaraciones completas. Los ejemplos incluyen:
- Comprobaciones de autoconsistencia basadas en muestreo, donde las oraciones se comparan entre múltiples generaciones para detectar inestabilidad.
- La entropía semántica se utiliza para identificar incertidumbre conceptual sin requerir datos etiquetados.
- Clasificadores basados en implicación que detectan afirmaciones no respaldadas o contradictorias.
Estos enfoques son comunes en herramientas de detección de alucinaciones que determinan si una respuesta generada debe aceptarse, revisarse o verificarse nuevamente.
Detección a nivel de flujo de trabajo
La detección a nivel de flujo de trabajo monitorea pipelines de múltiples pasos donde las alucinaciones pueden surgir gradualmente. Los mecanismos comunes incluyen:
- Gráficos de procedencia
- Comprobaciones de implicación a nivel de paso
- Validación de razonamiento intermedio
- Rastreo de dependencias para tareas de múltiples saltos
Estos sistemas ayudan a las organizaciones a mantener el monitoreo continuo, asegurar la mejora continua e implementar la detección en tiempo real en cadenas de razonamiento complejas.
Detección de alucinaciones para generación aumentada por recuperación
La generación aumentada por recuperación combina el LLM razonamiento con documentos externos. Muchas alucinaciones se originan en este entorno porque el modelo puede inventar información cuando la recuperación es débil o ambigua.
Desafíos para la generación aumentada
- Documentos recuperados faltantes o irrelevantes
- Exceso de dependencia en priores internos del modelo
- Malinterpretación del contexto
- Fuentes obsoletas o de baja calidad
Estos problemas se identifican frecuentemente como causas raíz de respuestas no respaldadas.
Métodos utilizados en la detección de alucinaciones de RAG
La detección efectiva en entornos RAG utiliza varios mecanismos:
- Modelos de implicación contexto-respuesta que verifican conexiones lógicas entre el texto recuperado y las respuestas generadas.
- Comprobaciones de clasificación y similitud para asegurar que las respuestas dependan de evidencia relevante.
- Ciclos de verificación iterativa que refinan respuestas cuando la evidencia es insuficiente.
- Técnicas de fundamentación que mapean cada afirmación a un pasaje o nodo de gráfico de conocimientos.
Los equipos a menudo confían en el monitoreo en tiempo real para detectar la deriva de recuperación, monitorear patrones de alucinación y asegurar que las respuestas permanezcan vinculadas al contexto proporcionado.
Detección de alucinaciones multimodales
La detección multimodal ha ganado importancia a medida que más modelos de IA incorporan imágenes, video y audio. Se utilizan varios mecanismos:
- Modelos que verifican la presencia o ausencia de objetos en imágenes.
- Sistemas que verifican si las descripciones de video coinciden con las acciones representadas.
- Evaluaciones de descripción de audio que validan la alineación con la fuente de sonido.
Conjuntos de datos como POPE, MHalDetect y FactVC apoyan evaluaciones de alineación fáctica en contextos multimodales. Estos métodos fortalecen la supervisión cuando los agentes de IA operan a través de múltiples tipos de entrada.
Patrones industriales y mejores prácticas
Las organizaciones que adoptan las mejores prácticas a continuación típicamente ven que las tasas de alucinación disminuyen a medida que mejora la recuperación, los indicadores se estructuran mejor y se incorporan datos más precisos:
- Combinar métodos como comprobaciones de consistencia, puntuación de probabilidad y validación de implicación.
- Integrar paneles de monitoreo en tiempo real para rastrear el comportamiento del sistema a lo largo del tiempo.
- Mejorar los indicadores y verificar la respuesta inicial a través de ingeniería de indicadores.
- Usar revisión de expertos cuando la generación de contenido tenga implicaciones legales, médicas o financieras.
- Ejecutar comprobaciones automáticas en sistemas CI/CD para mantener la calidad durante el desarrollo de IA.
- Desplegar complementos de monitoreo de agentes diseñados para observar agentes de IA y detectar anomalías.
Direcciones futuras de investigación
Varias áreas se espera que guíen la próxima etapa de progreso:
1. Estimación de incertidumbre a nivel de significado
La evaluación a nivel semántico está ganando atención porque detecta inestabilidad conceptual de manera más confiable que la probabilidad a nivel superficial. Los métodos futuros pueden incorporar lo siguiente para mejorar la sensibilidad de la detección de alucinaciones:
- Información mutua.
- Acuerdo entre modelos.
- Varianza semántica a nivel de grupo
2. Supervisión escalable mediante razonamiento comparativo
Los enfoques de múltiples agentes, como el debate de modelos o el contrainterrogatorio, pueden ayudar a detectar fallos sutiles que los modelos individuales pasan por alto.
3. Marcos unificados multimodales
A medida que los modelos multimodales crecen en uso, se necesitan enfoques de detección unificados para abordar las alucinaciones en imágenes, audio y video.
4. Detección consciente del flujo de trabajo
El rastreo a nivel de sistema permite la identificación de pasos intermedios incorrectos y apoya la mejora continua dentro de pipelines más grandes.
5. Conjuntos de datos de evaluación más sólidos
Se necesitan conjuntos de datos más desafiantes para razonamiento de múltiples pasos, tareas adversarias y escenarios de contexto largo, permitiendo que los sistemas fallen menos a menudo a través del reconocimiento simple de patrones.
Metodología de la prueba de referencia
La prueba de referencia utilizó un conjunto de datos controlado de 50 elementos de conocimiento extraídos de escenarios de preguntas y respuestas fácticas. Cada elemento incluía un contexto de origen, una pregunta, una respuesta correcta fundamentada en ese contexto y una respuesta alucinada que contenía información fabricada. Por ejemplo, una prueba preguntó sobre la ubicación de la sede del Grupo Oberoi, donde la respuesta correcta "Delhi" fue probada contra la respuesta alucinada "Mumbai".
Cada elemento de conocimiento generó dos casos de prueba: uno usando la respuesta correcta (esperado: sin alucinación) y otro usando la respuesta alucinada (esperado: alucinación detectada). Esto creó una división equilibrada de 50/50 totalizando 100 casos de prueba. Las tres herramientas procesaron los mismos casos de prueba secuencialmente, recibiendo cada una entradas idénticas (contexto, pregunta y salida).
Medimos la latencia para cada caso de prueba individualmente para asegurar una comparación justa, evitando las trampas del procesamiento paralelo o la evaluación por lotes que podrían sesgar los resultados. Las etiquetas de verdad fundamental fueron verificadas manualmente para asegurar la precisión en el cálculo de verdaderos positivos, falsos positivos, verdaderos negativos y falsos negativos.
Cita esta investigación
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{ermut2026,
author = {Ermut, Sıla and Şipi, Nazlı},
title = {{Herramientas de detección de alucinaciones de IA: W&B Weave y Comet}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/ai-hallucination-detection}},
note = {AIMultiple. Recuperado el 18 de Junio de 2026}
}Enlaces de referencia
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.