Fallos de la IA: 10 causas principales y ejemplos reales
Ya se trate de un accidente de un coche autónomo, un algoritmo sesgado o un fallo en un chatbot de atención al cliente, los fallos en los sistemas de IA implementados pueden tener graves consecuencias y plantear importantes cuestiones éticas y sociales.
Al identificar y abordar los problemas subyacentes, las empresas pueden mitigar los riesgos asociados con la IA y garantizar que se utilice de forma segura y ética, de acuerdo conlas mejores prácticas de IA responsable .
Descubre 10 razones comunes de las altas tasas de fracaso de los proyectos de IA y explora ejemplos del mundo real.
Fallos organizativos y estratégicos
1. Objetivos comerciales poco claros
Implementar IA sin un problema empresarial bien definido y objetivos comerciales claros no garantiza el éxito. En lugar de partir de la solución a un problema empresarial indefinido, las empresas deben primero determinar y definir los problemas empresariales y luego decidir si las técnicas y herramientas de IA podrían ayudar a resolverlos.
Además, medir los costos y los beneficios potenciales de un proyecto de IA es un desafío porque:
- El desarrollo de un proyecto de IA y la creación/entrenamiento de un modelo de IA son procesos experimentales que pueden requerir un largo proceso de ensayo y error.
- Los modelos de IA intentan resolver problemas empresariales probabilísticos, lo que significa que los resultados pueden no ser los mismos para cada caso de uso.
Un objetivo empresarial bien definido puede ofrecer una idea clara de si la IA es la herramienta adecuada o si existen herramientas o métodos alternativos para resolver el problema en cuestión. Esto puede ahorrar a las empresas costes innecesarios.
2. Sistemas de IA de caja negra
La IA de caja negra se refiere a modelos cuyos procesos internos de toma de decisiones son incomprensibles para los humanos. Si bien los usuarios pueden observar las entradas y salidas de estos sistemas, el razonamiento detrás de las decisiones del modelo permanece oculto.
Por ejemplo, un sistema de contratación basado en IA puede clasificar a los candidatos según sus currículos, pero los factores y ponderaciones exactos que influyen en dicha clasificación no son visibles. Esta falta de transparencia puede contribuir a posibles fallos, ya que los sesgos en los datos de entrenamiento pueden pasar desapercibidos, los errores se vuelven difíciles de rastrear y corregir, y las organizaciones pueden tener dificultades para explicar o justificar las decisiones automatizadas.
En consecuencia, los sistemas opacos pueden generar inquietudes sobre la equidad, la rendición de cuentas y la confianza. Sin embargo, la IA de caja negra no es inherentemente un fracaso, ya que muchos de estos modelos, especialmente los sistemas complejos como las redes neuronales profundas, pueden ser muy precisos y eficaces.
El principal desafío radica en que, cuando surgen problemas, sus causas son difíciles de identificar, lo que convierte a la IA de caja negra en un riesgo para la fiabilidad y la gobernanza, en lugar de un fallo en sí mismo.
Por ejemplo, New Relic propone una solución a este desafío. La compañía anunció una solución de observabilidad que proporciona visibilidad completa de las aplicaciones creadas con ChatGPT, lo que ayuda a las empresas a supervisar y optimizar la apariencia y el funcionamiento de sus servicios en interfaces basadas en IA.
Esta solución permite a los equipos de ingeniería realizar un seguimiento del rendimiento, el uso y la fiabilidad de las aplicaciones ChatGPT, eliminando la naturaleza de "caja negra" de las experiencias de IA integradas. 1
3. Falta de colaboración entre equipos
Contar con un equipo de ciencia de datos que trabaje de forma aislada en un proyecto de IA no garantiza el éxito. Para desarrollar un proyecto de IA exitoso se requiere la colaboración entre científicos de datos, ingenieros de datos, profesionales de TI, diseñadores y profesionales de las distintas áreas de negocio. Crear un entorno técnico colaborativo ayudaría a las empresas a:
- Asegúrese de que el resultado del proyecto de IA se integre correctamente en su arquitectura tecnológica general.
- Estandarizar el proceso de desarrollo de IA
- Compartir conocimientos y experiencias, desarrollar mejores prácticas.
- Implementar soluciones de IA a gran escala
Existen prácticas como DataOps y MLOps que permiten conectar a diferentes equipos y poner en marcha sistemas de IA a gran escala. Además, establecer un Centro de Excelencia (CoE) de IA federado, donde científicos de datos de distintos ámbitos empresariales puedan colaborar, puede mejorar la colaboración.
4. Falta de talento
Debido a esta escasez de talento, crear un equipo de ciencia de datos competente puede resultar costoso y llevar mucho tiempo. Sin un equipo con la formación adecuada y experiencia en el sector, las empresas no deberían esperar grandes resultados con su iniciativa de IA.
Las empresas deben analizar los costos y beneficios de crear equipos internos de ciencia de datos. Dependiendo de sus objetivos comerciales y la escala de sus operaciones, la subcontratación puede ser inicialmente una alternativa más rentable que la implementación de aplicaciones de IA.
Fallos relacionados con los datos
Los datos son el recurso clave de todo proyecto de IA. Las empresas deben desarrollar una estrategia de gobernanza de datos para garantizar la disponibilidad, la calidad, la integridad y la seguridad de los datos que utilizarán en su proyecto. Trabajar con datos obsoletos, insuficientes o sesgados puede provocar que los resultados sean erróneos, el fracaso del proyecto y el desperdicio de recursos empresariales.
5. Sobreajuste: Memorizar en lugar de aprender.
El sobreajuste se produce cuando los modelos de IA se especializan demasiado en los datos de entrenamiento y no logran generalizar a nuevas entradas. Este fallo de la IA es común en los modelos de aprendizaje profundo utilizados en la detección de fraudes financieros , donde la herramienta puede reconocer únicamente patrones de fraude pasados y pasar por alto tácticas emergentes.
El sobreajuste es una de las principales razones del fracaso de los proyectos de IA, ya que las tecnologías basadas en IA deben adaptarse a entornos dinámicos en lugar de basarse en patrones históricos. La mala calidad de los datos y la falta de observabilidad de la IA suelen agravar este problema.
6. Negligencia en casos extremos: Pasar por alto escenarios poco frecuentes.
Los casos extremos, escenarios poco comunes pero críticos, suelen llevar a que los sistemas de IA tomen decisiones erróneas. En los vehículos autónomos , un chatbot de IA diseñado para la navegación puede fallar al procesar condiciones de conducción inusuales.
Ignorar los casos excepcionales en las iniciativas de IA puede ocasionar pérdidas financieras, riesgos para la seguridad y pérdida de la confianza del cliente. Las organizaciones con grandes modelos de lenguaje y aprendizaje profundo deben integrar datos de alta calidad para mejorar el manejo de estos casos excepcionales.
7. Dependencia de la correlación: Supuestos falsos y resultados discriminatorios
Los proyectos de IA suelen fracasar porque los modelos confunden correlación con causalidad. Por ejemplo, un sistema de contratación basado en IA podría favorecer a los candidatos de un código postal específico, no por sus habilidades, sino por sesgos inherentes a los datos de entrenamiento. Esto puede generar resultados discriminatorios.
8. Sesgo en los datos: Reforzando la desigualdad y sus implicaciones éticas.
El sesgo en los datos es un problema crítico en las iniciativas de IA, especialmente en los modelos de aprendizaje automático utilizados para la toma de decisiones. Un ejemplo bien conocido son los modelos de IA para el sector sanitario, entrenados principalmente con datos de pacientes blancos, lo que conlleva diagnósticos inexactos para pacientes no blancos.
Estos sesgos inherentes a las tecnologías de IA pueden generar implicaciones éticas y desafíos legales. Las organizaciones deben centrarse en las mejores prácticas de ciencia de datos para evitar la mala calidad de los datos y mejorar la precisión en los proyectos de IA.
9. Subajuste: modelos de IA que carecen de complejidad.
El subajuste se produce cuando los modelos de aprendizaje automático son demasiado simples, lo que conlleva un rendimiento deficiente. Por ejemplo, un chatbot de IA mal diseñado puede tener dificultades para diferenciar la intención del usuario, lo que resulta en mentiras y recomendaciones incorrectas.
Los proyectos de IA fracasan cuando las organizaciones se basan en modelos insuficientemente entrenados sin perfeccionar su capacidad para procesar patrones complejos. No se puede subestimar la importancia crucial de la observabilidad de la IA y la mejora continua de los modelos.
10. Desviación de datos: la lucha de la IA por adaptarse al cambio.
Las herramientas de IA parten de la base de que los datos se mantienen constantes a lo largo del tiempo, pero los cambios en el mundo real, como la modificación del comportamiento de los clientes en una plataforma de redes sociales, pueden provocar una desviación de los datos.
Los modelos de IA utilizados en la previsión financiera o la investigación jurídica deben actualizarse con frecuencia para mantener su precisión. Las organizaciones que invierten en tecnologías de IA deben priorizar la observabilidad de la IA para garantizar que los modelos sigan siendo fiables a medida que surgen millones de nuevos datos.
Antes de emprender un proyecto de IA, las empresas deben asegurarse de contar con datos suficientes y relevantes de fuentes fiables que representen sus operaciones comerciales, estén correctamente etiquetados y sean compatibles con la herramienta de IA que se implemente. De lo contrario, las herramientas de IA pueden generar resultados erróneos y resultar peligrosas si se utilizan para la toma de decisiones.
Los expertos en recopilación de datos pueden ayudar a su empresa si no dispone de datos de buena calidad de forma inmediata.
Además de la observabilidad, algunas organizaciones están adoptando sistemas de monitorización basados en agentes que rastrean de forma autónoma el comportamiento de los modelos en producción. Estos sistemas rastrean continuamente las entradas y salidas de los modelos, así como el comportamiento de los agentes en producción. Analizan las distribuciones de características, los patrones de respuesta y los rastros de ejecución para detectar problemas como la deriva de datos, la degradación del rendimiento o las acciones anómalas de los agentes.
Cuando se detectan anomalías, los sistemas de monitorización pueden activar respuestas automatizadas, como alertas, comprobaciones de evaluación, reentrenamiento de flujos de trabajo, acciones de reversión o notificaciones a los equipos responsables. Al identificar de forma proactiva los cambios en los datos reales y el comportamiento de los agentes, la monitorización basada en agentes ayuda a mantener el rendimiento, la fiabilidad y la seguridad del sistema a lo largo del tiempo.
¿Cuáles son algunos ejemplos de proyectos de IA que han fracasado?
Demandas por infracción de derechos de autor
El rápido crecimiento de la IA generativa ha provocado más de 70 demandas por infracción de derechos de autor contra empresas de IA, principalmente por parte de autores, artistas y organizaciones de medios de comunicación, que afirman que sus obras protegidas por derechos de autor se utilizaron para entrenar sistemas de IA sin permiso.
Algunas decisiones judiciales sugieren que entrenar modelos con datos obtenidos legalmente puede considerarse un uso legítimo, mientras que el uso de copias pirateadas o no autorizadas aún podría violar la ley de derechos de autor.
Por ejemplo, Bandcamp anunció una política que prohíbe la música y el audio generados total o mayoritariamente por inteligencia artificial.
La plataforma afirma que su objetivo es preservar la creatividad humana y mantener una relación directa entre artistas y fans, haciendo hincapié en que la música es una expresión cultural y social, más que un simple producto digital.
Según las nuevas normas, se prohíben las pistas generadas por IA y el uso de herramientas de IA para imitar a otros artistas o estilos. Los usuarios pueden denunciar las presuntas infracciones para su revisión. Esta política busca garantizar que los oyentes confíen en que la música de Bandcamp es creada por personas reales y proteger a los músicos independientes para que no queden eclipsados por la gran cantidad de contenido generado por IA. 2
Incidentes relacionados con coches autónomos
Un análisis reciente del programa de robotaxis de Tesla reveló que los vehículos autónomos se ven involucrados en accidentes con mucha más frecuencia que los conductores humanos.
Según los informes de seguridad de Tesla y los datos regulatorios, la flota registró 14 accidentes en aproximadamente 800 000 millas de conducción, lo que equivale a un accidente cada 57 000 millas. En comparación, los conductores humanos suelen sufrir un accidente menor cada 229 000 millas, lo que sugiere que los robotaxis de Tesla se estrellan unas cuatro veces más a menudo, y hasta ocho veces más si se utilizan los estándares de seguridad federales. 3
Resúmenes de noticias engañosos de Apple Intelligence
La BBC presentó una queja ante Apple por imprecisiones en los resúmenes de noticias generados por IA de Apple, conocidos como “Apple Intelligence”. Estos resúmenes, que se mostraban como notificaciones en el iPhone, atribuían erróneamente información falsa a la BBC.
Un caso destacable fue el de una notificación que afirmaba falsamente que Luigi Mangione, arrestado por el asesinato del director ejecutivo de UnitedHealthcare, Brian Thompson, se había suicidado, una afirmación que la BBC no publicó.
Entre los errores posteriores se incluyó una notificación que anunciaba erróneamente que el jugador de dardos Luke Littler había ganado el Campeonato Mundial de Dardos de la PDC antes de que se celebrara la final.
En respuesta a estos problemas, Apple reconoció que sus funciones de IA aún estaban en fase beta y anunció planes para desactivar temporalmente los resúmenes de notificaciones en las aplicaciones de noticias y entretenimiento. La compañía también declaró que lanzaría una actualización de software para aclarar cuándo las notificaciones son generadas por IA, con el objetivo de prevenir la desinformación y mantener la integridad de la difusión de noticias. 4
Fallo del chatbot de Air Canada
Air Canada se enfrentó a problemas legales después de que su chatbot de inteligencia artificial informara erróneamente a un cliente sobre los reembolsos por duelo. El chatbot indicó erróneamente que podía solicitar un reembolso dentro de los 90 días posteriores a la reserva, pero la aerolínea posteriormente lo denegó, citando su política vigente.
El cliente presentó una queja y un tribunal dictaminó que Air Canada era responsable de toda la información contenida en su sitio web, ordenando a la aerolínea que efectuara el reembolso. 5
Las respuestas sesgadas de Amazon Alexa
Alexa, el asistente de voz de Amazon, fue objeto de críticas por ofrecer respuestas aparentemente sesgadas que favorecían a la vicepresidenta Kamala Harris sobre el expresidente Donald Trump.
Cuando los usuarios preguntaron a Alexa por qué debían votar por Harris, la asistente destacó sus logros y su compromiso con los ideales progresistas. Por el contrario, cuando se le preguntó lo mismo sobre Trump, Alexa se negó a dar su apoyo, citando una política que prohíbe promocionar figuras políticas específicas.
Amazon atribuyó esta discrepancia a un error derivado de una reciente actualización de software destinada a mejorar las capacidades de inteligencia artificial de Alexa. La compañía afirmó que el problema se solucionó rápidamente tras su detección y recalcó que Alexa está diseñada para proporcionar información imparcial, sin favorecer a ningún partido político ni candidato. 6
Watson para Oncología (IBM)
La colaboración de IBM con la Facultad de Medicina de la Universidad de Texas es un ejemplo bien conocido de un proyecto de IA fallido. Según StatNews, documentos internos de IBM muestran que Watson frecuentemente daba consejos erróneos sobre tratamientos contra el cáncer, como recetar medicamentos para el sangrado a un paciente con hemorragia grave.
Los datos de entrenamiento de Watson contenían una pequeña cantidad de datos hipotéticos de pacientes con cáncer, en lugar de datos de pacientes reales. Según un informe de la Administración del Sistema Universitario de Texas, el proyecto costó 62 millones de dólares al MD Anderson sin obtener ningún resultado. 7
Herramienta de reclutamiento con IA de Amazon
La herramienta de reclutamiento con IA de Amazon, que discriminaba a las mujeres, es otro ejemplo conocido de fallos en la inteligencia artificial. La herramienta fue entrenada con un conjunto de datos que contenía principalmente currículos de candidatos masculinos, e interpretó que las candidatas eran menos deseables. 8
Discriminación racial y sexual en las herramientas de reconocimiento facial
Una investigación de The Guardian descubrió que los sistemas de IA de Amazon y otros, utilizados por las plataformas de redes sociales para recomendar contenido, muestran un notable sesgo de género en el tratamiento de los cuerpos masculinos y femeninos.
El estudio reveló que las imágenes de mujeres se etiquetaban con mayor frecuencia como "subidas de tono" en comparación con fotos similares de hombres. En un caso, la IA de Microsoft clasificó imágenes de exámenes de detección de cáncer de mama del Instituto Nacional del Cáncer de EE. UU. como potencialmente explícitas desde el punto de vista sexual. 9
Otro ejemplo es que los investigadores de IA descubrieron que las tecnologías comerciales de reconocimiento facial, como las de IBM, Microsoft y Amazon, funcionaron mal en mujeres de piel oscura y bien en hombres de piel clara. 10
Enlaces de referencia
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios.