Inteligencia artificial responsable: 4 principios y mejores prácticas para
El 65% de los líderes se sienten poco preparados para gestionar eficazmente los riesgos relacionados con la IA. 1 Desarrollar y ampliar las aplicaciones de IA teniendo en cuenta la responsabilidad, la confiabilidad y las prácticas éticas es esencial para crear una IA que funcione para todos.
Explora cuatro principios para el diseño de IA responsable (IAR) y recomienda las mejores prácticas para lograrlos:
Guía paso a paso para una IA responsable
- Implemente sistemas de IA centrándose en los usuarios humanos y sus experiencias. Asegúrese de que el diseño incorpore principios éticos y valores sociales para una mejor interacción con el usuario.
- Utilice un panel de control de IA responsable para supervisar diversas métricas, incluidos los índices de retroalimentación y de errores, garantizando así la eficacia del sistema y la gestión de riesgos.
- Examine cuidadosamente los datos de entrenamiento y los datos subyacentes para verificar su precisión y representatividad. Aborde los sesgos y los resultados injustos para mejorar la ética de los datos y asegúrese de que su política de IA aplique auditorías de equidad.
- Comprenda las limitaciones de los modelos de aprendizaje automático y comuníquelas con claridad. Evite depender excesivamente de las correlaciones y reconozca el alcance de las capacidades de la IA generativa.
- Implementar pruebas rigurosas en los flujos de trabajo de IA, incluyendo pruebas unitarias y de integración. El monitoreo continuo es esencial para la confiabilidad y precisión del sistema, incorporando consideraciones éticas en todo momento.
- Supervise continuamente el rendimiento del sistema tras su implementación, evaluando las actualizaciones conforme a la Ley de IA de la UE para garantizar el cumplimiento normativo y adaptándose a los principios de privacidad y seguridad. Alinee sus prácticas de monitorización con los estándares de políticas de IA que priorizan la privacidad, la transparencia y la seguridad. Aborde tanto los problemas inmediatos como los de largo plazo, asegurando al mismo tiempo una amplia adopción y resistencia a los ataques maliciosos.
1. Equidad
Las herramientas de IA se utilizan cada vez más en diversos procesos de toma de decisiones, como la contratación, la concesión de préstamos y el diagnóstico médico . Los sesgos introducidos en estos sistemas de toma de decisiones pueden tener consecuencias de gran alcance para la sociedad y contribuir a la discriminación contra diferentes grupos de personas.
Ejemplos de la vida real
Aquí hay tres ejemplos de sesgo de la IA en aplicaciones del mundo real:
- Sexismo en los algoritmos de crédito: En 2019, surgieron múltiples denuncias (incluida la del cofundador Steve Wozniak) de que el algoritmo de tarjetas de crédito de Apple discrimina a las mujeres, ofreciendo límites de crédito diferentes en función del género.
- Racismo y discriminación por discapacidad en la contratación basada en IA: Según un informe reciente de la Harvard Business School y Accenture, 27 millones de trabajadores en EE. UU. quedan excluidos y no pueden encontrar trabajo debido a los sistemas de contratación automatizados y basados en IA. 2 Entre estos “trabajadores invisibles” se incluyen inmigrantes, refugiados y personas con discapacidades físicas.
- Racismo en el reconocimiento facial: Investigadores encontraron 3 que algunas tecnologías comerciales de reconocimiento facial, como las de Amazon o Microsoft, tenían poca precisión en mujeres de piel oscura, pero eran más precisas en hombres de piel clara (Figura 1).
Estas decisiones sesgadas pueden derivarse del diseño del proyecto o de conjuntos de datos que reflejan sesgos del mundo real. Es fundamental eliminar estos sesgos para crear sistemas de IA robustos e inclusivos para todos.
Mejores prácticas para lograr la equidad
- Examine el conjunto de datos para determinar si representa fielmente a la población.
- Analice las subpoblaciones del conjunto de datos para determinar si el modelo funciona igual de bien en los diferentes grupos.
- Diseñe modelos teniendo en cuenta la equidad y consulte con científicos sociales y otros expertos en la materia.
- Tras su implementación, supervise continuamente el modelo de aprendizaje automático . Los modelos evolucionan con el tiempo, por lo que pueden introducirse sesgos en el sistema.
- Integre criterios de equidad en su política de IA para lograr una rendición de cuentas medible.
Tenemos un artículo completo sobre el sesgo en la IA y cómo solucionarlo . Puedes consultarlo. También puedes leer nuestro artículo sobre ética en la IA .
2. Privacidad
Los sistemas de IA suelen utilizar grandes conjuntos de datos, y estos conjuntos de datos pueden contener información sensible sobre las personas. Esto hace que las soluciones de IA sean vulnerables a filtraciones de datos y ataques de terceros malintencionados que buscan obtener información sensible.
- Según el Centro de Recursos contra el Robo de Identidad, en 2021 se produjeron 1862 filtraciones de datos, lo que supone un aumento del 23 % con respecto al máximo histórico anterior registrado en 2017. 4
Las filtraciones de datos provocan pérdidas financieras y daños a la reputación de las empresas, y pueden poner en riesgo a las personas cuya información confidencial se ve revelada.
Ejemplo de la vida real
A principios de 2024, la autoridad italiana de protección de datos multó a la ciudad de Trento con 50.000 euros, convirtiéndose en el primer municipio italiano sancionado por infracciones de privacidad relacionadas con la inteligencia artificial. Trento había utilizado herramientas de IA en proyectos de vigilancia financiados por la UE que incluían cámaras, micrófonos y monitorización de redes sociales, pero no anonimizó correctamente los datos personales y compartió información ilegalmente con terceros.
El organismo de control ordenó la eliminación de todos los datos recopilados, alegando violaciones de los principios de transparencia y proporcionalidad del RGPD. Este caso refleja la creciente aplicación por parte de Italia de las normas de privacidad relacionadas con la IA, tras medidas como la prohibición temporal de ChatGPT en 2023 y la multa impuesta a OpenAI a finales de 2024. 5
Buenas prácticas para garantizar la privacidad
- Evaluar y clasificar los datos según su sensibilidad y supervisar los datos sensibles.
- Desarrollar una política de acceso y uso de datos dentro de la organización. Implementar el principio del mínimo privilegio.
3. Seguridad
La seguridad de un sistema de IA es fundamental para evitar que los atacantes interfieran con él y alteren su comportamiento previsto. El uso cada vez mayor de la IA en áreas particularmente críticas de la sociedad puede introducir vulnerabilidades que pueden tener un impacto significativo en la seguridad pública.
Aplicar principios de seguridad rigurosos durante el diseño del sistema ayuda a minimizar estas vulnerabilidades. Además, una política de IA sólida requiere modelado de amenazas, pruebas de penetración y simulacros de ataque (red teaming).
Consideremos los siguientes ejemplos:
- Los investigadores han demostrado que pueden conseguir que un coche autónomo circule por el carril contrario colocando pequeñas pegatinas en la carretera.
Estos ataques adversarios pueden incluir:
- Envenenamiento de datos mediante la inyección de datos engañosos en los conjuntos de datos de entrenamiento.
- Envenenamiento de modelos mediante el acceso y la manipulación de los mismos.
Entre otras cosas, puede provocar que el modelo de IA actúe de forma imprevista. A medida que la tecnología de IA evolucione, los atacantes encontrarán nuevos métodos y se desarrollarán nuevas formas de defender los sistemas de IA.
Ejemplo de la vida real
España aprobó un proyecto de ley, en consonancia con la Ley de IA de la UE, que exige que todo el contenido generado por IA, como los deepfakes, esté claramente etiquetado, con el objetivo de reforzar la transparencia y proteger a los grupos vulnerables. La ley también prohíbe la manipulación subliminal mediante IA e impone severas sanciones por su incumplimiento. La ley exige:
- Etiquetado : Todo el contenido generado por IA (por ejemplo, imágenes, vídeos, texto) debe estar claramente identificado como tal.
- Regulación de los deepfakes : Los medios sintéticos deben revelar su origen artificial.
- Prohibición de manipulación : Los sistemas de IA no pueden utilizar técnicas subliminales para explotar a los usuarios, especialmente a los menores de edad o a las personas vulnerables.
En caso de incumplimiento, los proveedores del modelo deberán pagar hasta 35 millones de euros o el 7 % de su facturación global. Una nueva agencia nacional, AESIA, se encargará de supervisar y garantizar el cumplimiento.
Esta ley refuerza los principios de transparencia y seguridad de la IA responsable, al garantizar que los usuarios sepan cuándo interactúan con contenido sintético y al frenar la manipulación perjudicial. 6
Mejores prácticas para lograr la seguridad
- Evaluar si un adversario tendría algún incentivo para atacar el sistema y cuáles serían las posibles consecuencias de dicho ataque.
- Crea un equipo rojo dentro de tu organización que actúe como adversario para probar el sistema e identificar y mitigar las vulnerabilidades.
- Manténgase al tanto de las últimas novedades en ataques y seguridad de la IA. Es un área de investigación en constante desarrollo, por lo que es importante estar al día.
4. Transparencia
La transparencia, la interpretabilidad y la explicabilidad de los sistemas de IA son imprescindibles en sectores como la sanidad y los seguros, donde las empresas deben cumplir con los estándares del sector o las normativas gubernamentales. Sin embargo, poder interpretar el porqué de los resultados de los modelos de IA es fundamental para que todas las empresas y usuarios comprendan y confíen en los sistemas de IA.
Un sistema de IA transparente puede ayudar a las empresas:
- Explicar y defender las decisiones críticas para el negocio,
- Crea escenarios hipotéticos,
- Asegúrese de que los modelos funcionen según lo previsto,
- Garantizar la rendición de cuentas en caso de resultados no deseados.
Ejemplo de la vida real
Clearview AI, una empresa estadounidense de reconocimiento facial, creó una base de datos de más de 30 mil millones de imágenes extraídas de internet para identificar personas para las fuerzas del orden y clientes privados. La Autoridad de Protección de Datos de los Países Bajos le impuso una multa de 30,5 millones de euros por infringir los principios de privacidad y transparencia del RGPD, tales como:
- Sin consentimiento : Se recopilaron datos biométricos (rasgos faciales) sin el conocimiento ni el permiso de los usuarios.
- Falta de transparencia : No se informó a las personas sobre el uso que se hacía de sus imágenes ni sobre cómo se procesaban.
- Datos sensibles : La base de datos incluía imágenes de menores.
- Incumplimiento : Operaba en la UE sin un representante local ni una base de datos legal. 7
Casos de uso
La IA explicable puede ayudar a generar transparencia y confianza en los procesos de toma de decisiones en diversos sectores, tales como:
- Contribuir a la atención sanitaria ayudando a los médicos a comprender la lógica que subyace a los diagnósticos de enfermedades y las sugerencias de tratamiento que ofrece la IA.
- Financiación mediante la transparencia, el fomento de la confianza entre las partes interesadas en la detección de fraudes y el asesoramiento en materia de inversiones.
- En el sector automotriz, esto se logra al ayudar a clarificar los procesos de toma de decisiones en los vehículos autónomos, mejorando así la seguridad y la fiabilidad.
- Las estrategias de marketing y ventas, al proporcionar información basada en IA para la segmentación de clientes, la previsión de ventas y la segmentación de anuncios, son transparentes y respaldan las decisiones estratégicas.
- La ciberseguridad se aborda explicando el razonamiento detrás de la detección de amenazas mediante IA, mejorando así la gestión de la ciberseguridad.
Buenas prácticas para garantizar la transparencia
- Utilice un conjunto reducido de datos de entrada, estrictamente necesario para el rendimiento deseado del modelo. Esto puede facilitar la identificación precisa del origen de la correlación o la causalidad entre las variables.
- Dar prioridad a los métodos de IA explicables sobre los modelos difíciles de interpretar (es decir, los modelos de caja negra).
- Analice el nivel de interpretabilidad requerido con expertos en la materia y partes interesadas.
Nuevo pilar: IA verde
La IA verde se centra en reducir el impacto ambiental de los sistemas de IA. El entrenamiento y la ejecución de modelos de IA requieren una gran capacidad de procesamiento, lo que conlleva un alto consumo de energía. Esto puede incrementar tanto los costes como las emisiones de carbono.
A medida que aumenta la adopción de la IA, la eficiencia energética cobra mayor importancia. Las empresas están empezando a optimizar la forma en que se construyen, entrenan e implementan los modelos para reducir el consumo de recursos sin comprometer el rendimiento.
Un enfoque de IA verde puede ayudar a las empresas:
- Reducir el consumo de energía y los costos operativos,
- Menor huella de carbono de las cargas de trabajo de IA,
- Mejorar la eficiencia del entrenamiento y la inferencia de modelos,
- Alinear las iniciativas de IA con los objetivos de sostenibilidad.
Ejemplo de la vida real
DeepMind aplicó el aprendizaje automático para optimizar los sistemas de refrigeración en los centros de datos. El sistema analiza datos como la temperatura, el consumo de energía y el rendimiento de los equipos para ajustar automáticamente la refrigeración.
Esto dio como resultado:
- Reducción de hasta un 40% en el consumo de energía para refrigeración.
- Reducción de alrededor del 15% en el consumo energético total de los centros de datos.
Este ejemplo demuestra que la IA verde ya está ofreciendo resultados cuantificables en entornos a gran escala. 8
Casos de uso
La IA verde se puede aplicar en varias áreas, entre ellas:
- Optimización de centros de datos: Los sistemas de IA ajustan la refrigeración y el consumo de energía para reducir el desperdicio energético.
- Diseño de modelos eficientes: Los modelos más pequeños y las técnicas de compresión reducen los requisitos de computación.
- Planificación de la carga de trabajo: Las tareas se ejecutan cuando la demanda de energía es menor o cuando hay energía renovable disponible.
- Optimización en la nube: la IA ayuda a asignar recursos de forma dinámica para evitar el sobredimensionamiento.
- IA en el borde: Procesar los datos más cerca de la fuente reduce la transferencia de datos y el consumo de energía.
Mejores prácticas para garantizar una IA verde
- Utilice arquitecturas de modelos eficientes en lugar de modelos innecesariamente grandes.
- Optimiza el entrenamiento reduciendo las iteraciones y utilizando datos de mejor calidad.
- Supervise el consumo de energía de las cargas de trabajo de IA.
- Prefiera regiones o proveedores de nube que utilicen energías renovables.
- Siempre que sea posible, reutilice los modelos preentrenados en lugar de entrenarlos desde cero.
pagaré de vencimiento
Algunas prácticas de IA verde, como la planificación de cargas de trabajo con conciencia de la huella de carbono, aún están en desarrollo y no están ampliamente estandarizadas. Sin embargo, las implementaciones existentes ya demuestran que se pueden lograr mejoras significativas en la eficiencia.
Herramientas de IA responsables
El panorama del mercado de software de IA responsable incluye varias herramientas que ofrecen marcos de IA responsable, tales como:
- Herramientas de gobernanza de IA
- límites de seguridad de la IA
- Herramientas MLOps
- Herramientas LLMOps
- Bibliotecas de IA responsables de código abierto
Consulta nuestras listas de servicios de IA basadas en datos para obtener más información sobre consultores de ciencia de datos y consultores de IA. También puedes consultar el ecosistema Responsible AI Toolkit de TensorFlow , que puede ayudar a las empresas a adoptar prácticas de IA responsables.
Para garantizar que estas herramientas se ajusten a los valores éticos, las organizaciones deben adoptar herramientas que cumplan con su política de IA, abarcando la seguridad, la equidad, la transparencia y la rendición de cuentas.
¿Cómo identificar si una herramienta de IA es la responsable?
Los usuarios empresariales pueden utilizar herramientas de IA, como un equipo de recursos humanos que emplea un algoritmo basado en LLM para revisar los perfiles de los candidatos, agilizando así la contratación mediante el filtrado de currículos según la experiencia y la formación académica. Sin embargo, si la herramienta infringe los principios de equidad, podría discriminar a determinados grupos. Sin ser conscientes de este sesgo, los usuarios podrían rechazar candidatos por motivos de género o raza, lo que acarrearía problemas éticos y de reputación para la organización.
Para prevenir estos problemas, las empresas deberían adoptar herramientas alineadas con los principios de la IA responsable. Pueden evaluar parámetros de referencia, analizar las opiniones de los usuarios y estudiar ejemplos reales o casos prácticos para garantizar un uso ético de la IA. La siguiente tabla muestra los resultados de las pruebas comparativas de algunos de los principales programas de Maestría en Derecho (LLM):
Los sistemas se evalúan tanto en general como para cada riesgo específico mediante una escala de 5 puntos: Deficiente (1), Regular (2), Bueno (3), Muy Bueno (4) y Excelente (5). Las calificaciones se determinan según el porcentaje de respuestas que no cumplen con los estándares de evaluación. 9
Últimos avances en IA responsable
Sistema de alerta temprana de desalineación
OpenAI ha presentado una nueva técnica denominada alerta temprana de desalineación como un paso prometedor hacia sistemas de IA más seguros y responsables. Este método se centra en detectar señales de alerta internas antes de que un modelo de IA produzca resultados perjudiciales. 10
¿Cómo funciona el sistema de detección temprana de desalineaciones?
Funciona identificando características internas específicas, como una "personalidad tóxica", que se correlacionan con comportamientos inseguros. Al monitorizar los niveles de activación de estas características durante el entrenamiento o la implementación, los desarrolladores pueden recibir alertas tempranas cuando un modelo comienza a desviarse hacia un comportamiento inadecuado.
Cuando aparecen dichas señales de advertencia, las intervenciones pueden aplicarse de la siguiente manera:
- Amortiguar directamente la activación dañina
- Aplicar la dirección de activación, una técnica que ajusta la dirección interna del modelo para alejarlo de patrones inseguros.
Este enfoque permite mitigar los riesgos de forma proactiva, en lugar de depender únicamente del monitoreo de los resultados externos.
Desajuste en el trabajo temprano para una IA responsable
Este desarrollo respalda los principios clave de una IA responsable:
- Transparencia , al hacer que el comportamiento interno del modelo sea interpretable.
- Seguridad , al permitir la intervención temprana
- Rendición de cuentas , ofreciendo señales claras para la supervisión humana.
Esto refleja una tendencia creciente hacia la integración de mecanismos de monitoreo y control en tiempo real en el proceso de desarrollo de modelos. Como parte de los esfuerzos más amplios de I+D en seguridad, esta técnica mejora la capacidad de detectar y corregir desajustes durante el entrenamiento, en consonancia con los marcos de gobernanza de IA internacionales y los estándares de seguridad desde el diseño.
Cumbre sobre seguridad en IA
La Cumbre de Seguridad de la IA es una conferencia internacional de referencia centrada en la seguridad, los riesgos y la regulación de los sistemas avanzados de IA de vanguardia. El evento inaugural tuvo lugar en noviembre de 2023 en Bletchley Park, Reino Unido, y reunió a gobiernos, empresas de IA, la sociedad civil y expertos de 28 países para coordinar los esfuerzos globales en materia de seguridad de la IA.
Resultados clave
- Declaración de Bletchley: Las naciones participantes se comprometen a desarrollar una IA segura, centrada en el ser humano, fiable y responsable, basada en principios de seguridad compartidos.
- Cooperación internacional: Se hizo hincapié en la necesidad urgente de colaborar para mitigar riesgos como el uso indebido, la alteración de la sociedad y la pérdida de control sobre la IA avanzada.
- Transparencia y regulación: Se exigió transparencia, pruebas de seguridad rigurosas y marcos regulatorios adaptables para mantenerse al día con los avances de la IA.
Propósito y visión
La cumbre promueve el desarrollo responsable de la IA fomentando la colaboración entre múltiples partes interesadas y una gobernanza ética. Su objetivo es garantizar que la IA beneficie a la sociedad minimizando los daños, destacando la responsabilidad global de diseñar, implementar y gestionar sistemas de IA que prioricen la seguridad humana, la ética y la inclusión.
Enlaces de referencia
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios.