IA reproducible: Por qué es importante y cómo mejorarla
La reproducibilidad es una parte fundamental de la investigación científica. Permite a los investigadores y equipos de IA verificar si un resultado puede obtenerse nuevamente bajo condiciones claramente descritas.
Un informe de la OCDE sobre la IA en la ciencia sostiene que la investigación en IA no ha escapado a la crisis más amplia de reproducibilidad. Cita evidencia de que los problemas de reproducibilidad han aparecido en el reconocimiento de imágenes, el procesamiento del lenguaje natural, el aprendizaje por refuerzo, los sistemas de recomendación, la medicina y las ciencias sociales. También señala que el 70% de la investigación en IA era irreproducible.1
La cuestión ya no es si los investigadores comparten el código. La pregunta más difícil es si los artefactos compartidos son lo suficientemente completos como para que otro equipo verifique el resultado. Esto requiere preguntas de investigación claras, acceso a los datos y al código, configuraciones del modelo, detalles del entorno, scripts de evaluación y documentación.
Descubra por qué la reproducibilidad es importante para la IA y cómo las empresas pueden mejorarla en los proyectos de IA.
¿Qué es la reproducibilidad en la inteligencia artificial?
La reproducibilidad de la IA es la capacidad de obtener el mismo resultado o uno similar cuando los datos originales, el código, las configuraciones del modelo y el entorno están disponibles y documentados.
En IA, a menudo se confunden tres términos relacionados:
- Repetibilidad: El mismo equipo obtiene el mismo resultado usando el mismo código, datos y configuración. Por ejemplo, un equipo de ciencia de datos vuelve a ejecutar su pipeline de entrenamiento y obtiene la misma métrica.
- Reproducibilidad: Un equipo diferente obtiene el mismo resultado usando los artefactos originales. Por ejemplo, otro laboratorio ejecuta el código y los datos publicados con un artículo y obtiene el mismo resultado.
- Replicabilidad: Un equipo diferente obtiene el mismo hallazgo con código, datos o experimentos nuevos. Por ejemplo, un segundo equipo prueba la misma afirmación con una implementación nueva y un nuevo conjunto de datos.
La reproducibilidad de la IA depende de tres componentes principales:
- El conjunto de datos incluye datos de entrenamiento, validación y prueba, divisiones de datos, etiquetas y pasos de preprocesamiento.
- El algoritmo de IA, que incluye el tipo de modelo, parámetros, hiperparámetros, características, pesos, prompts y código.
- El entorno, que incluye versiones de software, hardware, sistema operativo, controladores, semillas aleatorias y configuraciones de despliegue.
Los cambios en los tres componentes deben ser rastreados y registrados.
La reproducibilidad también tiene un límite. Un resultado puede ser reproducible y aun así ser incorrecto. Por ejemplo, un error en el código de preprocesamiento puede ser reproducido por todos los equipos que ejecutan el mismo código. Un resultado que no puede reproducirse tampoco es prueba de fraude. Puede reflejar detalles faltantes, datos no disponibles, hardware diferente o un protocolo de evaluación ambiguo.
¿Por qué es importante la reproducibilidad en la IA?
La reproducibilidad es importante tanto para la investigación en IA como para las aplicaciones empresariales de IA, pero los objetivos difieren.
Para la investigación en IA y ML, la reproducibilidad permite a investigadores independientes inspeccionar los resultados, volver a ejecutar el experimento original y construir sobre trabajos previos. El progreso científico depende de este proceso. Si un artículo no documenta el código, los datos, las configuraciones del modelo y los detalles de la evaluación, otros investigadores pueden no ser capaces de determinar si el resultado es un hallazgo robusto o un artefacto de una configuración particular.
Para las aplicaciones de IA en las empresas, la reproducibilidad apoya la depuración, la auditabilidad y el despliegue estable. Los equipos necesitan saber qué versión de datos, versión de modelo, prompt, entorno y configuración produjeron un resultado determinado. Esto es importante para el aseguramiento de la calidad, la revisión de incidentes y el cumplimiento normativo.
La reproducibilidad también se está convirtiendo en un requisito de gobernanza. Regulaciones como la Ley de IA de la UE exigen documentación técnica y mantenimiento de registros para los sistemas de IA de alto riesgo. Esto aumenta la necesidad de conjuntos de datos trazables, versiones de modelos, registros de evaluación y registros de despliegue.
¿Cuáles son los desafíos de la IA reproducible?
Etapa del ciclo de vida | Desafío | Ejemplo |
|---|---|---|
Datos | Disponibilidad del conjunto de datos, datos cambiantes y preprocesamiento inconsistente | Un conjunto de datos sanitarios es propietario, o el preprocesamiento de NLP elimina las palabras vacías de manera diferente. |
Entrenamiento | Aleatoriedad y sensibilidad a la semilla | Diferentes inicializaciones de peso o ejecuciones de descenso de gradiente estocástico producen métricas diferentes. |
Entrenamiento | Hardware y software no deterministas | Los kernels de GPU, las versiones de CUDA o las actualizaciones de frameworks cambian los resultados numéricos. |
Entrenamiento | Búsqueda de hiperparámetros | Se cambia una tasa de aprendizaje o un tamaño de lote pero no se registra. |
Evaluación | Sobreajuste al benchmark y contaminación | Un modelo tiene un buen rendimiento porque los datos del benchmark aparecieron en los datos de entrenamiento. |
Evaluación | Diferencias en el protocolo de evaluación | Dos harnesses de evaluación de LLM utilizan diferentes formatos de prompt o analizadores de respuestas. |
Despliegue | Deriva de API y actualizaciones del modelo | Un endpoint de modelo cerrado cambia su comportamiento tras una actualización silenciosa. |
Reporte | Reporte selectivo y falta de varianza | Solo se reporta la mejor ejecución, sin media, desviación estándar o intervalo de confianza. |
1. Aleatoriedad y naturaleza estocástica de los algoritmos
Muchos modelos de IA, especialmente los algoritmos de aprendizaje profundo, incorporan aleatoriedad durante sus procesos de entrenamiento e inferencia. Por ejemplo, la inicialización aleatoria de pesos, las capas de dropout y el descenso de gradiente estocástico (SGD) contribuyen a la variabilidad incluso cuando se usa el mismo conjunto de datos, base de código y entorno.
Este problema es especialmente pronunciado en los Modelos de Lenguaje Grande (LLMs), como GPT-5, Gemini, o LLaMA, que son inherentemente probabilísticos. Incluso cuando se les solicita con la misma entrada y configuración, pueden generar salidas diferentes, particularmente si los parámetros de temperatura o muestreo top-k están ajustados. Estas configuraciones controlan la aleatoriedad de la generación de salida:
- Temperatura ajusta la distribución de probabilidad utilizada durante el muestreo de tokens. Una temperatura más alta (p. ej., 1.0) produce salidas más diversas y creativas, mientras que una temperatura más baja (p. ej., 0.2) produce respuestas más deterministas.
- Top-k o top-p (muestreo de núcleo) controla aún más la aleatoriedad al limitar el rango de tokens considerados en cada paso.
Pedir a un LLM que resuma el mismo párrafo dos veces con una temperatura de 0.9 puede arrojar resúmenes significativamente diferentes. Esta variabilidad dificulta la verificación o reproducción del comportamiento del modelo a menos que las configuraciones estén fijadas y documentadas explícitamente.
En aplicaciones empresariales, como el resumen de contratos, las respuestas de chatbots, o los asistentes de codificación con IA, esta imprevisibilidad plantea desafíos para la depuración, el cumplimiento y el aseguramiento de la calidad. Los equipos pueden tener dificultades para rastrear qué configuración llevó a una salida específica a menos que todos los parámetros, incluida la semilla aleatoria y la temperatura, se registren de manera consistente.
Por ejemplo, Thinking Machines Lab explicó el fallo de invarianza de lote como una fuente importante de no determinismo en la inferencia de LLM. Idealmente, un modelo debería producir la misma salida para un prompt dado, independientemente de si se procesa solo o junto con otras solicitudes. Sin embargo, los sistemas de servicio modernos agrupan dinámicamente las solicitudes para mejorar la eficiencia de la GPU, y muchos kernels de GPU varían sus patrones de ejecución según el tamaño o la disposición del lote.
Debido a que las operaciones de punto flotante no son perfectamente asociativas, pequeños cambios en el orden de cálculo pueden alterar ligeramente los logits. Durante la decodificación, estas pequeñas diferencias pueden eventualmente llevar al modelo a seleccionar tokens diferentes, causando salidas diferentes incluso con configuraciones deterministas (p. ej., temperatura = 0). En efecto, el resultado del modelo depende de qué otras solicitudes comparten el lote, haciendo que la inferencia parezca no determinista.2
2. Falta de estandarización en el preprocesamiento de datos
Los pasos de preprocesamiento como la limpieza, el filtrado, el aumento, la normalización, la tokenización y la extracción de características a menudo no están completamente documentados. Pequeñas diferencias pueden cambiar el resultado final.
En los modelos de imagen, el orden de redimensionamiento, recorte o aumento puede afectar la precisión. En NLP, la tokenización, la eliminación de palabras vacías, el uso de mayúsculas o el truncamiento pueden afectar las métricas. En los modelos tabulares, el manejo de valores faltantes y el escalado de características pueden alterar el comportamiento del modelo.
Los equipos deben tratar el código de preprocesamiento como parte del modelo. Debe ser versionado, probado y registrado junto con el artefacto del modelo.
3. Hardware y software no deterministas
La ejecución de algoritmos de IA puede variar entre diferentes hardware (CPUs, GPUs, TPUs) e incluso en el mismo hardware debido a procesos subyacentes no deterministas en las bibliotecas. Las diferencias en las versiones de estas bibliotecas pueden introducir más variabilidad, incluso cuando el código y los datos son idénticos.
Por ejemplo, PyTorch 2.10 introdujo varias mejoras centradas en el determinismo y la depuración de problemas numéricos en los flujos de trabajo modernos de ML.
A medida que el aprendizaje por refuerzo distribuido y los pipelines de post-entrenamiento a gran escala se vuelven más comunes, garantizar una ejecución reproducible y diagnosticar divergencias numéricas sutiles se ha vuelto cada vez más importante. Para abordar esto, la versión añadió nuevas capacidades de depuración como DebugMode, que rastrea las llamadas despachadas y ayuda a identificar fuentes de inestabilidad numérica durante la ejecución.3
4. Ajuste de hiperparámetros
Muchos modelos de IA dependen de hiperparámetros, como la tasa de aprendizaje, el tamaño del lote o la fuerza de regularización, que necesitan ser ajustados. A menudo, estos no se comparten con suficiente detalle, o su selección no se explica rigurosamente, lo que dificulta la reproducción de los resultados. Además, pequeños cambios en los hiperparámetros pueden dar lugar a diferentes resultados de rendimiento.
5. Falta de artefactos y documentación completos
Un artículo puede compartir el código y aun así ser difícil de reproducir. Archivos faltantes, instrucciones README incompletas, pesos de modelo no disponibles, scripts de preprocesamiento ocultos o dependencias no documentadas pueden detener la reproducción.
Los artefactos útiles incluyen:
- Código y hash exacto del commit.
- Versiones de los datos de entrenamiento, validación y prueba.
- Pesos del modelo y puntos de control.
- Archivos de entorno como
requirements.txt,pip freeze, archivos de entorno conda, archivos de bloqueo, Dockerfiles o configuraciones de Nix. - Registros de entrenamiento y scripts de evaluación.
- Semillas aleatorias y detalles del hardware.
- Instrucciones para ejecutar el pipeline completo.
Estándares de documentación como las Tarjetas de Modelo y las Hojas de Datos de Conjuntos de Datos ayudan a que esta información sea más fácil de inspeccionar.
6. Problemas de versionado
La naturaleza dinámica de los ecosistemas de software de IA significa que las bibliotecas y los frameworks están en constante evolución. Un modelo entrenado con una versión específica de una biblioteca puede no funcionar igual cuando se ejecuta en una versión posterior, incluso si el código permanece sin cambios. Hacer un seguimiento de las versiones de todas las dependencias puede ser difícil, y el versionado a menudo está mal documentado.
7. Disponibilidad y variabilidad del conjunto de datos
Algunos conjuntos de datos utilizados en la investigación de IA son propietarios o no están disponibles públicamente, lo que hace imposible replicar los estudios. Incluso cuando los conjuntos de datos están disponibles, puede haber variaciones debido al muestreo, las actualizaciones o las diferentes técnicas de preprocesamiento aplicadas en el momento de la investigación.
8. Recursos computacionales
Reproducir modelos de IA de vanguardia a menudo requiere recursos computacionales significativos, incluido hardware especializado como GPUs o TPUs. Los investigadores o profesionales sin acceso al mismo nivel de recursos pueden tener dificultades para replicar los resultados.
9. Sobreajuste a conjuntos de prueba específicos
En algunos casos, los modelos se sobreajustan inadvertidamente a conjuntos de prueba o benchmarks específicos. Cuando estos modelos se prueban en entornos diferentes o en conjuntos de datos ligeramente alterados, los resultados pueden no generalizarse, lo que dificulta la reproducibilidad.
10. Sesgo en el reporte y selección interesada de resultados
Los investigadores pueden reportar la mejor versión de un modelo después de múltiples ejecuciones sin especificar la variabilidad entre ejecuciones ni revelar el número total de experimentos realizados. Este reporte selectivo distorsiona la reproducibilidad percibida de los resultados.
Ejemplos de IA reproducible
Programa de Reproducibilidad de NeurIPS
El programa de reproducibilidad de NeurIPS 2019 es un ejemplo útil de infraestructura a nivel de campo. Combinó una lista de verificación de reproducibilidad, una política de envío de código y un desafío comunitario de reproducibilidad. Después de estos esfuerzos, el intercambio de código en NeurIPS aumentó y la reproducibilidad se convirtió en una parte más visible del proceso de revisión.
Desafío de Reproducibilidad de ML
El Desafío de Reproducibilidad de ML ofrece a los investigadores una forma estructurada de probar afirmaciones publicadas. Los participantes seleccionan artículos, vuelven a ejecutar o reimplementan experimentos e informan si los hallazgos principales se mantienen. Esto ayuda al campo a aprender tanto de las reproducciones exitosas como de los fracasos.4
Papers with Code
Papers with Code conecta artículos de investigación con código, conjuntos de datos, métodos y resultados de benchmarks. Esto facilita que investigadores y profesionales encuentren artefactos de implementación y comparen métodos.5
Inferencia de LLM invariante al lote
El trabajo de Thinking Machines Lab sobre inferencia invariante al lote muestra cómo los detalles de bajo nivel del servicio pueden afectar la reproducibilidad. En el servicio moderno de LLM, el agrupamiento dinámico puede cambiar la ejecución numérica. Debido a que pequeñas diferencias numéricas pueden afectar la selección de tokens, el mismo prompt puede producir salidas diferentes. Los kernels invariantes al lote son una forma de reducir esta fuente de no determinismo.6
Pipeline empresarial de MLOps
Un ejemplo empresarial práctico es un pipeline de auditoría de modelos que utiliza DVC para el versionado de conjuntos de datos, MLflow para el seguimiento de experimentos y una imagen Docker fijada para capturar el entorno. Cuando se cuestiona una decisión del modelo, el equipo puede recuperar el conjunto de datos exacto, la versión del código, el artefacto del modelo y el informe de evaluación utilizados en ese momento.
El papel de los investigadores de IA en el abordaje de la reproducibilidad
Los investigadores de IA desarrollan nuevos modelos, pero también dan forma a la base de evidencia que otros equipos utilizan. Su trabajo es más fácil de verificar cuando los artefactos están completos, documentados y son estables.
La comunidad de investigación ha mejorado sus prácticas de reproducibilidad. NeurIPS introdujo un programa de reproducibilidad en 2019 que incluía una política de envío de código, una lista de verificación de reproducibilidad y un desafío comunitario de reproducibilidad.7 Análisis posteriores encontraron un claro aumento en el intercambio de código en NeurIPS tras estos esfuerzos.
Para mejorar aún más la reproducibilidad, los investigadores de IA deberían:
- Compartir código, datos, pesos del modelo y scripts de evaluación cuando sea posible.
- Archivar el código y los artefactos con identificadores persistentes.
- Reportar los hiperparámetros exactos, las divisiones de datos, los prompts, las semillas y el hardware.
- Reportar la varianza en múltiples ejecuciones en lugar de la mejor ejecución.
- Utilizar estándares de documentación como las Tarjetas de Modelo y las Hojas de Datos de Conjuntos de Datos.
- Seguir listas de verificación estructuradas como la Lista de Verificación de Reproducibilidad de Machine Learning y la Lista de Verificación de Artículos de NeurIPS.
- Fomentar la reproducción y replicación independientes a través de espacios como el Desafío de Reproducibilidad de ML.
Cuando los datos o el código no puedan divulgarse, los investigadores deben explicar la restricción y proporcionar un conjunto de datos proxy, una muestra sintética, un entorno ejecutable o un protocolo de reproducción detallado.
Añadir como fuente preferida¿Cómo mejorar la reproducibilidad en la IA?
La mejor manera de lograr la reproducibilidad de la IA en la empresa es aprovechando las mejores prácticas de MLOps. MLOps implica optimizar el ciclo de vida de la inteligencia artificial y el machine learning con automatización y un marco unificado dentro de una organización.
Las herramientas y técnicas útiles incluyen:
- Seguimiento de experimentos: Herramientas como MLflow, Neptune y Comet ayudan a registrar métricas, parámetros, artefactos e historial de ejecuciones.
- Versionado y linaje de datos: Herramientas como DVC, LakeFS, Pachyderm y Delta Lake ayudan a rastrear cómo cambian los conjuntos de datos.
- Versionado de modelos: Los registros de modelos ayudan a almacenar versiones de modelos, metadatos, firmas y etapas de despliegue.
- Captura del entorno: Docker, conda, pip freeze, archivos de bloqueo y Nix ayudan a preservar las dependencias de software.
- Orquestación de pipelines: Los flujos de trabajo reproducibles deben definir cómo se ejecutan de extremo a extremo la preparación de datos, el entrenamiento, la evaluación y el despliegue.
- Registro y pistas de auditoría: Los equipos deben registrar las entradas y salidas del modelo, los prompts, las versiones del modelo y los metadatos del entorno para las decisiones importantes.
¿Qué significa IA fiable y cómo se relaciona con la IA reproducible?
La IA fiable se refiere a sistemas que funcionan de manera consistente y correcta bajo las condiciones esperadas. La reproducibilidad apoya la fiabilidad, pero no es lo mismo.
Un sistema reproducible puede volver a ejecutarse y auditarse. Un sistema fiable también debe ser preciso, robusto, seguro, justo y adecuado para su uso previsto. La reproducibilidad ayuda a los equipos a probar estas cualidades al hacer que los resultados sean trazables.
La reproducibilidad apoya la IA fiable de cinco maneras:
- Consistencia entre ejecuciones: Los equipos pueden comprobar si un resultado es estable bajo la misma configuración.
- Depuración y auditoría: Los equipos pueden rastrear qué datos, código, modelo y entorno produjeron una salida.
- Pruebas robustas: Los equipos pueden comparar el comportamiento entre conjuntos de datos, versiones de modelos y configuraciones de despliegue.
- Cumplimiento: Los equipos pueden mantener documentación y registros para auditorías internas y regulaciones externas.
- Integridad científica: Los investigadores pueden verificar las afirmaciones y construir sobre ellas con menos ambigüedad.
Cita esta investigación
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{IA reproducible: Por qué es importante y cómo mejorarla}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/reproducible-ai}},
note = {AIMultiple. Recuperado el 23 de Junio de 2026}
}Enlaces de referencia
Comentarios 2
Comparte tus ideas
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.
I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.
I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE etc about Safety Critical AI. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.