IA reproductible: pourquoi c'est important & comment l'améliorer
La reproductibilité est un élément central de la recherche scientifique. Elle permet aux chercheurs et aux équipes d'IA de vérifier si un résultat peut être obtenu à nouveau dans des conditions clairement décrites.
Un rapport de l'OCDE sur l'IA dans la science soutient que la recherche en IA n'a pas échappé à la crise plus large de la reproductibilité. Il cite des preuves que des problèmes de reproductibilité sont apparus dans la reconnaissance d'images, le traitement du langage naturel, l'apprentissage par renforcement, les systèmes de recommandation, la médecine et les sciences sociales. Il note également que 70% de la recherche en IA était non reproductible.1
La question n'est plus de savoir si les chercheurs partagent leur code. La question la plus difficile est de savoir si les artefacts partagés sont suffisamment complets pour qu'une autre équipe puisse vérifier le résultat. Cela nécessite des questions de recherche claires, un accès aux données et au code, les paramètres du modèle, les détails de l'environnement, les scripts d'évaluation et la documentation.
Découvrez pourquoi la reproductibilité est importante pour l'IA et comment les entreprises peuvent l'améliorer dans leurs projets d'IA.
Qu'est-ce que la reproductibilité en intelligence artificielle ?
La reproductibilité de l'IA est la capacité d'obtenir le même résultat ou un résultat similaire lorsque les données originales, le code, les paramètres du modèle et l'environnement sont disponibles et documentés.
En IA, trois termes connexes sont souvent confondus :
- Répétabilité : La même équipe obtient le même résultat en utilisant le même code, les mêmes données et la même configuration. Par exemple, une équipe de science des données réexécute son pipeline d'entraînement et obtient la même métrique.
- Reproductibilité : Une autre équipe obtient le même résultat en utilisant les artefacts originaux. Par exemple, un autre laboratoire exécute le code et les données publiés avec un article et obtient le même résultat.
- Réplicabilité : Une autre équipe obtient la même conclusion avec un nouveau code, de nouvelles données ou de nouvelles expériences. Par exemple, une deuxième équipe teste la même affirmation avec une nouvelle implémentation et un nouveau dataset.
La reproductibilité de l'IA dépend de trois composants essentiels :
- Le dataset comprend les données d'entraînement, de validation et de test, les divisions des données, les étiquettes et les étapes de prétraitement.
- L'algorithme d'IA, incluant le type de modèle, les paramètres, les hyperparamètres, les caractéristiques, les poids, les prompts et le code.
- L'environnement, y compris les versions logicielles, le matériel, le système d'exploitation, les pilotes, les graines aléatoires et les paramètres de déploiement.
Les modifications de ces trois composants doivent être suivies et enregistrées.
La reproductibilité a aussi ses limites. Un résultat peut être reproductible et néanmoins être faux. Par exemple, un bug dans le code de prétraitement peut être reproduit par chaque équipe qui exécute le même code. Un résultat qui ne peut pas être reproduit n'est pas non plus une preuve de fraude. Il peut refléter des détails manquants, des données indisponibles, un matériel différent ou un protocole d'évaluation ambigu.
Pourquoi la reproductibilité est-elle importante en IA ?
La reproductibilité est importante à la fois pour la recherche en IA et pour les applications d'IA en entreprise, mais les objectifs diffèrent.
Pour la recherche en IA et en ML, la reproductibilité permet aux chercheurs indépendants d'inspecter les résultats, de réexécuter l'expérience originale et de s'appuyer sur les travaux antérieurs. Le progrès scientifique dépend de ce processus. Si un article ne documente pas le code, les données, les paramètres du modèle et les détails d'évaluation, d'autres chercheurs pourraient ne pas être en mesure de déterminer si le résultat est une découverte robuste ou un artefact d'une configuration particulière.
Pour les applications d'IA en entreprise, la reproductibilité facilite le débogage, l'auditabilité et le déploiement stable. Les équipes ont besoin de savoir quelle version des données, quelle version du modèle, quel prompt, quel environnement et quelle configuration ont produit un résultat donné. C'est important pour l'assurance qualité, l'examen des incidents et la conformité.
La reproductibilité devient également une exigence de gouvernance. Des réglementations telles que le règlement européen sur l'IA (IA Act) exigent une documentation technique et une conservation des enregistrements pour les systèmes d'IA à haut risque. Cela accroît le besoin de datasets traçables, de versions de modèles, de journaux d'évaluation et d'enregistrements de déploiement.
Quels sont les défis de l'IA reproductible ?
Étape du cycle de vie | Défi | Exemple |
|---|---|---|
Données | Disponibilité des datasets, évolution des données et prétraitement incohérent | Un dataset de santé est propriétaire, ou le prétraitement NLP supprime les stopwords différemment. |
Entraînement | Aléatoire et sensibilité aux graines | Des initialisations de poids ou des exécutions de descente de gradient stochastique différentes produisent des métriques différentes. |
Entraînement | Matériel et logiciels non déterministes | GPU kernels, versions CUDA ou mises à jour du framework modifient les résultats numériques. |
Entraînement | Recherche d'hyperparamètres | Un taux d'apprentissage ou une taille de lot est modifié mais non enregistré. |
Évaluation | Surapprentissage aux benchmarks et contamination | Un modèle performe bien car les données du benchmark sont apparues dans les données d'entraînement. |
Évaluation | Différences de protocole d'évaluation | Deux harnais d'évaluation LLM utilisent des formats de prompt ou des analyseurs de réponse différents. |
Déploiement | Dérive d'API et mises à jour de modèle | Un point de terminaison de modèle fermé change de comportement après une mise à jour silencieuse. |
Rapport | Rapport sélectif et variance manquante | Seule la meilleure exécution est rapportée, sans moyenne, écart-type ni intervalle de confiance. |
1. Aléatoire et nature stochastique des algorithmes
De nombreux modèles d'IA, en particulier les algorithmes d'apprentissage profond, intègrent de l'aléatoire lors de leurs processus d'entraînement et d'inférence. Par exemple, l'initialisation aléatoire des poids, les couches dropout et la descente de gradient stochastique (SGD) contribuent à la variabilité même en utilisant le même dataset, la même base de code et le même environnement.
Ce problème est particulièrement prononcé dans les grands modèles de langage (LLMs), tels que GPT-5, Gemini ou LLaMA, qui sont intrinsèquement probabilistes. Même lorsqu'ils sont sollicités avec la même entrée et la même configuration, ils peuvent générer des sorties différentes, en particulier si les paramètres de température ou d'échantillonnage top-k sont ajustés. Ces paramètres contrôlent l'aléatoire de la génération de sortie :
- Température ajuste la distribution de probabilité utilisée lors de l'échantillonnage des tokens. Une température plus élevée (par exemple, 1.0) produit des sorties plus diverses et créatives, tandis qu'une température plus basse (par exemple, 0.2) donne des réponses plus déterministes.
- Top-k ou échantillonnage top-p (nucleus) contrôle davantage l'aléatoire en limitant la plage des tokens pris en compte à chaque étape.
Demander à un LLM de résumer le même paragraphe deux fois avec une température de 0.9 peut produire des résumés sensiblement différents. Cette variabilité rend difficile la vérification ou la reproduction du comportement du modèle, à moins que les paramètres ne soient fixés et documentés explicitement.
Dans les applications d'entreprise, telles que la synthèse de contrats, les réponses de chatbot ou les assistants de codage IA, cette imprévisibilité pose des défis pour le débogage, la conformité et l'assurance qualité. Les équipes peuvent avoir du mal à retrouver quelle configuration a conduit à une sortie spécifique, à moins que tous les paramètres, y compris la graine aléatoire et la température, ne soient enregistrés de manière cohérente.
Par exemple, Thinking Machines Lab a expliqué l'échec de l'invariance par lots comme une source majeure de non-déterminisme dans l'inférence LLM. Idéalement, un modèle devrait produire la même sortie pour un prompt donné, qu'il soit traité seul ou avec d'autres requêtes. Cependant, les systèmes de diffusion modernes regroupent dynamiquement les requêtes pour améliorer l'efficacité GPU, et de nombreux noyaux GPU font varier leurs modèles d'exécution en fonction de la taille ou de la disposition des lots.
Étant donné que les opérations en virgule flottante ne sont pas parfaitement associatives, de petits changements dans l'ordre des calculs peuvent légèrement modifier les logits. Pendant le décodage, ces infimes différences peuvent finalement amener le modèle à sélectionner des tokens différents, provoquant des sorties différentes même avec des paramètres déterministes (par exemple, température = 0). En effet, le résultat du modèle dépend des autres requêtes partageant le lot, ce qui donne l'impression que l'inférence est non déterministe.2
2. Manque de standardisation dans le prétraitement des données
Les étapes de prétraitement telles que le nettoyage, le filtrage, l'augmentation, la normalisation, la tokenisation et l'extraction de caractéristiques ne sont souvent pas entièrement documentées. De petites différences peuvent modifier le résultat final.
Dans les modèles d'image, l'ordre de redimensionnement, de recadrage ou d'augmentation peut affecter la précision. En NLP, la tokenisation, la suppression des stopwords, la casse ou la troncature peuvent affecter les métriques. Dans les modèles tabulaires, la gestion des valeurs manquantes et la mise à l'échelle des caractéristiques peuvent modifier le comportement du modèle.
Les équipes doivent considérer le code de prétraitement comme faisant partie du modèle. Il doit être versionné, testé et enregistré avec l'artefact du modèle.
3. Matériel et logiciels non déterministes
L'exécution des algorithmes d'IA peut varier selon le matériel (CPUs, GPUs, TPUs) et même sur le même matériel en raison de processus non déterministes sous-jacents dans les bibliothèques. Les différences de versions de ces bibliothèques peuvent introduire une variabilité supplémentaire, même lorsque le code et les données sont identiques.
Par exemple, PyTorch 2.10 a introduit plusieurs améliorations axées sur le déterminisme et le débogage des problèmes numériques dans les workflows ML modernes.
Alors que l'apprentissage par renforcement distribué et les pipelines à grande échelle post-entraînement deviennent plus courants, assurer une exécution reproductible et diagnostiquer les divergences numériques subtiles est devenu de plus en plus important. Pour y remédier, la version a ajouté de nouvelles fonctionnalités de débogage telles que DebugMode, qui suit les appels distribués et aide à identifier les sources d'instabilité numérique lors de l'exécution.3
4. Réglage des hyperparamètres
De nombreux modèles d'IA reposent sur des hyperparamètres, tels que le taux d'apprentissage, la taille de lot ou la force de régularisation, qui doivent être affinés. Souvent, ils ne sont pas partagés avec suffisamment de détails, ou leur sélection n'est pas expliquée rigoureusement, ce qui rend difficile la reproduction des résultats. De plus, de légers changements d'hyperparamètres peuvent entraîner des résultats de performance différents.
5. Manque d'artefacts complets et de documentation
Un article peut partager du code mais rester difficile à reproduire. Des fichiers manquants, des instructions README incomplètes, des poids de modèle indisponibles, des scripts de prétraitement cachés ou des dépendances non documentées peuvent empêcher la reproduction.
Les artefacts utiles comprennent :
- Code et hash de commit exact.
- Versions des données d'entraînement, de validation et de test.
- Poids du modèle et points de contrôle.
- Fichiers d'environnement tels que
requirements.txt,pip freeze, fichiers d'environnement conda, fichiers de verrouillage, Dockerfiles, ou configurations Nix. - Journaux d'entraînement et scripts d'évaluation.
- Graines aléatoires et détails matériels.
- Instructions pour exécuter l'ensemble du pipeline.
Les normes de documentation telles que les Model Cards et les Dataset Datasheets aident à rendre ces informations plus faciles à inspecter.
6. Problèmes de versionnage
La nature dynamique des écosystèmes logiciels d'IA signifie que les bibliothèques et les frameworks évoluent constamment. Un modèle entraîné avec une version spécifique d'une bibliothèque peut ne pas fonctionner de la même manière lorsqu'il est exécuté avec une version ultérieure, même si le code reste inchangé. Suivre les versions de toutes les dépendances peut être difficile, et le versionnage est souvent mal documenté.
7. Disponibilité et variabilité des datasets
Certains datasets utilisés dans la recherche en IA sont propriétaires ou ne sont pas disponibles publiquement, ce qui rend impossible la réplication des études. Même lorsque les datasets sont disponibles, il peut y avoir des variations dues à l'échantillonnage, aux mises à jour ou à différentes techniques de prétraitement appliquées au moment de la recherche.
8. Ressources computationnelles
Reproduire des modèles d'IA de pointe nécessite souvent des ressources computationnelles importantes, y compris du matériel spécialisé comme des GPUs ou des TPUs. Les chercheurs ou praticiens sans accès au même niveau de ressources peuvent avoir du mal à répliquer les résultats.
9. Surapprentissage à des ensembles de test spécifiques
Dans certains cas, les modèles sont involontairement surappris à des ensembles de test ou à des benchmarks spécifiques. Lorsque ces modèles sont testés dans des environnements différents ou sur des datasets légèrement modifiés, les résultats peuvent ne pas se généraliser, ce qui rend la reproductibilité difficile.
10. Biais dans le rapport et la sélection sélective des résultats
Les chercheurs peuvent rapporter la version la plus performante d'un modèle après plusieurs exécutions sans spécifier la variabilité entre les exécutions ni divulguer le nombre total d'expériences menées. Ce rapport sélectif fausse la perception de la reproductibilité des résultats.
Exemples d'IA reproductible
Programme de reproductibilité NeurIPS
Le programme de reproductibilité NeurIPS 2019 est un bon exemple d'infrastructure au niveau du domaine. Il combinait une liste de contrôle de reproductibilité, une politique de soumission de code et un défi de reproductibilité communautaire. Après ces efforts, le partage de code à NeurIPS a augmenté, et la reproductibilité est devenue une partie plus visible du processus d'évaluation.
Défi de reproductibilité ML
Le défi de reproductibilité ML offre aux chercheurs un moyen structuré de tester les affirmations publiées. Les participants sélectionnent des articles, réexécutent ou réimplémentent les expériences et rapportent si les principales conclusions tiennent. Cela aide le domaine à apprendre à la fois des reproductions réussies et des échecs.4
Papers with Code
Papers with Code relie les articles de recherche au code, aux datasets, aux méthodes et aux résultats de benchmark. Cela permet aux chercheurs et aux praticiens de trouver plus facilement des artefacts d'implémentation et de comparer les méthodes.5
Inférence LLM invariante par lot
Le travail de Thinking Machines Lab sur l'inférence invariante par lot montre comment les détails de bas niveau de la diffusion peuvent affecter la reproductibilité. Dans la diffusion moderne de LLM, le regroupement dynamique peut modifier l'exécution numérique. Étant donné que de petites différences numériques peuvent affecter la sélection des tokens, le même prompt peut produire des sorties différentes. Les noyaux invariants par lot sont un moyen de réduire cette source de non-déterminisme.6
Pipeline MLOps d'entreprise
Un exemple concret en entreprise est un pipeline d'audit de modèle qui utilise DVC pour le versionnage des datasets, MLflow pour le suivi des expériences et une image Docker épinglée pour capturer l'environnement. Lorsqu'une décision du modèle est remise en question, l'équipe peut récupérer le dataset exact, la version du code, l'artefact du modèle et le rapport d'évaluation utilisés à ce moment-là.
Le rôle des chercheurs en IA dans la prise en compte de la reproductibilité
Les chercheurs en IA développent de nouveaux modèles, mais ils façonnent également la base de preuves que d'autres équipes utilisent. Leur travail est plus facile à vérifier lorsque les artefacts sont complets, documentés et stables.
La communauté de recherche a amélioré ses pratiques de reproductibilité. NeurIPS a introduit un programme de reproductibilité en 2019 qui comprenait une politique de soumission de code, une liste de contrôle de reproductibilité et un défi de reproductibilité communautaire.7 Des analyses ultérieures ont constaté une nette augmentation du partage de code à NeurIPS après ces efforts.
Pour améliorer davantage la reproductibilité, les chercheurs en IA devraient :
- Partager le code, les données, les poids du modèle et les scripts d'évaluation lorsque cela est possible.
- Archiver le code et les artefacts avec des identifiants persistants.
- Rapporter les hyperparamètres exacts, les divisions des données, les prompts, les graines et le matériel.
- Rapporter la variance sur plusieurs exécutions au lieu de la meilleure exécution.
- Utiliser des normes de documentation telles que les Model Cards et les Dataset Datasheets.
- Suivre des listes de contrôle structurées telles que la Machine Learning Reproducibility Checklist et la NeurIPS Paper Checklist.
- Encourager la reproduction et la réplication indépendantes par le biais de forums tels que le ML Reproducibility Challenge.
Lorsque les données ou le code ne peuvent pas être diffusés, les chercheurs devraient expliquer la contrainte et fournir un dataset proxy, un échantillon synthétique, un environnement exécutable ou un protocole de reproduction détaillé.
Ajouter comme source préféréeComment améliorer la reproductibilité en IA ?
La meilleure façon d'atteindre la reproductibilité de l'IA en entreprise est de tirer parti des meilleures pratiques MLOps. Le MLOps consiste à rationaliser le cycle de vie de l'intelligence artificielle et de l'apprentissage automatique avec l'automatisation et un cadre unifié au sein d'une organisation.
Les outils et techniques utiles comprennent :
- Suivi des expériences : Des outils tels que MLflow, Neptune et Comet aident à enregistrer les métriques, les paramètres, les artefacts et l'historique des exécutions.
- Versionnage des données et lignée : Des outils tels que DVC, LakeFS, Pachyderm et Delta Lake aident à suivre l'évolution des datasets.
- Versionnage de modèles : Les registres de modèles aident à stocker les versions du modèle, les métadonnées, les signatures et les étapes de déploiement.
- Capture d'environnement : Docker, conda, pip freeze, les fichiers de verrouillage et Nix aident à préserver les dépendances logicielles.
- Orchestration de pipeline : Les workflows reproductibles doivent définir comment la préparation des données, l'entraînement, l'évaluation et le déploiement s'exécutent de bout en bout.
- Journalisation et pistes d'audit : Les équipes doivent enregistrer les entrées, les sorties, les prompts, les versions du modèle et les métadonnées d'environnement pour les décisions importantes.
Que signifie une IA fiable et comment est-elle liée à l'IA reproductible ?
L'IA fiable fait référence à des systèmes qui fonctionnent de manière cohérente et correcte dans des conditions prévues. La reproductibilité soutient la fiabilité, mais ce n'est pas la même chose.
Un système reproductible peut être réexécuté et audité. Un système fiable doit également être précis, robuste, sécurisé, équitable et sûr pour son utilisation prévue. La reproductibilité aide les équipes à tester ces qualités en rendant les résultats traçables.
La reproductibilité soutient l'IA fiable de cinq manières :
- Cohérence entre les exécutions : Les équipes peuvent vérifier si un résultat est stable dans la même configuration.
- Débogage et audit : Les équipes peuvent tracer quelles données, quel code, quel modèle et quel environnement ont produit une sortie.
- Tests robustes : Les équipes peuvent comparer le comportement à travers les datasets, les versions de modèles et les paramètres de déploiement.
- Conformité : Les équipes peuvent tenir à jour la documentation et les enregistrements pour les audits internes et les réglementations externes.
- Intégrité scientifique : Les chercheurs peuvent vérifier les affirmations et s'appuyer sur elles avec moins d'ambiguïté.
Citer cette recherche
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{IA reproductible: pourquoi c'est important & comment l'améliorer}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/reproducible-ai}},
note = {AIMultiple. Consulté le 23 Juin 2026}
}Liens de référence
Commentaires 2
Partagez vos idées
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.
I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.
I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE etc about Safety Critical AI. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.