IA Reproductible: Pourquoi c'est important et comment l'améliorer
La reproductibilité est un aspect fondamental des méthodes scientifiques, permettant aux chercheurs de répliquer une expérience ou une étude et d'obtenir des résultats cohérents en utilisant la même méthodologie. Ce principe est tout aussi vital dans les applications d'intelligence artificielle (IA) et d'apprentissage automatique (ML), où la capacité de reproduire les résultats assure une inference stable à travers les environnements de model. Cependant :
- ~5 % des chercheurs en IA partagent le code source et moins d'un tiers d'entre eux partagent les données de test dans leurs articles de recherche. 1
- Moins d'un tiers de la recherche en IA est reproductible, c'est-à-dire vérifiable. 2
C'est ce qu'on appelle couramment la crise de la reproductibilité ou de la réplication dans l'IA.3 Explorez pourquoi la reproductibilité est importante pour l'IA et comment les entreprises peuvent l'améliorer dans leurs applications d'IA.
Qu'est-ce que la reproductibilité dans l'intelligence artificielle ?
La reproductibilité de l'IA est la capacité d'obtenir des résultats identiques ou similaires en utilisant le même dataset et le même algorithme d'IA au sein du même environnement.
- Le dataset est l'ensemble d'entraînement que l'algorithme d'IA utilise pour faire des prédictions.
- L'algorithme d'IA se compose du type de model, des paramètres et hyperparamètres du model, des caractéristiques et d'autres codes.
- L'environnement fait référence aux logiciels et au matériel utilisés pour exécuter l'algorithme.
Pour parvenir à la reproductibilité dans les systèmes d'IA, les modifications de ces trois composants doivent être suivies et enregistrées.
Pourquoi la reproductibilité est-elle importante dans l'IA ?
La reproductibilité est cruciale tant pour la recherche en IA que pour les applications d'IA en entreprise car :
Pour la recherche en IA / ML, le progrès scientifique dépend de la capacité de chercheurs indépendants à examiner et à reproduire les résultats d'une étude.4 L'apprentissage automatique ne peut être amélioré ou appliqué dans d'autres domaines si ses composants essentiels ne sont pas documentés pour la reproductibilité. Un manque de reproductibilité brouille la frontière entre production scientifique et marketing.
Pour les applications d'IA en entreprise, la reproductibilité permettrait de construire des systèmes d'IA moins sujets aux erreurs. Moins d'erreurs profiteraient aux entreprises et à leurs clients en augmentant la fiabilité et la prévisibilité, puisque les entreprises pourraient comprendre quels composants mènent à certains résultats. Cela est nécessaire pour convaincre les décideurs de passer à l'échelle les systèmes d'IA et de permettre à plus d'utilisateurs d'en bénéficier.
Quels sont les défis concernant l'IA reproductible ?
Défi | Exemple |
|---|---|
Aléatoire | Résultats différents provenant de la descente de gradient stochastique (SGD) dans le deep learning |
Manque de standardisation du prétraitement | Suppression différente des mots vides en NLP affectant la performance du model |
Matériel/Logiciel non déterministe | Différences de résultats sur NVIDIA GPU vs. AMD GPU |
Réglage des hyperparamètres | Différences de taux d'apprentissage dans XGBoost changeant radicalement la performance |
Manque de documentation/partage de code | Models Transformer sans implémentation détaillée de la normalisation des couches |
Problèmes de versionnage | Changements d'API TensorFlow 1.x vs. TensorFlow 2.x affectant la reproductibilité |
Disponibilité/Variabilité du dataset | Datasets de santé propriétaires qui ne sont pas accessibles pour la réplication |
Ressources computationnelles | Models de pointe comme GPT-4 nécessitant des clusters GPU massifs pour répliquer l'entraînement |
Surapprentissage sur des sets de test spécifiques | Rapport de résultats uniquement sur des divisions de dataset spécifiques, surapprentissage sur les données de test |
Biais/Sélection arbitraire des résultats | Rapport uniquement du meilleur run expérimental sans divulguer les autres résultats |
1. Aléatoire et nature stochastique des algorithmes
De nombreux models d'IA, en particulier les algorithmes de deep learning, incorporent de l'aléatoire pendant leurs processus d'entraînement et d'inference. Par exemple, l'initialisation aléatoire des poids, les couches de dropout et la descente de gradient stochastique (SGD) contribuent à la variabilité même en utilisant le même dataset, la même base de code et le même environnement.
Ce problème est particulièrement prononcé dans les Large Language Models (LLMs), tels que GPT-5, Gemini ou LLaMA, qui sont intrinsèquement probabilistes. Même lorsqu'ils sont sollicités avec le même prompt et la même configuration, ils peuvent générer des sorties différentes, particulièrement si les paramètres de température ou d'échantillonnage top-k sont ajustés. Ces réglages contrôlent l'aléatoire de la génération de sortie :
- La température ajuste la distribution de probabilité utilisée lors de l'échantillonnage des tokens. Une température plus élevée (ex. 1,0) produit des sorties plus diverses et créatives, tandis qu'une température plus basse (ex. 0,2) produit des réponses plus déterministes.
- Le Top-k ou l'échantillonnage top-p (nucleus) contrôle davantage l'aléatoire en limitant la plage de tokens considérés à chaque étape.
Demander à un LLM de résumer le même paragraphe deux fois avec une température de 0,9 peut donner des résumés significativement différents. Cette variabilité rend difficile la vérification ou la reproduction du comportement du model, à moins que les réglages ne soient fixés et explicitement documentés.
Dans les applications d'entreprise, telles que le résumé de contrats, les réponses de chatbot ou les assistants de codage IA, cette imprévisibilité pose des défis pour le débogage, la conformité et l'assurance qualité. Les équipes peuvent avoir du mal à retracer quelle configuration a conduit à une sortie spécifique, à moins que tous les paramètres, y compris la graine aléatoire et la température, ne soient enregistrés systématiquement.
Par exemple, le Thinking Machines Lab a expliqué l'échec de l'invariance par lot comme une source majeure de non-déterminisme dans l'inference LLM. Idéalement, un model devrait produire la même sortie pour un prompt donné, qu'il soit traité seul ou aux côtés d'autres requêtes. Cependant, les systèmes de service modernes regroupent dynamiquement les requêtes pour améliorer l'efficacité des GPU, et nombre de kernels GPU varient leurs schémas d'exécution selon la taille ou la disposition du lot.
Parce que les opérations en virgule flottante ne sont pas parfaitement associatives, de petits changements dans l'ordre de calcul peuvent légèrement altérer les logits. Lors du décodage, ces minuscules différences peuvent finalement conduire le model à sélectionner des tokens différents, provoquant des sorties différentes même avec des réglages déterministes (ex. température = 0). En effet, le résultat du model dépend des autres requêtes qui partagent le lot, rendant l'inference apparemment non déterministe.5
2. Manque de standardisation dans le prétraitement des données
Les étapes de prétraitement telles que l'augmentation des données, la normalisation et l'extraction de caractéristiques ne sont souvent pas documentées ou partagées de manière cohérente. De petits changements dans la façon dont les données sont prétraitées, même des détails apparemment mineurs comme des erreurs d'arrondi, peuvent conduire à des résultats différents. C'est particulièrement vrai pour le traitement d'images ou les tâches de traitement du langage naturel, où la variabilité des données est élevée.
3. Matériel et logiciel non déterministes
L'exécution des algorithmes d'IA peut varier selon le matériel (CPUs, GPUs, TPU) et même sur le même matériel en raison de processus non déterministes sous-jacents dans les bibliothèques. Des différences de versions de ces bibliothèques peuvent introduire une variabilité supplémentaire, même lorsque le code et les données sont identiques.
Par exemple, PyTorch 2.10 a introduit plusieurs améliorations axées sur le déterminisme et le débogage des problèmes numériques dans les workflows ML modernes.
Alors que l'apprentissage par renforcement distribué et les pipelines de post-entraînement à grande échelle deviennent plus courants, garantir une exécution reproductible et diagnostiquer des divergences numériques subtiles est devenu de plus en plus important. Pour y remédier, la version a ajouté de nouvelles capacités de débogage telles que DebugMode, qui suit les appels dispatchés et aide à identifier les sources d'instabilité numérique pendant l'exécution.6
4. Réglage des hyperparamètres
De nombreux models d'IA reposent sur des hyperparamètres, tels que le taux d'apprentissage, la taille du lot ou la force de régularisation, qui doivent être fine-tunés. Souvent, ceux-ci ne sont pas partagés avec assez de détails, ou leur sélection n'est pas expliquée rigoureusement, ce qui rend la reproduction des résultats difficile. De plus, de légers changements dans les hyperparamètres peuvent entraîner des résultats de performance très différents.
5. Manque de documentation détaillée et de partage de code
Même lorsque les articles de recherche fournissent du code, celui-ci peut être incomplet ou pas totalement aligné avec les résultats publiés. Certains éléments critiques, tels que des bibliothèques spécifiques, des poids de model ou des pipelines de données, pourraient ne pas être divulgués, entravant une reproduction exacte.
6. Problèmes de versionnage
La nature dynamique des écosystèmes logiciels d'IA signifie que les bibliothèques et les frameworks évoluent constamment. Un model entraîné avec une version spécifique d'une bibliothèque pourrait ne pas être performant de la même manière lorsqu'il est exécuté sur une version ultérieure, même si le code reste inchangé. Suivre les versions de toutes les dépendances peut être difficile, et le versionnage est souvent mal documenté.
7. Disponibilité et variabilité du dataset
Certains datasets utilisés dans la recherche en IA sont propriétaires ou ne sont pas disponibles publiquement, rendant impossible la réplication des études. Même lorsque les datasets sont disponibles, il peut y avoir des variations dues à l'échantillonnage, aux mises à jour ou à différentes techniques de prétraitement appliquées au moment de la recherche.
8. Ressources computationnelles
La reproduction de models d'IA de pointe nécessite souvent des ressources computationnelles significatives, notamment du matériel spécialisé comme des GPUs ou des TPU. Les chercheurs ou praticiens n'ayant pas accès au même niveau de ressources peuvent trouver difficile de répliquer les résultats.
9. Surapprentissage sur des sets de test spécifiques
Dans certains cas, les models sont involontairement surappris sur des sets de test ou des benchmarks spécifiques. Lorsque ces models sont testés dans des environnements différents ou sur des datasets légèrement modifiés, les résultats peuvent ne pas se généraliser, rendant la reproductibilité difficile.
10. Biais dans le rapport et sélection arbitraire des résultats
Les chercheurs peuvent rapporter la version la plus performante d'un model après plusieurs runs sans spécifier la variabilité entre les runs ou divulguer le nombre total d'expériences menées. Ce rapport sélectif fausse la reproductibilité perçue des résultats.
Le rôle des chercheurs en IA dans la résolution de la reproductibilité
Les chercheurs en IA développent des models de pointe, mais ils sont également responsables de s'assurer que leur travail peut être vérifié et fiable. Malgré les appels à la transparence, nombre de productions de recherche restent insuffisantes en pratique :
- Une analyse des articles de NeurIPS (Conference on Neural Information Processing Systems) a révélé que seulement 42 % incluaient du code, et seulement 23 % fournissaient des liens vers des datasets.
- La plupart des études en IA manquent de détails suffisants pour être reproduites indépendamment, souvent en raison d'une documentation inadéquate des hyperparamètres, des conditions d'entraînement et des protocoles d'évaluation.
- Près de 70 % des chercheurs en IA ont admis avoir eu du mal à reproduire les résultats de quelqu'un d'autre, même au sein du même sous-domaine.
Pour surmonter ces problèmes, la communauté de recherche en IA doit :
- Adopter des pratiques de science ouverte : Le partage du code, des données et des journaux d'expériences détaillés permet la vérification par les pairs et l'intégrité scientifique.
- Standardiser le rapport : Suivre des formats structurés comme la Machine Learning Reproducibility Checklist aide à garantir que les détails essentiels sont documentés.
- Promouvoir la validation inter-institutionnelle : Encourager la réplication indépendante par d'autres équipes de recherche aide à identifier la généralisabilité et la fiabilité.
Ajouter comme source préféréeComment améliorer la reproductibilité dans l'IA ?
La meilleure façon d'obtenir la reproductibilité de l'IA en entreprise est de s'appuyer sur les meilleures pratiques MLOps. Le MLOps consiste à rationaliser le cycle de vie de l'intelligence artificielle et de l'apprentissage automatique grâce à l'automatisation et à un framework unifié au sein d'une organisation.
Certains outils et techniques MLOps qui facilitent la reproductibilité sont :
- Le suivi d'expériences : Les outils de suivi d'expériences aident à garder une trace des informations importantes sur ces expériences de manière structurée.
- Le lignage des données : Le lignage des données suit l'origine des données, ce qui leur arrive et où elles vont tout au long du cycle de vie des données avec des enregistrements et des visualisations.
- Le versionnage du model : De même, les outils de versionnage des données aident à suivre les différentes versions des models d'IA avec différents types de model, paramètres, hyperparamètres, etc. et permettent aux entreprises de les comparer.
- Le registre de models : Le registre de models est un dépôt central pour tous les models et leurs métadonnées. Cela aide les data scientists à accéder à différents models et à leurs propriétés à différents moments.
Outre les outils, le MLOps aide également les entreprises à améliorer la reproductibilité en facilitant la communication entre les data scientists, le personnel informatique, les experts métier et les professionnels des opérations.
Que signifie l'IA fiable et quel est son lien avec l'IA reproductible ?
L'IA fiable fait référence aux systèmes qui fonctionnent de manière cohérente et correcte dans diverses conditions. Cela inclut la production de sorties précises, équitables et sûres à travers différents environnements et entrées de données. Un pilier clé de la fiabilité est la reproductibilité, la capacité de recréer les mêmes résultats en utilisant les mêmes entrées et méthodes, même lorsque le système est déployé dans de nouveaux contextes ou par différentes équipes.
- Cohérence entre les runs : L'IA reproductible garantit que l'entraînement ou l'inference répétés dans les mêmes conditions donne les mêmes résultats, ce qui est critique pour valider la fiabilité.
- Débogage et audit : Les systèmes fiables doivent être transparents et responsables. La reproductibilité permet aux parties prenantes de retracer comment une décision a été prise et de la vérifier indépendamment.
- Tests robustes : Pour garantir la fiabilité, l'IA doit être testée sous plusieurs conditions. La reproductibilité permet des procédures de test standardisées pour valider les affirmations de performance.
- Construction de la confiance : Lorsque les résultats peuvent être reproduits systématiquement, les utilisateurs et les régulateurs sont plus susceptibles de faire confiance à la fiabilité et à la sécurité de l'IA.
- Intégrité scientifique : Dans la recherche en IA, la reproductibilité est essentielle pour la revue par les pairs et le progrès. Les systèmes fiables dépendent de ce fondement pour s'assurer que la solidité théorique se traduit par une fiabilité pratique.
Exemples d'IA fiable
Jamba2
Jamba2 est une famille de models de langage open-source publiés par AI21 qui privilégient la fiabilité, la dirigeabilité et l'efficacité pour les applications d'entreprise. Les models sont basés sur l'architecture hybride SSM-Transformer d'AI21, qui combine des couches d'espace d'état (style Mamba) avec des couches Transformer pour obtenir des performances solides tout en restant économes en mémoire.
AI21 positionne Jamba2 comme une alternative orientée entreprise aux grands models de raisonnement, en se concentrant sur des réponses précises aux questions, des réponses fondées et le suivi d'instructions sans la lourde charge computationnelle des tokens de raisonnement.
Son empreinte compacte permet aux développeurs d'exécuter des models localement (même sur des appareils grand public comme des téléphones ou des ordinateurs portables) tout en supportant des charges de production telles que les pipelines RAG et le traitement de documents techniques.7
IBM
IBM a introduit Sovereign Core comme une plateforme logicielle « souveraine par conception et prête pour l'IA » qui permet aux entreprises et aux gouvernements de déployer des environnements d'IA avec un contrôle total sur les données, les opérations et la gouvernance.8
Mistral AI
Mistral AI a obtenu un accord-cadre majeur de la défense française pour fournir des models d'IA générative, le contrat spécifiant l'hébergement sur l'infrastructure française « pour préserver le contrôle national sur les données et la technologie sensibles ».9
Citer cette recherche
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{IA Reproductible: Pourquoi c'est important et comment l'améliorer}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/reproducible-ai}},
note = {AIMultiple. Consulté le 23 Juin 2026}
}Liens de référence
Commentaires 2
Partagez vos idées
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.
I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.
I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE etc about Safety Critical AI. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.