IA reproductible: pourquoi c'est important et comment l'améliorer

La reproductibilité est un élément central de la recherche scientifique. Elle permet aux chercheurs et aux équipes d'IA de vérifier si un résultat peut être obtenu à nouveau dans des conditions clairement décrites.

Un rapport de l'OCDE sur l'IA dans la science affirme que la recherche en IA n'a pas échappé à la crise plus large de reproductibilité. Il cite des preuves que des problèmes de reproductibilité sont apparus dans la reconnaissance d'images, le traitement du langage naturel, l'apprentissage par renforcement, les systèmes de recommandation, la médecine et les sciences sociales. Il note également que 70 % des recherches en IA étaient non reproductibles.¹

La question n'est plus de savoir si les chercheurs partagent le code. La question plus difficile est de savoir si les artefacts partagés sont suffisamment complets pour qu'une autre équipe puisse vérifier le résultat. Cela nécessite des questions de recherche claires, un accès aux données et au code, des paramètres de model, des détails sur l'environnement, des scripts d'évaluation et de la documentation.

Découvrez pourquoi la reproductibilité est importante pour l'IA et comment les entreprises peuvent l'améliorer dans les projets d'IA.

Qu'est-ce que la reproductibilité en intelligence artificielle ?

La reproductibilité de l'IA est la capacité d'obtenir le même résultat ou un résultat similaire lorsque les données, le code, les paramètres de model et l'environnement d'origine sont disponibles et documentés.

Dans l'IA, trois termes liés sont souvent confondus :

• Répétabilité : La même équipe obtient le même résultat en utilisant le même code, les mêmes données et la même configuration. Par exemple, une équipe de science des données réexécute son pipeline d'entraînement et obtient la même métrique.
• Reproductibilité : Une équipe différente obtient le même résultat en utilisant les artefacts d'origine. Par exemple, un autre laboratoire exécute le code et les données publiés avec un article et obtient le même résultat.
• Réplicabilité : Une équipe différente obtient le même résultat avec un nouveau code, de nouvelles données ou de nouvelles expériences. Par exemple, une deuxième équipe teste la même affirmation avec une nouvelle implémentation et un nouveau dataset.

La reproductibilité de l'IA dépend de trois composants essentiels :

• Le dataset comprend les données d'entraînement, de validation et de test, les divisions de données, les étiquettes et les étapes de prétraitement.
• L'algorithme d'IA, y compris le type de model, les paramètres, les hyperparamètres, les caractéristiques, les poids, les prompts et le code.
• L'environnement, y compris les versions logicielles, le matériel, le système d'exploitation, les pilotes, les graines aléatoires et les paramètres de déploiement.

Les modifications de ces trois composants doivent être suivies et enregistrées.

La reproductibilité a aussi ses limites. Un résultat peut être reproductible et néanmoins erroné. Par exemple, un bug dans le code de prétraitement peut être reproduit par toutes les équipes qui exécutent le même code. Un résultat non reproductible n'est pas non plus une preuve de fraude. Il peut refléter des détails manquants, des données indisponibles, un matériel différent ou un protocole d'évaluation ambigu.

Pourquoi la reproductibilité est-elle importante en IA ?

La reproductibilité est importante à la fois pour la recherche en IA et pour les applications d'IA d'entreprise, mais les objectifs diffèrent.

Pour la recherche en IA et en ML, la reproductibilité permet aux chercheurs indépendants d'inspecter les résultats, de réexécuter l'expérience originale et de s'appuyer sur les travaux antérieurs. Le progrès scientifique dépend de ce processus. Si un article ne documente pas le code, les données, les paramètres de model et les détails d'évaluation, les autres chercheurs peuvent ne pas être en mesure de déterminer si le résultat est une découverte robuste ou un artefact d'une configuration particulière.

Pour les applications d'IA en entreprise, la reproductibilité facilite le débogage, l'auditabilité et un déploiement stable. Les équipes doivent savoir quelle version de données, quelle version de model, quel prompt, quel environnement et quelle configuration ont produit une sortie donnée. C'est important pour l'assurance qualité, la revue d'incidents et la conformité.

La reproductibilité devient également une exigence de gouvernance. Des réglementations telles que la loi européenne sur l'IA (EU IA Act) exigent une documentation technique et une conservation des enregistrements pour les systèmes d'IA à haut risque. Cela accroît le besoin de datasets traçables, de versions de models, de journaux d'évaluation et de registres de déploiement.

Quels sont les défis de l'IA reproductible ?

1. Aléa et nature stochastique des algorithmes

De nombreux models d'IA, en particulier les algorithmes d'apprentissage profond, intègrent de l'aléa lors de leurs processus d'entraînement et d'inférence. Par exemple, l'initialisation aléatoire des poids, les couches de dropout et la descente de gradient stochastique (SGD) contribuent à la variabilité même en utilisant le même dataset, la même base de code et le même environnement.

Ce problème est particulièrement prononcé dans les Large Language Models (LLMs), tels que GPT-5, Gemini ou LLaMA, qui sont intrinsèquement probabilistes. Même lorsqu'ils sont sollicités avec la même entrée et la même configuration, ils peuvent générer des sorties différentes, surtout si les paramètres de température ou d'échantillonnage top-k sont ajustés. Ces paramètres contrôlent l'aléa de la génération de sortie :

• Température ajuste la distribution de probabilité utilisée lors de l'échantillonnage des tokens. Une température plus élevée (par exemple, 1.0) produit des sorties plus diverses et créatives, tandis qu'une température plus basse (par exemple, 0.2) produit des réponses plus déterministes.
• Top-k ou top-p (échantillonnage par noyau) contrôle davantage l'aléa en limitant la plage de tokens considérés à chaque étape.

Demander à un LLM de summarize le même paragraphe deux fois avec une température de 0.9 peut produire des résumés sensiblement différents. Cette variabilité rend difficile la vérification ou la reproduction du comportement du model à moins que les paramètres soient fixés et explicitement documentés.

Dans les applications d'entreprise, telles que la synthèse de contrats, les réponses de chatbot, ou les assistants de codage IA, cette imprévisibilité pose des défis pour le débogage, la conformité et l'assurance qualité. Les équipes peuvent avoir du mal à tracer quelle configuration a conduit à une sortie spécifique à moins que tous les paramètres, y compris la graine aléatoire et la température, soient journalisés de manière cohérente.

Par exemple, le laboratoire Thinking Machines a expliqué que l'échec de l'invariance par lot est une source majeure de non-déterminisme dans l'inférence des LLM. Idéalement, un model devrait produire la même sortie pour un prompt donné, qu'il soit traité seul ou avec d'autres requêtes. Cependant, les systèmes de serving modernes regroupent dynamiquement les requêtes pour améliorer l'efficacité du GPU, et de nombreux noyaux GPU varient leurs schémas d'exécution en fonction de la taille du lot ou de la disposition.

Parce que les opérations en virgule flottante ne sont pas parfaitement associatives, de petits changements dans l'ordre des calculs peuvent légèrement altérer les logits. Pendant le décodage, ces différences infimes peuvent finalement conduire le model à sélectionner des tokens différents, produisant des sorties différentes même avec des paramètres déterministes (par exemple, température = 0). En effet, le résultat du model dépend des autres requêtes qui partagent le lot, ce qui rend l'inférence apparemment non déterministe.²

2. Manque de normalisation dans le prétraitement des données

Les étapes de prétraitement telles que le nettoyage, le filtrage, l'augmentation, la normalisation, la tokenisation et l'extraction de caractéristiques ne sont souvent pas entièrement documentées. De petites différences peuvent modifier le résultat final.

Dans les models d'images, l'ordre du redimensionnement, du recadrage ou de l'augmentation peut affecter la précision. En NLP, la tokenisation, la suppression des mots vides, la casse ou la troncature peuvent affecter les métriques. Dans les models tabulaires, la gestion des valeurs manquantes et la mise à l'échelle des caractéristiques peuvent modifier le comportement du model.

Les équipes doivent traiter le code de prétraitement comme faisant partie du model. Il doit être versionné, testé et journalisé avec l'artefact du model.

3. Matériel et logiciels non déterministes

L'exécution des algorithmes d'IA peut varier selon le matériel (CPUs, GPUs, TPUs) et même sur le même matériel en raison de processus non déterministes sous-jacents dans les bibliothèques. Les différences de versions de ces bibliothèques peuvent introduire une variabilité supplémentaire, même lorsque le code et les données sont identiques.

Par exemple, PyTorch 2.10 a introduit plusieurs améliorations axées sur le déterminisme et le débogage des problèmes numériques dans les workflows de machine learning modernes.

À mesure que l'apprentissage par renforcement distribué et les pipelines de post-entraînement à grande échelle deviennent plus courants, garantir une exécution reproductible et diagnostiquer de subtiles divergences numériques devient de plus en plus important. Pour y remédier, la version a ajouté de nouvelles capacités de débogage telles que DebugMode, qui suit les appels distribués et aide à identifier les sources d'instabilité numérique pendant l'exécution.³

4. Réglage des hyperparamètres

De nombreux models d'IA reposent sur des hyperparamètres, tels que le taux d'apprentissage, la taille du lot ou la force de régularisation, qui doivent être fine-tunés. Souvent, ils ne sont pas partagés avec suffisamment de détails, ou leur sélection n'est pas expliquée rigoureusement, ce qui rend difficile la reproduction des résultats. De plus, de légères modifications des hyperparamètres peuvent entraîner des résultats de performance différents.

5. Manque d'artefacts complets et de documentation

Un article peut partager du code tout en restant difficile à reproduire. Des fichiers manquants, des instructions README incomplètes, des poids de model indisponibles, des scripts de prétraitement cachés ou des dépendances non documentées peuvent empêcher la reproduction.

Les artefacts utiles comprennent :

• Le code et le hash de commit exact.
• Les versions des données d'entraînement, de validation et de test.
• Les poids du model et les points de contrôle.
• Les fichiers d'environnement tels que requirements.txt, pip freeze, les fichiers d'environnement conda, les fichiers lock, les Dockerfiles ou les configurations Nix.
• Les journaux d'entraînement et les scripts d'évaluation.
• Les graines aléatoires et les détails du matériel.
• Les instructions pour exécuter l'ensemble du pipeline.

Des normes de documentation telles que les Model Cards et les Dataset Datasheets aident à rendre ces informations plus faciles à inspecter.

6. Problèmes de versionnage

La nature dynamique des écosystèmes logiciels d'IA signifie que les bibliothèques et les frameworks évoluent constamment. Un model entraîné avec une version spécifique d'une bibliothèque peut ne pas fonctionner de la même manière lorsqu'il est exécuté sur une version ultérieure, même si le code reste inchangé. Garder la trace des versions de toutes les dépendances peut être difficile, et le versionnage est souvent mal documenté.

7. Disponibilité et variabilité des datasets

Certains datasets utilisés dans la recherche en IA sont propriétaires ou non accessibles au public, ce qui rend impossible la réplication des études. Même lorsque les datasets sont disponibles, il peut y avoir des variations dues à l'échantillonnage, aux mises à jour ou à des techniques de prétraitement différentes appliquées au moment de la recherche.

8. Ressources computationnelles

Reproduire des models d'IA de pointe nécessite souvent des ressources computationnelles importantes, y compris du matériel spécialisé comme les GPUs ou les TPUs. Les chercheurs ou praticiens qui n'ont pas accès au même niveau de ressources peuvent avoir du mal à répliquer les résultats.

9. Surapprentissage sur des ensembles de test spécifiques

Dans certains cas, les models sont par inadvertance surappris sur des ensembles de test ou des benchmarks spécifiques. Lorsque ces models sont testés dans des environnements différents ou sur des datasets légèrement modifiés, les résultats peuvent ne pas se généraliser, ce qui rend la reproductibilité difficile.

10. Biais dans les rapports et la sélection sélective des résultats

Les chercheurs peuvent rapporter la version la plus performante d'un model après plusieurs exécutions sans spécifier la variabilité entre les exécutions ni divulguer le nombre total d'expériences menées. Ce rapport sélectif fausse la perception de la reproductibilité des résultats.

Exemples d'IA reproductible

Programme de reproductibilité NeurIPS

Le programme de reproductibilité de NeurIPS 2019 est un exemple utile d'infrastructure au niveau du domaine. Il combinait une liste de contrôle de reproductibilité, une politique de soumission de code et un défi communautaire de reproductibilité. Après ces efforts, le partage de code à NeurIPS a augmenté, et la reproductibilité est devenue une partie plus visible du processus d'examen.

Défi de reproductibilité ML

Le Défi de reproductibilité ML offre aux chercheurs un moyen structuré de tester les affirmations publiées. Les participants sélectionnent des articles, réexécutent ou réimplémentent les expériences, et rapportent si les principales conclusions tiennent. Cela aide le domaine à apprendre à la fois des reproductions réussies et des échecs.⁴

Papers with Code

Papers with Code relie les articles de recherche au code, aux datasets, aux méthodes et aux résultats de benchmarks. Cela facilite la recherche d'artefacts d'implémentation et la comparaison des méthodes pour les chercheurs et les praticiens.⁵

Inférence de LLM invariante par lot

Les travaux du laboratoire Thinking Machines sur l'inférence invariante par lot montrent comment les détails de serving de bas niveau peuvent affecter la reproductibilité. Dans le serving moderne de LLM, le batching dynamique peut modifier l'exécution numérique. Comme de petites différences numériques peuvent affecter la sélection des tokens, le même prompt peut produire des sorties différentes. Les noyaux invariants par lot sont un moyen de réduire cette source de non-déterminisme.⁶

Pipeline MLOps d'entreprise

Un exemple pratique d'entreprise est un pipeline d'audit de model qui utilise DVC pour la versionnage des datasets, MLflow pour le suivi des expériences et une image Docker épinglée pour capturer l'environnement. Lorsqu'une décision de model est remise en question, l'équipe peut récupérer le dataset exact, la version du code, l'artefact du model et le rapport d'évaluation utilisés à ce moment-là.

Le rôle des chercheurs en IA dans la résolution de la reproductibilité

Les chercheurs en IA développent de nouveaux models, mais ils façonnent également la base de preuves que d'autres équipes utilisent. Leur travail est plus facile à vérifier lorsque les artefacts sont complets, documentés et stables.

La communauté de recherche a amélioré ses pratiques de reproductibilité. NeurIPS a introduit un programme de reproductibilité en 2019 qui comprenait une politique de soumission de code, une liste de contrôle de reproductibilité et un défi communautaire de reproductibilité.⁷Des analyses ultérieures ont constaté une nette augmentation du partage de code à NeurIPS après ces efforts.

Pour améliorer davantage la reproductibilité, les chercheurs en IA devraient :

• Partager le code, les données, les poids de model et les scripts d'évaluation lorsque cela est possible.
• Archiver le code et les artefacts avec des identifiants persistants.
• Rapporter les hyperparamètres exacts, les divisions de données, les prompts, les graines et le matériel.
• Rapporter la variance sur plusieurs exécutions au lieu de la meilleure exécution.
• Utiliser des normes de documentation telles que les Model Cards et les Dataset Datasheets.
• Suivre des listes de contrôle structurées telles que la Machine Learning Reproducibility Checklist et la NeurIPS Paper Checklist.
• Encourager la reproduction et la réplication indépendantes par le biais de lieux tels que le ML Reproducibility Challenge.

Lorsque les données ou le code ne peuvent pas être publiés, les chercheurs doivent expliquer la contrainte et fournir un dataset proxy, un échantillon synthétique, un environnement exécutable ou un protocole de reproduction détaillé.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Comment améliorer la reproductibilité en IA ?

La meilleure façon d'atteindre la reproductibilité de l'IA en entreprise est de tirer parti des meilleures pratiques de MLOps. MLOps implique de rationaliser le cycle de vie de l'intelligence artificielle et du machine learning grâce à l'automatisation et à un framework unifié au sein d'une organisation.

Les outils et techniques utiles comprennent :

• Suivi des expériences : Des outils tels que MLflow, Neptune et Comet aident à enregistrer les métriques, les paramètres, les artefacts et l'historique des exécutions.
• Versionnage et lignage des données : Des outils tels que DVC, LakeFS, Pachyderm et Delta Lake aident à suivre l'évolution des datasets.
• Versionnage des models : Les registres de models aident à stocker les versions de models, les métadonnées, les signatures et les étapes de déploiement.
• Capture de l'environnement : Docker, conda, pip freeze, les fichiers lock et Nix aident à préserver les dépendances logicielles.
• Orchestration du pipeline : Les workflows reproductibles doivent définir comment la préparation des données, l'entraînement, l'évaluation et le déploiement s'exécutent de bout en bout.
• Journalisation et pistes d'audit : Les équipes doivent journaliser les entrées, les sorties, les prompts, les versions de models et les métadonnées d'environnement pour les décisions importantes.

Que signifie une IA fiable et comment cela se rapporte-t-il à une IA reproductible ?

L'IA fiable fait référence à des systèmes qui fonctionnent de manière cohérente et correcte dans des conditions attendues. La reproductibilité soutient la fiabilité, mais ce n'est pas la même chose.

Un système reproductible peut être réexécuté et audité. Un système fiable doit également être précis, robuste, sûr, équitable et sûr pour l'usage prévu. La reproductibilité aide les équipes à tester ces qualités en rendant les résultats traçables.

La reproductibilité soutient l'IA fiable de cinq manières :

1. Cohérence entre les exécutions : Les équipes peuvent vérifier si un résultat est stable dans la même configuration.
2. Débogage et audit : Les équipes peuvent tracer quelles données, quel code, quel model et quel environnement ont produit une sortie.
3. Tests robustes : Les équipes peuvent comparer le comportement entre les datasets, les versions de models et les paramètres de déploiement.
4. Conformité : Les équipes peuvent maintenir une documentation et des enregistrements pour les audits internes et les réglementations externes.
5. Intégrité scientifique : Les chercheurs peuvent vérifier les affirmations et s'appuyer dessus avec moins d'ambiguïté.

Citer cette recherche

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{IA reproductible: pourquoi c'est important et comment l'améliorer}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/reproducible-ai}},
  note   = {AIMultiple. Consulté le 23 juin 2026}
}

Journal des modifications

6 mises à jour

202620252024

1. 23 juin

   Ajout d'une section d'exemples d'IA reproductible couvrant NeurIPS, ML Reproducibility Challenge, Papers with Code, l'inférence invariante par lot et les pipelines MLOps.

2. 13 mar

   Des exemples d'IA fiable ont été ajoutés à la section « Que signifie l'IA fiable et comment se rapporte-t-elle à l'IA reproductible ? ».

Liens de référence

1.

Improving reproducibility of artificial intelligence research to increase trust and productivity: Artificial Intelligence in Science | OECD

2.

Defeating Nondeterminism in LLM Inference - Thinking Machines Lab

3.

PyTorch 2.10 Release Blog - PyTorch

4.

Machine Learning Reproducibility Challenge

5.

ttps://paperswithcode.co/

6.

Thinking Machines Lab

7.

Improving Reproducibility in Machine Learning Research

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017.

Le travail de Cem chez AIMultiple a été cité par des publications mondiales de premier plan, notamment Business Insider, Forbes, Morning Brew et Washington Post, par des entreprises mondiales comme Deloitte et HPE, par des ONG comme World Economic Forum et par des organisations supranationales comme European Commission. [1], [2], [3], [4], [5]

Tout au long de sa carrière, Cem a été consultant en technologies, acheteur de technologies et entrepreneur technologique. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la digitalisation.

Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité du PDG. Il a également dirigé la croissance commerciale de l'entreprise de technologie profonde Hypatos, qui a atteint un revenu récurrent annuel à 7 chiffres et une valorisation à 9 chiffres, passant de 0 à ce résultat en deux ans. Le travail de Cem chez Hypatos a été couvert par des publications technologiques de premier plan comme TechCrunch et Business Insider.

Cem intervient régulièrement lors de conférences technologiques internationales. Il est diplômé de Bogazici University en tant qu'ingénieur informatique et titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Commentaires 2

Partagez vos idées

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire

Richard Rudd-Orthner

Oct 04, 2023 at 09:14

I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.

Répondre

Richard Rudd-Orthner

Oct 04, 2023 at 09:13

I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE etc about Safety Critical AI. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.

Répondre