IA riproducibile: perché è importante e come migliorarla
La riproducibilità è una parte fondamentale della ricerca scientifica. Consente ai ricercatori e ai team di IA di verificare se un risultato può essere ottenuto di nuovo in condizioni chiaramente descritte.
Un rapporto dell'OCSE sull'IA nella scienza sostiene che la ricerca sull'IA non è sfuggita alla più ampia crisi di riproducibilità. Cita prove del fatto che i problemi di riproducibilità sono comparsi in riconoscimento delle immagini, elaborazione del linguaggio naturale, apprendimento per rinforzo, sistemi di raccomandazione, medicina e scienze sociali. Osserva inoltre che 70% della ricerca sull'IA era irriproducibile.1
La questione non è più se i ricercatori condividono il codice. La domanda più difficile è se gli artefatti condivisi siano sufficientemente completi da consentire a un altro team di verificare il risultato. Ciò richiede domande di ricerca chiare, accesso a dati e codice, impostazioni del model, dettagli sull'ambiente, script di valutazione e documentazione.
Scopri perché la riproducibilità è importante per l'IA e come le aziende possono migliorarla nei progetti di IA.
Che cos'è la riproducibilità nell'intelligenza artificiale?
La riproducibilità dell'IA è la capacità di ottenere lo stesso risultato o un risultato simile quando i dati originali, il codice, le impostazioni del model e l'ambiente sono disponibili e documentati.
Nell'IA, tre termini correlati vengono spesso confusi:
- Ripetibilità: Lo stesso team ottiene lo stesso risultato usando lo stesso codice, gli stessi dati e lo stesso setup. Per esempio, un team di data science riesegue la propria pipeline di addestramento e ottiene la stessa metrica.
- Riproducibilità: Un team diverso ottiene lo stesso risultato usando gli artefatti originali. Per esempio, un altro laboratorio esegue il codice e i dati rilasciati con un articolo e ottiene lo stesso risultato.
- Replicabilità: Un team diverso ottiene lo stesso risultato con nuovo codice, nuovi dati o nuovi esperimenti. Per esempio, un secondo team verifica la stessa affermazione con una nuova implementazione e un nuovo dataset.
La riproducibilità dell'IA dipende da tre componenti fondamentali:
- Il dataset include dati di training, validazione e test, suddivisioni dei dati, etichette e fasi di preelaborazione.
- L'algoritmo di IA, inclusi tipo di model, parametri, iperparametri, feature, pesi, prompt e codice.
- L'ambiente, incluse versioni del software, hardware, sistema operativo, driver, semi casuali e impostazioni di deployment.
Le modifiche a tutte e tre le componenti devono essere tracciate e registrate.
La riproducibilità ha anche un limite. Un risultato può essere riproducibile ed essere comunque sbagliato. Per esempio, un bug nel codice di preelaborazione può essere riprodotto da ogni team che esegue lo stesso codice. Un risultato che non può essere riprodotto non è nemmeno una prova di frode. Può riflettere dettagli mancanti, dati non disponibili, hardware diverso o un protocollo di valutazione ambiguo.
Perché la riproducibilità è importante nell'IA?
La riproducibilità è importante sia per la ricerca sull'IA sia per le applicazioni aziendali di IA, ma gli obiettivi sono diversi.
Per la ricerca su IA e ML, la riproducibilità consente ai ricercatori indipendenti di ispezionare i risultati, rieseguire l'esperimento originale e basarsi sul lavoro precedente. Il progresso scientifico dipende da questo processo. Se un articolo non documenta codice, dati, impostazioni del model e dettagli di valutazione, altri ricercatori potrebbero non essere in grado di capire se il risultato è una scoperta robusta o un artefatto di un singolo setup.
Per le applicazioni di IA nelle aziende, la riproducibilità supporta debugging, verificabilità e deployment stabile. I team devono sapere quale versione dei dati, versione del model, prompt, ambiente e configurazione hanno prodotto un determinato output. Questo è importante per la garanzia di qualità, la revisione degli incidenti e la conformità.
La riproducibilità sta diventando anche un requisito di governance. Regolamenti come l'EU IA Act richiedono documentazione tecnica e conservazione dei registri per i sistemi di IA ad alto rischio. Ciò aumenta la necessità di dataset tracciabili, versioni del model, registri di valutazione e registrazioni di deployment.
Quali sono le sfide dell'IA riproducibile?
Fase del ciclo di vita | Sfida | Esempio |
|---|---|---|
Dati | Disponibilità del dataset, dati in evoluzione e preelaborazione incoerente | Un dataset sanitario è proprietario oppure la preelaborazione NLP rimuove le stopword in modo diverso. |
Training | Casualità e sensibilità ai semi | Initializzazioni diverse dei pesi o esecuzioni diverse della discesa stocastica del gradiente producono metriche diverse. |
Training | Hardware e software non deterministici | I kernel GPU, le versioni CUDA o gli aggiornamenti dei framework modificano i risultati numerici. |
Training | Ricerca degli iperparametri | Un learning rate o una batch size viene modificata ma non registrata. |
Valutazione | Overfitting dei benchmark e contaminazione | Un model ottiene buoni risultati perché i dati di benchmark sono comparsi nei dati di training. |
Valutazione | Differenze nei protocolli di valutazione | Due strumenti di valutazione di LLM utilizzano formati di prompt o parser di risposte diversi. |
Implementazione | Deriva delle API e aggiornamenti al model | Un endpoint di un model chiuso cambia comportamento dopo un aggiornamento silenzioso. |
Reportistica | Segnalazione selettiva e varianza mancante | Viene riportata solo l'esecuzione migliore, senza media, deviazione standard o intervallo di confidenza. |
1. Casualità e natura stocastica degli algoritmi
Molti model di IA, in particolare gli algoritmi di deep learning, incorporano casualità durante i processi di training e inference. Per esempio, l'inizializzazione casuale dei pesi, i livelli di dropout e la discesa del gradiente stocastica (SGD) contribuiscono alla variabilità anche quando si utilizzano lo stesso dataset, la stessa codebase e lo stesso ambiente.
Questo problema è particolarmente pronunciato nei Large Language Models (LLMs), come GPT-5, Gemini o LLaMA, che sono intrinsecamente probabilistici. Anche quando ricevono lo stesso input e la stessa configurazione, possono generare output diversi, in particolare se i parametri di temperatura o top-k sampling vengono regolati. Queste impostazioni controllano la casualità della generazione dell'output:
- Temperatura regola la distribuzione di probabilità usata durante il campionamento dei token. Una temperatura più alta (ad es. 1.0) produce output più vari e creativi, mentre una temperatura più bassa (ad es. 0.2) produce risposte più deterministiche.
- Top-k o campionamento top-p (nucleus) controlla ulteriormente la casualità limitando l'insieme di token considerati a ogni passo.
Chiedere a un LLM di summarize lo stesso paragrafo due volte con una temperatura di 0.9 può produrre riassunti significativamente diversi. Questa variabilità rende difficile verificare o riprodurre il comportamento del model, a meno che le impostazioni non vengano fissate e documentate esplicitamente.
Nelle applicazioni aziendali, come la sintesi di contratti, le risposte dei chatbot o gli assistenti di IA coding, questa imprevedibilità pone sfide per il debugging, la conformità e la garanzia di qualità. I team possono avere difficoltà a risalire a quale configurazione ha prodotto un determinato output se tutti i parametri, inclusi il seed casuale e la temperatura, non vengono registrati in modo coerente.
Per esempio, il Thinking Machines Lab ha spiegato che il fallimento dell'invarianza rispetto al batch è una delle principali fonti di non determinismo nell'LLM inference. Idealmente, un model dovrebbe produrre lo stesso output per un determinato prompt, indipendentemente dal fatto che venga elaborato da solo o insieme ad altre richieste. Tuttavia, i moderni sistemi di serving raggruppano dinamicamente le richieste per migliorare l'efficienza delle GPU, e molti kernel GPU variano i loro modelli di esecuzione in base alla dimensione del batch o al layout.
Poiché le operazioni in virgola mobile non sono perfettamente associative, piccoli cambiamenti nell'ordine di calcolo possono alterare leggermente i logit. Durante la decodifica, queste piccole differenze possono alla fine portare il model a selezionare token diversi, causando output diversi anche con impostazioni deterministiche (ad es. temperatura = 0). In pratica, il risultato del model dipende da quali altre richieste condividono il batch, facendo apparire l'inference non deterministica.2
2. Mancanza di standardizzazione nella preelaborazione dei dati
Le fasi di preelaborazione come pulizia, filtraggio, augmentation, normalizzazione, tokenizzazione ed estrazione delle feature spesso non sono completamente documentate. Piccole differenze possono cambiare il risultato finale.
Nei model per immagini, l'ordine di ridimensionamento, ritaglio o augmentation può influire sull'accuratezza. In NLP, la tokenizzazione, la rimozione delle stopword, le maiuscole/minuscole o il troncamento possono influire sulle metriche. Nei model tabulari, la gestione dei valori mancanti e il ridimensionamento delle feature possono alterare il comportamento del model.
I team dovrebbero considerare il codice di preelaborazione come parte del model. Dovrebbe essere versionato, testato e registrato insieme all'artefatto del model.
3. Hardware e software non deterministici
L'esecuzione degli algoritmi di IA può variare su hardware diversi (CPUs, GPUs, TPU) e anche sullo stesso hardware a causa di processi non deterministici sottostanti nelle librerie. Differenze nelle versioni di queste librerie possono introdurre ulteriore variabilità, anche quando codice e dati sono identici.
Per esempio, PyTorch 2.10 ha introdotto diversi miglioramenti incentrati sul determinismo e sul debugging di problemi numerici nei moderni flussi di lavoro ML.
Man mano che l'apprendimento per rinforzo distribuito e le pipeline di post-training su larga scala diventano più comuni, garantire un'esecuzione riproducibile e diagnosticare sottili divergenze numeriche è diventato sempre più importante. Per affrontare questo problema, la release ha aggiunto nuove funzionalità di debugging come DebugMode, che tiene traccia delle chiamate inviate e aiuta a identificare le fonti di instabilità numerica durante l'esecuzione.3
4. Ottimizzazione degli iperparametri
Molti model di IA si basano su iperparametri, come learning rate, batch size o forza di regolarizzazione, che devono essere sottoposti a fine-tuning. Spesso questi non vengono condivisi con sufficiente dettaglio, oppure la loro selezione non viene spiegata in modo rigoroso, rendendo difficile riprodurre i risultati. Inoltre, piccoli cambiamenti negli iperparametri possono portare a esiti prestazionali diversi.
5. Mancanza di artefatti e documentazione completi
Un articolo può condividere il codice ma essere comunque difficile da riprodurre. File mancanti, istruzioni README incomplete, pesi del model non disponibili, script di preelaborazione nascosti o dipendenze non documentate possono impedire la riproduzione.
Gli artefatti utili includono:
- Codice e hash di commit esatto.
- Versioni dei dati di training, validazione e test.
- Pesi del model e checkpoint.
- File di ambiente come
requirements.txt,pip freeze, file di ambiente conda, lock file, Dockerfile o configurazioni Nix. - Log di training e script di valutazione.
- Semi casuali e dettagli hardware.
- Istruzioni per eseguire l'intera pipeline.
Standard di documentazione come Model Cards e Dataset Datasheets aiutano a rendere queste informazioni più facili da ispezionare.
6. Problemi di versionamento
La natura dinamica degli ecosistemi software dell'IA fa sì che librerie e framework siano in continua evoluzione. Un model addestrato con una versione specifica di una libreria potrebbe non comportarsi allo stesso modo quando viene eseguito su una versione successiva, anche se il codice rimane invariato. Tenere traccia delle versioni di tutte le dipendenze può essere difficile e il versionamento è spesso documentato male.
7. Disponibilità e variabilità dei dataset
Alcuni dataset utilizzati nella ricerca sull'IA sono proprietari o non disponibili pubblicamente, rendendo impossibile replicare gli studi. Anche quando i dataset sono disponibili, possono esserci variazioni dovute a campionamento, aggiornamenti o diverse tecniche di preelaborazione applicate al momento della ricerca.
8. Risorse computazionali
Riprodurre model di IA all'avanguardia richiede spesso risorse computazionali significative, incluso hardware specializzato come GPUs o TPU. Ricercatori o professionisti senza accesso allo stesso livello di risorse potrebbero trovare difficile replicare i risultati.
9. Overfitting su set di test specifici
In alcuni casi, i model vengono inavvertitamente sottoposti a overfitting su set di test o benchmark specifici. Quando questi model vengono testati in ambienti diversi o su dataset leggermente modificati, i risultati potrebbero non generalizzare, rendendo difficile la riproducibilità.
10. Bias nella segnalazione e nel cherry-picking dei risultati
I ricercatori possono riportare la versione con le migliori prestazioni di un model dopo più esecuzioni senza specificare la variabilità tra le esecuzioni o rivelare il numero totale di esperimenti condotti. Questa segnalazione selettiva distorce la riproducibilità percepita dei risultati.
Esempi di IA riproducibile
Programma di riproducibilità di NeurIPS
Il programma di riproducibilità di NeurIPS 2019 è un esempio utile di infrastruttura a livello di settore. Ha combinato una checklist di riproducibilità, una politica di invio del codice e una challenge di riproducibilità della comunità. Dopo questi sforzi, la condivisione del codice a NeurIPS è aumentata e la riproducibilità è diventata una parte più visibile del processo di revisione.
ML Reproducibility Challenge
La ML Reproducibility Challenge offre ai ricercatori un modo strutturato per verificare le affermazioni pubblicate. I partecipanti selezionano articoli, rieseguono o reimplementano esperimenti e riferiscono se i risultati principali reggono. Questo aiuta il settore a imparare sia dalle riproduzioni riuscite sia dai fallimenti.4
Papers with Code
Papers with Code collega gli articoli di ricerca con codice, dataset, metodi e risultati dei benchmark. Questo rende più facile per ricercatori e professionisti trovare artefatti di implementazione e confrontare i metodi.5
Inference di LLM invariante rispetto al batch
Il lavoro del Thinking Machines Lab sull'inference batch-invariant mostra come i dettagli di serving di basso livello possano influire sulla riproducibilità. Nel serving moderno di LLM, il batching dinamico può modificare l'esecuzione numerica. Poiché piccole differenze numeriche possono influenzare la selezione dei token, lo stesso prompt può produrre output diversi. I kernel batch-invariant sono un modo per ridurre questa fonte di non determinismo.6
Pipeline MLOps aziendale
Un esempio aziendale pratico è una pipeline di audit del model che utilizza DVC per il versionamento dei dataset, MLflow per il tracciamento degli esperimenti e un'immagine Docker bloccata per catturare l'ambiente. Quando una decisione del model viene messa in discussione, il team può recuperare l'esatto dataset, la versione del codice, l'artefatto del model e il report di valutazione utilizzati in quel momento.
Il ruolo dei ricercatori di IA nell'affrontare la riproducibilità
I ricercatori di IA sviluppano nuovi model, ma danno forma anche alla base di evidenze che altri team utilizzano. Il loro lavoro è più facile da verificare quando gli artefatti sono completi, documentati e stabili.
La comunità di ricerca ha migliorato le proprie pratiche di riproducibilità. NeurIPS ha introdotto un programma di riproducibilità nel 2019 che includeva una policy di invio del codice, una checklist di riproducibilità e una challenge di riproducibilità della comunità.7 Analisi successive hanno rilevato un chiaro aumento della condivisione del codice a NeurIPS dopo questi sforzi.
Per migliorare ulteriormente la riproducibilità, i ricercatori di IA dovrebbero:
- Condividere codice, dati, pesi del model e script di valutazione quando possibile.
- Archiviare codice e artefatti con identificatori persistenti.
- Riportare iperparametri esatti, suddivisioni dei dati, prompt, semi e hardware.
- Riportare la varianza tra più esecuzioni invece dell'esecuzione migliore.
- Utilizzare standard di documentazione come Model Cards e Dataset Datasheets.
- Seguire checklist strutturate come la Machine Learning Reproducibility Checklist e la NeurIPS Paper Checklist.
- Incoraggiare la riproduzione e la replicazione indipendenti attraverso sedi come la ML Reproducibility Challenge.
Quando i dati o il codice non possono essere rilasciati, i ricercatori dovrebbero spiegare il vincolo e fornire un dataset proxy, un campione sintetico, un ambiente eseguibile o un protocollo di riproduzione dettagliato.
Aggiungi come fonte preferitaCome migliorare la riproducibilità nell'IA?
Il modo migliore per ottenere la riproducibilità dell'IA in azienda è sfruttare le best practice di MLOps. MLOps implica la razionalizzazione del ciclo di vita dell'intelligenza artificiale e del machine learning con automazione e un framework unificato all'interno dell'organizzazione.
Strumenti e tecniche utili includono:
- Registrazione degli esperimenti: Strumenti come MLflow, Neptune e Comet aiutano a registrare metriche, parametri, artefatti e cronologia delle esecuzioni.
- Versionamento e lineage dei dati: Strumenti come DVC, LakeFS, Pachyderm e Delta Lake aiutano a tracciare come cambiano i dataset.
- Versionamento dei model: I registri di model aiutano a memorizzare versioni del model, metadati, firme e fasi di deployment.
- Cattura dell'ambiente: Docker, conda, pip freeze, lock file e Nix aiutano a preservare le dipendenze software.
- Orchestrazione delle pipeline: I flussi di lavoro riproducibili dovrebbero definire come preparazione dei dati, training, valutazione e deployment vengono eseguiti end-to-end.
- Logging e audit trail: I team dovrebbero registrare input del model, output, prompt, versioni del model e metadati dell'ambiente per le decisioni importanti.
Cosa significa IA affidabile e come si relaziona all'IA riproducibile?
L'IA affidabile si riferisce a sistemi che funzionano in modo coerente e corretto nelle condizioni previste. La riproducibilità supporta l'affidabilità, ma non è la stessa cosa.
Un sistema riproducibile può essere rieseguito e sottoposto ad audit. Un sistema affidabile deve anche essere accurato, robusto, sicuro, equo e sicuro per l'uso previsto. La riproducibilità aiuta i team a testare queste qualità rendendo i risultati tracciabili.
La riproducibilità supporta l'IA affidabile in cinque modi:
- Coerenza tra le esecuzioni: I team possono verificare se un risultato è stabile con lo stesso setup.
- Debugging e auditing: I team possono risalire a quali dati, codice, model e ambiente hanno prodotto un output.
- Test robusti: I team possono confrontare il comportamento tra dataset, versioni del model e impostazioni di deployment.
- Conformità: I team possono mantenere documentazione e registrazioni per audit interni e regolamenti esterni.
- Integrità scientifica: I ricercatori possono verificare le affermazioni e basarsi su di esse con meno ambiguità.
Cita questa ricerca
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{IA riproducibile: perché è importante e come migliorarla}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/reproducible-ai}},
note = {AIMultiple. Consultato il 23 giugno 2026}
}Risultati e timestamp di 8 punti dati. Scarica i dati di sintesi mostrati nei grafici e nelle tabelle di questo articolo come file ZIP contenente un file CSV.
Vuoi i dati granulari che ci stanno dietro? Passa a Premium
Registro delle modifiche
6 aggiornamentiAggiunta una sezione di esempi di IA riproducibile che copre NeurIPS, ML Reproducibility Challenge, Papers with Code, l'inferenza invariante al batch e le pipeline MLOps.
Aggiunti esempi di IA affidabile alla sezione "Cosa significa IA affidabile e come si relaziona all'IA riproducibile?".
Collegamenti di riferimento
Il lavoro di Cem presso AIMultiple è stato citato da importanti testate internazionali tra cui Business Insider, Forbes, Morning Brew e Washington Post, da aziende globali come Deloitte e HPE, da ONG come il World Economic Forum e da organizzazioni sovranazionali come la Commissione europea. [1], [2], [3], [4], [5]
Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, acquirente tecnologico e imprenditore tecnologico. Ha consigliato le aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per più di un decennio. Ha inoltre pubblicato un report McKinsey sulla digitalizzazione.
Ha guidato la strategia tecnologica e gli approvvigionamenti di una società di telecomunicazioni rispondendo direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto ricavi ricorrenti annuali a 7 cifre e una valutazione a 9 cifre partendo da zero in 2 anni. Il lavoro di Cem in Hypatos è stato ripreso da importanti testate tecnologiche come TechCrunch e Business Insider.
Cem interviene regolarmente a conferenze tecnologiche internazionali. Si è laureato come ingegnere informatico presso l'Università di Bogazici e possiede un MBA della Columbia Business School.
Commenti 2
Condividi i tuoi pensieri
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.
I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.
I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE etc about Safety Critical AI. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.