Tekrarlanabilir Yapay Zeka: Neden Önemli ve Nasıl Geliştirilebilir?
Tekrarlanabilirlik, bilimsel yöntemlerin temel bir yönüdür ve araştırmacıların bir deneyi veya çalışmayı tekrarlamalarına ve aynı metodolojiyi kullanarak tutarlı sonuçlar elde etmelerine olanak tanır. Bu ilke, sonuçların tekrarlanabilmesinin model ortamlarında istikrarlı çıkarımlar sağladığı yapay zeka (YZ) ve makine öğrenimi (ML) uygulamalarında da aynı derecede hayati öneme sahiptir. Ancak:
- Yapay zekâ araştırmacılarının yaklaşık %5'i kaynak kodunu paylaşırken, bunların üçte birinden azı araştırma makalelerinde test verilerini paylaşıyor. 1
- Yapay zekâ araştırmalarının üçte birinden daha azı tekrarlanabilir, yani doğrulanabilir niteliktedir. 2
Bu durum genellikle yapay zekada tekrarlanabilirlik veya çoğaltma krizi olarak adlandırılır. 3 Yapay zekâ için tekrarlanabilirliğin neden önemli olduğunu ve işletmelerin yapay zekâ uygulamalarında tekrarlanabilirliği nasıl iyileştirebileceğini inceleyin.
Yapay zekâda tekrarlanabilirlik nedir?
Yapay zekâda tekrarlanabilirlik, aynı veri kümesi ve yapay zekâ algoritması kullanılarak aynı ortamda aynı veya benzer sonuçlara ulaşılabilme yeteneğidir.
- Veri seti , yapay zeka algoritmasının tahminlerde bulunmak için kullandığı eğitim setidir.
- Yapay zeka algoritması , model türü, model parametreleri ve hiperparametreler, özellikler ve diğer kodlardan oluşur.
- Ortam , algoritmayı çalıştırmak için kullanılan yazılım ve donanımı ifade eder.
Yapay zekâ sistemlerinde tekrarlanabilirliği sağlamak için, üç bileşenin tümündeki değişikliklerin izlenmesi ve kaydedilmesi gerekir.
Yapay zekâda tekrarlanabilirlik neden önemlidir?
Tekrarlanabilirlik, hem yapay zeka araştırmaları hem de kurumsal yapay zeka uygulamaları için çok önemlidir çünkü:
Yapay zeka/makine öğrenimi araştırmalarında bilimsel ilerleme, bağımsız araştırmacıların bir çalışmanın sonuçlarını inceleme ve yeniden üretme yeteneğine bağlıdır. 4 Makine öğrenimi, temel bileşenleri tekrarlanabilirlik açısından belgelenmediği takdirde geliştirilemez veya diğer alanlarda uygulanamaz. Tekrarlanabilirliğin olmaması, bilimsel üretim ile pazarlama arasındaki çizgiyi bulanıklaştırır.
İş dünyasındaki yapay zeka uygulamaları için tekrarlanabilirlik, daha az hataya eğilimli yapay zeka sistemleri oluşturmayı mümkün kılacaktır. Daha az hata, işletmelere ve müşterilerine güvenilirlik ve öngörülebilirlik artışı sağlayarak fayda verecektir, çünkü işletmeler hangi bileşenlerin belirli sonuçlara yol açtığını anlayabilirler. Bu, karar vericileri yapay zeka sistemlerini ölçeklendirmeye ve daha fazla kullanıcının bunlardan faydalanmasını sağlamaya ikna etmek için gereklidir.
Tekrarlanabilir yapay zekâ ile ilgili zorluklar nelerdir?
Meydan okumak | Örnek |
|---|---|
Rastgelelik | Derin öğrenmede stokastik gradyan inişinden (SGD) farklı sonuçlar |
Ön İşlemede Standardizasyon Eksikliği | Doğal dil işlemede farklı durdurma kelimesi kaldırma yöntemleri model performansını etkiliyor. |
Belirsiz Donanım/Yazılım | NVIDIA GPU ve AMD GPU'da elde edilen sonuçlardaki farklılıklar |
Hiperparametre Ayarlaması | XGBoost'ta öğrenme oranı farklılıkları performansı önemli ölçüde değiştiriyor. |
Dokümantasyon/Kod Paylaşımı Eksikliği | Transformer modellerinde katman normalizasyonunun ayrıntılı uygulaması eksik. |
Sürümleme Sorunları | TensorFlow 1.x ve TensorFlow 2.x API'lerindeki tekrarlanabilirliği etkileyen değişiklikler |
Veri Kümesi Kullanılabilirliği/Değişkenliği | Kopyalanması mümkün olmayan, özel mülkiyete ait sağlık verileri. |
Hesaplama Kaynakları | GPT-4 gibi son teknoloji modeller, eğitimi tekrarlamak için devasa GPU kümelerine ihtiyaç duyuyor. |
Belirli Test Setlerine Aşırı Uyum Sağlama | Sonuçların yalnızca belirli veri kümesi bölümlerine göre raporlanması, test verilerine aşırı uyum sağlama. |
Önyargılı/Seçici Sonuçlar | Diğer sonuçları açıklamadan yalnızca en iyi deneysel sonucu raporlamak. |
1. Algoritmaların Rastgeleliği ve Stokastik Doğası
Birçok yapay zeka modeli, özellikle derin öğrenme algoritmaları, eğitim ve çıkarım süreçlerinde rastgeleliği kullanır. Örneğin, rastgele ağırlık başlatma, dropout katmanları ve stokastik gradyan inişi (SGD), aynı veri kümesi, kod tabanı ve ortam kullanıldığında bile değişkenliğe katkıda bulunur.
Bu sorun, özellikle doğası gereği olasılıksal olan GPT-5, Gemini veya LLaMA gibi Büyük Dil Modellerinde (LLM'ler) belirgindir. Aynı girdi ve yapılandırmayla bile, özellikle sıcaklık veya en iyi k örnekleme parametreleri ayarlanırsa, farklı çıktılar üretebilirler. Bu ayarlar, çıktı üretiminin rastgeleliğini kontrol eder:
- Sıcaklık, belirteç örneklemesi sırasında kullanılan olasılık dağılımını ayarlar. Daha yüksek bir sıcaklık (örneğin, 1,0) daha çeşitli, yaratıcı sonuçlar üretirken, daha düşük bir sıcaklık (örneğin, 0,2) daha belirleyici yanıtlar verir.
- En iyi k veya en iyi p (çekirdek) örnekleme, her adımda dikkate alınan belirteçlerin aralığını sınırlayarak rastgeleliği daha da kontrol eder.
Bir LLM modelinden aynı paragrafı 0,9 sıcaklık değeriyle iki kez özetlemesini istemek, önemli ölçüde farklı özetler ortaya çıkarabilir. Bu değişkenlik, ayarlar sabitlenip açıkça belgelenmedikçe model davranışını doğrulamayı veya yeniden üretmeyi zorlaştırır.
Sözleşme özetleme, sohbet robotu yanıtları veya yapay zeka kodlama asistanları gibi kurumsal uygulamalarda, bu öngörülemezlik hata ayıklama, uyumluluk ve kalite güvencesi açısından zorluklar yaratır. Ekipler, rastgele tohum ve sıcaklık da dahil olmak üzere tüm parametreler tutarlı bir şekilde kaydedilmedikçe, hangi yapılandırmanın belirli bir çıktıya yol açtığını izlemekte zorlanabilirler.
Örneğin, Thinking Machines Lab, toplu işlem değişmezliğinin başarısızlığını LLM çıkarımındaki deterministik olmayanlığın önemli bir kaynağı olarak açıkladı. İdeal olarak, bir model, ister tek başına ister diğer isteklerle birlikte işlensin, belirli bir komut için aynı çıktıyı üretmelidir. Bununla birlikte, modern sunucu sistemleri GPU verimliliğini artırmak için istekleri dinamik olarak toplu halde işler ve birçok GPU çekirdeği, yürütme modellerini toplu işlem boyutuna veya düzenine bağlı olarak değiştirir.
Kayan noktalı işlemler mükemmel bir şekilde ilişkilendirilebilir olmadığından, hesaplama sırasındaki küçük değişiklikler logitleri hafifçe değiştirebilir. Kod çözme sırasında, bu küçük farklılıklar sonunda modelin farklı belirteçler seçmesine yol açabilir ve bu da deterministik ayarlarda bile (örneğin, sıcaklık = 0) farklı çıktılara neden olabilir. Aslında, modelin sonucu, hangi diğer isteklerin aynı veri grubunu paylaştığına bağlıdır ve bu da çıkarımı deterministik olmayan bir şekilde gösterir. 5
2. Veri ön işlemede standardizasyon eksikliği
Veri artırma, normalleştirme ve özellik çıkarma gibi ön işleme adımları genellikle tutarlı bir şekilde belgelenmez veya paylaşılmaz. Verilerin ön işlenmesindeki küçük değişiklikler, yuvarlama hataları gibi görünüşte önemsiz olanlar bile farklı sonuçlara yol açabilir. Bu durum, özellikle veri değişkenliğinin yüksek olduğu görüntü işleme veya doğal dil işleme görevleri için geçerlidir.
3. Belirsiz donanım ve yazılım
Yapay zekâ algoritmalarının yürütülmesi, altta yatan deterministik olmayan süreçler nedeniyle farklı donanımlarda (CPU'lar, GPU'lar , TPU'lar) ve hatta aynı donanımda bile değişiklik gösterebilir. Bu kütüphanelerin sürümlerindeki farklılıklar, kod ve veriler aynı olsa bile daha fazla değişkenliğe yol açabilir.
Örneğin, PyTorch 2.10, modern makine öğrenimi iş akışlarında determinizm ve sayısal sorunların hata ayıklamasına odaklanan çeşitli iyileştirmeler getirdi.
Dağıtılmış pekiştirmeli öğrenme ve büyük ölçekli eğitim sonrası işlem hatları daha yaygın hale geldikçe, tekrarlanabilir yürütmeyi sağlamak ve ince sayısal sapmaları teşhis etmek giderek daha önemli hale gelmiştir. Bunu ele almak için, bu sürüm, gönderilen çağrıları izleyen ve yürütme sırasında sayısal kararsızlığın kaynaklarını belirlemeye yardımcı olan DebugMode gibi yeni hata ayıklama yetenekleri ekledi. 6
4. Hiperparametre ayarlaması
Birçok yapay zeka modeli, öğrenme oranı, toplu işlem boyutu veya düzenleme gücü gibi ince ayar gerektiren hiperparametrelere dayanır. Genellikle bunlar yeterince ayrıntılı olarak paylaşılmaz veya seçimleri titizlikle açıklanmaz, bu da sonuçların yeniden üretilmesini zorlaştırır. Ayrıca, hiperparametrelerdeki küçük değişiklikler çok farklı performans sonuçlarına yol açabilir.
5. Detaylı dokümantasyon ve kod paylaşımının eksikliği
Araştırma makalelerinde kod bulunsa bile, bu kod eksiksiz olmayabilir veya yayınlanan sonuçlarla tam olarak uyumlu olmayabilir. Belirli kütüphaneler, model ağırlıkları veya veri işlem hatları gibi bazı kritik unsurlar açıklanmayabilir ve bu da tam olarak yeniden üretmeyi engelleyebilir.
6. Sürümleme sorunları
Yapay zekâ yazılım ekosistemlerinin dinamik yapısı, kütüphanelerin ve çerçevelerin sürekli olarak geliştiği anlamına gelir. Belirli bir kütüphane sürümü kullanılarak eğitilmiş bir model, kod değişmese bile, daha sonraki bir sürümde çalıştırıldığında aynı performansı göstermeyebilir. Tüm bağımlılıkların sürümlerini takip etmek zor olabilir ve sürümleme genellikle yetersiz belgelendirilmiştir.
7. Veri kümesinin kullanılabilirliği ve değişkenliği
Yapay zekâ araştırmalarında kullanılan bazı veri kümeleri özel mülkiyete ait veya kamuya açık değildir; bu da çalışmaların tekrarlanmasını imkansız hale getirir. Veri kümeleri mevcut olsa bile, örnekleme, güncellemeler veya araştırma sırasında uygulanan farklı ön işleme teknikleri nedeniyle farklılıklar olabilir.
8. Hesaplama kaynakları
En gelişmiş yapay zeka modellerini yeniden üretmek genellikle GPU veya TPU gibi özel donanımlar da dahil olmak üzere önemli hesaplama kaynakları gerektirir. Aynı düzeyde kaynaklara erişimi olmayan araştırmacılar veya uygulayıcılar, sonuçları tekrarlamakta zorlanabilirler.
9. Belirli test setlerine aşırı uyum sağlama
Bazı durumlarda, modeller istemeden belirli test setlerine veya kıyaslama ölçütlerine aşırı uyarlanır. Bu modeller farklı ortamlarda veya hafifçe değiştirilmiş veri setlerinde test edildiğinde, sonuçlar genelleştirilemeyebilir ve bu da tekrarlanabilirliği zorlaştırabilir.
10. Haberlerde önyargı ve sonuçların seçici bir şekilde sunulması
Araştırmacılar, birden fazla çalıştırma sonrasında en iyi performansı gösteren model sürümünü, çalıştırmalar arasındaki değişkenliği belirtmeden veya gerçekleştirilen toplam deney sayısını açıklamadan raporlayabilirler. Bu seçici raporlama, sonuçların algılanan tekrarlanabilirliğini çarpıtır.
Yapay zeka araştırmacılarının tekrarlanabilirlik sorununu ele almadaki rolü
Yapay zekâ araştırmacıları en son teknolojiye sahip modeller geliştiriyorlar, ancak aynı zamanda çalışmalarının doğrulanabilir ve güvenilir olmasını sağlamaktan da sorumlular. Şeffaflık çağrılarına rağmen, birçok araştırma çıktısı pratikte hâlâ yetersiz kalıyor:
- NeurIPS (Sinirsel Bilgi İşleme Sistemleri Konferansı) bildirilerinin analizine göre, bildirilerin yalnızca %42'si kod içerirken, sadece %23'ü veri kümelerine bağlantı sağlamıştır.
- Çoğu yapay zeka çalışması, hiperparametrelerin, eğitim koşullarının ve değerlendirme protokollerinin yetersiz belgelenmesi nedeniyle, bağımsız olarak yeniden üretilebilecek kadar ayrıntıdan yoksundur.
- Yapay zekâ araştırmacılarının yaklaşık %70'i , aynı alt alan içinde bile başkalarının sonuçlarını yeniden üretmekte zorlandıklarını itiraf etti.
Bu sorunların üstesinden gelmek için yapay zeka araştırma topluluğu şunları yapmalıdır:
- Açık bilim uygulamalarını benimseyin: Kod, veri ve ayrıntılı deney kayıtlarının paylaşılması, akran doğrulamasına ve bilimsel bütünlüğe olanak tanır.
- Raporlamayı standartlaştırın: Makine Öğrenimi Tekrarlanabilirlik Kontrol Listesi gibi yapılandırılmış formatları takip etmek, temel ayrıntıların belgelenmesini sağlamaya yardımcı olur.
- Kurumlar arası doğrulamayı teşvik edin: Diğer araştırma ekipleri tarafından bağımsız tekrarlamayı teşvik etmek, genelleştirilebilirlik ve güvenilirliğin belirlenmesine yardımcı olur.
Yapay zekâda tekrarlanabilirliği nasıl iyileştirebiliriz?
Kurumsal alanda yapay zeka tekrarlanabilirliğini sağlamanın en iyi yolu, MLOps'un en iyi uygulamalarından yararlanmaktır. MLOps, bir kuruluş içinde otomasyon ve birleşik bir çerçeve ile yapay zeka ve makine öğrenimi yaşam döngüsünü kolaylaştırmayı içerir.
Tekrarlanabilirliği kolaylaştıran bazı MLOps araçları ve teknikleri şunlardır:
- Deney takibi : Deney takip araçları, bu deneylerle ilgili önemli bilgilerin yapılandırılmış bir şekilde takip edilmesine yardımcı olur.
- Veri soy ağacı : Veri soy ağacı, verinin nereden kaynaklandığını, başına ne geldiğini ve veri yaşam döngüsü boyunca nereye gittiğini kayıtlar ve görselleştirmelerle takip eder.
- Model sürümleme : Benzer şekilde, veri sürümleme araçları, farklı model türleri, parametreler, hiperparametreler vb. içeren yapay zeka modellerinin farklı sürümlerini takip etmeye ve şirketlerin bunları karşılaştırmasına yardımcı olur.
- Model kayıt defteri : Model kayıt defteri, tüm modeller ve meta verileri için merkezi bir depodur. Bu, veri bilimcilerinin farklı zamanlarda farklı modellere ve özelliklerine erişmelerine yardımcı olur.
MLOps, araçların yanı sıra, veri bilimcileri, BT personeli, konu uzmanları ve operasyon profesyonelleri arasındaki iletişimi kolaylaştırarak işletmelerin tekrarlanabilirliğini artırmasına da yardımcı olur.
Güvenilir yapay zeka ne anlama gelir ve tekrarlanabilir yapay zeka ile ilişkisi nedir?
Güvenilir yapay zeka, çeşitli koşullar altında tutarlı ve doğru performans gösteren sistemleri ifade eder. Bu, farklı ortamlarda ve veri girdilerinde doğru, adil ve güvenli çıktılar üretmeyi içerir. Güvenilirliğin temel direklerinden biri tekrarlanabilirliktir; yani sistem yeni bağlamlarda veya farklı ekipler tarafından kullanıldığında bile aynı girdiler ve yöntemler kullanılarak aynı sonuçların yeniden oluşturulabilmesidir.
- Tekrarlanan çalıştırmalar arasında tutarlılık: Tekrarlanabilir yapay zeka, aynı koşullar altında tekrarlanan eğitim veya çıkarım işlemlerinin aynı sonuçları vermesini sağlar; bu da güvenilirliğin doğrulanması için kritik öneme sahiptir.
- Hata ayıklama ve denetim: Güvenilir sistemler şeffaf ve hesap verebilir olmalıdır. Tekrarlanabilirlik, paydaşların bir kararın nasıl alındığını izlemelerine ve bağımsız olarak doğrulamalarına olanak tanır.
- Sağlam test: Güvenilirliği sağlamak için yapay zekanın birden fazla koşul altında test edilmesi gerekir. Tekrarlanabilirlik, performans iddialarını doğrulamak için standartlaştırılmış test prosedürlerini mümkün kılar.
- Güven oluşturma: Sonuçlar tutarlı bir şekilde tekrarlanabildiğinde, kullanıcılar ve düzenleyiciler yapay zekanın güvenilirliğine ve güvenliğine daha fazla güvenirler.
- Bilimsel bütünlük: Yapay zeka araştırmalarında, tekrarlanabilirlik, akran değerlendirmesi ve ilerleme için hayati önem taşır. Güvenilir sistemler, teorik sağlamlığın pratik güvenilirliğe dönüşmesini sağlamak için bu temele bağlıdır.
Güvenilir yapay zeka örnekleri
Jamba2
Jamba2, kurumsal uygulamalar için güvenilirlik, yönlendirilebilirlik ve verimliliğe öncelik veren, AI21 tarafından yayınlanan açık kaynaklı dil modelleri ailesidir. Modeller, güçlü performans elde ederken bellek verimliliğini de korumak için durum alanı (Mamba tarzı) katmanlarını Transformer katmanlarıyla birleştiren AI21'in hibrit SSM-Transformer mimarisi üzerine kurulmuştur.
AI21, Jamba2'yi büyük ölçekli akıl yürütme modellerine alternatif, kurumsal odaklı bir çözüm olarak konumlandırıyor ve akıl yürütme belirteçlerinin ağır hesaplama yükü olmadan hassas soru cevaplama, sağlam temellere dayalı yanıtlar ve talimat takibi üzerine odaklanıyor.
Kompakt tasarımı, geliştiricilerin modelleri yerel olarak (telefon veya dizüstü bilgisayar gibi tüketici cihazlarında bile) çalıştırmasına olanak tanırken, RAG işlem hatları ve teknik belge işleme gibi üretim iş yüklerini de desteklemesini sağlar. 7
IBM
IBM, işletmelerin ve hükümetlerin veri, operasyonlar ve yönetişim üzerinde tam kontrol sahibi olarak yapay zeka ortamları kurmalarını sağlayan, “tasarım gereği bağımsız, yapay zekaya hazır” bir yazılım platformu olan Sovereign Core'u tanıttı. 8
Mistral AI
Mistral AI, üretken yapay zeka modelleri tedarik etmek üzere önemli bir Fransız savunma çerçeve anlaşması imzaladı; sözleşmede, "hassas veriler ve teknoloji üzerindeki ulusal kontrolü korumak" amacıyla Fransız altyapısında barındırma şartı getirildi. 9
Harici Bağlantılar
Referans Linkleri
Yorumlar 2
Düşüncelerinizi Paylaşın
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.
I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.
I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE etc about Safety Critical AI. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.