Reproduzierbare KI: Warum sie wichtig ist und wie sie verbessert werden kann
Reproduzierbarkeit ist ein grundlegender Aspekt wissenschaftlicher Methoden. Sie ermöglicht es Forschern, ein Experiment oder eine Studie zu wiederholen und mit derselben Methodik konsistente Ergebnisse zu erzielen. Dieses Prinzip ist auch in Anwendungen der künstlichen Intelligenz (KI) und des maschinellen Lernens (ML) von entscheidender Bedeutung, da die Reproduzierbarkeit von Ergebnissen stabile Schlussfolgerungen in verschiedenen Modellumgebungen gewährleistet. Jedoch:
- Etwa 5 % der KI-Forscher veröffentlichen Quellcode und weniger als ein Drittel von ihnen veröffentlicht Testdaten in ihren Forschungsarbeiten. 1
- Weniger als ein Drittel der KI-Forschung ist reproduzierbar, d.h. überprüfbar. 2
Dies wird gemeinhin als Reproduzierbarkeits- oder Replikationskrise in der KI bezeichnet. 3 Ergründen Sie, warum Reproduzierbarkeit für KI wichtig ist und wie Unternehmen die Reproduzierbarkeit ihrer KI-Anwendungen verbessern können.
Was versteht man unter Reproduzierbarkeit in der künstlichen Intelligenz?
Reproduzierbarkeit von KI ist die Fähigkeit, mit demselben Datensatz und demselben KI-Algorithmus innerhalb derselben Umgebung die gleichen oder ähnliche Ergebnisse zu erzielen.
- Der Datensatz ist der Trainingsdatensatz, den der KI-Algorithmus verwendet, um Vorhersagen zu treffen.
- Der KI-Algorithmus besteht aus Modelltyp, Modellparametern und Hyperparametern, Merkmalen und anderem Code.
- Die Umgebung bezieht sich auf die Software und Hardware, die zur Ausführung des Algorithmus verwendet werden.
Um Reproduzierbarkeit in KI-Systemen zu erreichen, müssen Änderungen an allen drei Komponenten verfolgt und aufgezeichnet werden.
Warum ist Reproduzierbarkeit in der KI wichtig?
Reproduzierbarkeit ist sowohl für die KI-Forschung als auch für KI-Anwendungen in Unternehmen von entscheidender Bedeutung, weil:
Für die KI-/ML-Forschung hängt der wissenschaftliche Fortschritt von der Fähigkeit unabhängiger Forscher ab, die Ergebnisse einer Studie zu überprüfen und zu reproduzieren. 4 Maschinelles Lernen lässt sich weder verbessern noch in anderen Bereichen anwenden, wenn seine wesentlichen Komponenten nicht reproduzierbar dokumentiert sind. Fehlende Reproduzierbarkeit verwischt die Grenze zwischen wissenschaftlicher Produktion und Vermarktung.
Für KI-Anwendungen in Unternehmen ermöglicht Reproduzierbarkeit die Entwicklung fehlerärmerer KI-Systeme. Weniger Fehler kommen Unternehmen und ihren Kunden zugute, da Zuverlässigkeit und Vorhersagbarkeit steigen und Unternehmen nachvollziehen können, welche Komponenten zu bestimmten Ergebnissen führen. Dies ist notwendig, um Entscheidungsträger von der Skalierung von KI-Systemen zu überzeugen und mehr Nutzern deren Vorteile zugänglich zu machen.
Welche Herausforderungen bestehen im Hinblick auf reproduzierbare KI?
Herausforderung | Beispiel |
|---|---|
Zufälligkeit | Unterschiedliche Ergebnisse des stochastischen Gradientenabstiegs (SGD) im Deep Learning |
Mangelnde Standardisierung bei der Vorverarbeitung | Unterschiedliche Stoppwortentfernungen in der NLP beeinflussen die Modellleistung |
Nichtdeterministische Hardware/Software | Ergebnisunterschiede auf der GPU NVIDIA im Vergleich zur GPU AMD |
Hyperparameter-Optimierung | Unterschiede in der Lernrate bei XGBoost verändern die Leistung drastisch. |
Mangelnde Dokumentation/fehlende Code-Freigabe | Transformer-Modelle ohne detaillierte Implementierung der Schichtnormalisierung |
Versionsprobleme | Änderungen der TensorFlow 1.x-API im Vergleich zu TensorFlow 2.x mit Auswirkungen auf die Reproduzierbarkeit |
Verfügbarkeit/Variabilität des Datensatzes | Proprietäre Gesundheitsdatensätze, die nicht für die Replikation zugänglich sind. |
Rechenressourcen | Hochmoderne Modelle wie GPT-4 benötigen massive GPU-Cluster, um das Training zu replizieren |
Überanpassung an spezifische Testdatensätze | Ergebnisse werden nur auf Basis bestimmter Datensatzaufteilungen berichtet, was zu einer Überanpassung an die Testdaten führt. |
Verzerrung/Rosinenpickerei bei den Ergebnissen | Es wird nur über den besten Versuchsablauf berichtet, ohne andere Ergebnisse offenzulegen. |
1. Zufälligkeit und stochastischer Charakter von Algorithmen
Viele KI-Modelle, insbesondere Deep-Learning-Algorithmen, integrieren Zufallselemente in ihre Trainings- und Inferenzprozesse. Beispielsweise tragen die zufällige Initialisierung der Gewichte, Dropout-Schichten und der stochastische Gradientenabstieg (SGD) zur Variabilität bei, selbst bei Verwendung desselben Datensatzes, derselben Codebasis und derselben Umgebung.
Dieses Problem tritt besonders deutlich bei großen Sprachmodellen (LLMs) wie GPT-5, Gemini oder LLaMA auf, die von Natur aus probabilistisch sind. Selbst bei gleicher Eingabe und Konfiguration können sie unterschiedliche Ausgaben generieren, insbesondere wenn die Temperatur- oder Top-k-Sampling-Parameter angepasst werden. Diese Einstellungen steuern die Zufälligkeit der Ausgabegenerierung.
- Die Temperatur beeinflusst die Wahrscheinlichkeitsverteilung beim Token-Sampling. Eine höhere Temperatur (z. B. 1,0) führt zu vielfältigeren und kreativeren Ergebnissen, während eine niedrigere Temperatur (z. B. 0,2) eher deterministische Reaktionen hervorruft.
- Die Top-k- oder Top-p-Stichprobe (Nukleus-Stichprobe) kontrolliert die Zufälligkeit zusätzlich, indem sie den Bereich der in jedem Schritt berücksichtigten Token begrenzt.
Wenn man ein LLM zweimal bittet, denselben Absatz mit einer Temperatur von 0,9 zusammenzufassen, kann dies zu deutlich unterschiedlichen Zusammenfassungen führen. Diese Variabilität erschwert die Überprüfung oder Reproduktion des Modellverhaltens, sofern die Einstellungen nicht festgelegt und explizit dokumentiert sind.
In Unternehmensanwendungen wie Vertragszusammenfassungen, Chatbot -Antworten oder KI-gestützten Programmierassistenten stellt diese Unvorhersehbarkeit Herausforderungen für Fehlersuche, Compliance und Qualitätssicherung dar. Teams haben möglicherweise Schwierigkeiten, die Konfiguration nachzuvollziehen, die zu einem bestimmten Ergebnis geführt hat, sofern nicht alle Parameter, einschließlich des Zufallsgenerators und der Temperatur, konsistent protokolliert werden.
Das Thinking Machines Lab erklärte beispielsweise, dass das Versagen der Batch-Invarianz eine Hauptursache für Nichtdeterminismus bei LLM-Inferenz sei. Idealerweise sollte ein Modell für eine gegebene Anfrage immer dasselbe Ergebnis liefern, unabhängig davon, ob diese allein oder zusammen mit anderen Anfragen verarbeitet wird. Moderne Server verarbeiten Anfragen jedoch dynamisch in Batches, um die GPU-Effizienz zu verbessern, und viele GPU-Kernel passen ihre Ausführungsmuster je nach Batchgröße oder -layout an.
Da Gleitkommaoperationen nicht perfekt assoziativ sind, können bereits kleine Änderungen in der Berechnungsreihenfolge die Logits geringfügig verändern. Beim Dekodieren können diese minimalen Unterschiede dazu führen, dass das Modell andere Token auswählt, was selbst bei deterministischen Einstellungen (z. B. Temperatur = 0) zu unterschiedlichen Ausgaben führt. Tatsächlich hängt das Ergebnis des Modells davon ab, welche anderen Anfragen im selben Batch verarbeitet werden, wodurch die Inferenz nichtdeterministisch erscheint. 5
2. Fehlende Standardisierung bei der Datenvorverarbeitung
Vorverarbeitungsschritte wie Datenaugmentation, Normalisierung und Merkmalsextraktion werden oft nicht einheitlich dokumentiert oder geteilt. Kleine Änderungen in der Datenvorverarbeitung, selbst scheinbar geringfügige wie Rundungsfehler, können zu unterschiedlichen Ergebnissen führen. Dies gilt insbesondere für Bildverarbeitungs- oder Sprachverarbeitungsaufgaben, bei denen die Datenvariabilität hoch ist.
3. Nichtdeterministische Hardware und Software
Die Ausführung von KI-Algorithmen kann je nach Hardware (CPUs, GPUs , TPUs) und sogar auf derselben Hardware aufgrund zugrundeliegender nichtdeterministischer Prozesse in den Bibliotheken variieren. Unterschiede in den Versionen dieser Bibliotheken können zusätzliche Variabilität verursachen, selbst wenn Code und Daten identisch sind.
PyTorch 2.10 führte beispielsweise mehrere Verbesserungen ein, die auf Determinismus und die Behebung numerischer Probleme in modernen ML-Workflows abzielten.
Da verteiltes Reinforcement Learning und umfangreiche Post-Training-Pipelines immer häufiger eingesetzt werden, ist die Gewährleistung reproduzierbarer Ausführung und die Diagnose subtiler numerischer Abweichungen zunehmend wichtig geworden. Um dem entgegenzuwirken, wurden mit dieser Version neue Debugging-Funktionen wie der Debug-Modus eingeführt, der die ausgeführten Aufrufe verfolgt und dabei hilft, die Ursachen numerischer Instabilität während der Ausführung zu identifizieren. 6
4. Hyperparameter-Optimierung
Viele KI-Modelle basieren auf Hyperparametern wie Lernrate, Batchgröße oder Regularisierungsstärke, die feinabgestimmt werden müssen. Oft werden diese nicht detailliert genug angegeben oder ihre Auswahl nicht ausreichend begründet, was die Reproduktion der Ergebnisse erschwert. Zudem können bereits geringfügige Änderungen der Hyperparameter zu sehr unterschiedlichen Leistungsergebnissen führen.
5. Fehlende detaillierte Dokumentation und mangelnde Code-Freigabe
Selbst wenn Forschungsarbeiten Code bereitstellen, ist dieser möglicherweise nicht vollständig oder stimmt nicht vollständig mit den veröffentlichten Ergebnissen überein. Einige kritische Elemente, wie z. B. spezifische Bibliotheken, Modellgewichte oder Datenpipelines, werden unter Umständen nicht offengelegt, was eine exakte Reproduktion erschwert.
6. Versionsprobleme
Die dynamische Natur von KI-Software-Ökosystemen bedingt eine ständige Weiterentwicklung von Bibliotheken und Frameworks. Ein mit einer bestimmten Bibliotheksversion trainiertes Modell kann bei Verwendung einer neueren Version unter Umständen nicht die gleiche Leistung erbringen, selbst wenn der Code unverändert bleibt. Die Versionsverwaltung aller Abhängigkeiten zu verwalten, kann schwierig sein, und die Dokumentation ist oft mangelhaft.
7. Verfügbarkeit und Variabilität der Datensätze
Manche Datensätze, die in der KI-Forschung verwendet werden, sind proprietär oder nicht öffentlich zugänglich, was die Replikation von Studien unmöglich macht. Selbst wenn Datensätze verfügbar sind, können Abweichungen aufgrund von Stichprobenverfahren, Aktualisierungen oder unterschiedlichen Vorverarbeitungstechniken auftreten, die zum Zeitpunkt der Forschung angewendet wurden.
8. Rechenressourcen
Die Reproduktion modernster KI-Modelle erfordert oft erhebliche Rechenressourcen, darunter spezialisierte Hardware wie GPUs oder TPUs. Forschern und Anwendern ohne Zugang zu denselben Ressourcen fällt es möglicherweise schwer, die Ergebnisse zu replizieren.
9. Überanpassung an spezifische Testdatensätze
In manchen Fällen werden Modelle unbeabsichtigt an bestimmte Testdatensätze oder Benchmarks überangepasst. Werden diese Modelle in anderen Umgebungen oder mit leicht veränderten Datensätzen getestet, lassen sich die Ergebnisse möglicherweise nicht verallgemeinern, was die Reproduzierbarkeit erschwert.
10. Voreingenommenheit bei der Berichterstattung und selektive Auswahl von Ergebnissen
Forscher berichten möglicherweise über die beste Version eines Modells nach mehreren Durchläufen, ohne die Variabilität zwischen den Durchläufen anzugeben oder die Gesamtzahl der durchgeführten Experimente offenzulegen. Diese selektive Berichterstattung verzerrt die wahrgenommene Reproduzierbarkeit der Ergebnisse.
Die Rolle von KI-Forschern bei der Behandlung von Reproduzierbarkeit
KI-Forscher entwickeln hochmoderne Modelle, tragen aber auch die Verantwortung dafür, dass ihre Arbeit überprüfbar und vertrauenswürdig ist. Trotz Forderungen nach Transparenz werden viele Forschungsergebnisse in der Praxis noch immer nicht ausreichend berücksichtigt.
- Eine Analyse der Beiträge der NeurIPS (Konferenz über neuronale Informationsverarbeitungssysteme) ergab, dass nur 42 % Code enthielten und lediglich 23 % Links zu Datensätzen bereitstellten.
- Den meisten KI-Studien mangelt es an ausreichenden Details, um unabhängig reproduziert werden zu können, oft aufgrund unzureichender Dokumentation von Hyperparametern, Trainingsbedingungen und Evaluierungsprotokollen.
- Fast 70 % der KI-Forscher gaben zu, Schwierigkeiten zu haben, die Ergebnisse anderer zu reproduzieren, selbst innerhalb desselben Teilgebiets.
Um diese Probleme zu überwinden, muss die KI-Forschungsgemeinschaft Folgendes tun:
- Setzen Sie auf Open-Science-Praktiken: Durch das Teilen von Code, Daten und detaillierten Experimentprotokollen wird die Überprüfung durch Fachkollegen und die wissenschaftliche Integrität gewährleistet.
- Standardisierung der Berichterstattung: Die Verwendung strukturierter Formate wie der Checkliste zur Reproduzierbarkeit von maschinellem Lernen trägt dazu bei, dass alle wichtigen Details dokumentiert werden.
- Förderung der institutionenübergreifenden Validierung: Die Ermutigung zu unabhängigen Replikationen durch andere Forschungsteams trägt dazu bei, die Generalisierbarkeit und Zuverlässigkeit zu ermitteln.
Wie lässt sich die Reproduzierbarkeit in der KI verbessern?
Die beste Methode, um die Reproduzierbarkeit von KI im Unternehmen zu erreichen, ist die Anwendung bewährter MLOps- Praktiken. MLOps beinhaltet die Optimierung des Lebenszyklus von künstlicher Intelligenz und maschinellem Lernen durch Automatisierung und ein einheitliches Framework innerhalb einer Organisation.
Einige MLOps-Tools und -Techniken, die die Reproduzierbarkeit erleichtern, sind:
- Experimentverfolgung : Tools zur Experimentverfolgung helfen dabei, wichtige Informationen über diese Experimente strukturiert zu erfassen.
- Datenherkunft : Die Datenherkunft verfolgt, woher die Daten stammen, was mit ihnen geschieht und wohin sie im Laufe des Datenlebenszyklus gelangen, mithilfe von Aufzeichnungen und Visualisierungen.
- Modellversionierung : Ähnlich helfen Datenversionierungstools dabei , den Überblick über verschiedene Versionen von KI-Modellen mit unterschiedlichen Modelltypen, Parametern, Hyperparametern usw. zu behalten und ermöglichen es Unternehmen, diese zu vergleichen.
- Modellregister : Das Modellregister ist ein zentrales Repository für alle Modelle und deren Metadaten. Dies hilft Datenwissenschaftlern, zu unterschiedlichen Zeiten auf verschiedene Modelle und deren Eigenschaften zuzugreifen.
Neben den Tools hilft MLOps Unternehmen auch dabei, die Reproduzierbarkeit zu verbessern, indem es die Kommunikation zwischen Datenwissenschaftlern, IT-Mitarbeitern, Fachexperten und Betriebsexperten erleichtert.
Was bedeutet zuverlässige KI und in welchem Verhältnis steht sie zu reproduzierbarer KI?
Zuverlässige KI bezeichnet Systeme, die unter verschiedenen Bedingungen konsistent und korrekt funktionieren. Dazu gehört die Erzeugung präziser, fairer und sicherer Ergebnisse in unterschiedlichen Umgebungen und mit verschiedenen Dateneingaben. Ein zentraler Aspekt der Zuverlässigkeit ist die Reproduzierbarkeit, also die Fähigkeit, dieselben Ergebnisse mit denselben Eingaben und Methoden zu erzielen, selbst wenn das System in neuen Kontexten oder von verschiedenen Teams eingesetzt wird.
- Konsistenz über mehrere Durchläufe hinweg: Reproduzierbare KI gewährleistet, dass wiederholtes Training oder Inferenz unter den gleichen Bedingungen die gleichen Ergebnisse liefert, was für die Validierung der Zuverlässigkeit entscheidend ist.
- Debugging und Auditing: Zuverlässige Systeme müssen transparent und nachvollziehbar sein. Reproduzierbarkeit ermöglicht es den Beteiligten, den Entscheidungsprozess nachzuvollziehen und ihn unabhängig zu überprüfen.
- Robuste Tests: Um Zuverlässigkeit zu gewährleisten, muss KI unter verschiedenen Bedingungen getestet werden. Reproduzierbarkeit ermöglicht standardisierte Testverfahren zur Validierung von Leistungsangaben.
- Vertrauensbildung: Wenn Ergebnisse konsistent reproduziert werden können, vertrauen Anwender und Aufsichtsbehörden eher der Zuverlässigkeit und Sicherheit der KI.
- Wissenschaftliche Integrität: In der KI-Forschung ist Reproduzierbarkeit unerlässlich für die Begutachtung durch Fachkollegen und den Fortschritt. Zuverlässige Systeme benötigen diese Grundlage, um sicherzustellen, dass theoretische Fundierung in praktische Verlässlichkeit umgesetzt wird.
Zuverlässige KI-Beispiele
Jamba2
Jamba2 ist eine Familie von Open-Source-Sprachmodellen von AI21, die Zuverlässigkeit, Steuerbarkeit und Effizienz für Unternehmensanwendungen priorisieren. Die Modelle basieren auf der hybriden SSM-Transformer-Architektur von AI21, welche Zustandsraum- (Mamba-ähnliche) Schichten mit Transformer-Schichten kombiniert, um hohe Leistung bei gleichzeitig geringem Speicherverbrauch zu erzielen.
AI21 positioniert Jamba2 als unternehmensorientierte Alternative zu großen Reasoning-Modellen, wobei der Fokus auf präziser Beantwortung von Fragen, fundierten Antworten und dem Befolgen von Anweisungen ohne den hohen Rechenaufwand von Reasoning-Tokens liegt.
Dank seiner kompakten Bauweise können Entwickler Modelle lokal ausführen (sogar auf Endgeräten wie Handys oder Laptops) und gleichzeitig Produktionsworkloads wie RAG- Pipelines und die Verarbeitung technischer Dokumente unterstützen. 7
IBM
IBM stellte Sovereign Core als eine „KI-fähige, von Grund auf souverän gestaltete“ Softwareplattform vor, die es Unternehmen und Regierungen ermöglicht, KI-Umgebungen mit voller Kontrolle über Daten, Betrieb und Governance einzusetzen. 8
Mistral AI
Mistral AI sicherte sich einen wichtigen französischen Rahmenvertrag im Verteidigungsbereich zur Lieferung von generativen KI-Modellen. Der Vertrag sieht das Hosting auf französischer Infrastruktur vor, „um die nationale Kontrolle über sensible Daten und Technologien zu wahren“. 9
Referenzlinks
Kommentare 2
Teilen Sie Ihre Gedanken
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.
I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.
I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE etc about Safety Critical AI. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.