Reproduzierbare KI: Warum sie wichtig ist und wie man sie verbessert
Reproduzierbarkeit ist ein Kernbestandteil der wissenschaftlichen Forschung. Sie ermöglicht es Forschern und KI-Teams zu überprüfen, ob ein Ergebnis unter klar beschriebenen Bedingungen erneut erzielt werden kann.
Ein OECD-Bericht über KI in der Wissenschaft argumentiert, dass die KI-Forschung der breiteren Reproduzierbarkeitskrise nicht entkommen ist. Er führt Belege dafür an, dass Reproduzierbarkeitsprobleme in der Bilderkennung, der natürlichen Sprachverarbeitung, dem bestärkenden Lernen, Empfehlungssystemen, der Medizin und den Sozialwissenschaften aufgetreten sind. Er stellt außerdem fest, dass 70% der KI-Forschung nicht reproduzierbar war.1
Die Frage ist nicht mehr, ob Forscher Code teilen. Die schwierigere Frage ist, ob die geteilten Artefakte vollständig genug sind, damit ein anderes Team das Ergebnis verifizieren kann. Dies erfordert klare Forschungsfragen, Zugang zu Daten und Code, Modelleinstellungen, Umgebungsdetails, Auswertungsskripte und Dokumentation.
Erfahren Sie, warum Reproduzierbarkeit für KI wichtig ist und wie Unternehmen sie in KI-Projekten verbessern können.
Was ist Reproduzierbarkeit in der künstlichen Intelligenz?
KI-Reproduzierbarkeit ist die Fähigkeit, das gleiche oder ein ähnliches Ergebnis zu erzielen, wenn die ursprünglichen Daten, der Code, die Modelleinstellungen und die Umgebung verfügbar und dokumentiert sind.
In der KI werden drei verwandte Begriffe oft verwechselt:
- Wiederholbarkeit: Das gleiche Team erzielt das gleiche Ergebnis mit demselben Code, denselben Daten und demselben Setup. Zum Beispiel führt ein Data-Science-Team seine Trainingspipeline erneut aus und erhält die gleiche Metrik.
- Reproduzierbarkeit: Ein anderes Team erzielt das gleiche Ergebnis unter Verwendung der ursprünglichen Artefakte. Zum Beispiel führt ein anderes Labor den mit einer Veröffentlichung bereitgestellten Code und die Daten aus und erzielt das gleiche Ergebnis.
- Replizierbarkeit: Ein anderes Team erzielt das gleiche Ergebnis mit neuem Code, neuen Daten oder neuen Experimenten. Zum Beispiel testet ein zweites Team die gleiche Behauptung mit einer neuen Implementierung und einem neuen Datensatz.
Die KI-Reproduzierbarkeit hängt von drei Kernkomponenten ab:
- Der Datensatz umfasst Trainings-, Validierungs- und Testdaten, Datenaufteilungen, Labels und Vorverarbeitungsschritte.
- Der KI-Algorithmus, einschließlich Modelltyp, Parameter, Hyperparameter, Merkmale, Gewichtungen, Prompts und Code.
- Die Umgebung, einschließlich Softwareversionen, Hardware, Betriebssystem, Treiber, Zufalls-Seeds und Bereitstellungseinstellungen.
Änderungen in allen drei Komponenten müssen verfolgt und aufgezeichnet werden.
Reproduzierbarkeit hat auch eine Grenze. Ein Ergebnis kann reproduzierbar und dennoch falsch sein. Zum Beispiel kann ein Fehler im Vorverarbeitungscode von jedem Team reproduziert werden, das denselben Code ausführt. Ein Ergebnis, das nicht reproduziert werden kann, ist auch kein Beweis für Betrug. Es kann fehlende Details, nicht verfügbare Daten, unterschiedliche Hardware oder ein mehrdeutiges Evaluierungsprotokoll widerspiegeln.
Warum ist Reproduzierbarkeit in der KI wichtig?
Reproduzierbarkeit ist sowohl für die KI-Forschung als auch für KI-Anwendungen in Unternehmen wichtig, aber die Ziele unterscheiden sich.
Für die KI- und ML-Forschung ermöglicht Reproduzierbarkeit unabhängigen Forschern, Ergebnisse zu überprüfen, das ursprüngliche Experiment erneut auszuführen und auf früheren Arbeiten aufzubauen. Der wissenschaftliche Fortschritt hängt von diesem Prozess ab. Wenn eine Veröffentlichung Code, Daten, Modelleinstellungen und Evaluierungsdetails nicht dokumentiert, können andere Forscher möglicherweise nicht feststellen, ob das Ergebnis ein robustes Ergebnis oder ein Artefakt eines einzelnen Setups ist.
Für KI-Anwendungen in Unternehmen unterstützt Reproduzierbarkeit die Fehlersuche, Prüfbarkeit und stabile Bereitstellung. Teams müssen wissen, welche Datenversion, Modellversion, welcher Prompt, welche Umgebung und Konfiguration eine bestimmte Ausgabe erzeugt hat. Dies ist wichtig für die Qualitätssicherung, die Untersuchung von Vorfällen und die Einhaltung von Vorschriften.
Reproduzierbarkeit wird auch zunehmend zu einer Governance-Anforderung. Vorschriften wie das EU-KI-Gesetz verlangen technische Dokumentation und Aufzeichnungen für KI-Systeme mit hohem Risiko. Dies erhöht den Bedarf an nachverfolgbaren Datensätzen, Modellversionen, Evaluierungsprotokollen und Bereitstellungsaufzeichnungen.
Was sind die Herausforderungen reproduzierbarer KI?
Lebenszyklusphase | Herausforderung | Beispiel |
|---|---|---|
Daten | Datensatzverfügbarkeit, sich ändernde Daten und inkonsistente Vorverarbeitung | Ein Gesundheitsdatensatz ist proprietär, oder die NLP-Vorverarbeitung entfernt Stoppwörter unterschiedlich. |
Training | Zufälligkeit und Seed-Empfindlichkeit | Unterschiedliche Gewichtungsinitialisierung oder stochastische Gradientenabstiegs-Durchläufe erzeugen unterschiedliche Metriken. |
Training | Nicht-deterministische Hardware und Software | GPU-Kernel, CUDA-Versionen oder Framework-Updates ändern numerische Ergebnisse. |
Training | Hyperparameter-Suche | Eine Lernrate oder Batch-Größe wird geändert, aber nicht aufgezeichnet. |
Evaluierung | Benchmark-Überanpassung und -Kontamination | Ein Modell schneidet gut ab, weil Benchmark-Daten in den Trainingsdaten vorkamen. |
Evaluierung | Unterschiede im Evaluierungsprotokoll | Zwei LLM-Evaluierungs-Harnesses verwenden unterschiedliche Prompt-Formate oder Antwort-Parser. |
Bereitstellung | API-Drift und Modell-Updates | Ein geschlossener Modell-Endpunkt ändert sein Verhalten nach einem stillen Update. |
Berichterstattung | Selektive Berichterstattung und fehlende Varianz | Nur der beste Durchlauf wird berichtet, ohne Mittelwert, Standardabweichung oder Konfidenzintervall. |
1. Zufälligkeit und stochastische Natur von Algorithmen
Viele KI-Modelle, insbesondere Deep-Learning-Algorithmen, beinhalten Zufälligkeit während ihrer Trainings- und Inferenzprozesse. Zum Beispiel tragen zufällige Gewichtungsinitialisierung, Dropout-Schichten und stochastischer Gradientenabstieg (SGD) selbst bei Verwendung desselben Datensatzes, derselben Codebasis und derselben Umgebung zur Variabilität bei.
Dieses Problem ist besonders ausgeprägt bei Large Language Models (LLMs), wie GPT-5, Gemini oder LLaMA, die von Natur aus probabilistisch sind. Selbst wenn sie mit derselben Eingabe und Konfiguration aufgefordert werden, können sie unterschiedliche Ausgaben generieren, insbesondere wenn die Parameter Temperatur oder Top-k-Sampling angepasst werden. Diese Einstellungen steuern die Zufälligkeit der Ausgabegenerierung:
- Temperatur passt die Wahrscheinlichkeitsverteilung an, die beim Token-Sampling verwendet wird. Eine höhere Temperatur (z. B. 1.0) erzeugt vielfältigere, kreativere Ausgaben, während eine niedrigere Temperatur (z. B. 0.2) deterministischere Antworten liefert.
- Top-k- oder Top-p (Nucleus)-Sampling steuert die Zufälligkeit weiter, indem es den Bereich der bei jedem Schritt berücksichtigten Tokens einschränkt.
Ein LLM zu bitten, denselben Absatz zweimal mit einer Temperatur von 0.9 zusammenzufassen, kann deutlich unterschiedliche Zusammenfassungen liefern. Diese Variabilität erschwert die Verifizierung oder Reproduktion des Modellverhaltens, es sei denn, die Einstellungen sind festgelegt und explizit dokumentiert.
In Unternehmensanwendungen, wie z. B. Vertragszusammenfassung, Chatbot-Antworten oder KI-Codierungsassistenten, stellt diese Unvorhersehbarkeit Herausforderungen für die Fehlersuche, Compliance und Qualitätssicherung dar. Teams können möglicherweise nur schwer nachvollziehen, welche Konfiguration zu einer bestimmten Ausgabe geführt hat, es sei denn, alle Parameter, einschließlich des Zufalls-Seeds und der Temperatur, werden konsistent protokolliert.
Zum Beispiel erklärte Thinking Machines Lab das Batch-Invarianz-Versagen als eine Hauptquelle des Nichtdeterminismus in der LLM-Inferenz. Idealerweise sollte ein Modell für einen gegebenen Prompt dieselbe Ausgabe erzeugen, unabhängig davon, ob es allein oder zusammen mit anderen Anfragen verarbeitet wird. Moderne Serving-Systeme bündeln jedoch dynamisch Anfragen, um die GPU-Effizienz zu verbessern, und viele GPU-Kernel variieren ihre Ausführungsmuster je nach Batch-Größe oder Layout.
Da Gleitkommaoperationen nicht perfekt assoziativ sind, können kleine Änderungen in der Reihenfolge der Berechnung die Logits leicht verändern. Während der Dekodierung können diese winzigen Unterschiede schließlich dazu führen, dass das Modell andere Tokens auswählt, was selbst bei deterministischen Einstellungen (z. B. Temperatur = 0) zu unterschiedlichen Ausgaben führt. Tatsächlich hängt das Ergebnis des Modells davon ab, welche anderen Anfragen den Batch teilen, wodurch die Inferenz nichtdeterministisch erscheint.2
2. Mangelnde Standardisierung in der Datenvorverarbeitung
Vorverarbeitungsschritte wie Bereinigung, Filterung, Augmentierung, Normalisierung, Tokenisierung und Merkmalsextraktion sind oft nicht vollständig dokumentiert. Kleine Unterschiede können das Endergebnis verändern.
In Bildmodellen kann die Reihenfolge von Größenänderung, Zuschnitt oder Augmentierung die Genauigkeit beeinflussen. In NLP können Tokenisierung, Stoppwortentfernung, Groß-/Kleinschreibung oder Kürzung die Metriken beeinflussen. In tabellarischen Modellen können der Umgang mit fehlenden Werten und die Merkmalsskalierung das Modellverhalten verändern.
Teams sollten den Vorverarbeitungscode als Teil des Modells behandeln. Er sollte versioniert, getestet und mit dem Modellartefakt protokolliert werden.
3. Nicht-deterministische Hardware und Software
Die Ausführung von KI-Algorithmen kann über verschiedene Hardware (CPUs, GPUs, TPUs) und selbst auf derselben Hardware aufgrund zugrunde liegender nicht-deterministischer Prozesse in Bibliotheken variieren. Unterschiede in den Versionen dieser Bibliotheken können selbst bei identischem Code und identischen Daten weitere Variabilität einführen.
Zum Beispiel führte PyTorch 2.10 mehrere Verbesserungen ein, die sich auf Determinismus und die Fehlersuche bei numerischen Problemen in modernen ML-Workflows konzentrieren.
Da verteiltes bestärkendes Lernen und groß angelegte Post-Training-Pipelines immer häufiger werden, ist die Sicherstellung reproduzierbarer Ausführung und die Diagnose subtiler numerischer Divergenz zunehmend wichtiger geworden. Um dies zu adressieren, fügte die Veröffentlichung neue Debugging-Funktionen wie DebugMode hinzu, das ausgeführte Aufrufe verfolgt und hilft, Quellen numerischer Instabilität während der Ausführung zu identifizieren.3
4. Hyperparameter-Tuning
Viele KI-Modelle sind auf Hyperparameter wie Lernrate, Batch-Größe oder Regularisierungsstärke angewiesen, die fein abgestimmt werden müssen. Oft werden diese nicht ausreichend detailliert geteilt oder ihre Auswahl wird nicht rigoros erklärt, was es schwierig macht, Ergebnisse zu reproduzieren. Auch können geringfügige Änderungen der Hyperparameter zu unterschiedlichen Leistungsergebnissen führen.
5. Fehlen vollständiger Artefakte und Dokumentation
Eine Veröffentlichung mag Code teilen, aber dennoch schwer zu reproduzieren sein. Fehlende Dateien, unvollständige README-Anweisungen, nicht verfügbare Modellgewichte, versteckte Vorverarbeitungsskripte oder undokumentierte Abhängigkeiten können die Reproduktion verhindern.
Nützliche Artefakte umfassen:
- Code und exakter Commit-Hash.
- Trainings-, Validierungs- und Testdatenversionen.
- Modellgewichte und Checkpoints.
- Umgebungsdateien wie
requirements.txt,pip freeze, Conda-Umgebungsdateien, Lock-Dateien, Dockerfiles oder Nix-Konfigurationen. - Trainingsprotokolle und Evaluierungsskripte.
- Zufalls-Seeds und Hardware-Details.
- Anweisungen zur Ausführung der gesamten Pipeline.
Dokumentationsstandards wie Model Cards und Dataset Datasheets helfen, diese Informationen leichter überprüfbar zu machen.
6. Versionierungsprobleme
Die dynamische Natur der KI-Software-Ökosysteme bedeutet, dass sich Bibliotheken und Frameworks ständig weiterentwickeln. Ein Modell, das mit einer bestimmten Version einer Bibliothek trainiert wurde, kann bei einer späteren Version möglicherweise nicht die gleiche Leistung erbringen, selbst wenn der Code unverändert bleibt. Den Überblick über die Versionen aller Abhängigkeiten zu behalten, kann schwierig sein, und die Versionierung ist oft schlecht dokumentiert.
7. Datensatzverfügbarkeit und -variabilität
Einige in der KI-Forschung verwendete Datensätze sind proprietär oder nicht öffentlich verfügbar, was es unmöglich macht, Studien zu replizieren. Selbst wenn Datensätze verfügbar sind, kann es Variationen aufgrund von Stichproben, Updates oder unterschiedlichen Vorverarbeitungstechniken geben, die zum Zeitpunkt der Forschung angewendet wurden.
8. Rechenressourcen
Die Reproduktion modernster KI-Modelle erfordert oft erhebliche Rechenressourcen, einschließlich spezialisierter Hardware wie GPUs oder TPUs. Forscher oder Praktiker ohne Zugang zu denselben Ressourcen können es schwierig finden, Ergebnisse zu replizieren.
9. Überanpassung an spezifische Testsets
In einigen Fällen werden Modelle unbeabsichtigt an spezifische Testsets oder Benchmarks überangepasst. Wenn diese Modelle in anderen Umgebungen oder mit leicht veränderten Datensätzen getestet werden, generalisieren die Ergebnisse möglicherweise nicht, was die Reproduzierbarkeit erschwert.
10. Verzerrung in der Berichterstattung und Rosinenpickerei bei Ergebnissen
Forscher berichten möglicherweise die leistungsstärkste Version eines Modells nach mehreren Durchläufen, ohne die Variabilität über die Durchläufe hinweg anzugeben oder die Gesamtzahl der durchgeführten Experimente offenzulegen. Diese selektive Berichterstattung verzerrt die wahrgenommene Reproduzierbarkeit der Ergebnisse.
Beispiele für reproduzierbare KI
NeurIPS Reproducibility Program
Das NeurIPS 2019 Reproducibility Program ist ein nützliches Beispiel für feldweite Infrastruktur. Es kombinierte eine Reproduzierbarkeits-Checkliste, eine Code-Einreichungsrichtlinie und eine gemeinschaftliche Reproduzierbarkeits-Challenge. Nach diesen Bemühungen nahm die Code-Weitergabe bei NeurIPS zu, und Reproduzierbarkeit wurde zu einem sichtbareren Teil des Begutachtungsprozesses.
ML Reproducibility Challenge
Die ML Reproducibility Challenge gibt Forschern eine strukturierte Möglichkeit, veröffentlichte Behauptungen zu testen. Teilnehmer wählen Veröffentlichungen aus, führen Experimente erneut aus oder implementieren sie neu und berichten, ob die Hauptergebnisse Bestand haben. Dies hilft dem Feld, sowohl aus erfolgreichen Reproduktionen als auch aus Fehlschlägen zu lernen.4
Papers with Code
Papers with Code verbindet Forschungsarbeiten mit Code, Datensätzen, Methoden und Benchmark-Ergebnissen. Dies erleichtert es Forschern und Praktikern, Implementierungsartefakte zu finden und Methoden zu vergleichen.5
Batch-invariante LLM-Inferenz
Die Arbeit von Thinking Machines Lab zur batch-invarianten Inferenz zeigt, wie Details auf Serving-Ebene die Reproduzierbarkeit beeinflussen können. In modernem LLM-Serving kann dynamisches Batching die numerische Ausführung verändern. Da kleine numerische Unterschiede die Token-Auswahl beeinflussen können, kann derselbe Prompt unterschiedliche Ausgaben erzeugen. Batch-invariante Kernel sind ein Weg, diese Quelle des Nichtdeterminismus zu reduzieren.6
Unternehmens-MLOps-Pipeline
Ein praktisches Unternehmensbeispiel ist eine Modell-Audit-Pipeline, die DVC für die Datensatzversionierung, MLflow für die Experimentverfolgung und ein festgelegtes Docker-Image zur Erfassung der Umgebung verwendet. Wenn eine Modellentscheidung in Frage gestellt wird, kann das Team den genauen Datensatz, die Codeversion, das Modellartefakt und den Evaluierungsbericht wiederherstellen, die zu diesem Zeitpunkt verwendet wurden.
Die Rolle der KI-Forscher bei der Bewältigung der Reproduzierbarkeit
KI-Forscher entwickeln neue Modelle, aber sie gestalten auch die Evidenzbasis, die andere Teams nutzen. Ihre Arbeit ist leichter zu verifizieren, wenn Artefakte vollständig, dokumentiert und stabil sind.
Die Forschungsgemeinschaft hat ihre Reproduzierbarkeitspraktiken verbessert. NeurIPS führte 2019 ein Reproduzierbarkeitsprogramm ein, das eine Code-Einreichungsrichtlinie, eine Reproduzierbarkeits-Checkliste und eine gemeinschaftliche Reproduzierbarkeits-Challenge umfasste.7 Spätere Analysen fanden einen deutlichen Anstieg der Code-Weitergabe bei NeurIPS nach diesen Bemühungen.
Um die Reproduzierbarkeit weiter zu verbessern, sollten KI-Forscher:
- Code, Daten, Modellgewichte und Evaluierungsskripte teilen, wenn möglich.
- Code und Artefakte mit persistenten Identifikatoren archivieren.
- Exakte Hyperparameter, Datenaufteilungen, Prompts, Seeds und Hardware angeben.
- Varianz über mehrere Durchläufe statt nur des besten Durchlaufs berichten.
- Dokumentationsstandards wie Model Cards und Dataset Datasheets verwenden.
- Strukturierte Checklisten wie die Machine Learning Reproducibility Checklist und die NeurIPS Paper Checklist befolgen.
- Unabhängige Reproduktion und Replikation durch Veranstaltungen wie die ML Reproducibility Challenge fördern.
Wenn Daten oder Code nicht freigegeben werden können, sollten Forscher die Einschränkung erläutern und einen Proxy-Datensatz, eine synthetische Stichprobe, eine ausführbare Umgebung oder ein detailliertes Reproduktionsprotokoll bereitstellen.
Als bevorzugte Quelle hinzufügenWie kann man die Reproduzierbarkeit in der KI verbessern?
Der beste Weg, KI-Reproduzierbarkeit im Unternehmen zu erreichen, ist die Nutzung von MLOps-Best Practices. MLOps umfasst die Optimierung des Lebenszyklus von künstlicher Intelligenz und maschinellem Lernen durch Automatisierung und ein einheitliches Framework innerhalb einer Organisation.
Nützliche Werkzeuge und Techniken umfassen:
- Experimentverfolgung: Werkzeuge wie MLflow, Neptune und Comet helfen, Metriken, Parameter, Artefakte und Durchlaufhistorie aufzuzeichnen.
- Datenversionierung und -herkunft: Werkzeuge wie DVC, LakeFS, Pachyderm und Delta Lake helfen, Änderungen an Datensätzen zu verfolgen.
- Modellversionierung: Modellregister helfen, Modellversionen, Metadaten, Signaturen und Bereitstellungsstufen zu speichern.
- Umgebungserfassung: Docker, Conda, pip freeze, Lock-Dateien und Nix helfen, Softwareabhängigkeiten zu bewahren.
- Pipeline-Orchestrierung: Reproduzierbare Workflows sollten definieren, wie Datenvorbereitung, Training, Evaluierung und Bereitstellung durchgängig ausgeführt werden.
- Protokollierung und Audit-Trails: Teams sollten Modelleingaben, -ausgaben, Prompts, Modellversionen und Umgebungsmetadaten für wichtige Entscheidungen protokollieren.
Was bedeutet zuverlässige KI und wie hängt sie mit reproduzierbarer KI zusammen?
Zuverlässige KI bezieht sich auf Systeme, die unter erwarteten Bedingungen konsistent und korrekt arbeiten. Reproduzierbarkeit unterstützt die Zuverlässigkeit, ist aber nicht dasselbe.
Ein reproduzierbares System kann erneut ausgeführt und geprüft werden. Ein zuverlässiges System muss außerdem genau, robust, sicher, fair und für seinen beabsichtigten Zweck unbedenklich sein. Reproduzierbarkeit hilft Teams, diese Eigenschaften zu testen, indem sie Ergebnisse nachverfolgbar macht.
Reproduzierbarkeit unterstützt zuverlässige KI auf fünf Arten:
- Konsistenz über Durchläufe hinweg: Teams können prüfen, ob ein Ergebnis unter demselben Setup stabil ist.
- Fehlersuche und Prüfung: Teams können nachverfolgen, welche Daten, welcher Code, welches Modell und welche Umgebung eine Ausgabe erzeugt haben.
- Robustes Testen: Teams können das Verhalten über Datensätze, Modellversionen und Bereitstellungseinstellungen hinweg vergleichen.
- Compliance: Teams können Dokumentation und Aufzeichnungen für interne Audits und externe Vorschriften pflegen.
- Wissenschaftliche Integrität: Forscher können Behauptungen mit weniger Mehrdeutigkeit verifizieren und darauf aufbauen.
Diese Forschung zitieren
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Reproduzierbare KI: Warum sie wichtig ist und wie man sie verbessert}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/reproducible-ai}},
note = {AIMultiple. Abgerufen am 23. Juni 2026}
}Referenzlinks
Kommentare 2
Teilen Sie Ihre Gedanken
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.
I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.
I have been working on this and have achieved it with on CPU. Repeatable determinism or reproducibility is a key stone of dependable systems and when applied in convolutional network can have higher accuracy. These are some of the academically peer-reviewed publications made in the IEEE etc about Safety Critical AI. • [1] R. Rudd-Orthner and L. Mihaylova, “Non-Random weight initialisation in deep learning networks for repeatable determinism,” in Peer Reviewed Proc. of the 10th IEEE International Conference Dependable Systems Services and Technologies (DESSERT-19), Leeds, UK, 2019. o This conference paper proved that an alternative to the random initialisation was possible and provided an almost equal performance but with reproducibility. Presented at the UK Ukraine and Northen Island IEEE branches conference in Leeds. • [2] R. Rudd-Orthner and L. Milhaylova, “Repeatable determinism using non-random weight initialisations in smart city applications of deep learning,” Journal of Reliable Intelligent Environments in a Smart Cities special edition, vol. 6, no. 1, pp. 31-49, 2020. o This Journal paper enhanced the performance to an equivalent performance by using the limits from He and Xavier and made the previous reproducibility a more general case for general use, although it was limited to Dense layers. • [3] R. Rudd-Orthner and L. Milhaylova, “Non-random weight initialisation in deep convolutional networks applied to safety critical artificial intelligence,” in Peer Reviewed Proc. of the 13th International Conference on Developments in eSystems Engineering (DeSe), Liverpool, UK, 2020. o This conference paper proved an approach to Convolutional layers that as alternative to the random initialisation and provided a higher performance with reproducibility. Presented at the UK and UAE IEEE branches conference in Liverpool held virtually. • [4] R. Rudd-Orthner and L. Milhaylova, “Deep convnet: non-random weight initialization for repeatable determinism with FSGM,” Sensors, vol. 21, no. 14, p. 4772, 2021. o This Journal paper extended the work into colour images proofs and used the cyber FSGM attack as a method for measuring effect in transferred learning. • [5] R. Rudd-Orthner and L. Milhaylova, “Multi-type aircraft of remote sensing images: MTARSI2,” Zenodo, 30 June 2021. [Online]. Available: https://zenodo.org/record/5044950#.YcWalmDP2Ul. [Accessed 30 June 2021]. o This was the colour dataset used. • [6] R. Rudd-Orthner, “Artificial Intelligence Methods for Security and Cyber Security Systems,” University of Sheffield, Sheffield, UK, 2022. o This is the final full write up in the context and with other approaches.