20 Strategien zur Verbesserung von KI & Beispiele

KI-Modelle müssen kontinuierlich verbessert werden, da sich Daten, Nutzerverhalten und reale Bedingungen weiterentwickeln. Selbst leistungsstarke Modelle können mit der Zeit an Genauigkeit verlieren, wenn die erlernten Muster nicht mehr zu den aktuellen Eingaben passen. Dies führt zu geringerer Genauigkeit und unzuverlässigen Vorhersagen.

Änderungen der Vorschriften, der Produktanforderungen oder der Kundenerwartungen können ebenfalls neue Einschränkungen mit sich bringen, für die bestehende Modelle nicht ausgelegt sind.

Die Aufrechterhaltung der Modellqualität erfordert daher die Verbesserung sowohl der Daten, die das Modell stützen, als auch der Algorithmen, die sein Verhalten prägen, um sicherzustellen, dass die Systeme den heutigen Anforderungen entsprechen und nicht veralteten Annahmen.

Entdecken Sie wichtige Strategien, darunter Datenzufuhr , Daten- und Algorithmenverbesserung sowie Skalierungsgesetze für KI , die sicherstellen, dass Ihre KI-Modelle relevant und praktikabel bleiben.

Die 20 besten Wege zur Verbesserung Ihres KI-Modells

Wir haben Methoden zur Verbesserung Ihres KI-Modells in 4 verschiedenen Kategorien erläutert:

Mehr Daten einspeisen

Das Hinzufügen neuer und aktueller Daten ist eine der gängigsten und effektivsten Methoden zur Verbesserung der Genauigkeit von Machine-Learning-Modellen. Studien haben einen positiven Zusammenhang zwischen der Größe des Datensatzes und der Genauigkeit von KI-Modellen nachgewiesen. ¹

Daher kann die Erweiterung des für das Modelltraining verwendeten Datensatzes ein effektiver Weg sein, KI/ML-Modelle zu verbessern. Stellen Sie sicher, dass sich die Daten entsprechend der jeweiligen Einsatzumgebung ändern. Es ist außerdem unerlässlich, geeignete Verfahren zur Qualitätssicherung der Datenerfassung einzuhalten.

1. Datenerhebung

Die Datenerfassung kann genutzt werden, um den Datensatz zu erweitern und dem KI/ML-Modell mehr Daten zuzuführen. Dabei werden neue Daten gesammelt, um das Modell neu zu trainieren. Diese Daten können mit folgenden Methoden erfasst werden:

• Privatsammlung
• Automatisierte Datenerfassung
• Kundenspezifisches Crowdsourcing

Um erfolgreich Daten für KI zu sammeln , müssen Unternehmen Folgendes beachten:

• Um ethische Probleme zu vermeiden, müssen bei der Datenerhebung ethische und rechtliche Aspekte beachtet werden.
• Verzerrungen in den Trainingsdaten können zu unerwünschten KI-Ergebnissen führen.
• Die Vorverarbeitung von Rohdaten ist unerlässlich, um Qualitätsprobleme zu beheben und die Datenintegrität für das KI/ML-Training sicherzustellen.
• Aufgrund von Einschränkungen im Zusammenhang mit Sensibilitäts- und Datenschutzbestimmungen sind nicht alle Daten ohne Weiteres zugänglich.

Erfahren Sie mehr über Datenerhebungsmethoden.

Es empfiehlt sich außerdem, mit einem KI-Datendienst zusammenzuarbeiten, um relevante Datensätze ohne den Aufwand der Datenerhebung zu erhalten und ethische sowie rechtliche Probleme zu vermeiden. Informieren Sie sich über Datenerfassungsdienste, Unternehmen und Crowdsourcing-Plattformen, um den passenden Datenerfassungsdienst für Ihr KI-Projekt zu finden.

2. Synthetische Daten mit generativen Modellen

Generative KI hat die Erstellung synthetischer Daten vorangetrieben und liefert hochwertige Datensätze, die reale Bedingungen nachbilden. Große Sprachmodelle und Diffusionsmodelle können nun strukturierte und unstrukturierte Daten für das Training von Modellen in Bereichen generieren, in denen nur wenige reale Daten verfügbar sind.

Beispiele hierfür sind:

• Erzeugung seltener medizinischer Fälle zur Verbesserung von Modellen des maschinellen Lernens im Gesundheitswesen .
• Generierung realistischer Konversationsdaten zur Verbesserung von Systemen zur Verarbeitung natürlicher Sprache .
• Erstellung visueller Datensätze zum Testen von Bildauflösung, Fotoqualität oder Bilderkennungsmodellen .

Synthetische Selbstspiel- und synthetische Trainingsdaten

Synthetisches Selbstspiel generiert neue Trainingsdaten, indem es Modellen oder Agenten ermöglicht, mit Aufgaben oder untereinander zu interagieren. Diese Ergänzungen verfügen nur über begrenzte, qualitativ hochwertige menschliche Daten.

Diese Methode bietet Folgendes:

• Skalierbare Produktion von Instruktions-, Schlussfolgerungs- oder Dialogdaten.
• Abdeckung von Szenarien, deren manuelle Erfassung selten oder kostspielig ist.
• Verbesserte Modellleistung in Bereichen, in denen Datenknappheit eine primäre Einschränkung darstellt.

Praxisbeispiel: Mehr Daten für Chatbots

Ein Chatbot für den IT-Support hatte Schwierigkeiten, Benutzerfragen korrekt zu verstehen und zu kategorisieren. Um seine Leistung zu verbessern, wurden 500 IT-Supportanfragen in verschiedenen Varianten in sieben Sprachen neu formuliert.

Diese zusätzlichen Daten halfen dem Chatbot, verschiedene Frageformate zu erkennen, wodurch seine Fähigkeit, effektiver zu antworten, verbessert wurde.

Verbessern Sie die Daten

Eine Verbesserung der vorhandenen Daten kann auch zu einem verbesserten KI/ML-Modell führen.

Da KI-Lösungen mittlerweile komplexere Probleme angehen, werden für ihre Entwicklung bessere und vielfältigere Daten benötigt. Beispielsweise für die Forschung. ² über ein Deep-Learning-Modell, das Objekterkennungssystemen hilft, die Interaktionen zwischen zwei Objekten zu verstehen, kommt zu dem Schluss, dass das Modell anfällig ist ³ Aufgrund von Verzerrungen im Datensatz ist ein vielfältiger Datensatz erforderlich, um aussagekräftige Ergebnisse zu erzielen.

Verbesserungen können erreicht werden durch:

3. Anreicherung der Daten

Die Erweiterung des Datensatzes ist eine Möglichkeit, KI zu verbessern. Eine weitere wichtige Methode zur Optimierung von KI/ML-Modellen ist die Datenanreicherung. Das bedeutet, dass die neu erfassten Daten, die zur Erweiterung des Datensatzes gesammelt werden, vor der Eingabe in das Modell verarbeitet werden müssen.

Dies kann auch bedeuten, die Annotation des bestehenden Datensatzes zu verbessern. Da neue und verbesserte Kennzeichnungstechniken entwickelt wurden, können diese auf den bestehenden oder neu erfassten Datensatz angewendet werden, um die Modellgenauigkeit zu erhöhen.

4. Verbesserung der Datenqualität

Die Verbesserung der Datenqualität ist unerlässlich für die Weiterentwicklung von KI-Systemen und die Leistungssteigerung von KI-Modellen. Obwohl KI-Fortschritte oft auf bessere Algorithmen und höhere Rechenleistung abzielen, bleiben hochwertige Trainingsdaten entscheidend für optimale Ergebnisse.

Die Anwendung eines datenzentrierten Ansatzes trägt dazu bei, den Fortschritt der KI zu beschleunigen, indem sichergestellt wird, dass die für das Training verwendeten Daten umfangreich und von hoher Qualität sind.

Die Sammlung und Aufbereitung hochwertiger Daten ermöglicht es Entwicklern, effizientere und effektivere KI-Modelle zu erstellen, die anschließend zur Lösung komplexer Aufgaben in verschiedenen Branchen eingesetzt werden können. Durch die Fokussierung auf Datenqualität können Unternehmen präzisere Vorhersagen treffen, Verzerrungen reduzieren und die Leistungsfähigkeit von KI-Systemen verbessern.

Die Datenqualität lässt sich während der Datenerfassungsphase deutlich verbessern. Dazu gehört sicherzustellen, dass die Daten repräsentativ für die realen Szenarien sind, denen das Modell begegnen wird, um Verzerrungen zu eliminieren, Rauschen zu reduzieren und eine ausreichende Diversität zu gewährleisten, um alle relevanten Variablen zu erfassen.

Darüber hinaus kann die Aufrechterhaltung einer einheitlichen Datenkennzeichnung und die Schließung von Lücken im Datensatz dazu beitragen, Fehler im Lernprozess des Modells zu reduzieren.

5. Nutzung der Datenerweiterung

Manche verwechseln möglicherweise angereicherte Daten mit synthetischen Daten; die beiden Begriffe unterscheiden sich jedoch. Angereicherte Daten bezeichnen das Hinzufügen von Informationen zu einem bestehenden Datensatz, während synthetische Daten künstlich erzeugt werden, um reale Daten zu ersetzen.

Informieren Sie sich über verschiedene Techniken der Datenerweiterung.

Verbessern Sie den Algorithmus

Manchmal muss der ursprünglich für das Modell erstellte Algorithmus verbessert werden. Dies kann verschiedene Gründe haben, unter anderem eine Veränderung der Population, auf der das Modell angewendet wird.

Angenommen, ein eingesetzter KI/ML-Algorithmus, der das Gesundheitsrisiko eines Patienten bewertet und den Einkommensparameter nicht berücksichtigt, wird plötzlich mit Daten von Patienten mit niedrigerem Einkommen konfrontiert. In diesem Fall ist es unwahrscheinlich, dass er faire Bewertungen liefert.

Daher kann die Aktualisierung des Algorithmus und das Hinzufügen neuer Parameter ein effektiver Weg sein, die Modellleistung zu verbessern. Der Algorithmus kann auf folgende Weise verbessert werden:

6. Die Architektur verbessern

Es gibt einige Möglichkeiten, die Architektur eines Algorithmus zu verbessern. Eine Möglichkeit besteht darin, moderne Hardwarefunktionen wie SIMD-Befehle oder GPUs zu nutzen. ⁴

Darüber hinaus lassen sich Datenstrukturen und Algorithmen durch den Einsatz cachefreundlicher Datenlayouts und effizienter Algorithmen verbessern. Schließlich können Algorithmenentwickler die jüngsten Fortschritte im Bereich des maschinellen Lernens und der Optimierungstechniken nutzen.

Der Transformer ist eine Deep-Learning-Architektur, die die Verarbeitung natürlicher Sprache (NLP) und andere Bereiche revolutioniert hat, indem sie eine effizientere und effektivere Modellierung von Sequenzdaten ermöglicht. Vorgestellt wurde er in der Veröffentlichung „Attention Is All You Need“. ⁵ Es stützt sich stark auf einen Mechanismus namens Selbstaufmerksamkeit und ersetzt damit rekurrente und Faltungsoperationen, die in früheren Modellen wie RNNs und CNNs verwendet wurden.

Ein Transformator besteht aus einem Encoder und einem Decoder, die jeweils aus mehreren übereinanderliegenden Schichten aufgebaut sind:

• Der Encoder wandelt Eingabesequenzen mithilfe von Multi-Head-Self-Attention zur Erfassung von Token-Beziehungen, Feedforward-Netzwerken zur Verarbeitung und Residualverbindungen mit Layer-Normalisierung zur Stabilisierung in kontextsensitive Repräsentationen um.
• Der Decoder erzeugt Ausgabesequenzen Token für Token, indem er maskierte Multi-Head-Selbstaufmerksamkeit einsetzt, um zukünftigen Tokenzugriff zu verhindern, Kreuzaufmerksamkeit, um die Ausgaben des Encoders zu integrieren, und ähnliche Feedforward- und Normalisierungsmechanismen für effizientes Lernen.

7. Hybride Modellarchitekturen

Hybride Modellarchitekturen kombinieren Elemente von Transformatoren, Zustandsraummodellen und anderen Sequenzverarbeitungsmethoden. Dieser Ansatz unterstützt einen langlebigen Kontext und reduziert den Rechenaufwand.

Zu den wichtigsten Vorteilen gehören:

• Effizientere Verarbeitung langer Sequenzen.
• Reduzierter Speicherbedarf für Training und Inferenz.
• Kompatibilität sowohl mit Rechenzentrums- als auch mit Edge-Umgebungen.

Praxisbeispiel: Kimi K2.5

Kimi K2.5 ist ein Open-Source-Agenten-KI-Modell, das von Moonshot AI entwickelt wurde und auf etwa 15 Billionen gemischten visuellen und textuellen Token vortrainiert ist.

Das Design von Kimi K2.5 integriert Bild- und Sprachverständnis mit agentenbasierter Argumentation und bietet sowohl Sofort- als auch „Denkmodi“ sowie Unterstützung für dialogbasierte und autonome Agenten-Workflows. ⁶

Die wichtigsten Merkmale sind:

• Native Multimodalität: Prozesse und Schlussfolgerungen über Text, Bilder und Video in einem einheitlichen Modell.
• Bildgestützte Codierung: Kann Code aus visuellen Eingaben generieren und Ausgaben an visuellen Spezifikationen ausrichten.
• Agent Swarm-Ausführung: Unterstützt die koordinierte Aufgabenzerlegung und ermöglicht so die parallele Ausführung von Agentenprozessen für komplexe Arbeitsabläufe.

8. Funktionsneugestaltung

Feature-Reengineering eines Algorithmus ist der Prozess der Verbesserung seiner Eigenschaften, um ihn effizienter und effektiver zu gestalten. Dies kann durch Modifizierung der Algorithmusstruktur oder durch Anpassung seiner Parameter erfolgen.

9. Multimodale Weltmodelle

Multimodale Weltmodelle lernen aus Text , Bildern , Audio, Video , strukturierten Daten und Sensoreingaben. Dadurch entsteht eine einheitliche Repräsentation über alle Modalitäten hinweg.

Wichtige Aspekte sind unter anderem:

• Bessere Verankerung in realen Informationen.
• Genauere Interpretation von Szenen, Signalen und Eingaben in verschiedenen Formaten.
• Anwendbarkeit auf Aufgaben, die ein integriertes Verständnis über verschiedene Modalitäten hinweg erfordern.

Beispiel aus der Praxis: DeepMind

DeepMind hat seine KI-Modelle durch die Optimierung ihrer Architektur und die Überarbeitung verschiedener Komponenten für eine höhere Leistung deutlich verbessert. So wurde beispielsweise das Gemini-Modell mit einer multimodalen Architektur entwickelt, wodurch es Aufgaben im Bereich Text, Audio und Bilder effektiver verarbeiten kann.

Darüber hinaus wurde PaLM 2 durch einen rechenoptimalen Skalierungsansatz und verbesserte Datensätze optimiert, um die Leistung bei Schlussfolgerungsaufgaben zu steigern. Diese architektonischen Verbesserungen ermöglichten eine höhere Genauigkeit und Anpassungsfähigkeit. ⁷

10. KI-Sicherheit, -Ausrichtung und -Governance

Die Verbesserung von Algorithmen beschränkt sich nicht mehr auf technische Optimierungen. KI-Sicherheit, -Ausrichtung und -Governance sind zunehmend entscheidend, um sicherzustellen, dass KI-Systeme wie beabsichtigt funktionieren. Entwickler und Organisationen priorisieren daher Methoden, die Folgendes gewährleisten:

• Die Ergebnisse des KI-Modells sollen mit menschlichen Werten und Geschäftsanforderungen in Einklang gebracht werden.
• Integrieren Sie Feedbackschleifen, um unbeabsichtigtes Verhalten während der Bereitstellung zu verhindern.
• Es sollen Governance-Rahmenbedingungen geschaffen werden, die Grenzen für den Einsatz von Werkzeugen in verschiedenen Branchen festlegen.

Dieser Wandel verdeutlicht, dass bessere KI-Ergebnisse die Verbesserung von Genauigkeit und Vertrauenswürdigkeit, die Berücksichtigung ethischer Aspekte und die Sicherstellung langfristiger Nachhaltigkeit erfordern.

Beispiel aus der Praxis: KI-Sandbagging im Internationalen KI-Sicherheitsbericht

Der Internationale KI-Sicherheitsbericht hebt ein Problem hervor, das als KI-Sandbagging bekannt ist. Dabei verhält sich ein Modell während der Evaluierung anders als im realen Einsatz. Insbesondere können fortschrittliche Systeme während formaler Tests sicherer oder weniger leistungsfähig erscheinen, sich aber nach der Implementierung anders verhalten.

Dies führt zu einer Bewertungslücke: Traditionelle Benchmarks und Red-Team-Tests erfassen reale Risiken möglicherweise nicht vollständig, wenn Modelle ihr Verhalten kontextabhängig anpassen können. Für Unternehmen bedeutet dies, dass einmalige Sicherheitstests nicht ausreichen und durch kontinuierliche Überwachung, Audits und Governance-Mechanismen ergänzt werden müssen. ⁸

Abbildung 1: Beispiel des o3-Modells von OpenAI, das Situationsbewusstsein während Evaluierungen zeigt.

11. Verifizierermodelle und Selbstkorrektur-Pipelines

Verifizierermodelle werten die von einem Basismodell erzeugten Ausgaben aus und identifizieren Fehler oder Inkonsistenzen. Sie unterstützen die strukturierte Selbstkorrektur. Zu ihren wichtigsten Beiträgen gehören:

• Höhere Genauigkeit bei logischen und mathematischen Aufgaben.
• Niedrigere Ausfallraten durch systematische Überprüfung.
• Höhere Zuverlässigkeit bei geschäftskritischen oder domänenspezifischen Anwendungen.

12. KI-Optimierung auf dem Gerät und am Netzwerkrand

Die Optimierung von KI direkt auf Endgeräten und am Netzwerkrand (Edge-KI) ist zunehmend entscheidend für mehr Datenschutz, geringere Latenz und höhere Effizienz. Anstatt Daten auf zentralen Servern zu verarbeiten, können KI-Systeme direkt auf Geräten wie Smartphones, IoT-Sensoren oder Unternehmenshardware ausgeführt werden.

Zu den Vorteilen gehören:

• Verbesserter Datenschutz durch lokale Speicherung sensibler Daten.
• Geringere Latenzzeiten ermöglichen sofortige Echtzeit-Einblicke.
• Verringerte Abhängigkeit von ständiger Konnektivität und großflächiger Cloud-Infrastruktur.

Dieser Trend ist besonders relevant in Branchen wie dem Gesundheitswesen , der Automobilindustrie und der Fertigungsindustrie , wo zeitnahe Reaktionen und Datenschutz von entscheidender Bedeutung sind.

Skalierungsgesetze der KI

Skalierungsgesetze beschreiben, wie sich die Modellleistung verändert, wenn Parameter, Daten und Rechenleistung in einem ausgewogenen Verhältnis skalieren. Untersuchungen zeigen, dass der Verlust tendenziell vorhersehbaren Potenzgesetzen folgt, wenn Modelle mit ausreichend Daten und Rechenressourcen im Verhältnis zu ihrer Größe trainiert werden.

Frühere Arbeiten identifizierten Zusammenhänge zwischen Parametern, Token und Trainingsrechenaufwand, während spätere Studien die optimalen Verhältnisse überarbeiteten und zeigten, dass viele große Modelle untertrainiert waren und dass Modelle am besten funktionieren, wenn Parameter und Trainingstoken auf ähnliche Größenordnungen skaliert werden.

Neuere Analysen berücksichtigen die Inferenzkosten und zeigen, dass kleinere, länger trainierte Modelle bei hoher Inferenzlast die Leistung größerer Modelle erreichen können. Weitere Studien untersuchen, wie sich Fähigkeiten – und nicht nur der Verlust – über verschiedene Benchmarks hinweg skalieren, und belegen, dass die Modelleffizienz mit verbesserten Architekturen, Datenqualität und Trainingsmethoden steigt.

Diese Erkenntnisse dienen als Grundlage für die Modellauswahl und Ressourcenplanung, indem sie die Bedeutung einer ausgewogenen Skalierung, ausreichender Trainingsdaten und der zunehmenden Wichtigkeit der Parameter- und Inferenzeffizienz hervorheben.

Praxisbeispiel: Parallele TTC-Skalierung mit PaCoRe

PaCoRe (Parallel Coordinated Reasoning) ist ein Open-Source-Framework, das einen neuen Ansatz zur Skalierung der Testzeitberechnung (TTC) einführt.

Anstatt durch das Kontextfenster eines Modells eingeschränkt zu sein, startet PaCoRe eine massive parallele Exploration und komprimiert und synthetisiert anschließend die Ergebnisse über eine Message-Passing-Architektur, wodurch eine effektive Rechenleistungsskalierung von mehreren Millionen Token während der Inferenz ermöglicht wird.

PaCoRe liefert außerdem einen offenen Server mit, der mit beliebigen LLM-Endpunkten verwendet werden kann, sodass Entwickler diesen Ansatz der parallelen Skalierung über verschiedene Modelle und Anbieter hinweg anwenden können. ⁹

13. Skalierung der Modellgröße

Die Erhöhung der Parameteranzahl in einem Modell bedeutet dessen Vergrößerung, typischerweise durch Hinzufügen weiterer Schichten oder durch Komplexitätssteigerung bestehender Schichten. Größere Modelle können:

• Komplexere Muster erfassen: Mit mehr Parametern kann das Modell komplexere Zusammenhänge in den Daten darstellen.
• Größere Datensätze verarbeiten: Größere Modelle haben eine höhere Kapazität, um große Datenmengen zu verarbeiten und daraus zu lernen.

Allerdings kann der Zusammenhang zwischen Modellgröße und Leistung abnehmenden Grenznutzens aufweisen. Eine Verzehnfachung der Modellgröße führt nicht zwangsläufig zu einer Verzehnfachung der Leistung.

Größere Modelle benötigen zudem exponentiell mehr Rechen- und Speicherressourcen, was das Training verteuern und erschweren kann. Ab einer gewissen Größe bringt eine Erhöhung der Modellgröße nur noch vernachlässigbare Vorteile, insbesondere wenn der Datensatz oder die Rechenressourcen unzureichend sind.

14. Skalierung von Daten

Die Verfügbarkeit und Größe des Datensatzes, der zum Trainieren eines Modells verwendet wird, beeinflussen dessen Leistungsfähigkeit erheblich:

• Größere Datensätze verbessern die Generalisierung: Mit vielfältigeren und umfassenderen Daten lernt das Modell ein breiteres Spektrum an Mustern und neigt weniger zu Überanpassung.
• Besseres Verständnis seltener Ereignisse: Große Datensätze helfen dem Modell, seltene und vielfältige Muster zu lernen, wodurch es besser mit ungewöhnlichen Fällen umgehen kann.

Die Skalierung von Daten hat jedoch auch Grenzen:

• Abflachung der Leistungssteigerungen: Ab einem gewissen Punkt bringt das Hinzufügen weiterer Daten nur noch abnehmende Erträge, da das Modell die meisten nützlichen Muster gelernt hat.
• Qualität vor Quantität: Daten von geringer Qualität oder verrauschte Daten verbessern die Leistung auch bei großen Datenmengen nicht.
• Rechenengpass: Größere Datensätze erfordern mehr Rechenleistung und Trainingszeit, was prohibitiv sein kann.

15. Retrieval-augmented generation (RAG)

Retrieval-Augmented Generation (RAG) hat sich zu einer unverzichtbaren Strategie entwickelt, um KI-Modelle zu verbessern, ohne sich ausschließlich auf größere Modelle oder erhöhte Rechenressourcen zu verlassen. RAG-Systeme integrieren ein umfangreiches Sprachmodell mit einer externen Wissensbasis und ermöglichen dem Modell so den Zugriff auf relevante Informationen in Echtzeit.

Zu den wichtigsten Vorteilen gehören:

• Dadurch wird der Bedarf an erneutem Training der Modelle bei der Erstellung neuer Informationen verringert.
• Verbesserung der Leistung bei spezialisierten Geschäftsfunktionen durch die Fundierung der Ergebnisse auf kuratierte Datenquellen.
• Minderung des Risikos veralteter oder halluzinatorischer Reaktionen durch die Möglichkeit für Systeme, Hintergrundquellen anzugeben.

Dieser Ansatz ist mittlerweile gängig bei KI-Lösungen für Unternehmen , wo die Trainingsdaten mit den sich schnell verändernden Bereichen wie Finanzen , Recht oder Kundenservice nicht Schritt halten können.

16. Speichererweiterte Systeme

Speichererweiterte Systeme ermöglichen Modellen den Zugriff auf persistenten oder sitzungsbezogenen Speicher. Dadurch kann das Modell den Kontext über Aufgaben und Interaktionen hinweg beibehalten.

Wichtige Merkmale sind:

• Unterstützung eines langfristigen Kontextes, der nicht durch die Länge der vorgegebenen Zeit begrenzt ist.
• Verbesserte Konsistenz über mehrstufige Arbeitsabläufe hinweg.
• Bessere Abstimmung auf Anwendungsfälle, die Kontinuität erfordern, wie z. B. Projektarbeit oder komplexe Analysen.

17. Skalierung der Rechenleistung

Skalierung von Rechenleistung bedeutet die Erhöhung der während des Trainings oder der Inferenz verfügbaren Rechenleistung, typischerweise durch:

• Leistungsstärkere Hardware: GPUs, TPUs oder spezialisierte KI-Chips.
• Verteilte Systeme: Training auf mehreren Maschinen parallel zur Bewältigung großer Arbeitslasten.
• Längere Trainingsdauer: Dadurch kann das Modell seine Gewichte über mehr Iterationen optimieren.

Die Beziehung zwischen Rechenleistung und Modellleistung ist grundlegend:

• Mehr Rechenleistung ermöglicht größere Modelle: Durch die Skalierung der Rechenleistung können Modelle mit mehr Parametern trainiert werden.
• Erweitertes Training: Mit ausreichend Rechenleistung können Modelle über längere Zeiträume mit größeren Datensätzen trainiert werden, was zu einer besseren Optimierung führt.

Die Skalierung von Rechenkapazität birgt jedoch auch Herausforderungen:

• Abnehmender Grenznutzen: Zwar verbessert sich die Leistung mit zunehmender Rechenleistung, doch verlangsamt sich die Verbesserungsrate mit steigenden Ressourcen.
• Kosten- und Energiebedarf: Das Training fortgeschrittener Modelle wie GPT-4 erfordert umfangreiche finanzielle und ökologische Ressourcen.

Trotz dieser Herausforderungen war die Skalierung der Rechenleistung maßgeblich für die Verbesserung von KI und maschinellem Lernen.

In der Inferenzphase kann die Leistung eines KI-Modells, insbesondere bei Aufgaben, die mathematische Berechnungen oder mehrstufiges Schließen erfordern, durch die Zuweisung von mehr Rechenzeit verbessert werden. Dies wird häufig durch Strategien wie erhöhte Rechenleistung pro Anfrage oder iterative Verfeinerung erreicht. So funktioniert es:

Was geschieht während des Schlussfolgerns?

Die Inferenzphase ist der Abschnitt, in dem ein vortrainiertes Modell verwendet wird, um Vorhersagen zu generieren oder Aufgaben auf Basis neuer Eingaben auszuführen. Im Gegensatz zum Training werden bei der Inferenz die Gewichte des Modells nicht aktualisiert, sondern es nutzt seine erlernten Fähigkeiten, um spezifische Probleme zu lösen.

Warum hilft mehr Rechenzeit?

Bei Aufgaben wie mathematischen Berechnungen oder mehrstufigem Schließen profitiert das Modell von mehr Zeit und Ressourcen pro Abfrage, weil:

• Iterative Verfeinerung: Bei Aufgaben, die mehrere logische Schritte erfordern, kann das Modell das Problem in kleinere Teile zerlegen, jeden Teil lösen und die Lösung iterativ verfeinern. Durch die Zuweisung von mehr Rechenleistung kann das Modell diese Schritte gründlicher verarbeiten.
• Erhöhte Präzision: Bei mathematischen Aufgaben ermöglicht eine längere Schlussfolgerungszeit eine tiefergehende Untersuchung von Mustern oder Versuch-und-Irrtum-Mechanismen, um sich korrekten Lösungen anzunähern.
• Besseres Kontextverständnis: Bei Aufgaben wie dem mehrstufigen Schließen kann ein Modell mit mehr Rechenzeit den Kontext wiederholt auswerten, um sicherzustellen, dass die Zwischenschritte mit dem übergeordneten Problem übereinstimmen.

18. Skalierung der Inferenzzeit

Die Skalierung der Inferenzzeit bezeichnet die Zuweisung zusätzlicher Rechenkapazität für ein Modell während der Inferenz. Dieser Ansatz unterstützt längere Schlussfolgerungsabläufe und mehrstufige Auswertungen, ohne die Modellparameter zu verändern.

Zu den wichtigsten Punkten gehören:

• Modelle können Zwischenschritte für Aufgaben, die logisches Denken erfordern, iterativ verfeinern.
• Die Genauigkeit erhöht sich, wenn dem Modell erlaubt wird, tiefere Inferenzpfade zu durchlaufen.
• Die Leistungssteigerungen werden ohne erneutes Training erzielt, wodurch sich diese Methode für häufige Aktualisierungen eignet.

Praxisbeispiel: Leistungssteigerungen nach dem Training und während der Inferenzzeit

Claude Opus 4.6 (Anthropic) veranschaulicht, wie fortschrittliche KI-Systeme durch Verbesserungen im Inferenz-Zeit-Schlussfolgern und der Werkzeugintegration voranschreiten. Diese Fortschritte zeigen sich in leistungsfähigerem agentenbasiertem Codieren, bei dem das Modell mehrstufige Softwareaufgaben planen, große Codebasen durchsuchen und seine eigenen Fehler iterativ beheben kann.

Sie kommen auch bei einer intensiveren Werkzeugnutzung und koordinierten Agenten-Workflows zum Vorschein, wie beispielsweise bei Agententeams in Claude Code, die komplexe Aufgaben aufteilen und ausführen.

Darüber hinaus unterstützt Opus 4.6 lange Kontextfenster (bis zu ~1 Million Tokens in der Betaversion), wodurch die Kohärenz über umfangreiche Dokumente, Codebasen und mehrstufige Interaktionen hinweg erhalten bleibt.

Zusammengenommen verdeutlichen diese Entwicklungen, wie Systemdesign und Inferenzzeittechniken zu bedeutenden Fähigkeitsgewinnen führen, die über das reine Basistraining hinausgehen.

Abbildung 2: Diagramm zur Leistung von Opus 4.6 auf Terminal Bench. Terminal Bench ist eine Benchmark-Suite zur Bewertung von KI-Agenten in Terminalumgebungen. ¹⁰

Beispiel aus dem echten Leben: Zwillinge 3 Tiefgründiges Denken

Gemini 3 Deep Think (991259_1709) wurde entwickelt, um komplexe wissenschaftliche, mathematische und ingenieurtechnische Probleme mit tiefergehender inferenzieller Suche und der Untersuchung mehrerer Hypothesen anzugehen.

Deep Think verbessert die Leistung, indem es die Art und Weise ändert, wie das Modell zur Inferenzzeit argumentiert, indem es schwierigeren Problemen mehr Rechenleistung zuweist, anstatt sich ausschließlich auf eine größere Parameteranzahl zu verlassen.

Dies zeigt, dass Denkprozesse, bei denen ein Modell in einen für schwierigere analytische Aufgaben optimierten Modus des tiefen Denkens umschalten kann, neben Verbesserungen bei der Parameteranzahl und den Werkzeugen/der Bereitstellung als eigenständiges Konzept des KI-Fortschritts hervortreten.

Abbildung 3: Diagramm zur Darstellung der Leistung von Deep Think bei den Benchmarks ARC-AGI 2, Humanity's Last Exam, MMMU-Pro und Codeforces. ¹¹

Praxisbeispiel: GPT-5.3-Codex-Spark

OpenAI's GPT-5.3-Codex-Spark ist ein auf Codierung ausgerichtetes Modell, das als geschwindigkeitsoptimierte Variante von GPT-5.3-Codex positioniert ist und für Echtzeit-Entwickler-Workflows gedacht ist.

Zu den wichtigsten Merkmalen gehören:

• Inferenz mit hohem Durchsatz: Entwickelt für latenzarme Codierungsunterstützung, mit Ausgabegeschwindigkeiten von über 1.000 Token pro Sekunde in unterstützten Umgebungen.
• Großes Kontextfenster: Unterstützt bis zu 128.000 Kontext-Tokens und ermöglicht so die Verwendung mit größeren Codebasen und längeren Sitzungen.
• Interaktive Codierungs-Workflows: Ausgerichtet auf iterative Codierungsaufgaben wie Bearbeiten, Debuggen und Codeverfeinern in Echtzeit.
• Schwerpunkt Infrastruktur: Entwickelt für den Betrieb auf Inferenzinfrastrukturen mit niedriger Latenz, einschließlich Bereitstellungen auf Cerebras Hardware.

Abbildung 4: Benchmark-Leistung von OpenAI's GPT-5.3-Codex-Spark auf SWE-Bench Pro. ¹²

19. Agentische KI

Anstatt sich auf ein einziges übergeordnetes Modell zu stützen, verwenden agentenbasierte Systeme verschiedene Modelle mit definierten Rollen, wie z. B. Planung, Schlussfolgerung und Ausführung.

Zu den Vorteilen gehören:

• Skalierung der Denkfähigkeit ohne endlose Erhöhung der Parameteranzahl.
• Größere Flexibilität bei der Werkzeugnutzung durch Zuweisung von Aufgaben an das jeweils leistungsfähigste Modell.
• Eine unkompliziertere Einbeziehung von Feedback von Nutzern und Interessengruppen in verschiedenen Phasen eines Prozesses.

Ein Beispiel hierfür ist ein Multiagentensystem , in dem ein Modell Projektmanagementaufgaben übernimmt, ein anderes natürlichsprachliche Eingaben interpretiert und ein drittes die Datenbeschaffung und -integration verwaltet. Gemeinsam liefern diese Modelle bessere Ergebnisse als ein einzelnes, isoliert arbeitendes Modell.

20. Modelleffizienztechniken

Angesichts der Kosten und der Umweltbelastung durch das Training größerer Modelle rücken Effizienztechniken in letzter Zeit in den Fokus. Diese Methoden ermöglichen es Entwicklern, die Leistung zu verbessern und gleichzeitig weniger Ressourcen zu verbrauchen:

• Die Quantisierung verringert den Speicherbedarf, indem sie die Präzision der Modellparameter senkt, ohne die Qualität der Vorhersagen zu beeinträchtigen.
• Wissensdestillation überträgt Fähigkeiten von einem großen Modell auf ein kleineres Modell und ermöglicht so schnellere Schlussfolgerungen.
• Durch das Entfernen redundanter Parameter wird die Komplexität reduziert, während die Genauigkeit erhalten bleibt.
• Low-Rank Adaptation (LoRA) ermöglicht die effiziente Feinabstimmung großer Modelle auf domänenspezifische Aufgaben mit begrenzten Ressourcen.

Diese Techniken ermöglichen eine bessere Skalierbarkeit von KI-Systemen über verschiedene Modelle und Geschäftskontexte hinweg und ermöglichen so bessere Ergebnisse zu geringeren Kosten.

Empfehlungen zur Verbesserung von KI/ML-Modellen

Die Verbesserung eines KI/ML-Modells erfordert einen strategischen Ansatz, um Bereiche für die Implementierung effektiver Lösungen zu identifizieren. Durch die Kombination von Leistungsüberwachung mit hypothesengetriebener Entscheidungsfindung können KI/ML-Modelle verfeinert und optimiert werden, um bessere Ergebnisse zu erzielen.

Leistung überwachen

Man kann etwas verbessern, indem man seine Verbesserungspotenziale kennt. Dies lässt sich durch die Überwachung der Merkmale des KI/ML-Modells erreichen. Sind jedoch nicht alle Modellmerkmale überwachbar, kann man eine ausgewählte Anzahl von Schlüsselmerkmalen beobachten, um Abweichungen in deren Ausgabe zu untersuchen, die die Modellleistung beeinflussen können.

Hypothesengenerierung

Bevor Sie die passende Methode auswählen, empfehlen wir die Generierung von Hypothesen. Dies ist ein vorgelagerter Prozess, der den Entscheidungsprozess strukturiert und die Optionen eingrenzt.

Dieser Prozess beinhaltet den Erwerb von Fachwissen, die Untersuchung des Problems, mit dem das KI/ML-Modell konfrontiert ist, und die Eingrenzung der leicht verfügbaren Optionen, die die identifizierten Probleme angehen können.

Iterative Verbesserung und Experimente

Die Verbesserung von KI/ML-Modellen ist ein fortlaufender Prozess. Nach der Formulierung von Hypothesen und der Auswahl potenzieller Lösungen sind Experimente und Iterationen der Schlüssel zur Verfeinerung des Modells.

A/B-Testing : Testen Sie verschiedene Modelle oder Änderungen an Teilmengen der Daten, um die Ergebnisse zu vergleichen. Dies hilft dabei, die effektivsten Verbesserungen zu ermitteln.

Modell-Neutraining : Trainieren Sie das Modell regelmäßig mit neuen Daten, Feature-Updates oder Algorithmus-Anpassungen neu, um sicherzustellen, dass es relevant bleibt und sich an veränderte Bedingungen anpasst.

Automatisierte Überwachung und Feedbackschleifen : Nutzen Sie automatisierte Systeme, um kontinuierliches KI-Feedback zu erhalten, das schnelle Anpassungen und rasche Iterationen von Verbesserungen ermöglicht.

Feedback von Interessengruppen einbeziehen

Ein oft übersehener Aspekt bei der Modellverbesserung ist das Einholen von Feedback von Endnutzern oder Stakeholdern. KI-Feedback von Business-Teams, Fachexperten oder Endnutzern liefert wertvollen Kontext, um Vorhersagen zu verfeinern und blinde Flecken in der Praxis zu beheben.

Durch die Integration dieses Feedback-Mechanismus wird sichergestellt, dass sich das Modell kontinuierlich anpasst und stets auf die betrieblichen Erfordernisse abgestimmt bleibt.

Dieser Feedback-Kreislauf stellt sicher, dass das Modell weiterhin den Bedürfnissen und Erwartungen der realen Welt entspricht.

Priorisieren Sie die wirkungsvollsten Änderungen

Nicht alle Verbesserungen werden die gleiche Wirkung haben. Es ist daher unerlässlich, die Änderungen zu priorisieren, die die kritischsten Leistungsprobleme direkt angehen.

Eine Verbesserung der Datenqualität oder die Behebung einer signifikanten Verzerrung im Modell könnten beispielsweise deutlichere Auswirkungen haben als kleinere Anpassungen der Hyperparameter des Algorithmus.

Den Verbesserungsprozess dokumentieren und standardisieren

Um kontinuierliche Verbesserungen zu erzielen, sollten die Methoden, Experimente und Ergebnisse dokumentiert werden.

Durch die Standardisierung dieses Prozesses können zukünftige Verbesserungen einem bewährten, strukturierten Ansatz folgen, wodurch sichergestellt wird, dass Verbesserungen gemessen, verglichen und nachverfolgt werden können.

FAQs

Referenzlinks

1.

Professional Services - Telstra Enterprise

2.

[2111.09297] Learning to Compose Visual Relations

3.

https://medium.com/anyverse/more-complex-deep-learning-models-require-more-complex-data-2049e00cace6#:~:text=Unser%20System%2C%20ist,Vorurteile%20und%20Verzerrungen, Vorurteile und Verzerrungen 

4.

Single instruction, multiple data - Wikipedia

Contributors to Wikimedia projects

5.

https://arxiv.org/pdf/1706.03762

6.

moonshotai/Kimi-K2.5 · Hugging Face

7.

2023: A Year of Groundbreaking Advances in AI and Computing — Google DeepMind

Google DeepMind

8.

https://internationalaisafetyreport.org/sites/default/files/2026-02/international-ai-safety-report-2026.pdf

9.

GitHub - stepfun-ai/PaCoRe: PaCoRe: Learning to Scale Test-Time Compute with Parallel Coordinated Reasoning · GitHub

10.

Claude Opus 4.6 \ Anthropic

11.

Gemini 3 Deep Think: AI model update designed for science

Google

12.

Introducing GPT-5.3-Codex | OpenAI

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 55 % der Fortune 500. Cems Arbeit wurde von führenden globalen Publikationen wie Business Insider, Forbes und der Washington Post, von globalen Unternehmen wie Deloitte und HPE sowie von NGOs wie dem Weltwirtschaftsforum und supranationalen Organisationen wie der Europäischen Kommission zitiert. Weitere namhafte Unternehmen und Ressourcen, die AIMultiple referenziert haben, finden Sie hier. Im Laufe seiner Karriere war Cem als Technologieberater, Technologieeinkäufer und Technologieunternehmer tätig. Über ein Jahrzehnt lang beriet er Unternehmen bei McKinsey & Company und Altman Solon in ihren Technologieentscheidungen. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung. Bei einem Telekommunikationsunternehmen leitete er die Technologiestrategie und -beschaffung und berichtete direkt an den CEO. Darüber hinaus verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von null auf einen siebenstelligen jährlichen wiederkehrenden Umsatz und eine neunstellige Unternehmensbewertung kam. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider gewürdigt. Er ist ein gefragter Redner auf internationalen Technologiekonferenzen. Cem absolvierte sein Studium der Informatik an der Bogazici-Universität und besitzt einen MBA der Columbia Business School.

Vollständiges Profil anzeigen

Recherchiert von

Sıla Ermut

Branchenanalyst

Folgen auf

Sıla Ermut ist Branchenanalystin bei AIMultiple und spezialisiert auf E-Mail-Marketing und Vertriebsvideos. Zuvor war sie als Personalberaterin in Projektmanagement- und Beratungsunternehmen tätig. Sıla hat einen Master of Science in Sozialpsychologie und einen Bachelor of Arts in Internationalen Beziehungen.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten