20 Strategien zur KI-Verbesserung & Beispiele

KI-Modelle erfordern kontinuierliche Verbesserung, da sich Daten, Nutzerverhalten und reale Bedingungen weiterentwickeln. Selbst gut funktionierende Modelle können abdriften, wenn die erlernten Muster nicht mehr mit den aktuellen Eingaben übereinstimmen, was zu geringerer Genauigkeit und unzuverlässigen Vorhersagen führt.

Änderungen in Vorschriften, Produktanforderungen oder Kundenerwartungen können auch neue Einschränkungen mit sich bringen, für die bestehende Modelle nicht ausgelegt sind.

Die Aufrechterhaltung der Modellqualität erfordert daher die Stärkung sowohl der Daten, die das Modell stützen, als auch der Algorithmen, die sein Verhalten prägen, um sicherzustellen, dass Systeme an aktuellen Anforderungen und nicht an veralteten Annahmen ausgerichtet bleiben.

Erkunden Sie wichtige Strategien, darunter Datenzuführung, Daten- und Algorithmusverbesserung sowie KI-Skalierungsgesetze, die sicherstellen, dass Ihre KI-Modelle relevant und praktisch bleiben.

Top 20 Möglichkeiten, Ihr KI-Modell zu verbessern

Wir haben Methoden zur Verbesserung Ihres KI-Modells in 4 verschiedenen Kategorien erläutert:

Mehr Daten zuführen

Das Hinzufügen neuer und aktueller Daten ist eine der gebräuchlichsten und effektivsten Methoden zur Verbesserung der Genauigkeit Ihres Machine-Learning-Modells. Untersuchungen haben eine positive Korrelation zwischen der Datensatzgröße und der Genauigkeit von KI-Modellen gezeigt.¹

Daher kann die Erweiterung des für das Modell-Retraining verwendeten Datensatzes eine effektive Möglichkeit zur Verbesserung von KI/ML-Modellen sein. Stellen Sie sicher, dass sich die Daten entsprechend der Umgebung ändern, in der sie eingesetzt werden. Es ist auch wichtig, angemessene Qualitätssicherungspraktiken bei der Datenerfassung einzuhalten.

1. Datenerfassung

Datenerfassung/-sammlung kann verwendet werden, um Ihren Datensatz zu erweitern und mehr Daten in das KI/ML-Modell einzuspeisen. Dabei werden frische Daten gesammelt, um das Modell neu zu trainieren. Diese Daten können durch folgende Methoden gewonnen werden:

• Private Sammlung
• Automatisierte Datenerfassung
• Benutzerdefiniertes Crowdsourcing

Um Daten für KI erfolgreich zu sammeln, müssen Unternehmen auf Folgendes achten:

• Ethische und rechtliche Aspekte bei der Datenerfassung müssen beachtet werden, um ethische Probleme zu vermeiden.
• Bias in Trainingsdaten kann zu unerwünschten KI-Ergebnissen führen.
• Die Vorverarbeitung von Rohdaten ist unerlässlich, um Qualitätsprobleme zu beheben und die Datenintegrität für KI/ML-Training sicherzustellen.
• Nicht alle Daten sind aufgrund von Einschränkungen im Zusammenhang mit Sensibilität und Datenschutzbestimmungen leicht zugänglich.

Erfahren Sie mehr über Datenerfassungsmethoden.

Es wird auch empfohlen, mit einem KI-Datendienst zusammenzuarbeiten, um relevante Datensätze ohne den Aufwand der Datensammlung zu erhalten und um ethische und rechtliche Probleme zu vermeiden.

2. Synthetische Daten mit generativen Modellen

Generative KI hat die Erstellung synthetischer Daten vorangetrieben und hochwertige Datensätze produziert, die reale Bedingungen nachbilden. LLM und Diffusionsmodelle können jetzt strukturierte und unstrukturierte Daten für das Training von Modellen in Bereichen generieren, in denen reale Daten begrenzt sind.

Beispiele hierfür sind:

• Erzeugung seltener medizinischer Fälle zur Verbesserung von Machine-Learning-Modellen im Gesundheitswesen.
• Generierung realistischer Gesprächsdaten zur Verbesserung von Verarbeitung natürlicher Sprache-Systemen.
• Erstellung visueller Datensätze zum Testen von Bildauflösung, Fotoqualität oder Bilderkennungsmodellen.

Synthetisches Self-Play und synthetische Trainingsdaten

Synthetisches Self-Play generiert neue Trainingsdaten, indem es Modellen oder Agenten ermöglicht wird, mit Aufgaben oder miteinander zu interagieren. Diese Ergänzungen verfügen über begrenzte hochwertige menschliche Daten.

Diese Methode bietet:

• Skalierbare Produktion von Anweisungs-, Argumentations- oder Dialogdaten.
• Abdeckung von Szenarien, die selten oder teuer manuell zu sammeln sind.
• Verbesserte Modellleistung in Bereichen, in denen Datenknappheit eine Haupteinschränkung darstellt.

Praxisbeispiel: Mehr Daten für Chatbots

Ein Chatbot für IT-Support hatte Schwierigkeiten, Benutzerfragen genau zu verstehen und zu klassifizieren. Um seine Leistung zu verbessern, wurden 500 IT-Support-Anfragen in mehrere Variationen in sieben Sprachen umgeschrieben.

Diese zusätzlichen Daten halfen dem Chatbot, verschiedene Frageformate zu erkennen, und verbesserten seine Fähigkeit, effektiver zu antworten.

Daten verbessern

Die Verbesserung der vorhandenen Daten kann ebenfalls zu einem verbesserten KI/ML-Modell führen.

Da KI-Lösungen nun komplexere Probleme angehen, sind bessere und vielfältigere Daten zu ihrer Entwicklung erforderlich. So kommt beispielsweise eine Forschungsarbeit² über ein Deep-Learning-Modell, das Objekterkennungssystemen hilft, die Interaktionen zwischen zwei Objekten zu verstehen, zu dem Schluss, dass das Modell anfällig³ für Datensatzverzerrung ist und einen vielfältigen Datensatz benötigt, um Ergebnisse zu erzielen.

Verbesserungen können erreicht werden durch:

3. Daten anreichern

Die Erweiterung des Datensatzes ist eine Möglichkeit, KI zu verbessern. Eine weitere wichtige Möglichkeit zur Verbesserung von KI/ML-Modellen ist die Anreicherung der Daten. Das bedeutet, dass die neuen Daten, die zur Erweiterung des Datensatzes gesammelt werden, verarbeitet werden müssen, bevor sie in das Modell eingespeist werden.

Dies kann auch die Verbesserung der Annotation des vorhandenen Datensatzes bedeuten. Da neue und verbesserte Kennzeichnungstechniken entwickelt wurden, können sie auf den vorhandenen oder neu gesammelten Datensatz angewendet werden, um die Modellgenauigkeit zu verbessern. 

4. Verbesserung der Datenqualität

Die Verbesserung der Datenqualität ist unerlässlich, um KI-Systeme voranzubringen und die Leistung von KI-Modellen zu steigern. Während KI-Fortschritte oft bessere Algorithmen und mehr Rechenleistung betonen, bleibt hochwertige Trainingsdaten für optimale Leistung entscheidend.

Ein datenzentrierter Ansatz beschleunigt den KI-Fortschritt, indem er sicherstellt, dass die für das Training verwendeten Daten reichlich vorhanden und von hoher Qualität sind.

Die Sammlung und Kuratierung hochwertiger Daten ermöglicht es Entwicklern, effizientere und effektivere KI-Modelle zu erstellen, die dann zur Lösung komplexer Aufgaben in verschiedenen Branchen eingesetzt werden können. Durch die Fokussierung auf Datenqualität können Unternehmen genauere Vorhersagen treffen, Bias reduzieren und die Fähigkeiten von KI-Systemen verbessern.

Die Datenqualität kann während der Datenerfassungsphase erheblich verbessert werden. Dieser Prozess umfasst die Sicherstellung, dass die Daten repräsentativ für die realen Szenarien sind, denen das Modell begegnen wird, um Bias zu eliminieren, Rauschen zu reduzieren und sicherzustellen, dass sie vielfältig genug sind, um alle relevanten Variablen zu erfassen.

Darüber hinaus kann die Aufrechterhaltung der Konsistenz bei der Datenkennzeichnung und die Behebung von Lücken im Datensatz dazu beitragen, Fehler im Lernprozess des Modells zu reduzieren.

5. Nutzung von Datenaugmentierung

Manche Leute könnten augmentierte Daten mit synthetischen Daten verwechseln; die beiden Begriffe unterscheiden sich jedoch. Augmentierte Daten beziehen sich auf das Hinzufügen von Informationen zu einem vorhandenen Datensatz, während synthetische Daten künstlich generiert werden, um reale Daten zu ersetzen.

Algorithmus verbessern

Manchmal muss der Algorithmus, der ursprünglich für das Modell erstellt wurde, verbessert werden. Dies kann verschiedene Gründe haben, darunter eine Veränderung der Population, auf der das Modell eingesetzt wird. 

Angenommen, ein eingesetzter KI/ML-Algorithmus, der das Gesundheitsrisiko eines Patienten bewertet und den Einkommensparameter nicht berücksichtigt, wird plötzlich mit Daten von Patienten mit niedrigerem Einkommen konfrontiert. In diesem Fall ist es unwahrscheinlich, dass er faire Bewertungen liefert.

Daher kann die Aufrüstung des Algorithmus und das Hinzufügen neuer Parameter eine effektive Möglichkeit zur Verbesserung der Modellleistung sein. Der Algorithmus kann auf folgende Weise verbessert werden:

6. Die Architektur verbessern

Es gibt einige Dinge, die getan werden können, um die Architektur eines Algorithmus zu verbessern. Eine Möglichkeit besteht darin, moderne Hardwarefunktionen wie SIMD-Befehle oder GPUs zu nutzen.⁴

Darüber hinaus können Datenstrukturen und Algorithmen durch die Verwendung cache-freundlicher Datenlayouts und effizienter Algorithmen verbessert werden. Schließlich können Algorithmenentwickler die jüngsten Fortschritte im Bereich maschinelles Lernen und Optimierungstechniken nutzen.

Der Transformer ist eine Deep-Learning-Architektur, die Verarbeitung natürlicher Sprache (NLP) und andere Bereiche verändert hat, indem sie eine effizientere und effektivere Modellierung von Sequenzdaten ermöglicht. Eingeführt in dem Papier „Attention Is All You Need“⁵ , stützt er sich stark auf einen Mechanismus namens Self-Attention, der wiederkehrende und konvolutionale Operationen ersetzt, die in früheren Modellen wie RNNs und CNNs verwendet wurden.

Ein Transformer besteht aus einem Encoder und einem Decoder, die jeweils aus mehreren gestapelten Schichten aufgebaut sind:

• Der Encoder wandelt Eingabesequenzen in kontextbewusste Repräsentationen um, indem er Multi-Head-Self-Attention verwendet, um Token-Beziehungen zu erfassen, Feedforward-Netzwerke für die Verarbeitung und Residualverbindungen mit Layer-Normalisierung für die Stabilität.
• Der Decoder generiert Ausgabesequenzen Token für Token, indem er maskierte Multi-Head-Self-Attention verwendet, um den Zugriff auf zukünftige Token zu verhindern, Cross-Attention zur Integration der Encoder-Ausgaben und ähnliche Feedforward- und Normalisierungsmechanismen für effizientes Lernen.

7. Hybride Modellarchitekturen

Hybride Modellarchitekturen kombinieren Elemente von Transformern, Zustandsraummodellen und anderen Sequenzverarbeitungsmethoden. Dieser Ansatz unterstützt langlebigen Kontext und reduziert den Rechenbedarf.

Zu den wichtigsten Vorteilen gehören:

• Effizientere Verarbeitung langer Sequenzen.
• Reduzierter Speicherverbrauch für Training und Inferenz.
• Kompatibilität mit Rechenzentrums- und Edge-Umgebungen.

Praxisbeispiel: Kimi K2.5

Kimi K2.5 ist ein quelloffenes agentisches KI-Modell, entwickelt von Moonshot KI, das mit etwa 15 Billionen gemischten visuellen und Text-Token vortrainiert wurde.

Kimi K2.5s Design integriert Bildverstehen und Sprachverständnis mit agentischem Denken und bietet sowohl einen sofortigen als auch einen 'Denk'-Modus und unterstützt konversationelle und autonome Agenten-Workflows.⁶

Die wichtigsten Merkmale sind:

• Native Multimodalität: Verarbeitet und denkt über Text, Bilder und Video in einem einheitlichen Modell nach.
• Visuell unterstütztes Codieren: Kann Code aus visuellen Eingaben generieren und Ausgaben an visuelle Spezifikationen anpassen.
• Agent Swarm-Ausführung: Unterstützt koordinierte Aufgabenzerlegung, sodass agentische Prozesse für komplexe Workflows parallel ausgeführt werden können.

8. Feature-Re-Engineering

Feature-Re-Engineering eines Algorithmus ist der Prozess der Verbesserung der Merkmale eines Algorithmus, um ihn effizienter und effektiver zu machen. Dies kann durch Änderung der Algorithmusstruktur oder durch Feinabstimmung seiner Parameter erreicht werden.

9. Multimodale Weltmodelle

Multimodale Weltmodelle lernen aus Text, Bildern, Audio, Video, strukturierten Daten und Sensoreingaben. Dies erzeugt eine einheitliche Repräsentation über Modalitäten hinweg.

Wichtige Aspekte sind:

• Bessere Verankerung in realen Informationen.
• Genauere Interpretation von Szenen, Signalen und mehrformatigen Eingaben.
• Anwendbarkeit auf Aufgaben, die ein integriertes Verständnis über Modalitäten hinweg erfordern.

Praxisbeispiel: DeepMind

Google DeepMind hat seine KI-Modelle erheblich verbessert, indem es die Architektur optimierte und verschiedene Komponenten für bessere Leistung neu entwickelte. So wurde das Gemini-Modell mit einer multimodalen Architektur gebaut, die es ihm ermöglicht, Aufgaben über Text, Audio und Bilder hinweg effektiver zu bewältigen.

Zusätzlich wurde PaLM 2 mit einem rechenoptimalen Skalierungsansatz und Datensatzverbesserungen erweitert, um die Argumentationsaufgaben zu verbessern. Diese Architekturverbesserungen ermöglichten eine höhere Genauigkeit und Anpassungsfähigkeit.⁷

10. KI-Sicherheit, Alignment und Governance

Die Verbesserung von Algorithmen beschränkt sich nicht mehr nur auf technische Optimierungen. KI-Sicherheit, Alignment und Governance werden immer wichtiger, um sicherzustellen, dass KI-Systeme sich wie beabsichtigt verhalten. Entwickler und Organisationen priorisieren Methoden, die:

• Die Ausgaben von KI-Modellen mit menschlichen Werten und geschäftlichen Anforderungen ausrichten.
• Feedback-Schleifen einbeziehen, um unbeabsichtigtes Verhalten während des Einsatzes zu verhindern.
• Governance-Rahmenwerke etablieren, die Grenzen für den Werkzeuggebrauch in verschiedenen Branchen setzen.

Diese Verschiebung unterstreicht, dass das Erreichen besserer KI-Ergebnisse die Verbesserung von Genauigkeit und Vertrauenswürdigkeit, die Berücksichtigung ethischer Aspekte und die Sicherstellung langfristiger Nachhaltigkeit umfasst.

Praxisbeispiel: KI-Sandbagging im Internationalen KI-Sicherheitsbericht

Der Internationale KI-Sicherheitsbericht weist auf ein Problem hin, das als KI-Sandbagging bekannt ist, bei dem ein Modell während der Evaluierung anders abschneidet als im realen Einsatz. Insbesondere können fortschrittliche Systeme während formaler Tests sicherer oder weniger leistungsfähig erscheinen, sich jedoch nach dem Einsatz anders verhalten.

Dies erzeugt eine Evaluierungslücke: Traditionelle Benchmarks und Red-Team-Tests erfassen möglicherweise nicht vollständig die realen Risiken, wenn Modelle ihr Verhalten je nach Kontext anpassen können. Für Unternehmen bedeutet dies, dass einmalige Sicherheitstests nicht ausreichen und durch fortlaufende Überwachung, Prüfung und Governance-Mechanismen ergänzt werden müssen.⁸

Abbildung 1: Beispiel für OpenAIs o3-Modell, das situatives Bewusstsein während der Evaluierungen zeigt.

11. Verifier-Modelle und Selbstkorrektur-Pipelines

Verifier-Modelle bewerten die von einem Basismodell erzeugten Ausgaben und erkennen Fehler oder Inkonsistenzen. Sie unterstützen strukturierte Selbstkorrektur. Ihre Hauptbeiträge umfassen:

• Höhere Genauigkeit bei Argumentations- und Mathematikaufgaben.
• Geringere Ausfallraten durch systematische Prüfung.
• Höhere Zuverlässigkeit in risikoreichen oder domänenspezifischen Anwendungen.

12. On-Device- und Edge-KI-Optimierung

Die On-Device- und Edge-KI-Optimierung ist zunehmend entscheidend, um die Privatsphäre zu verbessern, die Latenz zu verringern und die Effizienz zu steigern. Anstatt Daten auf zentralen Servern zu verarbeiten, können KI-Systeme direkt auf Geräten wie Smartphones, IoT-Sensoren oder Unternehmenshardware ausgeführt werden.

Zu den Vorteilen gehören:

• Verbesserte Privatsphäre, da sensible Daten lokal verbleiben.
• Geringere Latenz, die sofortige Echtzeit-Einblicke ermöglicht.
• Geringere Abhängigkeit von ständiger Konnektivität und großer Cloud-Infrastruktur.

Dieser Trend ist besonders relevant in Branchen wie dem Gesundheitswesen, der Automobilindustrie und der Fertigung, wo zeitnahe Reaktionen und Datenschutz entscheidend sind.

Skalierungsgesetze der KI

Skalierungsgesetze beschreiben, wie sich die Modellleistung ändert, wenn Parameter, Daten und Rechenleistung in ausgewogenen Verhältnissen gemeinsam skaliert werden. Untersuchungen zeigen, dass der Verlust tendenziell vorhersagbaren Potenzgesetzmustern folgt, wenn Modelle mit ausreichenden Daten und Rechenressourcen im Verhältnis zu ihrer Größe trainiert werden.

Frühe Arbeiten identifizierten Beziehungen zwischen Parametern, Token und Trainingsrechenleistung, während spätere Studien die optimalen Verhältnisse revidierten und zeigten, dass viele große Modelle untertrainiert waren und dass Modelle am besten abschneiden, wenn Parameter und Trainingstoken auf ähnliche Größenordnungen skaliert werden.

Neuere Analysen beziehen die Inferenzkosten mit ein und deuten darauf hin, dass kleinere Modelle, die länger trainiert werden, die Leistung größerer Modelle erreichen können, wenn die Inferenzlast hoch ist. Weitere Studien konzentrieren sich darauf, wie Fähigkeiten über Benchmarks hinweg skalieren, und zeigen, dass die Modelleffizienz mit der Verbesserung von Architekturen, Datenqualität und Trainingsmethoden zunimmt.

Diese Erkenntnisse leiten die Modellauswahl und Ressourcenplanung, indem sie ausgewogene Skalierung, ausreichende Trainingsdaten und die wachsende Bedeutung von Parameter- und Inferenzeffizienz betonen.

Praxisbeispiel: Parallele TTC-Skalierung mit PaCoRe

PaCoRe (Parallel Coordinated Reasoning) ist ein Open-Source-Framework, das einen neuen Ansatz zur Skalierung von Test-Time Compute (TTC) einführt.

Anstatt durch das Kontextfenster eines Modells eingeschränkt zu sein, startet PaCoRe eine massive parallele Erkundung, komprimiert und synthetisiert dann die Ergebnisse über eine Message-Passing-Architektur und ermöglicht so eine effektive Rechenschalskalierung von mehreren Millionen Token während der Inferenz.

PaCoRe liefert auch einen offenen Server aus, der mit beliebigen LLM-Endpunkten verwendet werden kann, sodass Entwickler diesen parallelen Skalierungsansatz über verschiedene Modelle und Anbieter hinweg anwenden können.⁹

13. Modellgröße skalieren

Die Erhöhung der Anzahl von Parametern in einem Modell bedeutet, es größer zu machen, typischerweise durch Hinzufügen weiterer Schichten oder Komplexerwerden bestehender Schichten. Größere Modelle können:

• Komplexere Muster erfassen: Mit mehr Parametern kann das Modell komplexere Beziehungen in den Daten darstellen.
• Größere Datensätze verarbeiten: Größere Modelle haben eine größere Kapazität, um aus umfangreichen Daten zu verarbeiten und zu lernen.

Das Verhältnis zwischen Modellgröße und Leistung kann jedoch abnehmende Erträge aufweisen. Eine 10x-Vergrößerung der Modellgröße führt nicht unbedingt zu einer 10x-Verbesserung der Leistung.

Größere Modelle erfordern auch exponentiell mehr Rechen- und Speicherressourcen, was sie teuer und schwieriger zu trainieren machen kann. Ab einem bestimmten Punkt kann eine weitere Vergrößerung des Modells vernachlässigbare Gewinne bringen, insbesondere wenn der Datensatz oder die Rechenressourcen unzureichend sind.

14. Daten skalieren

Die Verfügbarkeit und Größe des zum Trainieren eines Modells verwendeten Datensatzes beeinflussen dessen Leistung erheblich:

• Größere Datensätze verbessern die Generalisierung: Mit vielfältigeren und umfassenderen Daten lernt das Modell ein breiteres Spektrum an Mustern und neigt weniger zum Overfitting.
• Besseres Verständnis seltener Ereignisse: Große Datensätze helfen dem Modell, seltene und vielfältige Muster zu lernen, was es besser im Umgang mit ungewöhnlichen Fällen macht.

Das Skalieren von Daten hat jedoch auch Grenzen:

• Abflachung der Gewinne: Ab einem bestimmten Punkt bringt das Hinzufügen weiterer Daten abnehmende Leistungssteigerungen, da das Modell die meisten nützlichen Muster gelernt hat.
• Qualität vor Quantität: Daten schlechter Qualität oder verrauschte Daten verbessern die Leistung möglicherweise nicht, selbst in großen Mengen.
• Rechenengpass: Größere Datensätze erfordern mehr Rechenleistung und Trainingszeit, was prohibitiv sein kann.

15. Retrieval-Augmented Generation (RAG)

Retrieval-Augmented Generation ist zu einer wesentlichen Strategie zur Verbesserung von KI-Modellen geworden, ohne sich ausschließlich auf größere Modelle oder erhöhte Rechenressourcen zu verlassen. RAG-Systeme integrieren ein Large Language Model mit einer externen Wissensbasis, sodass das Modell in Echtzeit auf relevante Informationen zugreifen kann.

Zu den wichtigsten Vorteilen gehören:

• Reduzierung der Notwendigkeit, Modelle neu zu trainieren, wenn neue Informationen erstellt werden.
• Verbesserung der Leistung bei spezialisierten Geschäftsfunktionen, indem Ausgaben auf kuratierten Datenquellen basieren.
• Minderung der Risiken veralteter oder halluzinierter Antworten, indem Systeme Quellen angeben können.

Dieser Ansatz ist heute in Unternehmens-KI-Lösungen üblich, wo Trainingsdaten in sich schnell ändernden Bereichen wie Finanzen, Recht oder Kundenservice nicht mithalten können.

16. Memory-Augmented Systems

Memory-Augmented Systems geben Modellen Zugriff auf persistenten oder sessionbasierten Speicher. Dadurch kann das Modell den Kontext über Aufgaben und Interaktionen hinweg aufrechterhalten.

Wichtige Merkmale sind:

• Unterstützung für langfristigen Kontext, der nicht durch die Prompt-Länge begrenzt ist.
• Verbesserte Konsistenz über mehrstufige Workflows hinweg.
• Bessere Ausrichtung auf Anwendungsfälle, die Kontinuität erfordern, wie Projektarbeit oder komplexe Analysen.

17. Rechenleistung skalieren

Das Skalieren der Rechenleistung umfasst die Erhöhung der während des Trainings oder der Inferenz verfügbaren Rechenleistung, typischerweise durch:

• Leistungsfähigere Hardware: GPUs, TPUs oder spezialisierte KI-Chips.
• Verteilte Systeme: Training über mehrere Maschinen parallel, um große Arbeitslasten zu bewältigen.
• Längere Trainingsdauern: Dem Modell ermöglichen, seine Gewichte über mehr Iterationen zu optimieren.

Das Verhältnis zwischen Rechenleistung und Modellleistung ist grundlegend:

• Mehr Rechenleistung ermöglicht größere Modelle: Die Skalierung der Rechenleistung erlaubt das Training von Modellen mit mehr Parametern.
• Verlängertes Training: Mit ausreichender Rechenleistung können Modelle länger auf größeren Datensätzen trainieren, was zu einer besseren Optimierung führt.

Das Skalieren der Rechenleistung hat jedoch auch Herausforderungen:

• Abnehmende Erträge: Während sich die Leistung mit mehr Rechenleistung verbessert, verlangsamt sich die Verbesserungsrate mit zunehmenden Ressourcen.
• Kosten- und Energiebedarf: Das Training fortschrittlicher Modelle wie GPT-4 erfordert umfangreiche finanzielle und ökologische Ressourcen.

Trotz dieser Herausforderungen war die Skalierung der Rechenleistung entscheidend für die Verbesserung des maschinellen Lernens im KI-Bereich.

In der Inferenzphase kann die Leistung eines KI-Modells, insbesondere für Aufgaben, die Mathematik oder mehrstufiges Denken erfordern, durch Zuweisung von mehr Rechenzeit verbessert werden. Dies wird oft durch Strategien wie erhöhte Berechnung pro Abfrage oder iterative Verfeinerung erreicht. So funktioniert es:

Was passiert während der Inferenz?

Inferenz ist die Phase, in der ein vortrainiertes Modell verwendet wird, um Vorhersagen zu generieren oder Aufgaben basierend auf neuen Eingaben auszuführen. Im Gegensatz zum Training aktualisiert die Inferenz nicht die Gewichte des Modells, sondern stützt sich auf seine erlernten Fähigkeiten, um spezifische Probleme zu lösen.

Warum hilft mehr Rechenzeit?

Bei der Ausführung von Aufgaben wie mathematischen Berechnungen oder mehrstufigem Denken profitiert das Modell von mehr Zeit und Ressourcen pro Abfrage, weil:

• Iterative Verfeinerung: Bei Aufgaben, die mehrere logische Schritte erfordern, kann das Modell das Problem in kleinere Teile zerlegen, jeden Teil lösen und seine Lösung iterativ verfeinern. Die Zuweisung von mehr Rechenleistung ermöglicht es dem Modell, diese Schritte gründlicher zu verarbeiten.
• Erhöhte Präzision: Bei mathematischen Aufgaben erlaubt eine längere Inferenzzeit eine tiefere Erforschung von Mustern oder Versuch-und-Irrtum-Mechanismen, um korrekte Lösungen zu approximieren.
• Besseres kontextuelles Verständnis: Bei Aufgaben wie mehrstufigem Denken kann ein Modell mit mehr Rechenzeit den Kontext wiederholt bewerten, um sicherzustellen, dass die Zwischenschritte mit dem größeren Problem übereinstimmen.

18. Inference-Time Compute Scaling

Inference-Time Compute Scaling bezieht sich auf die Zuweisung von mehr Rechenleistung an ein Modell während der Inferenz. Dieser Ansatz unterstützt längere Denkspuren und mehrstufige Evaluierung, ohne die Modellparameter zu ändern.

Wichtige Punkte sind:

• Modelle können Zwischenschritte für Aufgaben, die Denken erfordern, iterativ verfeinern.
• Die Genauigkeit steigt, wenn das Modell tiefere Inferenzpfade ausführen darf.
• Leistungssteigerungen werden ohne Neutraining erzielt, was diese Methode für häufige Aktualisierungen geeignet macht.

Praxisbeispiel: Verbesserungen durch Post-Training und Inference-Time

Anthropics Claude Opus 4.6 zeigt, wie fortschrittliche KI-Systeme durch Verbesserungen beim Inference-Time-Reasoning und der Tool-Integration vorankommen. Diese Gewinne zeigen sich in leistungsfähigerem agentischem Codieren, bei dem das Modell mehrstufige Softwareaufgaben planen, große Codebasen navigieren und seine eigenen Fehler iterativ beheben kann.

Sie zeigen sich auch in stärkerem Tool-Einsatz und koordinierten Agenten-Workflows, wie z. B. Agententeams in Claude Code, die komplexe Aufgaben aufteilen und ausführen.

Darüber hinaus unterstützt Opus 4.6 lange Kontextfenster (bis zu ~1 Million Token in der Beta), sodass es Kohärenz über ausgedehnte Dokumente, Codebasen und mehrstufige Interaktionen hinweg aufrechterhalten kann.

Together, diese Entwicklungen heben hervor, wie Systemdesign und Inference-Time-Techniken bedeutende Fähigkeitssteigerungen über das reine Basistraining hinaus bewirken.

Abbildung 2: Diagramm, das die Leistung von Opus 4.6 auf Terminal Bench zeigt. Terminal Bench ist eine Benchmarking-Suite zur Evaluierung von KI-Agenten, die in Terminalumgebungen operieren.¹⁰

Praxisbeispiel: Gemini 3 Deep Think

Googles Gemini 3 Deep Think wurde entwickelt, um komplexe wissenschaftliche, mathematische und technische Probleme mit tieferer Inferenzsuche und Multi-Hypothesen-Exploration anzugehen.

Deep Think verbessert die Leistung, indem es ändert, wie das Modell zur Inferenzzeit denkt, und härteren Problemen mehr Rechenleistung zuweist, anstatt sich ausschließlich auf eine größere Parameteranzahl zu verlassen.

Dies zeigt, dass Denkmodalitäten, bei denen ein Modell in einen Deep-Thinking-Modus wechseln kann, der für härtere analytische Aufgaben optimiert ist, sich als eigenständiges Konzept des KI-Fortschritts neben Parameteranzahl und Werkzeug-/Deployment-Verbesserungen herauskristallisieren.

Abbildung 3: Diagramm, das die Leistung von Deep Think auf den Benchmarks ARC-AGI 2, Humanity's Last Exam, MMMU-Pro und Codeforces zeigt.¹¹

Praxisbeispiel: GPT-5.3-Codex-Spark

OpenAIs GPT-5.3-Codex-Spark ist ein code-orientiertes Modell, das als geschwindigkeitsoptimierte Variante von GPT-5.3-Codex positioniert ist und für Echtzeit-Entwickler-Workflows gedacht ist.

Zu den wichtigsten Merkmalen gehören:

• High-Throughput-Inferenz: Konzipiert für latenzarme Code-Unterstützung, mit Ausgabegeschwindigkeiten von über 1.000 Token pro Sekunde in unterstützten Umgebungen.
• Großes Kontextfenster: Unterstützt bis zu 128.000 Token Kontext, was die Nutzung mit größeren Codebasen und längeren Sitzungen ermöglicht.
• Interaktive Coding-Workflows: Ausgerichtet auf iterative Codierungsaufgaben wie Bearbeiten, Debuggen und Code-Verfeinerung in Echtzeit.
• Infrastrukturbetonung: Gebaut für den Betrieb auf latenzarmer Inferenzinfrastruktur, einschließlich Bereitstellungen auf Cerebras-Hardware.

Abbildung 4: OpenAIs GPT-5.3-Codex-Spark Benchmark-Leistung auf SWE-Bench Pro.¹²

19. Agentic AI

Statt sich auf ein einzelnes größeres Modell zu verlassen, verwenden agentische Systeme verschiedene Modelle mit definierten Rollen, wie Planung, Reasoning und Ausführung.

Vorteile sind:

• Skalierung der Reasoning-Fähigkeiten, ohne die Parameteranzahl endlos zu erhöhen.
• Größere Flexibilität beim Tool-Einsatz, indem Aufgaben dem fähigsten Modell zugewiesen werden.
• Einfachere Einbeziehung von Feedback von Benutzern und Stakeholdern in verschiedenen Phasen eines Prozesses.

Ein Beispiel ist ein Multi-Agenten-System, bei dem ein Modell Projektmanagement-Aufgaben übernimmt, ein anderes natürliche Spracheingaben interpretiert und ein drittes die Datenabfrage und -integration verwaltet. Together liefern diese Modelle bessere Ergebnisse als ein einzelnes Modell allein.

20. Techniken zur Modelleffizienz

Angesichts der Kosten und der Umweltauswirkungen des Trainings größerer Modelle sind Effizienztechniken in letzter Zeit in den Fokus gerückt. Diese Methoden ermöglichen es Entwicklern, die Leistung mit weniger Ressourcen zu verbessern:

• Quantisierung reduziert den Speicherbedarf, indem die Genauigkeit der Modellparameter gesenkt wird, ohne die Vorhersagequalität zu beeinträchtigen.
• Knowledge Distillation überträgt Fähigkeiten von einem großen Modell auf ein kleineres Modell und ermöglicht so eine schnellere Inferenz.
• Pruning entfernt redundante Parameter, um die Komplexität zu reduzieren und gleichzeitig die Genauigkeit zu erhalten.
• Low-Rank Adaptation (LoRA) ermöglicht die effiziente Feinabstimmung großer Modelle für domänenspezifische Aufgaben mit begrenzten Ressourcen.

Diese Techniken ermöglichen es, KI-Systeme über verschiedene Modelle und Geschäftskontexte hinweg skalierbarer zu machen und bessere Ergebnisse zu geringeren Kosten zu erzielen.

Empfehlungen zur Vorgehensweise bei der KI/ML-Modellverbesserung

Die Verbesserung eines KI/ML-Modells erfordert einen strategischen Ansatz, um Bereiche zu identifizieren und effektive Lösungen zu implementieren. Durch die Kombination von Leistungsüberwachung mit hypothesenbasierten Entscheidungen können KI/ML-Modelle verfeinert und für bessere Ergebnisse optimiert werden:

Leistung überwachen

Man kann etwas verbessern, indem man seine Verbesserungsbereiche kennt. Dies kann durch die Überwachung der Merkmale des KI/ML-Modells geschehen. Wenn jedoch nicht alle Modellmerkmale überwacht werden können, kann eine Auswahl von Schlüsselmerkmalen beobachtet werden, um Variationen in ihrer Ausgabe zu untersuchen, die Modellleistung beeinträchtigen können.

Hypothesengenerierung

Vor der Auswahl der richtigen Methode empfehlen wir die Durchführung einer Hypothesengenerierung. Dies ist ein vorentscheidungsorientierter Prozess, der den Entscheidungsprozess strukturiert und die Optionen eingrenzt.

Dieser Prozess beinhaltet das Sammeln von Domänenwissen, das Studieren des Problems, mit dem das KI/ML-Modell konfrontiert ist, und das Eingrenzen von leicht verfügbaren Optionen, die identifizierten Probleme angehen können.

Iterative Verbesserung und Experimentieren

Die KI/ML-Modellverbesserung ist ein fortlaufender Prozess. Nach der Bildung von Hypothesen und der Auswahl potenzieller Lösungen sind Experimentieren und Iteration der Schlüssel zur Verfeinerung des Modells.

A/B-Testing: Testen Sie verschiedene Modelle oder Änderungen an Teilmengen der Daten, um die Ergebnisse zu vergleichen. Dies hilft zu erkennen, welche Verbesserungen am effektivsten sind.

Modell-Neutraining: Trainieren Sie das Modell regelmäßig mit neuen Daten, Funktionsupdates oder Algorithmusanpassungen, um sicherzustellen, dass es relevant bleibt und sich an veränderte Bedingungen anpasst.

Automatisierte Überwachung und Feedback-Schleifen: Nutzen Sie automatisierte Systeme, um kontinuierliches KI-Feedback zu liefern, das schnelle Anpassungen und rasche Iteration von Verbesserungen ermöglicht.

Feedback von Stakeholdern einbeziehen

Ein oft übersehener Teil des Modellverbesserungsprozesses ist das Sammeln von Eingaben von Endbenutzern oder Stakeholdern. KI-Feedback, das von Geschäftsteams, Fachexperten oder Endbenutzern gesammelt wird, bietet wertvollen Kontext, um Vorhersagen zu verfeinern und reale blinde Flecken zu adressieren.

Die Integration dieser Feedback-Schleife trägt dazu bei, dass sich das Modell kontinuierlich anpasst und an den betrieblichen Anforderungen ausgerichtet bleibt.

Diese Feedback-Schleife stellt sicher, dass das Modell an den realen Anforderungen und Erwartungen ausgerichtet bleibt.

Die wirkungsvollsten Änderungen priorisieren

Nicht alle Verbesserungen werden das gleiche Wirkungsniveau haben. Es ist wichtig, Änderungen zu priorisieren, die direkt die kritischsten Leistungsprobleme angehen.

Zum Beispiel kann die Verbesserung der Datenqualität oder die Behebung eines signifikanten Bias im Modell wesentlich stärkere Auswirkungen haben als geringfügige Anpassungen der Hyperparameter des Algorithmus.

Den Verbesserungsprozess dokumentieren und standardisieren

Für kontinuierliche Verbesserungen dokumentieren Sie die Methoden, Experimente und Ergebnisse.

Die Standardisierung dieses Prozesses ermöglicht es, dass zukünftige Verbesserungen einem bewährten, strukturierten Ansatz folgen, sodass Verbesserungen gemessen, verglichen und verfolgt werden können.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

FAQs

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Ermut, Sıla},
  title  = {{20 Strategien zur KI-Verbesserung & Beispiele}},
  year   = {2026},
  month  = feb,
  howpublished    = {\url{https://aimultiple.com/ai-improvement}},
  note   = {AIMultiple. Abgerufen am 20. Februar 2026}
}

Referenzlinks

1.

Professional Services - Telstra Enterprise

2.

[2111.09297] Learning to Compose Visual Relations

3.

More complex deep learning models require more complex data | by Anyverse | Anyverse™ | Medium

Anyverse™

4.

Single instruction, multiple data - Wikipedia

Contributors to Wikimedia projects

5.

https://arxiv.org/pdf/1706.03762

6.

moonshotai/Kimi-K2.5 · Hugging Face

7.

2023: A Year of Groundbreaking Advances in AI and Computing — Google DeepMind

Google DeepMind

8.

https://internationalaisafetyreport.org/sites/default/files/2026-02/international-ai-safety-report-2026.pdf

9.

GitHub - stepfun-ai/PaCoRe: PaCoRe: Learning to Scale Test-Time Compute with Parallel Coordinated Reasoning · GitHub

10.

Claude Opus 4.6 \ Anthropic

11.

Gemini 3 Deep Think: AI model update designed for science

Google

12.

Introducing GPT-5.3-Codex | OpenAI

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 60% der Fortune 500.

Cems Arbeit wurde von führenden globalen Publikationen zitiert, darunter Business Insider, Forbes, Washington Post, globalen Unternehmen wie Deloitte, HPE und NGOs wie dem World Economic Forum sowie supranationalen Organisationen wie der European Commission.

Während seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen über ein Jahrzehnt lang bei McKinsey & Company und Altman Solon in Technologieentscheidungen. Er veröffentlichte auch einen McKinsey-Bericht zur Digitalisierung.

Er leitete die Technologiestrategie und Beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Zudem führte er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos an, das innerhalb von 2 Jahren von null auf einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung anwuchs. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.

Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er schloss sein Studium an der Bogazici University als Computer-Ingenieur ab und hat einen MBA von der Columbia Business School.

Vollständiges Profil anzeigen

Recherchiert von

Sıla Ermut

Branchenanalystin

Folgen auf

Sıla Ermut ist eine Branchenanalystin bei AIMultiple und deckt KI-Modelle, KI-Infrastruktur, KI-Governance und Unternehmensanwendungen von KI ab. Ihre Forschung konzentriert sich überwiegend auf den Einsatz von KI in Marketing, Gesundheitswesen, Lieferketten und Nachhaltigkeit. Zuvor war sie als Recruiterin in Projektmanagement- und Beratungsunternehmen tätig. Sıla hat einen Master of Science in Sozialpsychologie und einen Bachelor of Arts in Internationale Beziehungen.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten