LLM Parameter: GPT-5 High, Medium, Low und Minimal
Neue LLMs, wie die OpenAI-Familie GPT-5, gibt es in verschiedenen Versionen (z. B. GPT-5, GPT-5-mini und GPT-5-nano) sowie mit verschiedenen Parameter-Einstellungen, darunter hoch, mittel, niedrig und minimal.
Im Folgenden untersuchen wir die Unterschiede zwischen diesen Modellversionen, indem wir ihre Benchmark-Leistung und die Kosten für die Ausführung der Benchmarks zusammenstellen.
Preis vs. Erfolg: Wichtige Erkenntnisse
Wir haben die GPT-5-Familie in unserer Analyse verwendet. Wir nutzten sechs Benchmarks in verschiedenen Bereichen, darunter Reasoning, Coding, Befehlsbefolgung und Mathematik.
Unsere Analyse ergab:
- Im Durchschnitt über alle Benchmarks liefern GPT-5 (high) und GPT-5 (medium) nahezu identische Erfolgsquoten (65 % vs. 64 %), doch GPT-5 (high) kostet fast doppelt so viel (511 $ vs. 280 $). Ihnen folgen GPT-5-mini (high), GPT-5 (low) und GPT-5-mini (medium) mit Erfolgsquoten von 62 %, 61 % bzw. 60 % zu deutlich niedrigeren Preisen von 105 $, 90 $ bzw. 28 $. Dies zeigt, dass durch die Akzeptanz eines Rückgangs der Erfolgsquote von nur ca. 5 % Aufgaben durch den Wechsel von GPT-5 (high) zu GPT-5-mini (medium) bis zu 18-mal kostengünstiger erledigt werden können.
- GPT-5-mini (high) übertrifft GPT-5 (low) in fast jedem Benchmark und tut dies zu gleichen oder niedrigeren Kosten. In IFBench liegen die Erfolgsquoten bei 75 % vs. 67 %; in AIME 2025 bei 97 % vs. 83 %; in Humanity’s Last Exam bei 20 % vs. 18 %; und in GPQA Diamond bei 83 % vs. 81 %. Bei SciCode liegen sie mit 39 % gleichauf, doch GPT-5-mini (high) bleibt dennoch kostengünstiger.
- Das teuerste Modell, GPT-5 (high), übertrifft den zweitbesten Performer nur bei drei Benchmarks, und selbst dann beträgt die Marge nicht mehr als 3 %. Bei allen anderen Benchmarks wird es von günstigeren Alternativen übertroffen.
High-Medium-Low-Minimal-Parameter-Einstellungen
Obwohl LLM-Parameter oft als numerische Anpassungen beschrieben werden, können sie auch als qualitative Bereiche wie hoch, mittel und niedrig ausgedrückt werden. Diese Bereiche sind keine festen Standards; stattdessen sind es konzeptionelle Kategorien, die beschreiben, wie viel Einfluss ein Parameter auf die Ausgabe des Modells hat.
Die Verwendung dieser drei Ebenen hilft bei der schnellen Auswahl von Einstellungen für verschiedene Aufgaben, je nach gewünschtem Grad an Kreativität, Determinismus oder Länge. Diese Ebenen sind nützlich bei der Anpassung von Top-P, Max-Tokens und Strafparametern.
Der mittlere Parameter bezieht sich auf die reguläre (nicht parametrisierte) Version eines Modells.
Minimale Einstellung:
- Top-p / Top-k: Sehr niedrig (top-p ≈ 0,1–0,2, top-k = 1–5)
- Max tokens: Kurzes Limit
- Strafen: Sehr niedrig oder keine
- Effekte:
- Hoch deterministisch, fast identische Ausgaben jedes Mal.
- Sehr prägnant, faktisch und starr.
- Am besten geeignet für Code, Mathematik, Datenbankabfragen oder Antworten mit strikter Compliance.
- Sehr eingeschränkt, mit geringer Zufälligkeit, die Vorhersehbarkeit und Präzision begünstigt.
Niedrige Einstellung:
- Top-p / Top-k: Niedrig (top-p ≈ 0,3–0,5, top-k = 5–10)
- Max tokens: Kurz bis mittel
- Strafen: Niedrig bis moderat
- Effekte:
- Meist deterministisch, erlaubt jedoch geringe Variationen.
- Reduziert roboterhafte Wiederholungen im Vergleich zur minimalen Einstellung.
- Geeignet für Zusammenfassungen, strukturierte Erklärungen oder professionelle Texte mit konsistentem Stil.
Mittlere Einstellung:
- Top-p / Top-k: Moderat (top-p ≈ 0,7–0,9, top-k = 20–50)
- Max tokens: Mittlere Länge
- Strafen: Moderat, um Wiederholungen zu vermeiden, aber etwas Kreativität zuzulassen
- Effekte:
- Ausgewogen zwischen Genauigkeit und Kreativität.
- Erzeugt natürliche Antworten, die sich bei verschiedenen Durchläufen leicht unterscheiden.
- Geeignet für allgemeine Q&A, Entwurfsarbeiten und Brainstorming.
Hohe Einstellung:
- Top-p / Top-k: Hoch (top-p ≈ 0,95–1,0, top-k = 50–100)
- Max tokens: Großes Limit für längere Ausgaben
- Strafen: Mittel bis hoch, um Vielfalt und Neuheit zu fördern
- Effekte:
- Hoch kreative und vielfältige Ausgaben.
- Weniger vorhersehbar, mit einem größeren Risiko von Halluzinationen.
- Am besten geeignet für Geschichtenerzählen, Ideation, Rollenspiel und kreatives Schreiben.
Um zu entscheiden, welche Ebene verwendet werden soll, sollten folgende Punkte berücksichtigt werden:
- Aufgabentyp/Zweck: Wenn Sie Genauigkeit benötigen (Recht, Gesundheitswesen, Code, faktisch), wählen Sie minimal oder mittel. Wenn Sie Kreativität, Stimme oder Neuheit benötigen, ist hoch möglicherweise besser.
- Toleranz für Fehler: Wie schlimm sind gelegentliche Eigenarten oder Fehler? Wenn gering, vermeiden Sie hohe Zufälligkeit.
- Rechenbeschränkungen: Hohe Ausgabelängen und hohe Zufälligkeit erfordern oft mehr Rechenleistung und Speicher.
- Modellgröße: Größere Modelle kommen mit hoher Zufälligkeit besser zurecht, während kleinere Modelle unter hohen Einstellungen erheblich an Leistung verlieren können.
- Gewünschte Ausgabelänge: Längere generierte Texte können abdriften, daher ist hohe Zufälligkeit plus lange Länge riskanter.
GPT-5
GPT-5 balanciert höhere Reasoning-Fähigkeiten mit mittlerer Geschwindigkeit und eignet sich daher für komplexe, mehrstufige Aufgaben, bei denen Genauigkeit und Anpassungsfähigkeit entscheidend sind.
- Kontextfenster: 400.000
- Max. Ausgabe-Token: 128.000
- Wissensstand: 30. September 2024
- Reasoning: Höher, mit Unterstützung für Reasoning-Token
Preise (pro 1 Mio. Token)
- Eingabe: 1,25 $
- Gecachte Eingabe: 0,125 $
- Ausgabe: 10,00 $
Modalitäten
- Text: Eingabe und Ausgabe
- Bild: nur Eingabe
- Audio: nicht unterstützt
GPT-5 mini
GPT-5 mini ist eine kleinere, schnellere und erschwinglichere Version von GPT-5. Es behält eine starke Reasoning-Fähigkeit bei, ist jedoch besser für klar definierte Aufgaben geeignet.
- Kontextfenster: 400.000
- Max. Ausgabe-Token: 128.000
- Wissensstand: 31. Mai 2024
- Funktionen: Unterstützt Websuche, Dateisuche und Code-Interpreter.
Preise pro 1 Mio. Token:
- Eingabe: 0,25 $
- Gecachte Eingabe: 0,025 $
- Ausgabe: 2,00 $
GPT-5 nano
GPT-5 nano ist die schnellste und günstigste Option, entwickelt für leichte Aufgaben wie Klassifizierung und Zusammenfassung.
- Kontextfenster: 400.000
- Max. Ausgabe-Token: 128.000
- Wissensstand: 31. Mai 2024
- Funktionen: Unterstützt Dateisuche, Bildgenerierung und Code-Interpreter (aber keine Websuche).
Preise pro 1 Mio. Token:
- Eingabe: 0,05 $
- Gecachte Eingabe: 0,005 $
- Ausgabe: 0,40 $
GPT-5-Serienfunktionen
Die GPT-5-Serie führt mehrere Fähigkeiten ein, die Kontrolle, Formatierung und Effizienz verbessern. Diese Funktionen gelten für GPT-5, GPT-5 Mini und GPT-5 Nano.
Verbosity-Parameter
Der Verbosity-Parameter ermöglicht es Entwicklern, den Detaillierungsgrad der Modellausgaben zu beeinflussen, ohne den Prompt zu ändern.
Er akzeptiert drei Werte:
- Niedrig: kurze und prägnante Ergebnisse
- Mittel: ausgewogene Ergebnisse (Standard)
- Hoch: detaillierte Ausgaben, geeignet für Erklärungen, Dokumentation oder Überprüfung
Ein höherer Verbosity-Wert führt zu längeren Antworten und einer höheren Nutzung von Ausgabe-Token.
Freiform-Funktionsaufrufe
Die GPT-5-Serie unterstützt benutzerdefinierte Tool-Aufrufe, die rohe Textausgaben anstelle von strukturiertem JSON akzeptieren. Dies ermöglicht die Generierung von Code, SQL-Abfragen oder Konfigurationstext, der direkt in externe Laufzeitumgebungen wie folgende übergeben wird:
- Code-Sandboxes
- SQL-Engines
- Shell-Umgebungen
- Konfigurationssysteme
Der benutzerdefinierte Tool-Typ unterstützt keine parallelen Tool-Aufrufe. Er ist für Situationen gedacht, in denen natürlicher Text einem strengen JSON-Schema vorzuziehen ist.
Unterstützung für kontextfreie Grammatiken (CFG)
Modelle können Text produzieren, der durch eine mit Lark oder Regex-Syntax definierte Grammatik eingeschränkt ist. Dies stellt sicher, dass der generierte Text strengen strukturellen Regeln folgt. Häufige Anwendungsfälle umfassen:
- Durchsetzung spezifischer SQL-Dialekte
- Einschränkung von Zeitstempeln oder Identifikatoren
- Validierung von Konfigurationsformaten
Bei der Verwendung von CFGs definieren Entwickler Terminals und Regeln, die die Menge der zulässigen Zeichenketten beschreiben. Das Modell produziert nur Ausgaben, die diesen Regeln entsprechen.
Minimaler Reasoning-Modus
Der minimale Reasoning-Modus reduziert oder entfernt Reasoning-Token. Dies verringert die Latenz und verbessert die Zeit bis zum ersten Token.
Er eignet sich für Aufgaben wie:
- Klassifizierung
- Kurze Umschreibungen
- Strukturierte Extraktion
- Basisformatierungsoperationen
Wenn keine Reasoning-Einstellung angegeben wird, ist das Standard-Einsatzniveau mittel.
Wichtige Unterschiede
Die drei Modelle unterscheiden sich hauptsächlich in der Reasoning-Tiefe, der Geschwindigkeit und den Kosten. Die neuen Funktionen können in allen Modellen verwendet werden, aber ihre Auswirkungen variieren je nach Modell.
Reasoning
- GPT-5 bietet die stärkste Reasoning-Fähigkeit. Es ist geeignet für komplexe, mehrstufige Probleme in Coding, wissenschaftlicher Analyse oder Entscheidungsunterstützung.
- GPT-5 mini bietet starkes Reasoning für strukturierte Prompts mit vorhersehbaren Aufgabenabgrenzungen.
- GPT-5 nano hat eine mäßige Reasoning-Leistung und funktioniert am besten bei Aufgaben, die keine tiefgehende Analyse erfordern.
- Der minimale Reasoning-Modus kann bei allen Modellen verwendet werden und bietet den größten Nutzen für GPT-5 nano und GPT-5 mini, angesichts ihres Geschwindigkeitsvorteils.
Geschwindigkeit
- GPT-5 nano ist die schnellste Option und effektiv für Echtzeit- oder groß angelegte Workloads.
- GPT-5 mini balanciert Geschwindigkeit mit Reasoning und eignet sich daher für reguläre Produktionsworkloads.
- GPT-5 ist langsamer, da es mehr internes Reasoning durchführt, was jedoch zu präziseren Ausgaben führt.
- Der minimale Reasoning-Modus kann die Latenz weiter reduzieren, insbesondere für nano.
Kosten
- GPT-5 nano hat die niedrigsten Kosten pro Token. Es wird für hochvolumige Aufgaben wie Batch-Klassifizierung oder Zusammenfassung bevorzugt.
- GPT-5 mini liegt im mittleren Bereich und bietet eine Balance zwischen Leistungsfähigkeit und Kosten.
- GPT-5 ist das teuerste Modell und wird typischerweise verwendet, wenn Genauigkeit und Konsistenz Priorität haben.
- Verbosity-Einstellungen beeinflussen die Kosten, da ein höherer Verbosity-Wert mehr Ausgabe-Token produziert.
Was sind LLM-Parameter?
LLM-Parameter sind Einstellungen, die beeinflussen, wie Large Language Models (LLMs) während der Inferenz Text generieren. Diese Parameterkontrollen ändern nicht die gelernten Gewichte eines vortrainierten Modells. Stattdessen gestalten sie, wie das Sprachmodell aus einer Wahrscheinlichkeitsverteilung über wahrscheinliche Token bei der Generierung von Antworten samplet.
Large Language Models sind neuronale Netzwerksysteme, die typischerweise auf der Transformer-Architektur basieren. Während des Trainings lernt das Modell numerische Werte, die Gewichte und Bias-Werte genannt werden. Gewichte repräsentieren die Wichtigkeit, die verschiedenen Eingaben zugewiesen wird, und ermöglichen es dem Modell, Beziehungen zwischen Wörtern, Konzepten und Kontext zu erfassen. Bias-Werte sind konstante Werte, die innerhalb von Schichten addiert werden und helfen, Neuronen unter bestimmten Bedingungen zu aktivieren. Zusammen definieren diese Werte die Fähigkeit des Modells, komplexe Muster in der Sprache zu erkennen.
Inferenzparameter hingegen operieren nach dem Training. Sie gestalten, wie das gelernte Wissen des Modells verwendet wird, ohne die zugrunde liegenden Gewichte zu ändern. Die Anpassung von LLM-Parametern ermöglicht es Benutzern, die Ausgabevielfalt, Vorhersehbarkeit, Wiederholung und Ausgabelänge zu beeinflussen, was für die Optimierung der Modellleistung bei spezifischen Aufgaben wie kreativem Schreiben, strukturierter Generierung oder technischen Erklärungen entscheidend ist.
Zu den wichtigsten Parametern gehören Top-P-Nucleus-Sampling, Max-Tokens, Frequency Penalty, Presence Penalty und Stop-Sequenzen. Zusammen steuern diese Sampling-Parameter die generierte Ausgabe und balancieren dabei Ausgabegüte, Rechenkosten und Inferenzeffizienz.
Als bevorzugte Quelle hinzufügenModellgröße, Parameter und Trainingsgrundlagen
Die Anzahl der Parameter in Large Language Models kann in die Milliarden gehen. Größere Modelle haben typischerweise eine stärkere Fähigkeit, nuancierte Sprache, langreichweitige Abhängigkeiten und komplexes Reasoning zu handhaben. Diese verbesserte Modellleistung geht zu Lasten eines höheren Bedarfs an Rechenleistung sowohl während des Trainings als auch der Inferenz.
Kleinere Modelle benötigen weniger Rechenressourcen und bieten eine bessere Recheneffizienz, können aber bei komplexeren Mustern oder längeren Kontextfenstern Schwierigkeiten haben. Die Wahl zwischen größeren und kleineren Modellen hängt von der Aufgabe, der akzeptablen Latenz und der verfügbaren Infrastruktur ab. Siehe LLM scaling laws, um zu erfahren, wie KI-Forscher den Effekt von Modellgröße, Datenqualität und Trainingsstrategie bewerten.
Mehrere Trainingsparameter gestalten, wie ein Modell vor der Inferenz lernt:
- Batch-Größe bezieht sich auf die Anzahl der Trainingsstichproben, die verarbeitet werden, bevor das Modell seine Gewichte aktualisiert. Größere Batch-Größen verbessern die Trainingseffizienz, erhöhen jedoch die Speichernutzung.
- Lernrate steuert, wie schnell das Modell seine Gewichte und Bias-Werte anpasst. Höhere Werte beschleunigen das Lernen, bergen aber das Risiko von Instabilität, während niedrigere Werte ein stetiges Konvergieren fördern.
- Hyperparameter definieren externe Einstellungen wie Modellgröße, Batch-Größe und Lernrate und gestalten den gesamten Trainingsprozess.
Nach dem Vortraining sind Fine-Tuning und Alignment entscheidend. Fine-Tuning passt ein vortrainiertes Modell an domainspezifische Daten oder Aufgaben an, während Alignment sicherstellt, dass der generierte Text menschliche Absichten widerspiegelt.
Parameter-effizientes Fine-Tuning (PEFT) verbessert die Recheneffizienz, indem die meisten Parameter eingefroren und nur eine kleine Teilmenge aufgabenrelevanter Parameter aktualisiert werden.
Top-p-Sampling
Top-p-Sampling, auch bekannt als Nucleus-Sampling, begrenzt die Token-Auswahl auf die kleinste Gruppe, deren kumulative Wahrscheinlichkeit einen gegebenen Schwellenwert p überschreitet. Anstatt aus einer festen Anzahl von Token zu wählen, wählt das Modell dynamisch aus wahrscheinlichen Token, die zusammen die angegebene Wahrscheinlichkeitsmasse ausmachen.
- Niedrigere Werte (zum Beispiel p = 0,5) beschränken das Sampling auf eine schmale Gruppe der Token mit der höchsten Wahrscheinlichkeit, was zu kohärentem, aber weniger variablen Text führt.
- Höhere Werte (zum Beispiel p = 0,9) ermöglichen das Sampling aus einem breiteren Pool, erhöhen die Ausgabevielfalt, aber auch das Risiko, vom Thema abzuweichen.
Top-k-Sampling
Top-k-Sampling beschränkt die Wahl des Modells auf die k Token mit der höchsten Wahrscheinlichkeit für den nächsten Schritt in der Textgenerierung. Durch die Eingrenzung des Kandidatensatzes beeinflusst dieser Parameter direkt die Vorhersehbarkeit und Vielfalt.
- Niedrigere Top-k-Werte begrenzen die Auswahl auf eine kleine Gruppe hochwahrscheinlicher Token und produzieren vorhersehbarere und fokussiertere Ausgaben.
- Höhere Werte erweitern den Kandidatenpool, erhöhen die Variabilität und unterstützen eine vielfältigere Sprache.
Während sich Top-p-Sampling dynamisch basierend auf der Wahrscheinlichkeitsmasse anpasst, verwendet Top-k-Sampling einen festen Cut-off. Die beiden werden häufig während der Modellevaluation verglichen, um optimale Einstellungen für spezifische Aufgaben zu bestimmen.
Max tokens (Die Token-Anzahl)
Der Parameter max_tokens definiert die maximale Anzahl von Token, die das Modell in einer einzelnen Antwort generieren kann. Er bestimmt direkt die Ausgabelänge und beeinflusst die Rechenkosten.
- Niedrigere maximale Werte erzwingen prägnante Antworten, können aber wichtige Details abschneiden.
- Höhere Werte ermöglichen detailliertere Erklärungen, erfordern jedoch mehr Rechenressourcen und erhöhen die Inferenzzeit.
Die maximale Anzahl von Token ist durch das Kontextfenster begrenzt, das sowohl die Eingabedaten als auch die generierte Ausgabe umfasst. Wenn die kombinierte Anzahl von Token das Token-Limit des Modells überschreitet, stoppt die Generierung unabhängig von der max-tokens-Einstellung.
Frequency-Penalty-Parameter
Die Frequency Penalty passt die Wahrscheinlichkeit von Token basierend darauf an, wie oft sie bereits im generierten Text erschienen sind.
- Positive Werte reduzieren Wiederholungen und verbessern die Ausgabegüte bei längeren Antworten.
- Negative Werte fördern die Wiederverwendung, was für Dokumente hilfreich sein kann, die eine konsistente Terminologie erfordern.
Übermäßig hohe Strafen können die Kohärenz beeinträchtigen, da natürliche Wiederholungen oft für menschenähnlichen Text notwendig sind. Dieser Parameter ist am effektivsten bei der Optimierung der Modellleistung für die Generierung von Langtexten.
Presence Penalty
Die Presence Penalty reduziert die Wahrscheinlichkeit von Token, die mindestens einmal erschienen sind, unabhängig von der Häufigkeit. Dies ermutigt das Modell, neue Ideen einzuführen.
- Positive Werte fördern Neuheit und Exploration, was bei Brainstorming und kreativem Schreiben hilfreich ist.
- Negative Werte verstärken bestehende Begriffe, was bei strukturierten oder eingeschränkten Ausgaben hilfreich sein kann.
Die Presence Penalty ist eine wertvolle Kontrolle zur Steuerung der Ideenvielfalt, sollte aber sorgfältig angewendet werden, um eine unnatürliche Vermeidung wichtiger Begriffe zu vermeiden.
Stop-Sequenzen
Stop-Sequenzen definieren spezifische Token oder Zeichenketten, die das Modell signalisieren, die Generierung zu stoppen. Sie werden häufig in strukturierten Anwendungen verwendet.
- Nützlich zur Durchsetzung von Vorlagen in Dialogsystemen oder bei der Code-Generierung.
- Helfen, die Ausgabelänge zu kontrollieren und irrelevante Fortsetzungen zu verhindern.
Stop-Sequenzen verbessern die Vorhersehbarkeit in generierten Textausgaben, ohne sich ausschließlich auf Token-Limits zu verlassen.
Seed und Determinismus
Einige Systeme ermöglichen es Benutzern, einen zufälligen Seed anzugeben, um sicherzustellen, dass dieselben Eingabedaten und Parameter-Einstellungen dieselbe generierte Ausgabe produzieren.
- Nützlich für Modellevaluation und Tests.
- Hilft, verschiedene Parameterkonfigurationen zu vergleichen, ohne dass zufällige Variationen die Ergebnisse beeinflussen.
Deterministische Generierung unterstützt die Reproduzierbarkeit, obwohl exakte Ausgaben zwischen verschiedenen KI-Modellen oder Bereitstellungsumgebungen dennoch variieren können.
Unterschiede zwischen Schlüsselparametern
Das Verständnis, wie sich Schlüsselparameter unterscheiden, hilft bei der Anpassung von LLM-Parametern für optimale Ergebnisse.
- Frequency Penalty vs. Presence Penalty: Frequency Penalty skaliert mit der Häufigkeit, mit der ein Token erscheint, während Presence Penalty einmalig angewendet wird, nachdem ein Token erstmals erschienen ist.
- Top-k vs. Top-p-Sampling: Top-k begrenzt die Auswahl auf eine feste Anzahl von Token, während Top-p Token dynamisch basierend auf der kumulativen Wahrscheinlichkeit auswählt.
- Max tokens vs. Kontextfenster: Max tokens begrenzt die Ausgabelänge, während das Kontextfenster eine feste Obergrenze darstellt, die sowohl Eingabe- als auch Ausgabetoken abdeckt.
Die sorgfältige Abstimmung dieser Parameter ermöglicht es Praktikern, Ausgabegüte, Recheneffizienz und LLM-Leistung bei Anwendungen wie Retrieval-Augmented Generation, analytischen Aufgaben und offenen Textgenerierung zu balancieren.
Diese Forschung zitieren
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{ermut2026,
author = {Ermut, Sıla and Alper, Şevval},
title = {{LLM Parameter: GPT-5 High, Medium, Low und Minimal}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/llm-parameters}},
note = {AIMultiple. Abgerufen am 26. Juni 2026}
}
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.