LLM-Parameter: Typen, Skalierung, Fine-Tuning-Leitfaden
Die Parameteranzahl ist eine der am häufigsten zitierten Spezifikationen eines großen Sprachmodells, aber sie bestimmt nicht, wie gut ein Modell funktioniert oder wie viel es kostet, es zu betreiben. Das folgende Diagramm vergleicht 31 Modelle anhand ihres LLM-Index-Scores und ihrer durchschnittlichen Kosten pro Aufgabe über sieben Benchmarks.
Vier Modelle bilden die Pareto-Linie, bei der kein anderes Modell einen höheren Score zu geringeren Kosten bietet: GPT-6 Luna, Xiaomis MiMo-V2.6-Pro, GPT-6.1 Sol und Claude Opus 5.5. Das Diagramm weist auf drei Muster hin:
- Abnehmende Erträge an der Spitze: Claude Opus 5.5 hat den höchsten Score, aber der Vorsprung gegenüber GPT-6.1 Sol ist im Verhältnis zum Kostenunterschied gering. Die letzten Punkte an Leistung kosten am meisten.
- Höhere Kosten garantieren keinen höheren Score: Die meisten Modelle liegen deutlich unter der Pareto-Linie, und mehrere kosten pro Aufgabe mehr als GPT-6.1 Sol, während sie niedriger abschneiden. Der Preis spiegelt die Anbieterpreise und die Anzahl der Tokens wider, die ein Modell generiert.
- Modelle mit offenen Gewichten konkurrieren über Effizienz: MiMo-V2.6-Pro ist das einzige Modell mit offenen Gewichten auf der Pareto-Linie. Es erreicht einen mittleren Score bei einem der niedrigsten Kosten in diesem Vergleich, obwohl es über eine Billion Gesamtparameter verfügt. Da es eine Mixture-of-Experts-Architektur verwendet, verarbeitet nur ein Bruchteil dieser Parameter jedes Token, was die Inference kostengünstig hält.
Definitionen und Typen von LLM-Parametern
Ein Modellparameter ist eine Variable, die ein Machine-Learning-System selbst trainiert, im Unterschied zu Werten, die von menschlichen Bedienern festgelegt werden. Bei der Implementierung neuronaler Netze sind Parameter Tensoren, die mit aktivierter automatischer Gradientenberechnung registriert sind, sodass Optimierungsalgorithmen ihre Werte während der Backpropagation aktualisieren können.
Parameter umfassen Gewichte, die Eingangssignale skalieren, Biases, die Aktivierungen verschieben, und Embeddings. Sie liefern gelernte Vektorrepräsentationen diskreter Tokens.1
Trainierbare Parameter vs. Hyperparameter
Gewichte, Biases und Embeddings
Gewichte und Biases
Gewichte und Biases bilden die lernbaren Komponenten linearer Transformationen. In einer vollständig verbundenen Schicht hat die Gewichtsmatrix die Form (out_features, in_features) und skaliert die Eingabe, während der Bias-Vektor mit der Form (out_features) die Aktivierungsfunktion verschiebt, um Ausgaben ungleich null zu ermöglichen, wenn die Eingaben null sind.2
In einem Transformer enthält jede Attention-Teilschicht Query-, Key-, Value- und Output-Projektionsmatrizen (W_q, W_k, W_v, W_o), und gängige Implementierungen wie PyTorchs MultiheadAttention fügen allen vier Projektionen optionale Bias-Terme hinzu.3
Embeddings
Embeddings sind die dritte Parameterkategorie: eine Nachschlagetabelle, die für jeden Token im Vokabular einen gelernten Vektor speichert, initialisiert aus einer Normalverteilung und trainiert über Backpropagation wie andere Gewichte.4
Die ursprüngliche Transformer-Architektur verwendet dieselbe Gewichtsmatrix für Eingabe-Embeddings, Ausgabe-Embeddings und die lineare Transformation vor der Softmax-Funktion, wobei die Gewichte mit der Quadratwurzel der Modelldimension skaliert werden.
Wie Parameter innerhalb von LLMs funktionieren
Ein großes Sprachmodell arbeitet, indem es die trainierten Parameterwerte während der Inference fest hält und sie anwendet, um Eingabe-Token-Embeddings in Ausgabewahrscheinlichkeitsverteilungen zu transformieren.
Die Transformer-Architektur besteht aus gestapelten Schichten, von denen jede Multi-Head-Self-Attention- und Feed-Forward-Blöcke enthält, die durch Gewichtsmatrizen und Bias-Vektoren parametrisiert sind.5
Vor dem Training werden bei der Gewichtsinitialisierung Werte aus Verteilungen gezogen, die darauf ausgelegt sind, eine stabile Vorwärts- und Rückwärts-Signalvarianz über die Schichten hinweg aufrechtzuerhalten.
Wie LLM-Parameter während des Trainings gelernt werden
Das Training verläuft über Zyklen aus Vorwärtspropagation, Verlustberechnung und Backpropagation. Der Vorwärtsdurchlauf berechnet Zwischenaktivierungen und endgültige Ausgaben, indem die Gewichtsmatrizen sequenziell angewendet werden.
Backpropagation wendet die Kettenregel der Differenzialrechnung an, um den Gradienten des Verlusts in Bezug auf jeden Parameter zu berechnen, und propagiert Fehlersignale von der Ausgabe- zur Eingabeschicht. Gradient Descent aktualisiert dann jeden Parameter in die Richtung, die den Verlust reduziert, und dieser iterative Prozess läuft bis zur Konvergenz.
Inference-Zeit-Generierungsparameter
Während der Inference bleiben trainierte Gewichte eingefroren, während Sampling-Hyperparameter die Token-Auswahl steuern. Temperatur skaliert die Logits vor der Softmax-Funktion und reicht von 0 bis 2; höhere Werte erhöhen die Zufälligkeit, und niedrigere Werte erhöhen die Determiniertheit.6
Top-p (Nucleus Sampling) beschränkt die Auswahl auf die kleinste Menge von Tokens, deren kumulative Wahrscheinlichkeitsmasse den festgelegten Schwellenwert überschreitet, typischerweise zwischen 0 und 1. Top-k Sampling beschränkt die Auswahl auf die k wahrscheinlichsten Tokens.
Frequenzstrafe und Präsenzstrafe reichen von -2 bis 2, wobei positive Werte die Wahrscheinlichkeit von Tokens basierend auf ihrer vorhandenen Häufigkeit im generierten Text bzw. ihrem bisherigen Vorkommen im Text verringern.
Neuere Modelle haben die Steuerelemente Temperatur und Top-p als veraltet eingestuft und weisen nicht standardmäßige Werte zurück oder behandeln sie als No-Ops:
Anthropics Claude Opus 4.7 und spätere Modelle geben einen 400-Fehler zurück, wenn Temperatur, Top-p oder Top-k auf einen anderen als den Standardwert gesetzt wird, und Anthropic empfiehlt, die Ausgabe stattdessen über Prompting zu steuern.7
OpenAIs Reasoning-Modelle, darunter o1, o3, o4-mini und GPT-5, weisen ebenfalls nicht standardmäßige Werte zurück. Sie akzeptieren Temperatur beim Standardwert 1 und unterstützen keine benutzerdefinierten Einstellungen für Top-p, Frequenzstrafe oder Präsenzstrafe.8
Googles Gemini 4 Argon nimmt den No-Op-Weg: Anfragen, die Temperatur, Top-p oder Top-k enthalten, werden weiterhin durchgelassen, aber das Modell ignoriert diese Werte.9
Parameteranzahl und Modellgröße
OpenAIs GPT, Anthropics Claude und Googles Gemini geben keine Parameteranzahl bekannt, daher sind veröffentlichte Zahlen für diese Modelle externe Schätzungen. Modelle mit offenen Gewichten veröffentlichen ihre Größen, und sie machen einen großen Anteil der realen Nutzung aus: DeepSeek führte OpenRouter mit 43 % der Textanfragen in der Woche Anfang November 2026 an.10
Die meisten aktuellen Flaggschiffe mit offenen Gewichten verwenden eine Mixture-of-Experts-Architektur (MoE), die Feed-Forward-Schichten in viele kleinere Expertennetzwerke aufteilt und jedes Token an einige von ihnen routet. Diese Modelle weisen daher zwei Zahlen aus:
- Gesamtparameter: Jeder Experte, der im Speicher gehalten wird.
- Aktive Parameter: Die Experten, die ein bestimmtes Token verarbeiten.
Kimi K3 beispielsweise hat 2.8 Billionen Gesamtparameter, aktiviert aber 104 Milliarden pro Token und verwendet 16 seiner 896 Experten.11
Der Compute pro Token skaliert mit der aktiven Anzahl, während der Speicher- und Speicherplatzbedarf mit der Gesamtzahl skaliert. Deshalb passt gpt-oss-120b mit 117 Milliarden Gesamtparametern und 5.1 Milliarden aktiven Parametern auf eine einzelne 80 GB GPU.12
Skalierungsgesetze für Parameter, Daten und Compute
Skalierungsgesetze sind empirische Beziehungen, die Modellleistung mit der Parameteranzahl, den Trainingsdaten und dem Compute verknüpfen. Kaplan et al. stellten fest, dass der Loss nach einem Potenzgesetz fällt, wenn jeder dieser drei Faktoren wächst, sofern die anderen entsprechend mitskalieren. Bei einem festen Compute-Budget waren die Gesamtparameteranzahl und die Trainings-Tokens wichtiger als die Modellform oder -tiefe.13
Compute-optimales Training
Die Chinchilla-Studie revidierte dieses Bild, indem sie zeigte, dass viele große Modelle für ihre Größe zu wenig trainiert waren. Bei einem festen Compute-Budget sollten Parameter und Trainings-Tokens in etwa gleichem Verhältnis wachsen, was etwa 20 Trainings-Tokens pro Parameter ergibt.14
Frühere Modelle wie GPT-3, Gopher und MT-NLG wurden mit nahezu einem Token pro Parameter trainiert. Neuere Modelle gehen weit über das Chinchilla-Verhältnis hinaus: Llama 3 8B wurde mit ungefähr 1.900 Tokens pro Parameter trainiert. Lesen Sie LLM Skalierungsgesetze, um mehr zu erfahren.
Ein Training über den compute-optimalen Punkt hinaus ist sinnvoll, sobald man die Inference-Kosten berücksichtigt. Sardana et al. optimierten die kombinierten Kosten für Training und Inference über die Lebensdauer eines Modells und nicht nur den Trainings-Compute allein. Sie stellten fest, dass in Szenarien mit hoher Nutzung kleinere Modelle, die mit mehr Daten trainiert wurden, größere Modelle zu geringeren Gesamtkosten erreichen können.15
Über die Parameteranzahl hinaus
Spätere Forschung ergänzt Variablen, die ursprünglichen Gesetze ausgelassen haben. Bian et al. erweiterten das Chinchilla-Framework um Architekturfaktoren, darunter die Hidden Size, die Aufteilung der Parameter zwischen MLP- und Attention-Schichten sowie Grouped-Query Attention. Sie trainierten über 200 Modelle von 80 Millionen bis 3 Milliarden Parametern und zeigten, dass diese Entscheidungen den Kompromiss zwischen Genauigkeit und Inference-Kosten auf vorhersagbare Weise verschieben.16
Techniken für effizientes Parameter-Management
Parameter-effizientes Fine-Tuning und Quantisierung reduzieren den Speicher- und Compute-Aufwand, der mit großen Parameterzahlen verbunden ist. Diese Techniken ermöglichen das Fine-Tuning und die Inference von Modellen, die sonst die Hardwarebeschränkungen überschreiten würden.
Parameter-effizientes Fine-Tuning (LoRA und Varianten)
Low-Rank Adaptation (LoRA) friert vortrainierte Gewichtsmatrizen ein und fügt trainierbare Rangzerlegungsmatrizen daneben ein. Für eine Gewichtsmatrix der Dimensionen d × k fügt LoRA Matrizen A und B mit innerer Dimension r << d, k hinzu und reduziert die trainierbaren Parameter von d × k auf r × (d + k).17
Angewendet auf GPT-3 175B reduziert LoRA die trainierbaren Parameter um das 10.000-fache und senkt den GPU-Speicherbedarf um den Faktor 3 im Vergleich zum vollständigen Fine-Tuning mit Adam, während es die Qualität des vollständigen Fine-Tunings auf Benchmarks erreicht oder übertrifft. Beispielsweise trainiert das Fine-Tuning von Llama-3.2-1B 0,04 % der Parameter.18
LoRA-XS reduziert den Speicherbedarf im Vergleich zu Standard-LoRA bei Modellen mit 7 Milliarden Parametern um mehr als das 100-fache, indem es trainierbare Matrizen zwischen eingefrorene Low-Rank-Zerlegungen einfügt.19
Quantisierung von Modellparametern
Quantisierung reduziert die Bitbreite, die zum Speichern von Parameterwerten verwendet wird, typischerweise von 16-Bit-Gleitkomma auf 4-Bit- oder 8-Bit-Darstellungen.
QLoRA kombiniert 4-Bit-NormalFloat-Quantisierung des eingefrorenen Basismodells mit LoRA-Fine-Tuning und reduziert den Speicherbedarf für das Fine-Tuning eines Modells mit 65 Milliarden Parametern von über 780GB auf unter 48GB, während es die Leistung des vollständigen 16-Bit-Fine-Tunings erreicht.20
GPTQ quantisiert Gewichte unter Verwendung approximativer Informationen zweiter Ordnung auf 3 oder 4 Bit und verarbeitet ein Modell mit 175 Milliarden Parametern in etwa 4 GPU-Stunden mit vernachlässigbarem Perplexitätsanstieg und ermöglicht die Inference auf einer einzelnen GPU.21
GPTQ erreicht End-to-End-Inference-Beschleunigungen von etwa 3.25x auf NVIDIA-A100-GPUs und 4.5x auf NVIDIA-A6000-GPUs im Vergleich zu FP16. PyTorch INT8-Quantisierung reduziert die Modellgröße um 4x und die Speicherbandbreite um 2-4x, mit geometrisch gemittelten Inference-Beschleunigungen von 2.97x auf x86-CPUs im Vergleich zu FP32.22
Apples On-Device-Foundation-Model setzt quantisierungsbewusstes Training ein, um Gewichte auf 2 Bit pro Gewicht und Embeddings auf 4 Bit zu komprimieren, wobei die Qualität durch Low-Rank-Adapter auf der quantisierten Basis wiederhergestellt wird.23
Als bevorzugte Quelle hinzufügenDiese Forschung zitieren
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Ermut, Sıla},
title = {{LLM-Parameter: Typen, Skalierung, Fine-Tuning-Leitfaden}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/llm-parameters}},
note = {AIMultiple. Abgerufen am 14. Oktober 2026}
}Ergebnisse und Zeitstempel von 34 Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 3 CSV-Dateien enthält.
Möchten Sie die granularen Daten dahinter? Premium beitreten
Referenzlinks
Cems Arbeit bei AIMultiple wurde von führenden globalen Publikationen wie Business Insider, Forbes, Morning Brew und Washington Post, von globalen Unternehmen wie Deloitte und HPE, von NGOs wie dem World Economic Forum und von supranationalen Organisationen wie der European Commission zitiert. [1], [2], [3], [4], [5]
Im Laufe seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen bei ihren Technologieentscheidungen bei McKinsey & Company und Altman Solon über mehr als ein Jahrzehnt. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung.
Er leitete Technologiestrategie und -beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Außerdem verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von 0 einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung erreichte. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.
Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er absolvierte die Bogazici University als Computeringenieur und hat einen MBA von der Columbia Business School.
Zuvor arbeitete sie als Personalvermittlerin in Projektmanagement- und Beratungsunternehmen. Sıla hat einen Master of Science in Sozialpsychologie und einen Bachelor of Arts in Internationalen Beziehungen.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.