LLM Paramètres: types, mise à l'échelle, guide du fine-tuning
Le nombre de paramètres est l’une des spécifications les plus citées d’un LLM, mais il ne détermine pas les performances d’un modèle ni combien il coûte à exécuter. Le graphique ci-dessous compare 31 modèles selon leur score à l’indice LLM et leur coût moyen par tâche sur sept benchmarks.
Quatre modèles forment la ligne de Pareto, où aucun autre modèle n’offre un score plus élevé à un coût moindre : GPT-6 Luna, Xiaomi’s MiMo-V2.6-Pro, GPT-6.1 Sol, and Claude Opus 5.5. Le graphique met en évidence trois tendances :
- Rendements décroissants au sommet : Claude Opus 5.5 obtient le score le plus élevé, mais son gain par rapport à GPT-6.1 Sol est faible au regard de la différence de coût. Les derniers points de performance coûtent le plus cher.
- Un coût plus élevé ne garantit pas un score plus élevé : La plupart des modèles se situent bien en dessous de la ligne de Pareto, et plusieurs coûtent plus cher par tâche que GPT-6.1 Sol tout en obtenant un score inférieur. Le prix reflète la tarification du fournisseur et le nombre de tokens générés par un modèle.
- Les modèles open-weight rivalisent sur l’efficacité : MiMo-V2.6-Pro est le seul modèle open-weight sur la ligne de Pareto. Il atteint un score intermédiaire à l’un des coûts les plus bas de la comparaison, malgré plus d’un billion de paramètres totaux. Comme il utilise une architecture mixture-of-experts, une fraction de ces paramètres traite chaque token, ce qui maintient l’inférence bon marché.
Définitions et types de paramètres des LLM
Un paramètre de modèle est une variable qu’un système de machine learning apprend par lui-même, distincte des valeurs définies par les opérateurs humains. Dans l’implémentation d’un réseau de neurones, les paramètres sont des tenseurs enregistrés avec le calcul automatique du gradient activé, ce qui permet aux algorithmes d’optimisation de mettre à jour leurs valeurs pendant la rétropropagation.
Les paramètres comprennent les poids, qui mettent à l’échelle les signaux d’entrée, les biais, qui décalent les activations, et les embeddings. Ils fournissent des représentations vectorielles apprises des tokens discrets.1
Paramètres entraînables et hyperparamètres
Poids, biais et embeddings
Poids et biais
Les poids et les biais constituent les composants apprenables des transformations linéaires. Dans une couche entièrement connectée, la matrice de poids a la forme (out_features, in_features) et met l’échelle de l’entrée, tandis que le vecteur de biais, de forme (out_features), décale la fonction d’activation pour permettre des sorties non nulles lorsque les entrées sont nulles.2
Dans un transformer, chaque sous-couche d’attention contient des matrices de projection query, key, value et output (W_q, W_k, W_v, W_o), et les implémentations courantes telles que MultiheadAttention de PyTorch ajoutent des termes de biais facultatifs aux quatre projections.3
Embeddings
Les embeddings constituent la troisième catégorie de paramètres : une table de correspondance stockant un vecteur appris pour chaque token du vocabulaire, initialisée à partir d’une distribution normale et entraînée par rétropropagation comme les autres poids.4
L’architecture transformer d’origine partage la même matrice de poids entre les embeddings d’entrée, les embeddings de sortie et la transformation linéaire pré-softmax, en mettant les poids à l’échelle par la racine carrée de la dimension du modèle.
Comment les paramètres fonctionnent dans les LLMs
Un LLM fonctionne en maintenant les valeurs de paramètres apprises fixes pendant l’inférence, tout en les appliquant pour transformer les embeddings des tokens d’entrée en distributions de probabilité de sortie.
L’architecture transformer se compose de couches empilées, chacune contenant des blocs d’auto-attention multi-têtes et de feed-forward paramétrés par des matrices de poids et des vecteurs de biais.5
Avant l’entraînement, l’initialisation des poids tire des valeurs de distributions conçues pour maintenir une variance stable du signal en avant et en arrière à travers les couches.
Comment les paramètres des LLM sont appris pendant l’entraînement
L’entraînement se déroule par cycles de propagation avant, de calcul de la perte et de rétropropagation. La passe avant calcule les activations intermédiaires et les sorties finales en appliquant les matrices de poids séquentiellement.
La rétropropagation applique la règle de dérivation en chaîne pour calculer le gradient de la perte par rapport à chaque paramètre, en propageant les signaux d’erreur des couches de sortie vers les couches d’entrée. La descente de gradient met ensuite à jour chaque paramètre dans la direction qui réduit la perte, et ce processus itératif se poursuit jusqu’à convergence.
Paramètres de génération au moment de l’inférence
Pendant l’inférence, les poids entraînés restent gelés tandis que les hyperparamètres d’échantillonnage contrôlent la sélection des tokens. La température met à l’échelle les logits avant le softmax, de 0 à 2 ; des valeurs plus élevées augmentent l’aléatoire et des valeurs plus faibles augmentent le déterminisme.6
Top-p (échantillonnage par noyau) restreint la sélection au plus petit ensemble de tokens dont la masse de probabilité cumulative dépasse le seuil spécifié, généralement entre 0 et 1. L’échantillonnage top-k restreint la sélection aux k tokens de plus forte probabilité.
Les pénalités de fréquence et de présence vont de -2 à 2, les valeurs positives réduisant la probabilité des tokens en fonction de leur fréquence existante dans le texte généré ou de leur présence dans le texte jusqu’à présent, respectivement.
Les modèles récents ont déprécié les contrôles de température et de top-p, rejetant les valeurs non par défaut ou les traitant comme des no-ops :
Anthropic’s Claude Opus 4.7 et les modèles ultérieurs renvoient une erreur 400 lorsque la température, top-p ou top-k est définie à autre chose que sa valeur par défaut, et Anthropic recommande de guider la sortie par le prompting plutôt.7
Les modèles de raisonnement d’OpenAI, y compris o1, o3, o4-mini et GPT-5, rejettent également les valeurs non par défaut. Ils acceptent la température à sa valeur par défaut de 1 et ne prennent pas en charge les réglages personnalisés top-p, de pénalité de fréquence ou de pénalité de présence.8
Google’s Gemini 4 Argon emprunte la voie du no-op : les requêtes qui incluent la température, top-p ou top-k passent quand même, mais le modèle ignore ces valeurs.9
Nombre de paramètres et échelle du modèle
OpenAI’s GPT, Anthropic’s Claude et Google’s Gemini ne divulguent pas le nombre de paramètres, de sorte que les chiffres publiés pour ces modèles sont des estimations externes. Les modèles open-weight publient leurs tailles et représentent une part importante de l’utilisation réelle : DeepSeek a dominé OpenRouter avec 43 % des requêtes textuelles pendant la semaine du début de novembre 2026.10
La plupart des modèles phares open-weight actuels utilisent une architecture mixture-of-experts (MoE), qui divise les couches feed-forward en de nombreux réseaux experts plus petits et route chaque token vers quelques-uns d’entre eux. Ces modèles communiquent donc deux chiffres :
- Paramètres totaux : chaque expert stocké en mémoire.
- Paramètres actifs : les experts qui traitent un token donné.
Kimi K3, par exemple, possède 2.8 billions de paramètres totaux mais active 104 milliards par token, en utilisant 16 de ses 896 experts.11
Le calcul par token évolue avec le nombre actif, tandis que les besoins en mémoire et en stockage évoluent avec le total. C’est pourquoi gpt-oss-120b, avec 117 milliards de paramètres totaux et 5.1 milliard de paramètres actifs, tient sur un seul 80 Go GPU.12
Lois de mise à l’échelle pour les paramètres, les données et le calcul
Les lois de mise à l’échelle sont des relations empiriques qui relient les performances du modèle au nombre de paramètres, aux données d’entraînement et au calcul. Kaplan et al. ont constaté que la perte suit une loi de puissance lorsque chacun de ces trois facteurs augmente, à condition que les autres évoluent avec lui. À budget de calcul fixe, le nombre total de paramètres et les tokens d’entraînement importaient plus que la forme ou la profondeur du modèle.13
Entraînement optimal en calcul
L’étude Chinchilla a révisé ce tableau en montrant que de nombreux grands modèles étaient sous-entraînés par rapport à leur taille. À budget de calcul fixe, les paramètres et les tokens d’entraînement devraient croître dans des proportions à peu près égales, ce qui correspond à environ 20 tokens d’entraînement par paramètre.14
Les modèles antérieurs tels que GPT-3, Gopher et MT-NLG ont été entraînés avec près d’un token par paramètre. Les modèles récents dépassent largement le ratio de Chinchilla : Llama 3 8B a été entraîné avec environ 1 900 tokens par paramètre. Lisez LLM lois de mise à l’échelle pour en savoir plus.
Entraîner au-delà du point optimal en calcul est logique dès lors que l’on prend en compte les coûts d’inférence. Sardana et al. ont optimisé le coût combiné de l’entraînement et de l’inférence sur la durée de vie d’un modèle, plutôt que le seul calcul d’entraînement. Ils ont constaté que, dans les contextes à forte utilisation, des modèles plus petits entraînés sur davantage de données peuvent égaler des modèles plus grands à un coût total moindre.15
Au-delà du nombre de paramètres
Les recherches ultérieures ajoutent des variables que les lois originales ne prenaient pas en compte. Bian et al. ont étendu le cadre Chinchilla avec des facteurs architecturaux, notamment la taille cachée, la répartition des paramètres entre les couches MLP et d’attention, et l’attention à requêtes groupées. Ils ont entraîné plus de 200 modèles allant de 80 millions à 3 milliards de paramètres et ont montré que ces choix modifient le compromis entre précision et coût d’inférence de manière prévisible.16
Techniques de gestion efficace des paramètres
Le fine-tuning économe en paramètres et la quantification réduisent les coûts de mémoire et de calcul associés aux grands nombres de paramètres. Ces techniques permettent le fine-tuning et l’inférence de modèles qui, autrement, dépasseraient les contraintes matérielles.
Fine-tuning économe en paramètres (LoRA et variantes)
Low-Rank Adaptation (LoRA) gèle les matrices de poids pré-entraînées et injecte des matrices de décomposition de rang entraînables à côté d’elles. Pour une matrice de poids de dimensions d × k, LoRA ajoute des matrices A et B de dimension interne r << d, k, réduisant les paramètres entraînables de d × k à r × (d + k).17
Appliqué à GPT-3 175B, LoRA réduit les paramètres entraînables d’un facteur 10 000 et les besoins en mémoire GPU d’un facteur 3 par rapport au fine-tuning complet avec Adam, tout en égalant ou dépassant la qualité du fine-tuning complet sur les benchmarks. Par exemple, le fine-tuning de Llama-3.2-1B entraîne 0,04 % des paramètres.18
LoRA-XS réduit encore les besoins de stockage de plus de 100 fois par rapport à LoRA standard sur des modèles à 7 milliards de paramètres, en insérant des matrices entraînables entre des décompositions de rang faible gelées.19
Quantification des paramètres de modèle
La quantification réduit la largeur en bits utilisée pour stocker les valeurs des paramètres, généralement de la virgule flottante 16 bits à des représentations 4 bits ou 8 bits.
QLoRA combine une quantification NormalFloat 4 bits du modèle de base gelé avec le fine-tuning LoRA, réduisant la mémoire nécessaire pour fine-tuner un modèle de 65 milliards de paramètres de plus de 780GB à moins de 48GB, tout en égalant les performances du fine-tuning complet 16 bits.20
GPTQ quantifie les poids sur 3 ou 4 bits en utilisant des informations approximatives du second ordre, traitant un modèle de 175 milliards de paramètres en environ 4 heures-GPU avec une augmentation négligeable de la perplexité et permettant une inférence sur un seul GPU.21
GPTQ obtient des accélérations d’inférence de bout en bout d’environ 3.25x sur NVIDIA A100 GPUs et de 4.5x sur NVIDIA A6000 GPUs par rapport à FP16. La quantification PyTorch INT8 réduit la taille du modèle de 4x et la bande passante mémoire de 2-4x, avec des accélérations d’inférence en moyenne géométrique de 2.97x sur les CPUs x86 par rapport à FP32.22
Apple’s modèle de fondation embarqué emploie l’entraînement conscient de la quantification pour compresser les poids à 2 bits par poids et les embeddings à 4 bits, en récupérant la qualité grâce à des adaptateurs de rang faible au-dessus de la base quantifiée.23
Ajouter comme source préféréeCiter cette recherche
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Ermut, Sıla},
title = {{LLM Paramètres: types, mise à l'échelle, guide du fine-tuning}},
year = {2026},
month = nov,
howpublished = {\url{https://aimultiple.com/llm-parameters}},
note = {AIMultiple. Consulté le 2 novembre 2026}
}Résultats et horodatages de 34 points de données. Téléchargez les données de synthèse présentées dans les graphiques et les tableaux de cet article sous forme de fichier ZIP contenant 3 fichiers CSV.
Vous voulez les données détaillées derrière ? Rejoindre Premium
Liens de référence
Le travail de Cem chez AIMultiple a été cité par des publications mondiales de premier plan, notamment Business Insider, Forbes, Morning Brew et Washington Post, par des entreprises mondiales comme Deloitte et HPE, par des ONG comme World Economic Forum et par des organisations supranationales comme European Commission. [1], [2], [3], [4], [5]
Tout au long de sa carrière, Cem a été consultant en technologies, acheteur de technologies et entrepreneur technologique. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la digitalisation.
Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité du PDG. Il a également dirigé la croissance commerciale de l'entreprise de technologie profonde Hypatos, qui a atteint un revenu récurrent annuel à 7 chiffres et une valorisation à 9 chiffres, passant de 0 à ce résultat en deux ans. Le travail de Cem chez Hypatos a été couvert par des publications technologiques de premier plan comme TechCrunch et Business Insider.
Cem intervient régulièrement lors de conférences technologiques internationales. Il est diplômé de Bogazici University en tant qu'ingénieur informatique et titulaire d'un MBA de la Columbia Business School.
Elle a précédemment travaillé comme recruteuse dans des cabinets de gestion de projet et de conseil. Sıla est titulaire d’un master en psychologie sociale et d’une licence en relations internationales.
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.