LLM Lois d'échelle: analyse de chercheurs en IA

Les grands models de langage prédisent le token suivant en se basant sur des motifs appris à partir de données textuelles. Le terme lois d’échelle des LLM désigne des régularités empiriques qui relient les performances du model à la quantité de calcul, aux données d’entraînement et aux paramètres du model utilisés pendant l’entraînement.

Pour comprendre comment ces relations influencent la conception moderne des models dans la pratique, nous avons examiné les conclusions de 8 articles académiques et les points de vue de 3 grands laboratoires et chercheurs en IA.

Points clés de l’analyse des lois d’échelle des LLM

Le graphique montre comment l’entraînement des LLM est passé d’approches riches en paramètres et pauvres en données à l’entraînement de models plus petits sur nettement plus de données. Les premiers modèles comme GPT-3, Gopher et MT-NLG utilisaient près d’un token d’entraînement par paramètre. Les recherches sur Chinchilla ont ensuite suggéré que, pour un budget de calcul d’entraînement fixe, environ 20 tokens par paramètre pouvaient offrir de meilleures performances.

Les models Llama récents dépassent ce ratio de loin. Llama 3 8B, par exemple, a été entraîné avec environ 1 900 tokens par paramètre. Cela montre qu’investir davantage de calcul pendant l’entraînement peut améliorer la capacité du model par paramètre et réduire les coûts d’inference sur la durée de vie du model.

Le principal enseignement est que le nombre de paramètres ne constitue pas à lui seul un indicateur fiable des performances d’un model. La qualité d’un model dépend de l’équilibre entre les paramètres, les données d’entraînement et le calcul.

Preuves issues de la recherche académique sur les lois d’échelle

« Comportements d’échelle du post-entraînement par apprentissage par renforcement des LLM », Zhang, Yin et al.

L’article Comportements d’échelle du post-entraînement par apprentissage par renforcement des LLM (2026) examine comment l’apprentissage par renforcement pendant le post-entraînement évolue avec la taille du model et le calcul.

Les auteurs mènent une étude empirique sur des models de différentes tailles et constatent que la relation entre la perte de test, le calcul et les données peut être modélisée à l’aide d’une loi de puissance prédictive. Ce schéma se vérifie à la fois pour les models de base et les models ajustés aux instructions, ce qui suggère que le post-entraînement par apprentissage par renforcement suit des régularités similaires à celles observées lors du pré-entraînement.

Cependant, l’analyse identifie également une tendance à la saturation latente dans le terme d’efficacité de l’apprentissage. Bien que les models plus grands atteignent une efficacité d’apprentissage plus élevée, les rendements diminuent à mesure que l’échelle augmente.

Cela indique que la mise à l’échelle par apprentissage par renforcement présente des limites intrinsèques différentes de celles observées lors du pré-entraînement, et que les praticiens doivent tenir compte de ces limites lors de l’allocation du calcul aux étapes de post-entraînement.¹

« Lois d’échelle et architecture des models : vers des LLM efficaces en inference », Bian, Yu, Venkataraman & Park

Bian et al. (2025) s’appuient sur le cadre Chinchilla en intégrant l’architecture des models dans la mise à l’échelle optimale en calcul. Les lois d’échelle traditionnelles considèrent le nombre de paramètres et les tokens d’entraînement comme les principales variables, mais à mesure que le coût de l’inference devient une préoccupation majeure, les choix architecturaux déterminent de plus en plus l’efficacité du déploiement.

Les auteurs introduisent une loi d’échelle conditionnelle qui ajoute des informations architecturales au cadre Chinchilla. Ils examinent comment la dimension cachée, la répartition des paramètres entre les couches MLP et d’attention, ainsi que l’attention par requêtes groupées influencent à la fois la précision et le coût d’inference. Le cadre comprend également une procédure de recherche pour identifier des configurations à la fois efficaces en inference et précises.

Pour valider l’approche, les auteurs entraînent plus de 200 models allant de 80 millions à 3 milliards de paramètres sur 8 milliards à 100 milliards de tokens d’entraînement. Les résultats suggèrent que les décisions architecturales peuvent déplacer la relation entre la taille du model et le coût d’inference de manière prévisible. Cette découverte conforte la tendance plus large consistant à traiter l’architecture du model comme un facteur ajustable dans la mise à l’échelle plutôt que comme un choix fixe effectué avant le début de l’entraînement.

Figure 1 : Résultats du balayage de mise à l’échelle montrant le débit d’inference (à gauche) et les contours prédits de la perte d’entraînement (à droite) selon la dimension cachée et le ratio MLP-attention.²

« Loi de densification des LLM », Xiao, Cai & Zhao

La loi de densification des LLM (2025) examine l’efficacité avec laquelle les models utilisent leurs paramètres. Elle introduit le concept de densité de capacité, défini comme le rapport entre le nombre de paramètres effectifs d’un model et son nombre de paramètres réels. Le nombre de paramètres effectifs est estimé en ajustant des lois d’échelle à des models existants et en se demandant quelle taille un model de référence devrait avoir pour égaler les performances actuelles.

Les auteurs observent que les meilleurs models à chaque instant présentent une densité de capacité croissante. Cela signifie que les models plus récents atteignent une performance donnée avec moins de paramètres que les models plus anciens. La tendance semble approximativement exponentielle.

Cette observation suggère que les progrès dans les grands models de langage reposent sur la mise à l’échelle de la taille des models et sur l’amélioration de l’architecture des models, de la qualité des données d’entraînement et des algorithmes d’entraînement. L’article soutient que le suivi de l’efficacité des paramètres est essentiel pour comprendre les orientations futures du traitement du langage naturel et de l’apprentissage automatique.

Figure 2 : Le graphique montre la densité de capacité estimée pour les LLM de base open source à travers cinq benchmarks de raisonnement et de codage, la taille des cercles indiquant le nombre de paramètres du model, et une ligne de tendance suggérant une « loi de densification » selon laquelle la densité de capacité maximale augmente de manière exponentielle.³

« Sloth : lois d’échelle des compétences des LLM pour prédire les performances multi-benchmarks entre familles », Polo, Somerstep & Choshen

Sloth introduit une nouvelle approche dans Sloth : lois d’échelle des compétences des LLM pour prédire les performances multi-benchmarks entre familles (2025), en déplaçant l’attention de la perte du model vers les performances au niveau des benchmarks. Au lieu de traiter les tâches séparément, Sloth identifie un ensemble de compétences latentes qui capturent les performances des models de langage sur différents benchmarks. Ces compétences représentent des capacités générales telles que le raisonnement ou la récupération de connaissances.

Le cadre modélise la façon dont chaque compétence évolue avec les paramètres du model et les données d’entraînement. Sloth utilise des caractéristiques simples, comme les logarithmes de la taille du model et du dataset, pour décrire comment ces compétences changent au sein d’une famille de models. Une fois ajusté, Sloth peut prédire comment des models plus grands de la même famille se comporteront sur de nombreux benchmarks sans les entraîner.

En utilisant les prédictions de Sloth, les organisations peuvent décider où allouer les ressources de calcul et éviter les configurations d’entraînement peu susceptibles d’atteindre les performances souhaitées. Cela favorise une planification plus rationnelle de l’entraînement des models dans des conditions réelles.⁴

« Au-delà de Chinchilla-Optimal : prise en compte de l’inference dans les lois d’échelle des models de langage », Sardana, Portes & Doubov

Dans Au-delà de Chinchilla-Optimal : prise en compte de l’inference dans les lois d’échelle des models de langage (2025), Sardana et al. étendent le cadre Chinchilla en intégrant les coûts d’inference dans la mise à l’échelle optimale en calcul.

Au lieu de minimiser uniquement le calcul d’entraînement, ils fixent un niveau de performance cible et optimisent le coût combiné de l’entraînement et de l’inference sur la durée de vie du model.

Ce changement conduit à une idée pratique importante : dans les contextes à forte utilisation, des models plus petits entraînés sur davantage de données peuvent souvent égaler les performances de models plus grands tout en engendrant des coûts de calcul totaux inférieurs.

Figure 3 : Les graphiques comparent les ratios du coût total, du nombre de paramètres et des tokens d’entraînement entre des models réels à coût optimal et des models de type Chinchilla.⁵

« La mise à l’échelle de l’IA peut-elle se poursuivre jusqu’en 2030 ? », Epoch IA

Epoch IA a examiné en 2024 si le rythme actuel de mise à l’échelle de l’entraînement de l’IA, environ un quadruplement par an, peut se poursuivre jusqu’à la fin de la décennie. L’analyse se concentre sur quatre contraintes potentielles : la disponibilité de l’énergie, la capacité de fabrication de puces, la rareté des données et le mur de latence imposé par les exigences de calcul séquentiel.

Les auteurs estiment que des cycles d’entraînement de 2e29 FLOP seront probablement réalisables d’ici 2030. Ils prévoient que les données multimodales porteront les stocks effectifs de données d’entraînement à entre 450 billions et 23 billiards de tokens, permettant des cycles d’entraînement de 6e28 à 2e32 FLOP. La génération de données synthétiques pourrait prolonger cette expansion si les laboratoires d’IA consacrent une part significative du calcul à leur production.

L’analyse identifie la disponibilité de l’énergie comme la contrainte la plus susceptible de se faire sentir en premier, suivie de la capacité de fabrication de puces. La rareté des données devient un problème significatif à peu près à la même période, tandis que le mur de latence est moins susceptible de constituer une contrainte à court terme.

Les travaux d’Epoch transforment le concept abstrait de limites de mise à l’échelle en bornes quantitatives précises, fournissant aux organisations des points de référence pour la planification à long terme des ressources de calcul et des investissements en infrastructure.⁶

« Entraînement optimal en calcul des grands models de langage », Hoffmann, Borgeaud & Mensch

L’article Entraînement optimal en calcul des grands models de langage (2022) réévalue les lois antérieures pour les models de langage neuronaux à l’aide d’un vaste ensemble d’expériences contrôlées. Il modélise la perte comme une fonction conjointe des paramètres du model et de la taille des données d’entraînement, et constate que de nombreux grands models antérieurs étaient sous-entraînés par rapport à leur nombre de paramètres. Lorsque les chercheurs entraînent des models plus grands avec des données d’entraînement insuffisantes, la qualité du model obtenu ne correspond pas aux prédictions des lois d’échelle traditionnelles.

Les auteurs montrent que, pour un budget de calcul fixe, les performances optimales sont atteintes lorsque les models utilisent des nombres de paramètres et de tokens d’entraînement du même ordre de grandeur. Ce résultat est largement connu sous le nom de loi d’échelle Chinchilla. Il indique qu’un entraînement optimal en calcul nécessite une relation presque proportionnelle entre le nombre de paramètres et le nombre de tokens d’entraînement.

Cette approche produit des models plus petits qui obtiennent de meilleures performances que des models plus grands entraînés sur des données limitées. Elle facilite également une sélection efficace des models, car les chercheurs peuvent ajuster des lois d’échelle à des models plus petits et prédire les performances d’un model de langage pour des configurations plus grandes avant l’entraînement.

Figure 4 : La figure superpose les prédictions de plusieurs méthodes, toutes indiquant que les grands models actuels sont surdimensionnés et qu’ils devraient au contraire être plus petits et entraînés plus longtemps.⁷

« Lois d’échelle pour les models de langage neuronaux », Kaplan & McCandlish

Kaplan et al. ont introduit les premières lois d’échelle largement citées pour les models de langage neuronaux dans Lois d’échelle pour les models de langage neuronaux (2020).

Dans leur analyse, les performances du model suivent des relations en loi de puissance par rapport à trois variables clés : le nombre de paramètres du model, la taille du dataset d’entraînement (mesurée en tokens) et le calcul d’entraînement total.

En faisant varier systématiquement ces trois facteurs, les auteurs ont montré que l’augmentation de l’un d’entre eux entraîne des réductions prévisibles de la perte, à condition que les autres soient mis à l’échelle de manière appropriée.

Figure 5 : La figure montre comment la perte de test évolue avec la taille du model sous différents budgets de calcul et nombres d’étapes d’entraînement, révélant l’équilibre optimal entre la taille du model, le calcul et la durée d’entraînement pour obtenir les meilleures performances.

Ces travaux ont jeté les bases des recherches ultérieures sur les lois d’échelle des models de langage. Ils ont également démontré que la forme et la profondeur du model ont un effet moindre que le nombre total de paramètres et les tokens d’entraînement lorsque le calcul est fixe. Cette idée a influencé la manière dont les chercheurs ultérieurs ont conçu les algorithmes d’entraînement des grands models de langage.⁸

Lois d’échelle des LLM : avis des grands laboratoires et chercheurs en IA

Au-delà des lois d’échelle académiques, les chercheurs de l’industrie et les praticiens soulignent comment ces principes se traduisent dans le développement et le déploiement de models dans le monde réel.

Les perspectives suivantes illustrent comment différentes parties prenantes, des fournisseurs de matériel aux chercheurs appliqués, interprètent et appliquent les lois d’échelle dans la pratique.

NVIDIA

D’un point de vue infrastructure, NVIDIA a présenté les lois d’échelle comme des outils pratiques pour concevoir et entraîner de grands models de langage en 2025. Elle met en évidence trois axes de mise à l’échelle principaux :

• Taille du model.
• Taille du dataset.
• Ressources de calcul.

Selon NVIDIA, la mise à l’échelle de l’un de ces facteurs dans le bon régime entraîne des améliorations prévisibles de la qualité du model.

L’article souligne également l’importance du calcul au moment du test. Les systèmes modernes passent plus de temps sur l’inference en utilisant des techniques telles que des séquences de raisonnement étendues. Cela ajoute une nouvelle dimension aux lois d’échelle, au-delà de l’accent initial mis sur les tokens d’entraînement et les paramètres du model.

NVIDIA utilise ces idées pour expliquer pourquoi la demande de ressources de calcul continue de croître, même si les models deviennent plus économes en paramètres. Cela suggère que l’entraînement et l’inference resteront des moteurs importants de l’utilisation du calcul dans les futurs systèmes de traitement du langage naturel.⁹

Cameron Wolfe, chercheur LLM chez Netflix

Du point de vue du praticien, Cameron Wolfe explique en 2025 comment les relations en loi de puissance d’origine issues de la littérature académique s’appliquent aux models actuels et comment les praticiens peuvent utiliser ces courbes pour estimer les performances de model réalisables avant d’entraîner des models plus grands.

Wolfe examine le rôle de la forme et de l’architecture du model dans la mise à l’échelle et note que, si les lois d’échelle traditionnelles se concentrent sur le nombre de paramètres, les systèmes réels doivent également tenir compte de la qualité des données et des algorithmes d’entraînement. L’article met en évidence des préoccupations concernant la disponibilité de données de haute qualité et la manière dont ces contraintes peuvent affecter l’entraînement des futurs models plus grands.

La discussion présente les lois d’échelle comme un guide pour évaluer les models existants et pour estimer comment les performances du model peuvent évoluer lorsque les données d’entraînement sont étendues ou lorsque les paramètres du model sont ajustés.¹⁰

MIT-IBM Watson IA Lab

Adoptant un point de vue plus méthodologique, les chercheurs du MIT-IBM Watson IA Lab analysent les lois d’échelle sur plusieurs architectures et datasets en 2025.

Les chercheurs compilent un vaste méta-dataset comprenant 485 models pré-entraînés, des métadonnées d’entraînement détaillées et 1.9 million de mesures de performance. Les models proviennent de 40 familles de models (Pythia, OPT, OLMo, LLaMA, Bloom, T5-Pile, GPT, et plus encore). Ce dataset est utilisé pour tester plus de 1 000 lois d’échelle candidates et identifier des motifs qui se généralisent à différentes familles de models.

L’étude décrit des étapes claires pour ajuster les lois d’échelle sous contraintes de calcul. Elle recommande de définir un budget de calcul et une performance cible, puis d’entraîner un petit ensemble de models de différentes tailles plutôt que de se concentrer sur les plus grands models. Les points de contrôle intermédiaires sont présentés comme des sources d’information précieuses, tandis que les données d’entraînement précoces sont déconseillées en raison du bruit.

Les auteurs montrent que, lorsque ces recommandations sont suivies, les prédictions peuvent s’approcher de la borne inférieure fixée par la variabilité due aux graines aléatoires. Même lorsque les prédictions sont moins précises, les lois d’échelle restent utiles pour comparer les choix d’entraînement et identifier des configurations prometteuses.

Les travaux notent que les performances varient considérablement entre les familles de models, ce qui renforce l’importance d’utiliser des contextes d’entraînement variés lors de l’ajustement des lois d’échelle.¹¹

Que disent les principaux chercheurs à propos de l’avenir de la mise à l’échelle ?

Points de vue soutenant la validité continue des lois d’échelle

Dans l’ensemble de la recherche, il existe des preuves cohérentes que les lois d’échelle se vérifient dans les régimes testés. Les travaux fondateurs montrent des relations claires en loi de puissance entre les paramètres du model, la taille des données d’entraînement et le calcul d’entraînement lorsque les models sont entraînés dans des conditions équilibrées.

Des études ultérieures affinent ce tableau en démontrant qu’un entraînement optimal en calcul nécessite d’aligner la taille du model sur le volume de tokens d’entraînement, et que cet alignement améliore les performances du model par rapport aux approches antérieures.

Des travaux supplémentaires sur l’évaluation multitâche montrent que les performances de benchmark évoluent également de manière prévisible lorsqu’elles sont exprimées en fonction d’un plus petit ensemble de compétences latentes. Cela renforce l’idée que les lois d’échelle des models de langage restent des outils fiables pour prévoir les performances d’un model lorsque la taille du dataset et les ressources de calcul sont allouées de manière appropriée.

Points de vue mettant l’accent sur une allocation efficace du calcul

Une deuxième ligne de recherche soutient que les progrès dépendent de plus en plus de la manière dont le calcul est réparti plutôt que de la seule augmentation du nombre de paramètres. Les analyses de l’entraînement optimal en calcul montrent que les models ont besoin de données d’entraînement suffisantes pour atteindre leur potentiel et que les models plus grands entraînés sur des données limitées sont souvent inefficaces.

Les travaux qui intègrent les coûts d’inference prolongent cette idée en montrant que le coût total d’un model dépend à la fois du calcul d’entraînement et du calcul au moment de l’inference.

Cette perspective suggère que les futurs efforts de mise à l’échelle mettront l’accent sur des configurations efficaces qui optimisent conjointement la taille du model, les tokens d’entraînement et le volume d’inference attendu. Elle conçoit la conception des grands models de langage comme un exercice d’allocation du calcul plutôt que comme une recherche de croissance maximale des paramètres.

Points de vue mettant l’accent sur l’importance croissante de l’efficacité et de la densité

Un autre point de vue se concentre sur l’efficacité des paramètres et l’utilisation efficace des ressources de calcul. Les recherches qui suivent la densité des paramètres montrent que les models plus récents obtiennent de meilleures performances avec moins de paramètres que les models antérieurs. Cela indique que les améliorations architecturales, la qualité des données et les algorithmes d’entraînement jouent un rôle important dans les gains de performance.

Les commentaires techniques soulignent également l’importance croissante du comportement d’inference et des améliorations post-entraînement. Combinées, ces découvertes suggèrent que les futurs systèmes s’appuieront sur une conception efficace des models et de meilleures méthodes d’entraînement plutôt que sur une expansion incontrôlée du nombre de paramètres. L’accent passe des models plus grands à des models plus capables qui utilisent leurs paramètres plus efficacement.

Contraintes sur la mise à l’échelle future des LLM

Limites de calcul et d’énergie

Un thème récurrent dans la littérature est la forte demande de calcul nécessaire pour entraîner et déployer de grands models de langage. L’entraînement de grands models consomme d’importantes ressources de calcul, tandis que l’inference à grande échelle engendre des coûts opérationnels substantiels.

Ces facteurs imposent des limites économiques à la mise à l’échelle, même lorsque les lois d’échelle théoriques indiquent des gains supplémentaires. À mesure que les models grandissent, la consommation d’énergie et les besoins en matériel deviennent de plus en plus difficiles à gérer.

Contraintes liées à la disponibilité des données

Une autre contrainte est la disponibilité de données de haute qualité. Les formulations traditionnelles des lois d’échelle supposent un accès à des données d’entraînement abondantes, mais cette hypothèse n’est plus fiable.

Plusieurs analyses soulignent l’offre limitée de texte de haute qualité et le besoin croissant de données synthétiques organisées. À mesure que la taille des données d’entraînement devient un facteur limitant, la qualité des données devient aussi cruciale que le nombre de paramètres pour déterminer les performances du model.

Contraintes économiques et budgétaires en matière de calcul

La mise à l’échelle pratique est limitée par des facteurs techniques ainsi que par des considérations financières et organisationnelles. Les recherches axées sur la prédiction des performances montrent que la planification du budget de calcul est essentielle pour déterminer quels cycles d’entraînement sont réalisables.

Les commentaires sur les pratiques de l’industrie soulignent la hausse du coût du calcul et la nécessité pour les organisations d’allouer leurs ressources avec soin. Ces facteurs limitent jusqu’où la mise à l’échelle peut être poussée dans des environnements réels.

Contraintes algorithmiques et architecturales

Les recherches sur les lois d’échelle soulignent que des améliorations prévisibles se produisent lorsque les models sont entraînés dans des régimes équilibrés. Les travaux qui analysent l’efficacité des paramètres démontrent que les avancées architecturales peuvent modifier la relation entre la taille du model et les performances.

Des commentaires supplémentaires montrent que les algorithmes d’entraînement influencent l’efficacité avec laquelle les lois d’échelle s’appliquent. Ces idées impliquent que la simple mise à l’échelle des paramètres ne peut pas se poursuivre indéfiniment et que les progrès dépendront de plus en plus de nouvelles méthodes d’entraînement et architectures de models.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

FAQ

Citer cette recherche

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{ermut2026,
  author = {Ermut, Sıla},
  title  = {{LLM Lois d'échelle: analyse de chercheurs en IA}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/llm-scaling-laws}},
  note   = {AIMultiple. Consulté le 24 juillet 2026}
}

Journal des modifications

2 mises à jour

20262025

1. 22 mai

   Ajout de trois articles à la section recherche : mise à l'échelle du post-entraînement par RL, mise à l'échelle architecturale efficace en inférence et l'analyse d'Epoch AI à horizon 2030.

Liens de référence

1.

Scaling Behaviors of LLM Reinforcement Learning Post-Training: An Empirical Study in Mathematical Reasoning

2.

SCALING LAWS MEET MODEL ARCHITECTURE: TOWARD INFERENCE-EFFICIENT LLMS

3.

Densing law of LLMs | Nature Machine Intelligence

Nature Publishing Group UK

4.

Sloth: scaling laws for LLM skills to predict multi-benchmark performance across families

5.

Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws

6.

Can AI scaling continue through 2030? | Epoch AI

7.

Training Compute-Optimal Large Language Models

8.

Scaling Laws for Neural Language Models

9.

How Scaling Laws Drive Smarter, More Powerful AI | NVIDIA Blog

10.

Scaling Laws for LLMs: From GPT-3 to o3

Deep (Learning) Focus

11.

How to build AI scaling laws for efficient LLM training and budget maximization | MIT News | Massachusetts Institute of Technology

Sıla Ermut

Analyste sectorielle

Suivre

Sıla Ermut est analyste sectorielle chez AIMultiple, couvrant les modèles d’IA, l’infrastructure d’IA, la gouvernance de l’IA et les applications d’IA d’entreprise. Ses recherches portent principalement sur l’utilisation de l’IA dans le marketing, la santé, les chaînes d’approvisionnement et le développement durable.
Elle a précédemment travaillé comme recruteuse dans des cabinets de gestion de projet et de conseil. Sıla est titulaire d’un master en psychologie sociale et d’une licence en relations internationales.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire