Lois d'échelle des LLM: Analyse des chercheurs en IA

Les grands modèles de langage prédisent le token suivant en se basant sur les motifs appris à partir de données textuelles. Le terme lois d'échelle des LLM fait référence aux régularités empiriques qui relient les performances d'un modèle à la quantité de calcul, aux données d'entraînement et au nombre de paramètres du modèle utilisés pendant l'entraînement.

Pour comprendre comment ces relations influencent la conception des modèles modernes dans la pratique, nous avons examiné les conclusions de 8 articles académiques et les perspectives de 3 grands laboratoires et chercheurs en IA.

Principaux enseignements de l'analyse des lois d'échelle des LLM

Les chercheurs de premier plan convergent vers les enseignements clés suivants :

• La performance d'un modèle ne dépend pas uniquement du nombre de paramètres. La quantité et la qualité des données sont tout aussi essentielles.
• Les décisions de mise à l'échelle doivent être fondées sur les exigences de la tâche plutôt que de supposer que des modèles plus grands sont toujours meilleurs.
• Les architectures efficaces en paramètres peuvent atteindre des performances compétitives avec des coûts d'entraînement et d'inférence plus faibles.
• Dans les déploiements réels, les coûts d'inférence peuvent dépasser les coûts d'entraînement et doivent être pris en compte lors du choix de la taille du modèle.

Preuves issues de la recherche académique sur les lois d'échelle

« Scaling Behaviors of LLM Reinforcement Learning Post-Training », Zhang, Yin et al.

L'article Scaling Behaviors of LLM Reinforcement Learning Post-Training (2026) examine comment l'apprentissage par renforcement pendant le post-entraînement évolue avec la taille du modèle et le calcul.

Les auteurs mènent une étude empirique sur des modèles de différentes échelles et constatent que la relation entre la perte de test, le calcul et les données peut être modélisée à l'aide d'une loi de puissance prédictive. Ce schéma se vérifie à la fois pour les modèles de base et les modèles ajustés par instruction, ce qui suggère que le post-entraînement par apprentissage par renforcement suit des régularités similaires à celles observées lors du pré-entraînement.

Cependant, l'analyse identifie également une tendance à la saturation latente dans le terme d'efficacité d'apprentissage. Bien que les modèles plus grands atteignent une efficacité d'apprentissage plus élevée, les rendements diminuent à mesure que l'échelle augmente.

Cela indique que la mise à l'échelle de l'apprentissage par renforcement a des limites intrinsèques qui diffèrent de celles observées lors du pré-entraînement et que les praticiens doivent tenir compte de ces limites lorsqu'ils allouent du calcul aux étapes de post-entraînement.¹

« Scaling Laws Meet Model Architecture: Toward Inference-Efficient LLMs », Bian, Yu, Venkataraman & Park

Bian et al. (2025) s'appuient sur le cadre Chinchilla en intégrant l'architecture du modèle dans la mise à l'échelle optimale en calcul. Les lois d'échelle traditionnelles traitent le nombre de paramètres et les tokens d'entraînement comme les principales variables, mais à mesure que le coût d'inférence devient une préoccupation centrale, les choix architecturaux déterminent de plus en plus l'efficacité du déploiement.

Les auteurs introduisent une loi d'échelle conditionnelle qui ajoute des informations architecturales au cadre Chinchilla. Ils examinent comment la taille cachée, la répartition des paramètres entre les couches MLP et d'attention, et l'attention par requêtes groupées influencent à la fois la précision et le coût d'inférence. Le cadre inclut également une procédure de recherche pour identifier les configurations qui sont à la fois efficaces en inférence et précises.

Pour valider l'approche, les auteurs entraînent plus de 200 modèles allant de 80 millions à 3 milliards de paramètres sur 8 milliards à 100 milliards de tokens d'entraînement. Les résultats suggèrent que les décisions architecturales peuvent modifier la relation entre la taille du modèle et le coût d'inférence de manière prévisible. Cette constatation soutient la tendance plus large consistant à traiter l'architecture du modèle comme un facteur ajustable dans la mise à l'échelle plutôt que comme un choix fixe fait avant le début de l'entraînement.

Figure 1 : Résultats du balayage d'échelle montrant le débit d'inférence (gauche) et les courbes de niveau de la perte d'entraînement prédite (droite) selon la taille cachée et le ratio MLP/attention.²

« Densing law of LLMs », Xiao, Cai & Zhao

L'article Densing law of LLMs (2025) examine l'efficacité avec laquelle les modèles utilisent leurs paramètres. Il introduit le concept de densité de capacité, définie comme le rapport entre le nombre effectif de paramètres d'un modèle et son nombre réel de paramètres. Le nombre effectif de paramètres est estimé en ajustant des lois d'échelle aux modèles existants et en se demandant quelle taille un modèle de référence devrait avoir pour égaler les performances actuelles.

Les auteurs observent que les meilleurs modèles à chaque instant montrent une densité de capacité croissante. Cela signifie que les modèles plus récents atteignent une performance donnée avec moins de paramètres que les modèles plus anciens. La tendance apparaît approximativement exponentielle.

Cette observation suggère que les progrès des grands modèles de langage concernent la mise à l'échelle de la taille du modèle ainsi que l'amélioration de l'architecture du modèle, de la qualité des données d'entraînement et des algorithmes d'entraînement. L'article soutient que le suivi de l'efficacité des paramètres est essentiel pour comprendre les orientations futures du traitement du langage naturel et de l'apprentissage automatique.

Figure 2 : Le graphique montre la densité de capacité estimée pour les LLM de base open source sur cinq benchmarks de raisonnement et de codage, la taille des cercles indiquant le nombre de paramètres du modèle, et une ligne de tendance suggérant une « loi de densification » selon laquelle la densité de capacité maximale augmente de manière exponentielle.³

« Sloth: Scaling laws for LLM skills to predict multi-benchmark performance across families », Polo, Somerstep & Choshen

Sloth introduit une nouvelle approche dans Sloth: Scaling laws for LLM skills to predict multi-benchmark performance across families (2025), en déplaçant l'attention de la perte du modèle vers la performance au niveau des benchmarks. Au lieu de traiter les tâches séparément, Sloth identifie un ensemble de compétences latentes qui capturent la performance des modèles de langage sur différents benchmarks. Ces compétences représentent des capacités générales telles que le raisonnement ou la récupération de connaissances.

Le cadre modélise comment chaque compétence évolue avec les paramètres du modèle et les données d'entraînement. Sloth utilise des caractéristiques simples, telles que les logarithmes des tailles de modèle et de jeu de données, pour décrire comment ces compétences changent au sein d'une famille de modèles. Une fois ajusté, Sloth peut prédire comment les modèles plus grands de la même famille performeront sur de nombreux benchmarks sans les entraîner.

En utilisant les prédictions de Sloth, les organisations peuvent décider où allouer les ressources de calcul et éviter les configurations d'entraînement peu susceptibles d'atteindre la performance souhaitée. Cela favorise une planification plus rationnelle de l'entraînement des modèles sous des contraintes réelles.⁴

« Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws », Sardana, Portes & Doubov

Dans Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws (2025), Sardana et al. étendent le cadre Chinchilla en intégrant les coûts d'inférence dans la mise à l'échelle optimale en calcul.

Au lieu de minimiser uniquement le calcul d'entraînement, ils fixent un niveau de performance cible et optimisent le coût combiné de l'entraînement et de l'inférence sur la durée de vie du modèle.

Ce changement conduit à un enseignement pratique important : dans les contextes à forte utilisation, des modèles plus petits entraînés sur plus de données peuvent souvent égaler les performances de modèles plus grands tout en engendrant des coûts de calcul totaux inférieurs.

Figure 3 : Les graphiques comparent les ratios de coût total, de nombre de paramètres et de tokens d'entraînement entre les modèles optimaux en coût réel et les modèles de type Chinchilla.⁵

« Can IA Scaling Continue Through 2030? », Epoch IA

Epoch IA a examiné en 2024 si le rythme actuel de mise à l'échelle de l'entraînement de l'IA, environ quatre fois par an, peut se poursuivre jusqu'à la fin de la décennie. L'analyse se concentre sur quatre contraintes potentielles : la disponibilité de l'énergie, la capacité de fabrication de puces, la rareté des données et le mur de latence imposé par les exigences de calcul séquentiel.

Les auteurs estiment que des cycles d'entraînement de 2e29 FLOP seront probablement réalisables d'ici 2030. Ils projettent que les données multimodales élargiront les stocks effectifs de données d'entraînement à une fourchette comprise entre 450 billions et 23 quadrillions de tokens, permettant des cycles d'entraînement de 6e28 à 2e32 FLOP. La génération de données synthétiques pourrait étendre cela davantage si les laboratoires d'IA allouent une part significative de calcul à leur production.

L'analyse identifie la disponibilité de l'énergie comme la contrainte la plus susceptible de se manifester en premier, suivie de la capacité de fabrication de puces. La rareté des données devient un problème significatif autour de la même période, tandis que le mur de latence est moins susceptible de contraindre à court terme.

Les travaux d'Epoch traduisent le concept abstrait de limites d'échelle en des bornes quantitatives spécifiques, fournissant aux organisations des points de référence pour la planification à long terme concernant les ressources de calcul et les investissements en infrastructure.⁶

« Training Compute-Optimal Large Language Models », Hoffmann, Borgeaud & Mensch

L'article Training Compute-Optimal Large Language Models (2022) réévalue les lois antérieures pour les modèles de langage neuronaux en utilisant un vaste ensemble d'expériences contrôlées. Il modélise la perte comme une fonction conjointe des paramètres du modèle et de la taille des données d'entraînement, et constate que de nombreux grands modèles antérieurs étaient sous-entraînés pour leur nombre de paramètres. Lorsque les chercheurs entraînent des modèles plus grands avec des données d'entraînement insuffisantes, la qualité du modèle résultant ne correspond pas aux prédictions des lois d'échelle traditionnelles.

Les auteurs montrent que, pour un budget de calcul fixe, la performance optimale est atteinte lorsque les modèles utilisent des nombres de paramètres et de tokens d'entraînement d'ordres de grandeur similaires. Ce résultat est largement connu sous le nom de loi d'échelle de Chinchilla. Elle stipule que l'entraînement optimal en calcul nécessite une relation quasi proportionnelle entre le nombre de paramètres et le nombre de tokens d'entraînement.

Cette approche produit des modèles plus petits qui performent mieux que des modèles plus grands entraînés sur des données limitées. Elle favorise également une sélection efficace des modèles, car les chercheurs peuvent ajuster les lois d'échelle à des modèles plus petits et prédire les performances des modèles de langage pour des configurations plus grandes avant l'entraînement.

Figure 4 : La figure superpose les prédictions de plusieurs méthodes, indiquant toutes que les grands modèles d'aujourd'hui sont surdimensionnés et devraient plutôt être plus petits et entraînés plus longtemps.⁷

« Scaling Laws for Neural Language Models », Kaplan & McCandlish

Kaplan et al. ont introduit les premières lois d'échelle largement citées pour les modèles de langage neuronaux dans Scaling Laws for Neural Language Models (2020).

Dans leur analyse, la performance du modèle suit des relations de loi de puissance par rapport à trois variables clés : le nombre de paramètres du modèle, la taille du jeu de données d'entraînement (mesurée en tokens) et le calcul total d'entraînement.

En faisant varier systématiquement ces trois facteurs, les auteurs ont montré que l'augmentation de l'un d'entre eux conduit à des réductions prévisibles de la perte, à condition que les autres soient correctement mis à l'échelle.

Figure 5 : La figure montre comment la perte de test évolue avec la taille du modèle sous différents budgets de calcul et nombres d'étapes d'entraînement, révélant l'équilibre optimal entre la taille du modèle, le calcul et la durée d'entraînement pour une performance optimale.

Ces travaux ont établi les bases des recherches ultérieures sur les lois d'échelle des modèles de langage. Ils ont également démontré que la forme et la profondeur du modèle ont un effet plus faible que le nombre total de paramètres et les tokens d'entraînement lorsque le calcul est fixe. Cette idée a influencé la manière dont les chercheurs ultérieurs ont conçu les algorithmes d'entraînement pour les grands modèles de langage.⁸

Avis sur les lois d'échelle des LLM par les grands laboratoires et chercheurs en IA

Au-delà des lois d'échelle académiques, les chercheurs et praticiens de l'industrie soulignent comment ces principes se traduisent dans le développement et le déploiement de modèles dans le monde réel.

Les perspectives suivantes illustrent comment différentes parties prenantes, des fournisseurs de matériel aux chercheurs appliqués, interprètent et appliquent les lois d'échelle dans la pratique.

NVIDIA

Du point de vue de l'infrastructure, NVIDIA a présenté les lois d'échelle comme des outils pratiques pour concevoir et entraîner de grands modèles de langage en 2025. L'entreprise met en évidence trois axes principaux de mise à l'échelle :

• Taille du modèle.
• Taille du jeu de données.
• Ressources de calcul.

Selon NVIDIA, la mise à l'échelle de l'un de ces facteurs dans le régime approprié entraîne des améliorations prévisibles de la qualité du modèle.

L'article souligne également l'importance du calcul au moment du test. Les systèmes modernes passent plus de temps en inférence en utilisant des techniques telles que les séquences de raisonnement étendues. Cela ajoute une nouvelle dimension aux lois d'échelle, allant au-delà de l'accent initial mis sur les tokens d'entraînement et les paramètres du modèle.

NVIDIA utilise ces idées pour expliquer pourquoi la demande de ressources de calcul continue de croître, même si les modèles deviennent plus efficaces en paramètres. Cela suggère que l'entraînement et l'inférence resteront des moteurs importants de l'utilisation du calcul dans les futurs systèmes de traitement du langage naturel.⁹

Cameron Wolfe, chercheur en LLM chez Netflix

Du point de vue d'un praticien, Cameron Wolfe explique en 2025 comment les relations originales de loi de puissance de la littérature académique s'appliquent aux modèles actuels et comment les praticiens peuvent utiliser ces courbes pour estimer les performances atteignables avant d'entraîner des modèles plus grands.

Wolfe discute du rôle de la forme et de l'architecture du modèle dans la mise à l'échelle et note que, bien que les lois d'échelle traditionnelles se concentrent sur le nombre de paramètres, les systèmes pratiques doivent également prendre en compte la qualité des données et les algorithmes d'entraînement. L'article met en évidence les préoccupations concernant la disponibilité de données de haute qualité et la manière dont ces contraintes pourraient affecter l'entraînement des futurs modèles plus grands.

La discussion présente les lois d'échelle comme un guide pour évaluer les modèles existants et pour estimer comment les performances du modèle peuvent changer lorsque les données d'entraînement sont étendues ou lorsque les paramètres du modèle sont ajustés.¹⁰

MIT-IBM Watson IA Lab

Adoptant une vision plus méthodologique, les chercheurs du MIT-IBM Watson IA Lab analysent les lois d'échelle sur plusieurs architectures et jeux de données en 2025.

Les chercheurs compilent un vaste méta-jeu de données qui inclut 485 modèles pré-entraînés, des métadonnées d'entraînement détaillées et 1,9 million de métriques de performance. Les modèles proviennent de 40 familles de modèles (Pythia, OPT, OLMo, LLaMA, Bloom, T5-Pile, GPT, et plus encore). Ce jeu de données est utilisé pour tester plus de 1 000 lois d'échelle candidates et identifier des motifs qui se généralisent à travers différentes familles de modèles.

L'étude décrit des étapes claires pour ajuster les lois d'échelle sous contraintes de calcul. Elle recommande de définir un budget de calcul et une performance cible, puis d'entraîner une petite collection de modèles à différentes tailles plutôt que de se concentrer sur les plus grands modèles. Les points de contrôle intermédiaires sont mis en évidence comme des sources d'information précieuses, tandis que les données d'entraînement précoces sont déconseillées en raison du bruit.

Les auteurs montrent que lorsque ces directives sont suivies, les prédictions peuvent approcher la borne inférieure fixée par la variabilité des graines aléatoires. Même lorsque les prédictions sont moins précises, les lois d'échelle restent utiles pour comparer les choix d'entraînement et identifier les configurations prometteuses.

Les travaux notent que la performance varie considérablement selon les familles de modèles, ce qui renforce l'importance d'utiliser des paramètres d'entraînement diversifiés lors de l'ajustement des lois d'échelle.¹¹

Que disent les chercheurs de premier plan sur l'avenir de la mise à l'échelle ?

Points de vue soutenant la validité continue des lois d'échelle

Dans l'ensemble du paysage de la recherche, il existe des preuves cohérentes que les lois d'échelle tiennent dans les régimes testés. Les travaux fondateurs montrent des relations claires de loi de puissance entre les paramètres du modèle, la taille des données d'entraînement et le calcul d'entraînement lorsque les modèles sont entraînés dans des conditions équilibrées.

Des études ultérieures affinent ce tableau en démontrant que l'entraînement optimal en calcul nécessite d'aligner la taille du modèle avec le volume de tokens d'entraînement, et que cet alignement améliore les performances du modèle par rapport aux approches antérieures.

Des travaux supplémentaires sur l'évaluation multitâche montrent que les performances des benchmarks évoluent également de manière prévisible lorsqu'elles sont exprimées en termes d'un plus petit ensemble de compétences latentes. Cela renforce l'idée que les lois d'échelle des modèles de langage restent des outils fiables pour prévoir les performances des modèles lorsque la taille du jeu de données et les ressources de calcul sont allouées de manière appropriée.

Points de vue mettant l'accent sur l'allocation efficace du calcul

Une deuxième ligne de recherche soutient que le progrès dépend de plus en plus de la manière dont le calcul est distribué plutôt que de la seule augmentation du nombre de paramètres. Les analyses de l'entraînement optimal en calcul montrent que les modèles nécessitent des données d'entraînement suffisantes pour atteindre leur potentiel et que les modèles plus grands entraînés sur des données limitées sont souvent inefficaces.

Les travaux qui intègrent les coûts d'inférence étendent cette idée en montrant que le coût total d'un modèle dépend à la fois du calcul d'entraînement et du calcul au moment de l'inférence.

Cette perspective suggère que les futurs efforts de mise à l'échelle mettront l'accent sur des configurations efficaces qui optimisent conjointement la taille du modèle, les tokens d'entraînement et le volume d'inférence attendu. Elle conçoit la conception des grands modèles de langage comme un exercice d'allocation de calcul plutôt que comme une poursuite de la croissance maximale des paramètres.

Points de vue mettant l'accent sur l'importance croissante de l'efficacité et de la densité

Un autre point de vue se concentre sur l'efficacité des paramètres et l'utilisation efficace des ressources de calcul. La recherche qui suit la densité des paramètres montre que les modèles plus récents atteignent des performances plus élevées avec moins de paramètres que les modèles antérieurs. Cela indique que les améliorations architecturales, la qualité des données et les algorithmes d'entraînement jouent un rôle significatif dans les gains de performance.

Les commentaires techniques soulignent également l'importance croissante du comportement d'inférence et des améliorations post-entraînement. Combinées, ces constatations suggèrent que les futurs systèmes s'appuieront sur une conception de modèle efficace et de meilleures méthodes d'entraînement plutôt que sur une expansion incontrôlée du nombre de paramètres. L'accent passe de modèles plus grands à des modèles plus capables qui utilisent leurs paramètres plus efficacement.

Contraintes sur la mise à l'échelle future des LLM

Limites de calcul et d'énergie

Un thème récurrent dans la littérature est la forte demande de calcul requise pour entraîner et déployer de grands modèles de langage. L'entraînement de grands modèles consomme des ressources de calcul importantes, tandis que l'inférence à grande échelle engendre des coûts opérationnels substantiels.

Ces facteurs imposent des limites économiques à la mise à l'échelle, même lorsque les lois d'échelle théoriques indiquent des gains supplémentaires. À mesure que les modèles grandissent, la consommation d'énergie et les exigences matérielles deviennent de plus en plus difficiles à gérer.

Contraintes de disponibilité des données

Une autre contrainte est la disponibilité de données de haute qualité. Les formulations traditionnelles des lois d'échelle supposent l'accès à des données d'entraînement abondantes, mais cette hypothèse n'est plus fiable.

Plusieurs analyses soulignent l'offre limitée de texte de haute qualité et le besoin croissant de données synthétiques ou organisées. À mesure que la taille des données d'entraînement devient un facteur limitant, la qualité des données devient aussi cruciale que le nombre de paramètres pour déterminer les performances du modèle.

Contraintes économiques et de budget de calcul

La mise à l'échelle pratique est limitée par des facteurs techniques ainsi que par des considérations financières et organisationnelles. La recherche qui se concentre sur la prédiction des performances montre que la planification du budget de calcul est essentielle pour déterminer quels cycles d'entraînement sont réalisables.

Les commentaires sur les pratiques de l'industrie mettent en évidence le coût croissant du calcul et la nécessité pour les organisations d'allouer leurs ressources avec soin. Ces facteurs limitent jusqu'où la mise à l'échelle peut être poussée dans les environnements réels.

Contraintes algorithmiques et architecturales

La recherche sur les lois d'échelle souligne que des améliorations prévisibles se produisent lorsque les modèles sont entraînés dans des régimes équilibrés. Les travaux qui analysent l'efficacité des paramètres démontrent que les avancées architecturales peuvent modifier la relation entre la taille du modèle et les performances.

Des commentaires supplémentaires montrent que les algorithmes d'entraînement influencent l'efficacité avec laquelle les lois d'échelle s'appliquent. Ces idées impliquent que la simple mise à l'échelle des paramètres ne peut pas se poursuivre indéfiniment et que le progrès dépendra de plus en plus de nouvelles méthodes d'entraînement et architectures de modèles.

Découvrez davantage de nos benchmarks et analyses basées sur les données dans la recherche Google.

Ajouter comme source préférée

FAQ

Citer cette recherche

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{ermut2026,
  author = {Ermut, Sıla},
  title  = {{Lois d'échelle des LLM: Analyse des chercheurs en IA}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/llm-scaling-laws}},
  note   = {AIMultiple. Consulté le 24 Juillet 2026}
}

Liens de référence

1.

https://arxiv.org/pdf/2509.25300

2.

https://arxiv.org/pdf/2510.18245

3.

Densing law of LLMs | Nature Machine Intelligence

Nature Publishing Group UK

4.

https://arxiv.org/pdf/2412.06540

5.

https://arxiv.org/pdf/2401.00448

6.

Can AI scaling continue through 2030? | Epoch AI

7.

https://arxiv.org/pdf/2203.15556

8.

https://arxiv.org/pdf/2001.08361

9.

How Scaling Laws Drive Smarter, More Powerful AI | NVIDIA Blog

10.

Scaling Laws for LLMs: From GPT-3 to o3

Deep (Learning) Focus

11.

How to build AI scaling laws for efficient LLM training and budget maximization | MIT News | Massachusetts Institute of Technology

Sıla Ermut

Analyste Sectorielle

Suivre

Sıla Ermut est analyste sectorielle chez AIMultiple, spécialisée dans le marketing par email et les vidéos de vente. Elle a précédemment travaillé comme recruteuse dans des cabinets de gestion de projet et de conseil. Sıla est titulaire d'un Master of Science en psychologie sociale et d'un Bachelor of Arts en relations internationales.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire