LLM Lois d'échelle: Analyse par des chercheurs en IA
Les grands modèles de langage prédisent le token suivant en fonction des modèles appris à partir de données textuelles. Le terme LLM scaling laws fait référence aux régularités empiriques qui relient les performances du modèle à la quantité de calcul, aux données d'entraînement et aux paramètres du modèle utilisés pendant l'entraînement.
Pour comprendre comment ces relations influencent la conception moderne des modèles en pratique, nous avons examiné les résultats de cinq articles académiques et les perspectives de trois grands laboratoires et chercheurs en IA.
Points clés
Les chercheurs de premier plan convergent vers les idées clés suivantes :
- Les performances du modèle ne dépendent pas uniquement du nombre de paramètres. La quantité et la qualité des données sont tout aussi critiques.
- Les décisions d'échelle doivent être basées sur les exigences de la tâche plutôt que de supposer que les modèles plus grands sont toujours meilleurs.
- Les architectures économes en paramètres peuvent atteindre des performances compétitives à des coûts d'entraînement et d'inférence inférieurs.
- Dans les déploiements réels, les coûts d'inférence peuvent dépasser les coûts d'entraînement et doivent être pris en compte lors du choix de la taille du modèle.
Preuves issues de la recherche académique sur les lois d'échelle
Article | Année | Ce qui est mis à l'échelle | Objectif d'optimisation | Résultat clé | Implication pratique |
|---|---|---|---|---|---|
Scaling Laws for Neural Language Models | 2020 | Paramètres, tokens d'entraînement, calcul | Minimiser la perte sous calcul fixe | Les performances optimales suivent une mise à l'échelle en loi de puissance | Les modèles plus grands aident uniquement avec suffisamment de données et de calcul |
Training Compute-Optimal Large Language Models | 2022 | Paramètres vs tokens d'entraînement | Minimiser la perte sous calcul d'entraînement fixe | De nombreux grands modèles sont sous-entraînés | Les modèles plus petits entraînés plus longtemps peuvent surpasser les plus grands |
Beyond Chinchilla-Optimal | 2025 | Paramètres, calcul d'inférence | Minimiser le coût total sur la durée de vie (entraînement et inférence) | Les cas d'utilisation axés sur l'inférence favorisent les modèles plus petits | Le contexte de déploiement compte autant que l'entraînement |
Sloth | 2025 | Compétences latentes vs paramètres et données | Prédire les performances des benchmarks | Les performances sont pilotées par quelques compétences latentes | Permet la prédiction sans entraîner d'énormes modèles |
Densing Law of LLMs | 2025 | Paramètres effectifs vs réels | Mesurer l'efficacité des paramètres dans le temps | L'efficacité des paramètres continue de s'améliorer | Les gains proviennent de meilleures architectures et d'un meilleur entraînement, pas seulement de l'échelle |
« Scaling Laws for Neural Language Models », Kaplan & McCandlish, 2020
Kaplan et al. ont introduit les premières lois d'échelle largement citées pour les modèles de langage neuronaux.
Dans leur analyse, les performances du modèle suivent des relations en loi de puissance par rapport à trois variables clés : le nombre de paramètres du modèle, la taille de l'ensemble de données d'entraînement (mesurée en tokens) et le calcul total d'entraînement.
En faisant varier systématiquement ces trois facteurs, les auteurs ont montré que l'augmentation de l'un d'entre eux entraîne des réductions prévisibles de la perte, à condition que les autres soient mis à l'échelle de manière appropriée.
Figure 1 : La figure montre comment la perte de test change avec la taille du modèle sous différents budgets de calcul et nombres d'étapes d'entraînement, révélant l'équilibre optimal entre la taille du modèle, le calcul et la durée d'entraînement pour les meilleures performances.
Ce travail a établi les fondements des recherches ultérieures sur les lois d'échelle des modèles de langage. Il a également démontré que la forme et la profondeur du modèle ont un effet plus faible que le nombre total de paramètres et les tokens d'entraînement lorsque le calcul est fixe. Cette idée a influencé la façon dont les chercheurs ultérieurs ont conçu des algorithmes d'entraînement pour les grands modèles de langage.1
« Training Compute-Optimal Large Language Models », Hoffmann, Borgeaud & Mensch, 2022
Cet article réévalue les lois antérieures pour les modèles de langage neuronaux en utilisant un grand ensemble d'expériences contrôlées. Il modélise la perte comme une fonction conjointe des paramètres du modèle et de la taille des données d'entraînement, et constate que de nombreux grands modèles antérieurs étaient sous-entraînés par rapport à leur nombre de paramètres. Lorsque les chercheurs entraînent des modèles plus grands avec des données d'entraînement insuffisantes, la qualité du modèle résultant ne correspond pas aux prédictions des lois d'échelle traditionnelles.
Les auteurs montrent que, pour un budget de calcul fixe, les performances optimales sont atteintes lorsque les modèles utilisent des nombres de paramètres et de tokens d'entraînement d'ordres de grandeur similaires. Ce résultat est largement connu sous le nom de loi d'échelle Chinchilla. Il stipule que le calcul d'entraînement optimal nécessite une relation quasi proportionnelle entre le nombre de paramètres et le nombre de tokens d'entraînement.
Cette approche produit des modèles plus petits qui performent mieux que des modèles plus grands entraînés sur des données limitées. Elle soutient également la sélection efficace des modèles, car les chercheurs peuvent ajuster les lois d'échelle à des modèles plus petits et prédire les performances des modèles de langage pour des configurations plus grandes avant l'entraînement.
Figure 2 : La figure superpose les prédictions de plusieurs méthodes, indiquant toutes que les grands modèles d'aujourd'hui sont surdimensionnés et devraient plutôt être plus petits et entraînés plus longtemps.2
« Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws », Sardana, Portes & Doubov, 2025
Sardana et al. étendent le cadre Chinchilla en intégrant les coûts d'inférence dans le calcul optimal.
Au lieu de minimiser uniquement le calcul d'entraînement, ils fixent un niveau de performance cible et optimisent le coût combiné de l'entraînement et de l'inférence sur la durée de vie du modèle.
Ce changement conduit à une idée pratique importante : dans des contextes à forte utilisation, des modèles plus petits entraînés sur plus de données peuvent souvent égaler les performances de modèles plus grands tout en entraînant des coûts de calcul totaux inférieurs.
Figure 3 : Les graphiques comparent les ratios de coût total, de nombre de paramètres et de tokens d'entraînement entre les modèles optimaux en termes de coûts dans le monde réel et les modèles de style Chinchilla.3
« Sloth: Scaling laws for LLM skills to predict multi-benchmark performance across families », Polo, Somerstep & Choshen, 2025
Sloth introduit une nouvelle approche de modélisation des lois d'échelle pour les grands modèles de langage en déplaçant l'accent de la perte du modèle vers les performances au niveau des benchmarks. Au lieu de traiter les tâches séparément, Sloth identifie un ensemble de compétences latentes qui capturent les performances des modèles de langage à travers différents benchmarks. Ces compétences représentent des capacités générales telles que le raisonnement ou la récupération de connaissances.
Le cadre modélise comment chaque compétence évolue avec les paramètres du modèle et les données d'entraînement. Sloth utilise des fonctionnalités simples, telles que les logarithmes des tailles de modèle et de jeu de données, pour décrire comment ces compétences changent au sein d'une famille de modèles. Une fois ajusté, Sloth peut prédire comment les modèles plus grands de la même famille performent sur de nombreux benchmarks sans les entraîner.
En utilisant les prédictions de Sloth, les organisations peuvent décider où allouer les ressources de calcul et éviter les configurations d'entraînement peu susceptibles d'atteindre la performance souhaitée. Cela soutient une planification plus rationnelle de l'entraînement des modèles dans des contraintes réelles.4
« Densing law of LLMs », Xiao, Cai & Zhao, 2025
L'article examine l'efficacité avec laquelle les modèles utilisent leurs paramètres. Il introduit le concept de densité de capacité, défini comme le ratio du nombre de paramètres effectifs d'un modèle à son nombre de paramètres réels. Le nombre de paramètres effectifs est estimé en ajustant les lois d'échelle aux modèles existants et en demandant à quel point un modèle de référence devrait être grand pour correspondre aux performances actuelles.
Les auteurs observent que les meilleurs modèles à chaque point dans le temps montrent une densité de capacité croissante. Cela signifie que les nouveaux modèles atteignent une performance donnée avec moins de paramètres que les anciens modèles. La tendance semble approximativement exponentielle dans le temps.
Cette observation suggère que les progrès des grands modèles de langage ne concernent pas seulement la mise à l'échelle de la taille du modèle, mais aussi l'amélioration de l'architecture du modèle, de la qualité des données d'entraînement et des algorithmes d'entraînement. L'article soutient que le suivi de l'efficacité des paramètres est essentiel pour comprendre les orientations futures dans le traitement du langage naturel et l'apprentissage automatique.
Figure 4 : Le graphique montre la densité de capacité estimée pour les LLM de base open-source à travers cinq benchmarks de raisonnement et de codage, la taille du cercle indiquant le nombre de paramètres du modèle, et une ligne de tendance suggérant une « loi de densification » dans laquelle la densité de capacité maximale augmente de manière exponentielle au fil du temps.5
Opinions sur les lois d'échelle des LLM de grands laboratoires et chercheurs en IA
Au-delà des lois d'échelle académiques, les chercheurs et praticiens de l'industrie soulignent comment ces principes se traduisent dans le développement et le déploiement de modèles dans le monde réel.
Les perspectives suivantes illustrent comment différentes parties prenantes, des fournisseurs de matériel aux chercheurs appliqués, interprètent et appliquent les lois d'échelle en pratique.
NVIDIA, 2025
D'un point de vue infrastructurel, NVIDIA présente les lois d'échelle comme des outils pratiques pour concevoir et entraîner des grands modèles de langage. Elle met en évidence trois axes de mise à l'échelle principaux :
- Taille du modèle.
- Taille du jeu de données.
- Ressources de calcul.
Selon NVIDIA, la mise à l'échelle de l'un de ces facteurs dans le bon régime entraîne des améliorations prévisibles de la qualité du modèle.
L'article souligne également l'importance du calcul au moment du test. Les systèmes modernes passent plus de temps à l'inférence en utilisant des techniques telles que des séquences de raisonnement étendues. Cela ajoute une nouvelle dimension aux lois d'échelle, s'étendant au-delà de l'accent original sur les tokens d'entraînement et les paramètres du modèle.
NVIDIA utilise ces idées pour expliquer pourquoi la demande de ressources de calcul continue de croître, même lorsque les modèles deviennent plus économes en paramètres. Il suggère que l'entraînement et l'inférence resteront des moteurs significatifs de l'utilisation du calcul dans les futurs systèmes de traitement du langage naturel.6
Cameron Wolfe, chercheur LLM chez Netflix, 2025
D'un point de vue praticien, Cameron Wolfe explique comment les relations de loi de puissance originales de la littérature académique s'appliquent aux modèles actuels et comment les praticiens peuvent utiliser ces courbes pour estimer les performances réalisables du modèle avant d'entraîner des modèles plus grands.
Wolfe discute des rôles de la forme et de l'architecture du modèle dans la mise à l'échelle et note que, bien que les lois d'échelle traditionnelles se concentrent sur le nombre de paramètres, les systèmes pratiques doivent également prendre en compte la qualité des données et les algorithmes d'entraînement. La pièce met en évidence les préoccupations concernant la disponibilité de données de haute qualité et comment ces contraintes peuvent affecter l'entraînement de futurs modèles plus grands.
La discussion présente les lois d'échelle comme un guide pour évaluer les modèles existants et pour estimer comment les performances du modèle peuvent changer lorsque les données d'entraînement sont étendues ou lorsque les paramètres du modèle sont ajustés.7
MIT-IBM Watson AI Lab, 2025
Adoptant une vue plus méthodologique, les chercheurs du MIT-IBM Watson AI Lab analysent les lois d'échelle à travers plusieurs architectures et jeux de données.
Les chercheurs compilent un large méta-jeu de données qui comprend 485 modèles pré-entraînés, des métadonnées d'entraînement détaillées et plus d'un million de mesures de performance. Ce jeu de données est utilisé pour tester plus de 1 000 lois d'échelle candidates et identifier des modèles qui se généralisent à travers différentes familles de modèles.
L'étude décrit des étapes claires pour ajuster les lois d'échelle sous contraintes de calcul. Elle recommande de définir un budget de calcul et une performance cible, puis d'entraîner une petite collection de modèles à différentes tailles plutôt que de se concentrer sur les plus grands modèles. Les points de contrôle intermédiaires sont mis en évidence comme des sources précieuses d'informations, tandis que les données d'entraînement très précoces sont découragées en raison du bruit.
Les auteurs montrent que lorsque ces directives sont suivies, les prédictions peuvent approcher la borne inférieure fixée par la variabilité de la graine aléatoire. Même lorsque les prédictions sont moins précises, les lois d'échelle restent utiles pour comparer les choix d'entraînement et identifier des configurations prometteuses.
Le travail note que les performances varient considérablement entre les familles de modèles, ce qui renforce l'importance d'utiliser des paramètres d'entraînement diversifiés lors de l'ajustement des lois d'échelle.8
Que disent les chercheurs de premier plan sur l'avenir de la mise à l'échelle ?
Points de vue soutenant la validité continue des lois d'échelle
À travers le paysage de la recherche, il existe des preuves cohérentes que les lois d'échelle tiennent dans les régimes testés. Le travail fondamental montre des relations claires en loi de puissance entre les paramètres du modèle, la taille des données d'entraînement et le calcul d'entraînement lorsque les modèles sont entraînés dans des contextes équilibrés.
Des études ultérieures affinent cette image en démontrant que l'entraînement optimal en calcul nécessite d'aligner la taille du modèle avec le volume de tokens d'entraînement, et que cet alignement améliore les performances du modèle par rapport aux approches antérieures.
Un travail supplémentaire sur l'évaluation multitâche montre que les performances des benchmarks évoluent également de manière prévisible lorsqu'elles sont exprimées en termes d'un ensemble plus restreint de compétences latentes. Cela renforce la vue que les lois d'échelle des modèles de langage restent des outils fiables pour prévoir les performances des modèles lorsque la taille du jeu de données et les ressources de calcul sont allouées de manière appropriée.
Points de vue mettant l'accent sur l'allocation efficace du calcul
Une deuxième ligne de recherche soutient que les progrès dépendent de plus en plus de la façon dont le calcul est distribué plutôt que de l'expansion du nombre de paramètres seul. Les analyses de l'entraînement optimal en calcul montrent que les modèles nécessitent des données d'entraînement suffisantes pour atteindre leur potentiel et que les modèles plus grands entraînés sur des données limitées sont souvent inefficaces.
Le travail qui intègre les coûts d'inférence étend cette idée en montrant que le coût total d'un modèle dépend à la fois du calcul d'entraînement et du calcul au moment de l'inférence.
Cette perspective suggère que les futurs efforts de mise à l'échelle mettront l'accent sur des configurations efficaces qui optimisent conjointement la taille du modèle, les tokens d'entraînement et le volume d'inférence attendu. Elle cadre la conception des grands modèles de langage comme un exercice d'allocation de calcul plutôt que comme une poursuite de la croissance maximale des paramètres.
Points de vue mettant l'accent sur l'importance croissante de l'efficacité et de la densité
Un autre point de vue se concentre sur l'efficacité des paramètres et l'utilisation efficace des ressources de calcul. La recherche qui suit la densité des paramètres montre que les nouveaux modèles atteignent des performances plus fortes avec moins de paramètres que les modèles antérieurs. Cela indique que les améliorations architecturales, la qualité des données et les algorithmes d'entraînement jouent un rôle significatif dans les gains de performance.
Les commentaires techniques soulignent également l'importance croissante du comportement d'inférence et des améliorations post-entraînement. Combinés, ces résultats suggèrent que les futurs systèmes s'appuieront sur une conception efficace des modèles et de meilleures méthodes d'entraînement plutôt que sur une expansion incontrôlée du nombre de paramètres. L'accent se déplace des modèles plus grands vers des modèles plus capables qui utilisent leurs paramètres plus efficacement.
Ajouter comme source préféréeContraintes sur la future mise à l'échelle des LLM
Limites de calcul et d'énergie
Un thème récurrent dans la littérature est la forte demande de calcul requise pour entraîner et déployer des grands modèles de langage. L'entraînement de grands modèles consomme des ressources de calcul importantes, tandis que l'inférence à grande échelle entraîne des coûts opérationnels substantiels.
Ces facteurs imposent des limites économiques à la mise à l'échelle même lorsque les lois d'échelle théoriques indiquent des gains supplémentaires. À mesure que les modèles grandissent, la consommation d'énergie et les exigences matérielles deviennent de plus en plus difficiles à gérer.
Contraintes de disponibilité des données
Une autre contrainte est la disponibilité de données de haute qualité. Les formulations traditionnelles des lois d'échelle supposent l'accès à des données d'entraînement abondantes, mais cette hypothèse n'est plus fiable.
Plusieurs analyses pointent vers l'offre limitée de texte de haute qualité et le besoin croissant de données synthétiques ou curées. À mesure que la taille des données d'entraînement devient un facteur limitant, la qualité des données devient aussi cruciale que le nombre de paramètres pour déterminer les performances du modèle.
Contraintes économiques et de budget de calcul
La mise à l'échelle pratique est limitée non seulement par des facteurs techniques mais aussi par des considérations financières et organisationnelles. La recherche qui se concentre sur la prédiction des performances montre que la planification du budget de calcul est essentielle pour déterminer quels entraînements sont réalisables.
Les commentaires sur les pratiques de l'industrie soulignent le coût croissant du calcul et la nécessité pour les organisations d'allouer leurs ressources avec soin. Ces facteurs limitent la mesure dans laquelle la mise à l'échelle peut être poussée dans des environnements réels.
Contraintes algorithmiques et architecturales
La recherche sur les lois d'échelle souligne que les améliorations prévisibles ne se produisent que lorsque les modèles sont entraînés dans des régimes équilibrés. Le travail qui analyse l'efficacité des paramètres démontre que les avancées architecturales peuvent modifier la relation entre la taille du modèle et les performances.
Des commentaires supplémentaires montrent que les algorithmes d'entraînement influencent la mesure dans laquelle les lois d'échelle s'appliquent. Ces idées impliquent que la mise à l'échelle simple des paramètres ne peut pas continuer indéfiniment et que les progrès dépendront de plus en plus de nouvelles méthodes d'entraînement et d'architectures de modèles.
FAQ
Les grands modèles de langage sont entraînés comme des modèles de langage neuronaux qui prédisent le token suivant dans le langage naturel. Le terme LLM scaling laws décrit des régularités empiriques qui relient les performances du modèle à la taille du modèle, aux données d'entraînement et aux ressources de calcul. Ces relations sont définies comme des fonctions en loi de puissance dans la littérature académique. Elles impliquent que les performances des modèles de langage s'améliorent de manière prévisible lorsque les chercheurs allouent plus de ressources de calcul aux paramètres du modèle et à la taille des données d'entraînement.
L'idée fondamentale dans la littérature est que la perte du modèle diminue lorsque les modèles reçoivent plus de paramètres, plus de tokens d'entraînement et plus de calcul. Ces règles ont façonné la façon dont les chercheurs entraînent des modèles plus grands et évaluent le compromis entre le nombre de paramètres et la disponibilité de données d'entraînement suffisantes. Elles soutiennent également les décisions sur la façon d'allouer un budget de calcul entre les architectures de modèles et les données d'entraînement disponibles.
Comprendre ces relations est essentiel car les organisations s'appuient sur les lois d'échelle des modèles de langage pour prévoir les gains de performance réalisables en mettant à l'échelle les paramètres du modèle ou en collectant plus de données d'entraînement. Elles aident également les équipes à identifier lorsque des modèles plus petits entraînés sur plus de données peuvent offrir des performances similaires à des modèles plus grands qui sont sous-entraînés.
Elles doivent vérifier si les fournisseurs alignent les paramètres du modèle avec la quantité de données d'entraînement et prendre en compte le coût d'inférence lors de la sélection. Les modèles entraînés avec une mise à l'échelle optimale en calcul correspondent souvent aux performances de modèles plus grands tout en réduisant les coûts opérationnels.
Les équipes peuvent entraîner des modèles plus petits et ajuster les lois d'échelle pour prédire comment les modèles plus grands performent. La mise à l'échelle multi-compétences montre que quelques compétences sous-jacentes pilotent les performances à travers les benchmarks, aidant à éviter les entraînements improductifs et guidant l'allocation du calcul.
Elles doivent suivre les tendances d'efficacité des paramètres pour identifier les modèles qui offrent des performances plus fortes avec moins de paramètres. Les améliorations de l'architecture et des algorithmes d'entraînement jouent un rôle majeur, donc la sélection de modèles doit se concentrer sur les gains de performance globaux plutôt que sur le nombre de paramètres seul.
Citer cette recherche
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{ermut2026,
author = {Ermut, Sıla},
title = {{LLM Lois d'échelle: Analyse par des chercheurs en IA}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/llm-scaling-laws}},
note = {AIMultiple. Consulté le 22 Mai 2026}
}Liens de référence
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.