LLM Leggi di scaling: analisi di ricercatori IA

Large language models prevedono il token successivo in base ai pattern appresi dai dati testuali. Il termine leggi di scaling di LLM si riferisce a regolarità empiriche che collegano le prestazioni del model alla quantità di calcolo, ai dati di addestramento e ai parametri del model utilizzati durante l'addestramento.

Per comprendere come queste relazioni influenzino nella pratica la progettazione dei model moderni, abbiamo esaminato i risultati di 8 articoli accademici e le opinioni di 3 importanti laboratori e ricercatori IA.

Punti chiave dall'analisi delle leggi di scaling di LLM

Il grafico mostra come l'addestramento dei LLM sia passato da approcci basati su molti parametri e pochi dati a un addestramento di model più piccoli su una quantità di dati sostanzialmente maggiore. I primi model, come GPT-3, Gopher e MT-NLG, hanno utilizzato circa un token di addestramento per parametro. La ricerca Chinchilla ha in seguito suggerito che, con un budget di calcolo di addestramento fisso, circa 20 token per parametro potrebbero offrire prestazioni migliori.

I model Llama recenti superano questo rapporto di un ampio margine. Llama 3 8B, ad esempio, è stato addestrato con circa 1.900 token per parametro. Ciò dimostra che investire più calcolo durante l'addestramento può migliorare la capacità del model per parametro e ridurre i costi di inference lungo il ciclo di vita del model.

Il punto principale è che il solo numero di parametri non è un indicatore affidabile delle prestazioni del model. La qualità del model dipende da come parametri, dati di addestramento e calcolo sono bilanciati.

Evidenze dalla ricerca accademica sulle leggi di scaling

“Comportamenti di scaling del LLM Reinforcement Learning Post-Training”, Zhang, Yin et al.

L'articolo Scaling Behaviors of LLM Reinforcement Learning Post-Training (2026) esamina come l'apprendimento per rinforzo durante il post-training si scala con le dimensioni del model e il calcolo.

Gli autori conducono uno studio empirico su model di varie dimensioni e scoprono che la relazione tra perdita di test, calcolo e dati può essere modellata utilizzando una legge di potenza predittiva. Questo pattern vale sia per i model di base sia per quelli ottimizzati con istruzioni, suggerendo che il post-training con apprendimento per rinforzo segue regolarità simili a quelle osservate nel pretraining.

Tuttavia, l'analisi identifica anche una tendenza alla saturazione latente nel termine di efficienza dell'apprendimento. Sebbene i model più grandi raggiungano una maggiore efficienza di apprendimento, i rendimenti diminuiscono man mano che la scala cresce.

Ciò indica che lo scaling dell'apprendimento per rinforzo ha limiti intrinseci che differiscono da quelli osservati nel pretraining e che i professionisti dovrebbero tenere conto di questi limiti quando allocano calcolo alle fasi di post-training.¹

“Le leggi di scaling incontrano l'architettura dei model: verso LLMs efficienti nell'inference”, Bian, Yu, Venkataraman & Park

Bian et al. (2025) si basano sul framework Chinchilla incorporando l'architettura del model nello scaling ottimale in termini di calcolo. Le leggi di scaling tradizionali trattano il numero di parametri e i token di addestramento come variabili principali, ma man mano che il costo di inference diventa una preoccupazione primaria, le scelte architetturali determinano sempre più l'efficienza di deployment.

Gli autori introducono una legge di scaling condizionale che aggiunge informazioni architetturali al framework Chinchilla. Esaminano come la dimensione nascosta, l'allocazione dei parametri tra layer MLP e layer di attenzione e l'attenzione con query raggruppate influenzino sia l'accuratezza sia il costo di inference. Il framework include anche una procedura di ricerca per identificare configurazioni che sono al contempo efficienti nell'inference e accurate.

Per convalidare l'approccio, gli autori addestrano oltre 200 model che vanno da 80 milioni a 3 miliardi di parametri su un numero compreso tra 8 miliardi e 100 miliardi di token di addestramento. I risultati suggeriscono che le decisioni architetturali possono spostare la relazione tra dimensione del model e costo di inference in modi prevedibili. Questo risultato supporta la tendenza più ampia a trattare l'architettura del model come un fattore regolabile nello scaling piuttosto che come una scelta fissa fatta prima dell'inizio dell'addestramento.

Figura 1: Risultati di scaling sweep che mostrano il throughput di inference (a sinistra) e le curve di perdita di addestramento previste (a destra) in funzione della dimensione nascosta e del rapporto MLP-attenzione.²

“Legge di densificazione dei LLMs”, Xiao, Cai & Zhao

La legge di densificazione dei LLMs (2025) esamina quanto efficientemente i model utilizzano i loro parametri. Introduce il concetto di densità di capacità, definita come il rapporto tra il numero effettivo di parametri di un model e il suo numero reale di parametri. Il numero effettivo di parametri viene stimato adattando le leggi di scaling ai model esistenti e chiedendosi quanto grande dovrebbe essere un model di riferimento per eguagliare le prestazioni attuali.

Gli autori osservano che i migliori model in ogni momento mostrano una densità di capacità in aumento. Ciò significa che i model più recenti raggiungono una data prestazione con meno parametri rispetto ai model più datati. La tendenza appare approssimativamente esponenziale.

Questa osservazione suggerisce che il progresso nei large language models riguarda lo scaling della dimensione del model e il miglioramento dell'architettura del model, della qualità dei dati di addestramento e degli algoritmi di addestramento. L'articolo sostiene che monitorare l'efficienza dei parametri è essenziale per comprendere le direzioni future nell'elaborazione del linguaggio naturale e nel machine learning.

Figura 2: Il grafico mostra la densità di capacità stimata per i LLMs base open source in cinque benchmark di ragionamento e codifica, con la dimensione dei cerchi che indica il numero di parametri del model e una linea di tendenza che suggerisce una “legge di densificazione” in cui la densità di capacità di picco aumenta esponenzialmente.³

“Sloth: leggi di scaling per le competenze dei LLM per prevedere prestazioni multi-benchmark tra le famiglie”, Polo, Somerstep & Choshen

Sloth introduce un nuovo approccio in Sloth: leggi di scaling per le competenze dei LLM per prevedere prestazioni multi-benchmark tra le famiglie (2025), spostando l'attenzione dalla perdita del model alle prestazioni a livello di benchmark. Invece di trattare i task separatamente, Sloth identifica un insieme di competenze latenti che catturano le prestazioni dei language models in diversi benchmark. Queste competenze rappresentano capacità generali come il ragionamento o il recupero di conoscenza.

Il framework modella come ogni competenza si scala con i parametri del model e i dati di addestramento. Sloth utilizza caratteristiche semplici, come i logaritmi delle dimensioni del model e dei dataset, per descrivere come queste competenze cambiano all'interno di una famiglia di model. Una volta adattato, Sloth può prevedere come i model più grandi della stessa famiglia si comporteranno in molti benchmark senza doverli addestrare.

Utilizzando le previsioni di Sloth, le organizzazioni possono decidere dove allocare le risorse computazionali ed evitare configurazioni di addestramento che difficilmente raggiungeranno le prestazioni desiderate. Ciò supporta una pianificazione più razionale dell'addestramento dei model in presenza di vincoli reali.⁴

“Oltre Chinchilla-Optimal: tenere conto dell'inference nelle leggi di scaling dei language model”, Sardana, Portes & Doubov

In Oltre Chinchilla-Optimal: tenere conto dell'inference nelle leggi di scaling dei language model (2025), Sardana et al. estendono il framework Chinchilla incorporando i costi di inference nello scaling ottimale in termini di calcolo.

Invece di minimizzare solo il calcolo di addestramento, fissano un livello di prestazioni obiettivo e ottimizzano il costo combinato di addestramento e inference lungo il ciclo di vita del model.

Questo cambiamento porta a un'intuizione pratica importante: in contesti ad alto utilizzo, model più piccoli addestrati su più dati possono spesso eguagliare le prestazioni dei model più grandi sostenendo costi di calcolo totali inferiori.

Figura 3: I grafici confrontano i rapporti tra costo totale, numero di parametri e token di addestramento tra i model reali ottimali in termini di costo e i model in stile Chinchilla.⁵

“Lo scaling dell'IA può continuare fino al 2030?”, Epoch IA

Epoch IA ha esaminato nel 2024 se l'attuale ritmo di scaling dell'addestramento IA, circa quattro volte all'anno, possa continuare fino alla fine del decennio. L'analisi si concentra su quattro potenziali vincoli: disponibilità di energia, capacità di produzione di chip, scarsità di dati e il muro di latenza imposto dai requisiti di calcolo sequenziale.

Gli autori stimano che le esecuzioni di addestramento da 2e29 FLOP saranno probabilmente fattibili entro il 2030. Prevedono che i dati multimodali espanderanno le scorte effettive di dati di addestramento a un valore compreso tra 450 trilioni e 23 quadrilioni di token, consentendo esecuzioni di addestramento da 6e28 a 2e32 FLOP. La generazione di dati sintetici potrebbe estendere ulteriormente questo limite se i laboratori IA destinassero una quota significativa di calcolo alla loro produzione.

L'analisi identifica la disponibilità di energia come il vincolo che probabilmente diventerà stringente per primo, seguito dalla capacità di produzione di chip. La scarsità di dati diventa un problema significativo più o meno nello stesso periodo, mentre è meno probabile che il muro di latenza diventi stringente nel breve termine.

Il lavoro di Epoch traduce il concetto astratto di limiti di scaling in specifici limiti quantitativi, fornendo alle organizzazioni punti di riferimento per la pianificazione a lungo termine di risorse di calcolo e investimenti infrastrutturali.⁶

“Large Language Models ottimali in termini di calcolo di addestramento”, Hoffmann, Borgeaud & Mensch

L'articolo Large Language Models ottimali in termini di calcolo di addestramento (2022) rivaluta le leggi precedenti per i neural language models utilizzando un ampio insieme di esperimenti controllati. Modella la perdita come funzione congiunta dei parametri del model e della dimensione dei dati di addestramento e rileva che molti dei grandi model precedenti erano sotto-addestrati rispetto al loro numero di parametri. Quando i ricercatori addestrano model più grandi con dati di addestramento insufficienti, la qualità del model risultante non si allinea con le previsioni delle leggi di scaling tradizionali.

Gli autori mostrano che, con un budget di calcolo fisso, le prestazioni ottimali si ottengono quando i model utilizzano conteggi di parametri e token di addestramento di ordini di grandezza simili. Questo risultato è ampiamente noto come la legge di scaling Chinchilla. Essa afferma che l'addestramento ottimale richiede una relazione quasi proporzionale tra il numero di parametri e il numero di token di addestramento.

Questo approccio produce model più piccoli che offrono prestazioni migliori rispetto ai model più grandi addestrati su dati limitati. Supporta inoltre una selezione efficiente dei model, poiché i ricercatori possono adattare le leggi di scaling ai model più piccoli e prevedere le prestazioni dei language model per configurazioni più grandi prima dell'addestramento.

Figura 4: La figura sovrappone le previsioni di diversi metodi, che indicano tutte che i grandi model di oggi sono sovradimensionati e dovrebbero invece essere più piccoli e addestrati più a lungo.⁷

“Leggi di scaling per i neural language models”, Kaplan & McCandlish

Kaplan et al. hanno introdotto le prime leggi di scaling ampiamente citate per i neural language models in Leggi di scaling per i neural language models (2020).

Nella loro analisi, le prestazioni del model seguono relazioni a legge di potenza rispetto a tre variabili chiave: il numero di parametri del model, la dimensione del dataset di addestramento (misurata in token) e il calcolo totale di addestramento.

Variando sistematicamente questi tre fattori, gli autori hanno mostrato che l'aumento di uno qualsiasi di essi porta a riduzioni prevedibili della perdita, a condizione che gli altri siano scalati in modo appropriato.

Figura 5: La figura mostra come cambia la perdita di test con la dimensione del model al variare dei budget di calcolo e del numero di passi di addestramento, rivelando l'equilibrio ottimale tra dimensione del model, calcolo e durata dell'addestramento per ottenere le migliori prestazioni.

Questo lavoro ha stabilito le basi per la ricerca successiva sulle leggi di scaling dei language model. Ha inoltre dimostrato che la forma e la profondità del model hanno un effetto minore rispetto al numero totale di parametri e ai token di addestramento quando il calcolo è fisso. Questa intuizione ha influenzato il modo in cui i ricercatori successivi hanno progettato gli algoritmi di addestramento per i large language models.⁸

Opinioni sulle leggi di scaling dei LLM dai principali laboratori e ricercatori IA

Oltre alle leggi di scaling accademiche, ricercatori e professionisti del settore sottolineano come questi principi si traducano nello sviluppo e nel deployment dei model nel mondo reale.

Le prospettive seguenti illustrano come diversi stakeholder, dai fornitori di hardware ai ricercatori applicati, interpretano e applicano le leggi di scaling nella pratica.

NVIDIA

Dal punto di vista delle infrastrutture, NVIDIA ha presentato le leggi di scaling come strumenti pratici per progettare e addestrare i large language models nel 2025. Evidenzia tre assi di scaling principali:

• Dimensione del model.
• Dimensione del dataset.
• Risorse di calcolo.

Secondo NVIDIA, scalare uno qualsiasi di questi fattori nel regime corretto produce miglioramenti prevedibili nella qualità del model.

L'articolo sottolinea inoltre l'importanza del calcolo in fase di test. I sistemi moderni dedicano più tempo all'inference utilizzando tecniche come sequenze di ragionamento estese. Ciò aggiunge una nuova dimensione alle leggi di scaling, andando oltre l'attenzione originaria su token di addestramento e parametri del model.

NVIDIA utilizza queste idee per spiegare perché la domanda di risorse di calcolo continua a crescere, anche quando i model diventano più efficienti in termini di parametri. Suggerisce che sia l'addestramento sia l'inference rimarranno fattori significativi di utilizzo del calcolo nei futuri sistemi di elaborazione del linguaggio naturale.⁹

Cameron Wolfe, ricercatore LLM presso Netflix

Dal punto di vista di un professionista, Cameron Wolfe spiega nel 2025 come le relazioni a legge di potenza originali della letteratura accademica si applichino ai model attuali e come i professionisti possano usare queste curve per stimare le prestazioni ottenibili del model prima di addestrare model più grandi.

Wolfe discute i ruoli della forma e dell'architettura del model nello scaling e osserva che, mentre le leggi di scaling tradizionali si concentrano sul numero di parametri, i sistemi pratici devono considerare anche la qualità dei dati e gli algoritmi di addestramento. L'articolo evidenzia le preoccupazioni sulla disponibilità di dati di alta qualità e su come questi vincoli possano influenzare l'addestramento dei futuri model più grandi.

La discussione presenta le leggi di scaling come guida per valutare i model esistenti e per stimare come potrebbero cambiare le prestazioni del model quando i dati di addestramento vengono ampliati o quando vengono regolati i parametri del model.¹⁰

MIT-IBM Watson IA Lab

Adottando una visione più metodologica, i ricercatori del MIT-IBM Watson IA Lab analizzano le leggi di scaling su più architetture e dataset nel 2025.

I ricercatori compilano un ampio meta-dataset che include 485 model pre-addestrati, metadati di addestramento dettagliati e 1,9 milioni di metriche di prestazione. I model provengono da 40 famiglie di model (Pythia, OPT, OLMo, LLaMA, Bloom, T5-Pile, GPT e altre). Questo dataset viene utilizzato per testare oltre 1.000 leggi di scaling candidate e identificare pattern che si generalizzano tra diverse famiglie di model.

Lo studio delinea passaggi chiari per adattare le leggi di scaling in presenza di vincoli di calcolo. Raccomanda di definire un budget di calcolo e un obiettivo di prestazioni, quindi di addestrare un piccolo insieme di model di dimensioni diverse anziché concentrarsi sui model più grandi. I checkpoint intermedi sono indicati come fonti preziose di informazioni, mentre i dati di addestramento iniziali sono sconsigliati a causa del rumore.

Gli autori mostrano che, quando si seguono queste linee guida, le previsioni possono avvicinarsi al limite inferiore stabilito dalla variabilità del seed casuale. Anche quando le previsioni sono meno precise, le leggi di scaling rimangono utili per confrontare le scelte di addestramento e identificare configurazioni promettenti.

Il lavoro rileva che le prestazioni variano in modo significativo tra le famiglie di model, il che rafforza l'importanza di utilizzare impostazioni di addestramento diversificate quando si adattano le leggi di scaling.¹¹

Cosa dicono i principali ricercatori sul futuro dello scaling?

Opinioni a sostegno della continua validità delle leggi di scaling

Nel panorama della ricerca, vi sono prove coerenti che le leggi di scaling reggono all'interno dei regimi testati. Il lavoro fondativo mostra chiare relazioni a legge di potenza tra i parametri del model, la dimensione dei dati di addestramento e il calcolo di addestramento quando i model sono addestrati in contesti bilanciati.

Studi successivi affinano questo quadro dimostrando che un addestramento ottimale in termini di calcolo richiede di allineare la dimensione del model con il volume dei token di addestramento e che questo allineamento migliora le prestazioni del model rispetto agli approcci precedenti.

Ulteriori lavori sulla valutazione multitask mostrano che anche le prestazioni sui benchmark si scalano in modo prevedibile quando espresse in termini di un insieme più piccolo di competenze latenti. Ciò rafforza l'idea che le leggi di scaling dei language model rimangano strumenti affidabili per prevedere le prestazioni del model quando la dimensione del dataset e le risorse di calcolo sono allocate in modo appropriato.

Opinioni che sottolineano l'allocazione efficiente del calcolo

Una seconda linea di ricerca sostiene che il progresso dipende sempre più da come viene distribuito il calcolo piuttosto che dal solo aumento del numero di parametri. Le analisi dell'addestramento ottimale in termini di calcolo mostrano che i model richiedono dati di addestramento sufficienti per raggiungere il loro potenziale e che i model più grandi addestrati su dati limitati sono spesso inefficienti.

Il lavoro che incorpora i costi di inference estende questa idea mostrando che il costo totale di un model dipende sia dal calcolo di addestramento sia dal calcolo in fase di inference.

Questa prospettiva suggerisce che i futuri sforzi di scaling metteranno in evidenza configurazioni efficienti che ottimizzano congiuntamente la dimensione del model, i token di addestramento e il volume atteso di inference. Inquadra la progettazione dei large language models come un esercizio di allocazione del calcolo piuttosto che come una ricerca della massima crescita dei parametri.

Opinioni che sottolineano la crescente importanza di efficienza e densità

Un altro punto di vista si concentra sull'efficienza dei parametri e sull'uso efficace delle risorse computazionali. La ricerca che monitora la densità dei parametri mostra che i model più recenti raggiungono prestazioni migliori con meno parametri rispetto ai model precedenti. Ciò indica che i miglioramenti architetturali, la qualità dei dati e gli algoritmi di addestramento giocano un ruolo significativo nei guadagni di prestazione.

I commenti tecnici evidenziano inoltre la crescente importanza del comportamento dell'inference e dei miglioramenti post-training. Nel complesso, questi risultati suggeriscono che i sistemi futuri si baseranno su una progettazione efficiente dei model e su metodi di addestramento migliori piuttosto che su un'espansione incontrollata del numero di parametri. L'accento si sposta dai model più grandi a model più capaci che utilizzano i propri parametri in modo più efficace.

Vincoli sul futuro scaling dei LLM

Limiti di calcolo ed energia

Un tema ricorrente nella letteratura è l'elevata domanda di calcolo necessaria per addestrare e distribuire i large language models. L'addestramento di grandi model consuma risorse di calcolo significative, mentre l'inference su larga scala comporta costi operativi sostanziali.

Questi fattori impongono limiti economici allo scaling anche quando le leggi di scaling teoriche indicano ulteriori guadagni. Man mano che i model crescono, il consumo di energia e i requisiti hardware diventano sempre più difficili da gestire.

Vincoli di disponibilità dei dati

Un altro vincolo è la disponibilità di dati di alta qualità. Le formulazioni tradizionali delle leggi di scaling presuppongono l'accesso a dati di addestramento abbondanti, ma questa ipotesi non è più affidabile.

Diverse analisi indicano la disponibilità limitata di testi di alta qualità e la crescente necessità di dati curati o dati sintetici. Man mano che la dimensione dei dati di addestramento diventa un fattore limitante, la qualità dei dati diventa cruciale quanto il numero di parametri nel determinare le prestazioni del model.

Vincoli economici e di budget di calcolo

Lo scaling pratico è limitato da fattori tecnici oltre che da considerazioni finanziarie e organizzative. La ricerca focalizzata sulla previsione delle prestazioni mostra che la pianificazione del budget di calcolo è essenziale per determinare quali esecuzioni di addestramento sono fattibili.

I commenti sulle pratiche del settore evidenziano il costo crescente del calcolo e la necessità per le organizzazioni di allocare con attenzione le proprie risorse. Questi fattori limitano quanto lo scaling possa essere spinto in contesti reali.

Vincoli algoritmici e architetturali

La ricerca sulle leggi di scaling sottolinea che i miglioramenti prevedibili si verificano quando i model sono addestrati in regimi bilanciati. Il lavoro che analizza l'efficienza dei parametri dimostra che i progressi architetturali possono spostare la relazione tra dimensione del model e prestazioni.

Ulteriori commenti mostrano che gli algoritmi di addestramento influenzano l'efficacia con cui si applicano le leggi di scaling. Queste intuizioni implicano che il semplice scaling dei parametri non può continuare indefinitamente e che il progresso dipenderà sempre più da nuovi metodi di addestramento e nuove architetture dei model.

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

FAQ

Cita questa ricerca

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{ermut2026,
  author = {Ermut, Sıla},
  title  = {{LLM Leggi di scaling: analisi di ricercatori IA}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/llm-scaling-laws}},
  note   = {AIMultiple. Consultato il 24 Luglio 2026}
}

Collegamenti di riferimento

1.

https://arxiv.org/pdf/2509.25300

2.

https://arxiv.org/pdf/2510.18245

3.

Densing law of LLMs | Nature Machine Intelligence

Nature Publishing Group UK

4.

https://arxiv.org/pdf/2412.06540

5.

https://arxiv.org/pdf/2401.00448

6.

Can AI scaling continue through 2030? | Epoch AI

7.

https://arxiv.org/pdf/2203.15556

8.

https://arxiv.org/pdf/2001.08361

9.

How Scaling Laws Drive Smarter, More Powerful AI | NVIDIA Blog

10.

Scaling Laws for LLMs: From GPT-3 to o3

Deep (Learning) Focus

11.

How to build AI scaling laws for efficient LLM training and budget maximization | MIT News | Massachusetts Institute of Technology

Sıla Ermut

Analista di Settore

Segui

Sıla Ermut è un'analista di settore presso AIMultiple e si occupa di modelli di IA, infrastrutture di IA, governance dell'IA e applicazioni aziendali dell'IA. La sua ricerca si concentra principalmente sull'uso dell'IA nel marketing, nella sanità, nelle catene di approvvigionamento e nella sostenibilità. In precedenza ha lavorato come recruiter in società di project management e consulenza. Sıla possiede un Master of Science in Psicologia Sociale e un Bachelor of Arts in Relazioni Internazionali.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento