LLM Leggi di scaling: analisi dei ricercatori di IA

Large language models prevedono il token successivo in base ai pattern appresi dai dati testuali. Il termine leggi di scaling degli LLM si riferisce a regolarità empiriche che collegano le prestazioni del model alla quantità di compute, ai dati di addestramento e ai parametri del model utilizzati durante l'addestramento.

Per comprendere come queste relazioni influenzino nella pratica la progettazione dei model moderni, abbiamo esaminato i risultati di 8 articoli accademici e le opinioni di 3 importanti laboratori e ricercatori di IA.

Punti chiave dall'analisi delle leggi di scaling degli LLM

Il grafico mostra come l'addestramento degli LLM sia passato da approcci incentrati sui parametri e poveri di dati all'addestramento di model più piccoli su quantità di dati notevolmente superiori. I primi model come GPT-3, Gopher e MT-NLG usavano circa un token di addestramento per parametro. La ricerca Chinchilla ha successivamente suggerito che, con un budget di compute di addestramento fisso, circa 20 token per parametro potessero offrire prestazioni migliori.

I recenti model Llama superano questo rapporto di gran lunga. Llama 3 8B, ad esempio, è stato addestrato con circa 1.900 token per parametro. Ciò dimostra che investire più compute durante l'addestramento può migliorare la capacità del model per parametro e ridurre i costi di inferenza lungo l'intero ciclo di vita del model.

Il messaggio principale è che il solo numero di parametri non è un indicatore affidabile delle prestazioni del model. La qualità del model dipende da come parametri, dati di addestramento e compute sono bilanciati.

Evidenze dalla ricerca accademica sulle leggi di scaling

«Comportamenti di scaling del post-training con reinforcement learning degli LLM», Zhang, Yin et al.

L'articolo Comportamenti di scaling del post-training con reinforcement learning degli LLM (2026) esamina come il reinforcement learning durante il post-training si comporti al variare della dimensione del model e del compute.

Gli autori conducono uno studio empirico su model di diverse dimensioni e scoprono che la relazione tra test loss, compute e dati può essere modellata tramite una legge di potenza predittiva. Questo andamento è valido sia per i model base sia per quelli instruction-tuned, suggerendo che il post-training con reinforcement learning segue regolarità simili a quelle osservate nel pretraining.

Tuttavia, l'analisi identifica anche una tendenza alla saturazione latente nel termine di efficienza dell'apprendimento. Sebbene i model più grandi raggiungano un'efficienza di apprendimento più elevata, i rendimenti diminuiscono con la crescita della scala.

Ciò indica che lo scaling del reinforcement learning ha limiti intrinseci diversi da quelli osservati nel pretraining e che i professionisti dovrebbero tenerne conto nell'allocare compute alle fasi di post-training.¹

«Le leggi di scaling incontrano l'architettura del model: verso LLM efficienti nell'inferenza», Bian, Yu, Venkataraman & Park

Bian et al. (2025) costruiscono sul framework Chinchilla incorporando l'architettura del model nello scaling a costo di compute ottimale. Le leggi di scaling tradizionali trattano il numero di parametri e i token di addestramento come le variabili principali, ma man mano che il costo di inferenza diventa una preoccupazione primaria, le scelte architetturali determinano sempre più l'efficienza di deployment.

Gli autori introducono una legge di scaling condizionale che aggiunge informazioni architetturali al framework Chinchilla. Esaminano come la hidden size, l'allocazione dei parametri tra i layer MLP e attention e la grouped-query attention influenzino sia l'accuratezza sia il costo di inferenza. Il framework include anche una procedura di ricerca per identificare configurazioni che siano al tempo stesso efficienti nell'inferenza e accurate.

Per validare l'approccio, gli autori addestrano oltre 200 model che vanno da 80 milioni a 3 miliardi di parametri su 8 miliardi fino a 100 miliardi di token di addestramento. I risultati suggeriscono che le decisioni architetturali possono spostare la relazione tra dimensione del model e costo di inferenza in modi prevedibili. Questo risultato supporta la tendenza più ampia a trattare l'architettura del model come un fattore regolabile nello scaling piuttosto che come una scelta fissa effettuata prima dell'inizio dell'addestramento.

Figura 1: Risultati dello scaling sweep che mostrano il throughput di inferenza (a sinistra) e le curve di livello della loss di addestramento prevista (a destra) al variare della hidden size e del rapporto MLP-attenzione.²

«Legge di densificazione degli LLM», Xiao, Cai & Zhao

La legge di densificazione degli LLM (2025) esamina l'efficienza con cui i model utilizzano i propri parametri. Introduce il concetto di densità di capacità, definita come il rapporto tra il numero di parametri effettivi di un model e il suo numero di parametri reali. Il numero di parametri effettivi viene stimato adattando le leggi di scaling ai model esistenti e chiedendosi quanto grande dovrebbe essere un model di riferimento per eguagliare le prestazioni attuali.

Gli autori osservano che i migliori model in ogni momento mostrano una densità di capacità crescente. Ciò significa che i model più recenti raggiungono una data prestazione con meno parametri rispetto ai model più vecchi. L'andamento appare approssimativamente esponenziale.

Questa osservazione suggerisce che il progresso nei large language model non riguarda solo lo scaling delle dimensioni del model, ma anche il miglioramento dell'architettura del model, della qualità dei dati di addestramento e degli algoritmi di addestramento. L'articolo sostiene che monitorare l'efficienza dei parametri è essenziale per comprendere le direzioni future del natural language processing e del machine learning.

Figura 2: Il grafico mostra la densità di capacità stimata per gli LLM base open-source in cinque benchmark di ragionamento e codifica, con la dimensione del cerchio che indica il numero di parametri del model e una linea di tendenza che suggerisce una «legge di densificazione» in cui la densità di capacità di picco aumenta esponenzialmente.³

«Sloth: leggi di scaling per le competenze degli LLM per prevedere le prestazioni multi-benchmark tra famiglie», Polo, Somerstep & Choshen

Sloth introduce un nuovo approccio in Sloth: leggi di scaling per le competenze degli LLM per prevedere le prestazioni multi-benchmark tra famiglie (2025), spostando l'attenzione dalla loss del model alle prestazioni a livello di benchmark. Invece di trattare i task separatamente, Sloth identifica un insieme di competenze latenti che catturano le prestazioni dei language model in diversi benchmark. Queste competenze rappresentano capacità generali come il ragionamento o il recupero di conoscenza.

Il framework modella il modo in cui ogni competenza scala con i parametri del model e i dati di addestramento. Sloth utilizza caratteristiche semplici, come i logaritmi delle dimensioni del model e dei dataset, per descrivere come queste competenze cambiano all'interno di una famiglia di model. Una volta calibrato, Sloth può prevedere come i model più grandi della stessa famiglia si comporteranno in molti benchmark senza addestrarli.

Utilizzando le previsioni di Sloth, le organizzazioni possono decidere dove allocare le risorse di calcolo ed evitare configurazioni di addestramento che difficilmente raggiungeranno le prestazioni desiderate. Ciò supporta una pianificazione più razionale dell'addestramento dei model in condizioni reali.⁴

«Oltre Chinchilla-Optimal: considerare l'inferenza nelle leggi di scaling dei Language Model», Sardana, Portes & Doubov

In Beyond Chinchilla-Optimal: considerare l'inferenza nelle leggi di scaling dei Language Model (2025), Sardana et al. estendono il framework Chinchilla incorporando i costi di inferenza nello scaling a costo di compute ottimale.

Invece di minimizzare solo il compute di addestramento, fissano un livello di prestazioni target e ottimizzano il costo combinato di addestramento e inferenza lungo l'intero ciclo di vita del model.

Questo cambiamento porta a un'intuizione pratica importante: in contesti ad alta frequenza d'uso, model più piccoli addestrati su più dati possono spesso eguagliare le prestazioni di model più grandi con costi di compute totali inferiori.

Figura 3: I grafici confrontano i rapporti tra costo totale, numero di parametri e token di addestramento tra model reali a costo ottimale e model in stile Chinchilla.⁵

«Lo scaling dell'IA può continuare fino al 2030?», Epoch IA

Epoch IA ha esaminato nel 2024 se l'attuale ritmo di scaling dell'addestramento dell'IA, circa quattro volte all'anno, possa continuare fino alla fine del decennio. L'analisi si concentra su quattro possibili vincoli: disponibilità di energia, capacità di produzione di chip, scarsità di dati e il muro della latenza imposto dai requisiti di calcolo sequenziale.

Gli autori stimano che run di addestramento di 2e29 FLOP saranno probabilmente realizzabili entro il 2030. Prevedono che i dati multimodali espanderanno le scorte effettive di dati di addestramento a una forbice compresa tra 450 trilioni e 23 quadrilioni di token, consentendo run di addestramento da 6e28 a 2e32 FLOP. La generazione di dati sintetici potrebbe estendere ulteriormente questo limite se i laboratori di IA destineranno una quota significativa di compute alla loro produzione.

L'analisi identifica la disponibilità di energia come il vincolo che probabilmente si farà sentire per primo, seguita dalla capacità di produzione di chip. La scarsità di dati diventa un problema significativo nello stesso periodo, mentre il muro della latenza ha meno probabilità di essere vincolante nel breve termine.

Il lavoro di Epoch traduce il concetto astratto di limiti dello scaling in specifici limiti quantitativi, fornendo alle organizzazioni punti di riferimento per la pianificazione a lungo termine delle risorse di calcolo e degli investimenti infrastrutturali.⁶

«Addestramento di Large Language Models a costo di compute ottimale», Hoffmann, Borgeaud & Mensch

L'articolo Training Compute-Optimal Large Language Models (2022) rivaluta le prime leggi per i model linguistici neurali utilizzando un ampio insieme di esperimenti controllati. Modella la loss come funzione congiunta dei parametri del model e della dimensione dei dati di addestramento e rileva che molti dei primi grandi model erano sotto-addestrati rispetto al loro numero di parametri. Quando i ricercatori addestrano model più grandi con dati di addestramento insufficienti, la qualità del model risultante non è in linea con le previsioni delle leggi di scaling tradizionali.

Gli autori mostrano che, per un budget di compute fisso, le prestazioni ottimali si ottengono quando i model usano numeri di parametri e token di addestramento dello stesso ordine di grandezza. Questo risultato è ampiamente noto come la legge di scaling Chinchilla. Essa afferma che l'addestramento a costo di compute ottimale richiede una relazione quasi proporzionale tra il numero di parametri e il numero di token di addestramento.

Questo approccio produce model più piccoli che offrono prestazioni migliori rispetto a model più grandi addestrati su dati limitati. Supporta inoltre una selezione efficiente dei model, poiché i ricercatori possono adattare le leggi di scaling a model più piccoli e prevedere le prestazioni dei language model per configurazioni più grandi prima dell'addestramento.

Figura 4: La figura sovrappone le previsioni di diversi metodi, tutte indicanti che gli attuali grandi model sono sovradimensionati e dovrebbero invece essere più piccoli e addestrati più a lungo.⁷

«Leggi di scaling per i Neural Language Model», Kaplan & McCandlish

Kaplan et al. hanno introdotto le prime leggi di scaling ampiamente citate per i Neural Language Model in Scaling Laws for Neural Language Models (2020).

Nella loro analisi, le prestazioni del model seguono relazioni a legge di potenza rispetto a tre variabili chiave: il numero di parametri del model, la dimensione del dataset di addestramento (misurata in token) e il compute totale di addestramento.

Variando sistematicamente questi tre fattori, gli autori hanno mostrato che l'aumento di uno qualsiasi di essi porta a riduzioni prevedibili della loss, a condizione che gli altri siano scalati in modo appropriato.

Figura 5: La figura mostra come la test loss cambia con la dimensione del model sotto diversi budget di compute e conteggi di passi di addestramento, rivelando l'equilibrio ottimale tra dimensione del model, compute e durata dell'addestramento per le migliori prestazioni.

Questo lavoro ha stabilito le basi per la ricerca successiva sulle leggi di scaling dei language model. Ha inoltre dimostrato che la forma e la profondità del model hanno un effetto minore rispetto al numero totale di parametri e ai token di addestramento quando il compute è fisso. Questa intuizione ha influenzato il modo in cui i ricercatori hanno progettato gli algoritmi di addestramento per i large language model.⁸

Le opinioni sulle leggi di scaling degli LLM da parte dei principali laboratori e ricercatori di IA

Oltre alle leggi di scaling accademiche, i ricercatori e i professionisti del settore sottolineano come questi principi si traducano nello sviluppo e nel deployment reale dei model.

Le prospettive seguenti illustrano come diversi stakeholder, dai fornitori di hardware ai ricercatori applicati, interpretino e applichino le leggi di scaling nella pratica.

NVIDIA

Dal punto di vista dell'infrastruttura, NVIDIA ha presentato nel 2025 le leggi di scaling come strumenti pratici per progettare e addestrare i large language model. Evidenzia tre assi principali di scaling:

• Dimensione del model.
• Dimensione del dataset.
• Risorse di compute.

Secondo NVIDIA, scalare uno qualsiasi di questi fattori nel regime corretto produce miglioramenti prevedibili nella qualità del model.

L'articolo sottolinea inoltre l'importanza del compute a test time. I sistemi moderni dedicano più tempo all'inferenza utilizzando tecniche come sequenze di ragionamento estese. Ciò aggiunge una nuova dimensione alle leggi di scaling, andando oltre l'attenzione originaria ai token di addestramento e ai parametri del model.

NVIDIA utilizza queste idee per spiegare perché la domanda di risorse di compute continui a crescere, anche quando i model diventano più efficienti in termini di parametri. L'azienda suggerisce che sia l'addestramento sia l'inferenza rimarranno fattori significativi di utilizzo di compute nei futuri sistemi di natural language processing.⁹

Cameron Wolfe, ricercatore LLM presso Netflix

Dal punto di vista di un professionista, Cameron Wolfe spiega nel 2025 come le relazioni originarie a legge di potenza della letteratura accademica si applichino ai model attuali e come i professionisti possano usare queste curve per stimare le prestazioni ottenibili dei model prima di addestrare model più grandi.

Wolfe discute i ruoli della forma e dell'architettura del model nello scaling e osserva che, mentre le leggi di scaling tradizionali si concentrano sul numero di parametri, i sistemi pratici devono considerare anche la qualità dei dati e gli algoritmi di addestramento. L'articolo evidenzia preoccupazioni sulla disponibilità di dati di alta qualità e su come questi vincoli possano influenzare l'addestramento dei futuri model più grandi.

La discussione presenta le leggi di scaling come una guida per valutare i model esistenti e per stimare come le prestazioni del model possano cambiare quando i dati di addestramento vengono ampliati o quando i parametri del model vengono modificati.¹⁰

MIT-IBM Watson IA Lab

Adottando una visione più metodologica, i ricercatori del MIT-IBM Watson IA Lab analizzano le leggi di scaling su più architetture e dataset nel 2025.

I ricercatori raccolgono un ampio meta-dataset che include 485 model pre-addestrati, metadati di addestramento dettagliati e 1.9 milioni di metriche di prestazione. I model provengono da 40 famiglie di model (Pythia, OPT, OLMo, LLaMA, Bloom, T5-Pile, GPT e altre). Questo dataset viene utilizzato per testare oltre 1.000 leggi di scaling candidate e identificare pattern che generalizzano tra diverse famiglie di model.

Lo studio delinea passaggi chiari per adattare le leggi di scaling in presenza di vincoli di compute. Raccomanda di definire un budget di compute e un livello di prestazioni target, quindi addestrare una piccola collezione di model di dimensioni diverse piuttosto che concentrarsi sui model più grandi. I checkpoint intermedi sono evidenziati come fonti preziose di informazioni, mentre i dati di addestramento iniziali sono sconsigliati a causa del rumore.

Gli autori mostrano che quando si seguono queste linee guida, le previsioni possono avvicinarsi al limite inferiore stabilito dalla variabilità legata al seme casuale. Anche quando le previsioni sono meno precise, le leggi di scaling rimangono utili per confrontare le scelte di addestramento e identificare configurazioni promettenti.

Il lavoro osserva che le prestazioni variano significativamente tra le famiglie di model, il che rafforza l'importanza di utilizzare impostazioni di addestramento diversificate quando si adattano le leggi di scaling.¹¹

Cosa dicono i principali ricercatori sul futuro dello scaling?

Punti di vista a sostegno della continua validità delle leggi di scaling

Nel panorama della ricerca vi è una costante evidenza che le leggi di scaling reggano all'interno dei regimi testati. Il lavoro fondativo mostra chiare relazioni a legge di potenza tra parametri del model, dimensione dei dati di addestramento e compute di addestramento quando i model vengono addestrati in contesti bilanciati.

Studi successivi perfezionano questo quadro dimostrando che l'addestramento a costo di compute ottimale richiede di allineare la dimensione del model al volume dei token di addestramento e che questo allineamento migliora le prestazioni del model rispetto agli approcci precedenti.

Ulteriori lavori sulla valutazione multitask mostrano che anche le prestazioni sui benchmark scalano in modo prevedibile quando espresse in termini di un insieme più ridotto di competenze latenti. Ciò rafforza l'idea che le leggi di scaling dei language model rimangano strumenti affidabili per prevedere le prestazioni dei model quando le dimensioni del dataset e le risorse di compute sono allocate in modo appropriato.

Punti di vista che enfatizzano un'allocazione efficiente del compute

Una seconda linea di ricerca sostiene che il progresso dipenda sempre più da come il compute viene distribuito piuttosto che dalla sola espansione del numero di parametri. Le analisi dell'addestramento a costo di compute ottimale mostrano che i model richiedono dati di addestramento sufficienti per esprimere il loro potenziale e che i model più grandi addestrati su dati limitati sono spesso inefficienti.

Il lavoro che incorpora i costi di inferenza estende questa idea mostrando che il costo totale di un model dipende sia dal compute di addestramento sia dal compute in fase di inferenza.

Questa prospettiva suggerisce che i futuri sforzi di scaling privilegeranno configurazioni efficienti che ottimizzano congiuntamente dimensione del model, token di addestramento e volume di inferenza atteso. Inquadra la progettazione dei large language model come un esercizio di allocazione del compute piuttosto che come una ricerca della massima crescita dei parametri.

Punti di vista che enfatizzano la crescente importanza dell'efficienza e della densità

Un altro punto di vista si concentra sull'efficienza dei parametri e sull'uso efficace delle risorse di calcolo. La ricerca che monitora la densità dei parametri mostra che i model più recenti raggiungono prestazioni migliori con meno parametri rispetto ai model precedenti. Ciò indica che i miglioramenti architetturali, la qualità dei dati e gli algoritmi di addestramento giocano un ruolo significativo nei guadagni di prestazione.

Anche i commenti tecnici evidenziano la crescente importanza del comportamento in inferenza e dei miglioramenti post-training. Nel complesso, questi risultati suggeriscono che i sistemi futuri si baseranno su una progettazione efficiente dei model e su metodi di addestramento migliori piuttosto che su un'espansione incontrollata del numero di parametri. L'accento si sposta da model più grandi a model più capaci che utilizzano i propri parametri in modo più efficace.

Vincoli sullo scaling futuro degli LLM

Limiti di compute ed energia

Un tema ricorrente nella letteratura è l'elevata domanda di compute necessaria per addestrare e distribuire i large language model. L'addestramento di grandi model consuma risorse di compute significative, mentre l'inferenza su larga scala comporta costi operativi sostanziali.

Questi fattori impongono limiti economici allo scaling anche quando le leggi di scaling teoriche indicano ulteriori guadagni. Con la crescita dei model, il consumo energetico e i requisiti hardware diventano sempre più difficili da gestire.

Vincoli di disponibilità dei dati

Un altro vincolo è la disponibilità di dati di alta qualità. Le formulazioni tradizionali delle leggi di scaling presuppongono l'accesso a dati di addestramento abbondanti, ma questa assunzione non è più affidabile.

Diverse analisi indicano l'offerta limitata di testo di alta qualità e la crescente necessità di synthetic data curati o generati. Man mano che la dimensione dei dati di addestramento diventa un fattore limitante, la qualità dei dati diventa cruciale quanto il numero di parametri nel determinare le prestazioni del model.

Vincoli economici e di budget di compute

Lo scaling pratico è limitato sia da fattori tecnici sia da considerazioni finanziarie e organizzative. La ricerca incentrata sulla previsione delle prestazioni mostra che la pianificazione del budget di compute è essenziale per determinare quali run di addestramento siano realizzabili.

I commenti sulle pratiche del settore evidenziano il costo crescente del compute e la necessità per le organizzazioni di allocare con attenzione le proprie risorse. Questi fattori limitano quanto lo scaling possa essere spinto negli ambienti reali.

Vincoli algoritmici e architetturali

La ricerca sulle leggi di scaling sottolinea che i miglioramenti prevedibili si verificano quando i model vengono addestrati in regimi bilanciati. Il lavoro che analizza l'efficienza dei parametri dimostra che i progressi architetturali possono spostare la relazione tra dimensione del model e prestazioni.

Ulteriori commenti mostrano che gli algoritmi di addestramento influenzano l'efficacia con cui si applicano le leggi di scaling. Queste considerazioni implicano che il semplice scaling dei parametri non possa continuare all'infinito e che i progressi dipenderanno sempre più da nuovi metodi di addestramento e nuove architetture di model.

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

FAQ

Cita questa ricerca

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{ermut2026,
  author = {Ermut, Sıla},
  title  = {{LLM Leggi di scaling: analisi dei ricercatori di IA}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/llm-scaling-laws}},
  note   = {AIMultiple. Consultato il 24 luglio 2026}
}

Registro delle modifiche

2 aggiornamenti

20262025

1. 22 mag

   Aggiunti tre articoli alla sezione ricerca: scaling del post-training con RL, scaling architetturale efficiente in inferenza e l'analisi di scaling al 2030 di Epoch AI.

Collegamenti di riferimento

1.

Scaling Behaviors of LLM Reinforcement Learning Post-Training: An Empirical Study in Mathematical Reasoning

2.

SCALING LAWS MEET MODEL ARCHITECTURE: TOWARD INFERENCE-EFFICIENT LLMS

3.

Densing law of LLMs | Nature Machine Intelligence

Nature Publishing Group UK

4.

Sloth: scaling laws for LLM skills to predict multi-benchmark performance across families

5.

Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws

6.

Can AI scaling continue through 2030? | Epoch AI

7.

Training Compute-Optimal Large Language Models

8.

Scaling Laws for Neural Language Models

9.

How Scaling Laws Drive Smarter, More Powerful AI | NVIDIA Blog

10.

Scaling Laws for LLMs: From GPT-3 to o3

Deep (Learning) Focus

11.

How to build AI scaling laws for efficient LLM training and budget maximization | MIT News | Massachusetts Institute of Technology

Sıla Ermut

Analista di settore

Segui

Sıla Ermut è un'analista di settore presso AIMultiple e si occupa di modelli di IA, infrastrutture di IA, governance dell'IA e applicazioni aziendali dell'IA. La sua ricerca si concentra principalmente sull'uso dell'IA nel marketing, nella sanità, nelle catene di approvvigionamento e nella sostenibilità.
In precedenza ha lavorato come reclutatrice in società di project management e consulenza. Sıla ha conseguito un Master of Science in Psicologia Sociale e un Bachelor of Arts in Relazioni Internazionali.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento