LLM Parametri: tipi, scaling, guida al fine-tuning
Il conteggio dei parametri è una delle specifiche più citate di un modello linguistico di grandi dimensioni, ma non determina quanto bene un modello funzioni o quanto costa eseguirlo. Il grafico seguente confronta 31 modelli in base al punteggio LLM Index e al costo medio per attività su sette benchmark.
Quattro modelli formano la linea di Pareto, in cui nessun altro modello offre un punteggio più alto a un costo inferiore: GPT-6 Luna, Xiaomi MiMo-V2.6-Pro, GPT-6.1 Sol e Claude Opus 5.5. Il grafico mostra tre schemi:
- Rendimenti decrescenti al vertice: Claude Opus 5.5 ha il punteggio più alto, ma il suo guadagno rispetto a GPT-6.1 Sol è piccolo rispetto alla differenza di costo. Gli ultimi punti di prestazione costano di più.
- Un costo più alto non garantisce un punteggio più alto: La maggior parte dei modelli si colloca ben al di sotto della linea di Pareto e diversi costano di più per attività rispetto a GPT-6.1 Sol pur ottenendo un punteggio inferiore. Il prezzo riflette le tariffe dei fornitori e il numero di token generati da un modello.
- I modelli open-weight competono sull'efficienza: MiMo-V2.6-Pro è l'unico modello open-weight sulla linea di Pareto. Raggiunge un punteggio di fascia media a uno dei costi più bassi del confronto, pur avendo oltre un trilione di parametri totali. Poiché utilizza un'architettura mixture-of-experts, solo una frazione di quei parametri elabora ogni token, il che mantiene l'inferenza economica.
Definizioni e tipi di parametri LLM
Un parametro di modello è una variabile che un sistema di machine learning apprende da solo, distinta dai valori impostati da operatori umani. Nell'implementazione delle reti neurali, i parametri sono tensori registrati con il calcolo automatico del gradiente, consentendo agli algoritmi di ottimizzazione di aggiornare i loro valori durante la retropropagazione.
I parametri includono i pesi, che scalano i segnali di ingresso, i bias, che compensano le attivazioni, e gli embedding. Forniscono rappresentazioni vettoriali apprese di token discreti.1
Parametri addestrabili vs iperparametri
Pesi, bias ed embedding
Pesi e bias
Pesi e bias costituiscono le componenti apprendibili delle trasformazioni lineari. In un livello completamente connesso, la matrice dei pesi ha forma (out_features, in_features) e scala l'ingresso, mentre il vettore dei bias, di forma (out_features), sposta la funzione di attivazione per consentire output non nulli quando gli ingressi sono zero.2
All'interno di un transformer, ogni sottolivello di attenzione contiene matrici di proiezione query, key, value e output (W_q, W_k, W_v, W_o), e implementazioni comuni come MultiheadAttention di PyTorch aggiungono termini di bias opzionali a tutte e quattro le proiezioni.3
Embedding
Gli embedding sono la terza categoria di parametri: una tabella di lookup che memorizza un vettore appreso per ogni token del vocabolario, inizializzata da una distribuzione normale e addestrata tramite retropropagazione come gli altri pesi.4
L'architettura transformer originale condivide la stessa matrice di pesi tra embedding di ingresso, embedding di output e la trasformazione lineare pre-softmax, scalando i pesi per la radice quadrata della dimensione del modello.
Come funzionano i parametri all'interno degli LLM
Un modello linguistico di grandi dimensioni opera mantenendo fissi i valori dei parametri addestrati durante l'inferenza e applicandoli per trasformare gli embedding dei token di ingresso in distribuzioni di probabilità sull'output.
L'architettura transformer è composta da livelli impilati, ciascuno contenente blocchi di self-attention multi-testa e feed-forward parametrizzati da matrici di peso e vettori di bias.5
Prima dell'addestramento, l'inizializzazione dei pesi estrae valori da distribuzioni progettate per mantenere stabile la varianza del segnale in avanti e all'indietro attraverso i livelli.
Come vengono appresi i parametri LLM durante l'addestramento
L'addestramento procede tramite cicli di propagazione in avanti, calcolo della perdita e retropropagazione. Il passaggio in avanti calcola le attivazioni intermedie e gli output finali applicando sequenzialmente le matrici di pesi.
La retropropagazione applica la regola della catena del calcolo per calcolare il gradiente della perdita rispetto a ogni parametro, propagando i segnali di errore dai livelli di output a quelli di ingresso. La discesa del gradiente aggiorna quindi ogni parametro nella direzione che riduce la perdita, e questo processo iterativo continua fino alla convergenza.
Parametri di generazione al momento dell'inferenza
Durante l'inferenza, i pesi addestrati rimangono congelati mentre gli iperparametri di campionamento controllano la selezione dei token. La temperatura scala i logit prima della softmax, con valori da 0 a 2; valori più alti aumentano la casualità, valori più bassi aumentano il determinismo.6
Top-p (nucleus sampling) limita la selezione al più piccolo insieme di token la cui massa di probabilità cumulativa supera la soglia specificata, tipicamente tra 0 e 1. Il campionamento top-k limita la selezione ai k token con probabilità più alta.
La penalità di frequenza e la penalità di presenza vanno da -2 a 2; i valori positivi riducono la probabilità dei token in base, rispettivamente, alla loro frequenza esistente nel testo generato o alla loro presenza nel testo fino a quel momento.
I modelli recenti hanno deprecato i controlli di temperatura e top-p, rifiutando valori non predefiniti o trattandoli come no-op:
I modelli Anthropic Claude Opus 4.7 e successivi restituiscono un errore 400 quando i parametri temperatura, top-p o top-k vengono impostati su valori diversi da quelli predefiniti, e Anthropic consiglia di guidare l'output tramite prompting invece.7
Anche i modelli di ragionamento di OpenAI, tra cui o1, o3, o4-mini e GPT-5, rifiutano valori non predefiniti. Accettano la temperatura al valore predefinito di 1 e non supportano impostazioni personalizzate di top-p, penalità di frequenza o penalità di presenza.8
Il Google Gemini 4 Argon adotta la strategia no-op: le richieste che includono temperatura, top-p o top-k vengono comunque accettate, ma il modello ignora quei valori.9
Conteggio dei parametri e scala del modello
I modelli GPT di OpenAI, Anthropic Claude e Google Gemini non divulgano il numero di parametri, quindi le cifre pubblicate per questi modelli sono stime esterne. I modelli open-weight pubblicano le loro dimensioni e rappresentano una quota elevata dell'uso reale: DeepSeek ha guidato OpenRouter con il 43% delle richieste di testo nella settimana all'inizio di novembre 2026.10
La maggior parte degli attuali modelli open-weight di punta utilizza un'architettura mixture-of-experts (MoE), che divide i livelli feed-forward in molte reti esperte più piccole e instrada ogni token verso alcune di esse. Questi modelli riportano quindi due valori:
- Parametri totali: ogni esperto archiviato in memoria.
- Parametri attivi: gli esperti che elaborano un determinato token.
Ad esempio, Kimi K3 ha 2.8 trilioni di parametri totali ma ne attiva 104 miliardi per token, usando 16 dei suoi 896 esperti.11
Il calcolo per token scala con il numero di parametri attivi, mentre i requisiti di memoria e archiviazione scalano con il totale. È per questo che gpt-oss-120b, con 117 miliardi di parametri totali e 5.1 miliardi di parametri attivi, sta su una singola 80 GB GPU.12
Leggi di scaling per parametri, dati e calcolo
Le leggi di scaling sono relazioni empiriche che collegano le prestazioni del modello al numero di parametri, ai dati di addestramento e al calcolo. Kaplan et al. hanno scoperto che la perdita diminuisce secondo una legge di potenza man mano che ciascuno di questi tre fattori cresce, a condizione che anche gli altri scalino con esso. A parità di budget di calcolo, il numero totale di parametri e i token di addestramento contavano più della forma o della profondità del modello.13
Addestramento compute-optimal
Lo studio Chinchilla ha rivisto questo quadro mostrando che molti modelli di grandi dimensioni erano sotto-addestrati per la loro dimensione. Con un budget di calcolo fisso, i parametri e i token di addestramento dovrebbero crescere in proporzione approssimativamente uguale, il che equivale a circa 20 token di addestramento per parametro.14
Modelli precedenti come GPT-3, Gopher e MT-NLG sono stati addestrati con quasi un token per parametro. I modelli recenti superano di gran lunga il rapporto di Chinchilla: Llama 3 8B è stato addestrato con circa 1.900 token per parametro. Consulta le LLM scaling laws per saperne di più.
Addestrare oltre il punto compute-optimal ha senso una volta considerati i costi di inferenza. Sardana et al. hanno ottimizzato il costo combinato di addestramento e inferenza durante l'intero ciclo di vita di un modello, anziché solo il calcolo di addestramento. Hanno scoperto che in contesti di utilizzo elevato, modelli più piccoli addestrati su più dati possono eguagliare modelli più grandi a un costo totale inferiore.15
Oltre il conteggio dei parametri
La ricerca successiva aggiunge variabili che le leggi originali non consideravano. Bian et al. hanno esteso il framework Chinchilla con fattori architetturali, tra cui la dimensione nascosta, la suddivisione dei parametri tra livelli MLP e livelli di attenzione e l'attenzione a query raggruppate. Hanno addestrato oltre 200 modelli da 80 milioni a 3 miliardi di parametri e hanno dimostrato che queste scelte spostano il compromesso tra accuratezza e costo di inferenza in modi prevedibili.16
Tecniche per una gestione efficiente dei parametri
Il fine-tuning parameter-efficient e la quantizzazione riducono i costi di memoria e di calcolo associati a un numero elevato di parametri. Queste tecniche consentono il fine-tuning e l'inferenza di modelli che altrimenti supererebbero i vincoli hardware.
Fine-tuning efficiente in termini di parametri (LoRA e varianti)
Low-Rank Adaptation (LoRA) congela le matrici di peso pre-addestrate e inietta accanto a esse matrici addestrabili di decomposizione di rango. Per una matrice di peso di dimensioni d × k, LoRA aggiunge le matrici A e B con dimensione interna r << d, k, riducendo i parametri addestrabili da d × k a r × (d + k).17
Applicato a GPT-3 175B, LoRA riduce i parametri addestrabili di 10.000 volte e riduce i requisiti di memoria della GPU di un fattore 3 rispetto al fine-tuning completo con Adam, eguagliando o superando la qualità del fine-tuning completo sui benchmark. Ad esempio, il fine-tuning di Llama-3.2-1B addestra lo 0,04% dei parametri.18
LoRA-XS riduce ulteriormente i requisiti di archiviazione di oltre 100 volte rispetto al LoRA standard su modelli da 7 miliardi di parametri, inserendo matrici addestrabili tra decomposizioni a basso rango congelate.19
Quantizzazione dei parametri del modello
La quantizzazione riduce il numero di bit usato per memorizzare i valori dei parametri, tipicamente da virgola mobile a 16 bit a rappresentazioni a 4 o 8 bit.
QLoRA combina la quantizzazione NormalFloat a 4 bit del modello base congelato con il fine-tuning LoRA, riducendo la memoria necessaria per il fine-tuning di un modello da 65 miliardi di parametri da oltre 780GB a meno di 48GB, eguagliando al contempo le prestazioni del fine-tuning completo a 16 bit.20
GPTQ quantizza i pesi a 3 o 4 bit usando informazioni approssimate del secondo ordine, elaborando un modello da 175 miliardi di parametri in circa 4 GPU-ore con un aumento di perplessità trascurabile e consentendo l'inferenza su singola GPU.21
GPTQ ottiene accelerazioni dell'inferenza end-to-end di circa 3.25x su NVIDIA A100 GPU e di 4.5x su NVIDIA A6000 GPU rispetto a FP16. La quantizzazione INT8 di PyTorch riduce le dimensioni del modello di 4x e la larghezza di banda della memoria di 2-4x, con accelerazioni medie geometriche dell'inferenza di 2.97x su x86 CPU rispetto a FP32.22
Il modello fondativo on-device di Apple impiega l'addestramento quantization-aware per comprimere i pesi a 2 bit per peso e gli embedding a 4 bit, recuperando la qualità tramite adattatori a basso rango sopra la base quantizzata.23
Aggiungi come fonte preferitaCita questa ricerca
Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Ermut, Sıla},
title = {{LLM Parametri: tipi, scaling, guida al fine-tuning}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/llm-parameters}},
note = {AIMultiple. Consultato il 14 ottobre 2026}
}Risultati e timestamp di 34 punti dati. Scarica i dati di sintesi mostrati nei grafici e nelle tabelle di questo articolo come file ZIP contenente 3 file CSV.
Vuoi i dati granulari che ci stanno dietro? Passa a Premium
Collegamenti di riferimento
Il lavoro di Cem presso AIMultiple è stato citato da importanti testate internazionali tra cui Business Insider, Forbes, Morning Brew e Washington Post, da aziende globali come Deloitte e HPE, da ONG come il World Economic Forum e da organizzazioni sovranazionali come la Commissione europea. [1], [2], [3], [4], [5]
Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, acquirente tecnologico e imprenditore tecnologico. Ha consigliato le aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per più di un decennio. Ha inoltre pubblicato un report McKinsey sulla digitalizzazione.
Ha guidato la strategia tecnologica e gli approvvigionamenti di una società di telecomunicazioni rispondendo direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto ricavi ricorrenti annuali a 7 cifre e una valutazione a 9 cifre partendo da zero in 2 anni. Il lavoro di Cem in Hypatos è stato ripreso da importanti testate tecnologiche come TechCrunch e Business Insider.
Cem interviene regolarmente a conferenze tecnologiche internazionali. Si è laureato come ingegnere informatico presso l'Università di Bogazici e possiede un MBA della Columbia Business School.
In precedenza ha lavorato come reclutatrice in società di project management e consulenza. Sıla ha conseguito un Master of Science in Psicologia Sociale e un Bachelor of Arts in Relazioni Internazionali.
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.