Modelli di IA
I modelli di intelligenza artificiale effettuano previsioni basandosi sui dati di addestramento. Possono funzionare in qualsiasi ambito, come numeri, testo o contenuti multimediali.
LLM Benchmark di latenza per casi d'uso
Abbiamo sottoposto a benchmark 11 modelli linguistici di grandi dimensioni di punta tramite modelli linguistici di grandi dimensioni con un totale di 1.320 richieste, suddividendo tra modelli reasoning e non-reasoning, e abbiamo misurato la latenza del primo token, la latenza per token e il tempo di risposta complessivo. Puoi trovare i dettagli su come abbiamo…
Benchmark di Modelli Tabulari: Prestazioni su 19 Dataset
Abbiamo confrontato 8 modelli di apprendimento tabulare su 19 dataset reali per un totale di circa 260.000 campioni, con dimensioni dei dataset da 435 a 48.800 righe. Ogni modello è stato eseguito sulla stessa macchina con validazione incrociata a 5-fold e suddivisioni identiche. Ogni dataset è un torneo all'italiana di confronti diretti tra modelli, decisi…
LLM Quantizzazione: BF16 vs FP8 vs INT4
Abbiamo benchmarkato Qwen3-32B a 4 livelli di precisione (BF16, FP8, GPTQ-Int8, GPTQ-Int4) su una singola NVIDIA H100 80GB GPU. Ogni configurazione è stata valutata su 2 benchmark (~12,2K domande) che coprono conoscenza e generazione di codice, oltre a oltre 2.000 esecuzioni di inferenza per misurare il throughput. Int4 è 2,7x più veloce di BF16 pur…