Benchmark di Modelli Tabulari: Prestazioni su 19 Dataset

Abbiamo confrontato 8 modelli di apprendimento tabulare su 19 dataset reali per un totale di circa 260.000 campioni, con dimensioni dei dataset da 435 a 48.800 righe. Ogni modello è stato eseguito sulla stessa macchina con validazione incrociata a 5-fold e suddivisioni identiche.

Risultati benchmark dei modelli di apprendimento tabulare

Ogni dataset è un torneo all'italiana di confronti diretti tra modelli, decisi dalla metrica primaria. Elo aggrega tutte le 483 partite in un unico punteggio per modello; un divario di 200 punti significa che il modello con punteggio più alto vince circa 3 partite su 4. I dettagli sono nella metodologia.

TabFM, rilasciato da Google Research il 30 giugno 2026¹ , ha vinto 15 dei 19 dataset. Ha 218 punti Elo in più rispetto al modello successivo e 538 in più rispetto al miglior albero con boosting. Nessun albero boostato ha vinto un singolo dataset.

Elo gestisce in modo equo anche la copertura parziale: Mitra viene valutato solo sulle partite che ha potuto giocare, cioè i 12 dataset entro il suo limite di addestramento di 10.000 righe² .

• Le 15 vittorie di TabFM includono tutti i dataset grandi e difficili: adult (0.9318 ROC-AUC), electricity (0.9936), bank-marketing-full (0.9465), e house_sales (RMSE 97.704).
• Il suo margine più ampio è su vehicle, l'unico dataset multiclasse: 0.9136 F1 macro contro 0.7492 di XGBoost.
• Le quattro vittorie non di TabFM: Regressione Logistica su amazon_employee_access, TabICLv2 su compas-two-years, Mitra su breast-w, e un pareggio a tre tra modelli base con il punteggio perfetto di 1.0000 su monks-problems-2.
• La vittoria della Regressione Logistica è più sottile di quanto la tabella suggerisca: 0.8631 ROC-AUC contro 0.8627 di TabFM e 0.8621 di CatBoost, con deviazioni standard a livello di fold da 0.010 a 0.015. Su dati categorici ad alta cardinalità, i migliori modelli classici e TabFM sono statisticamente in parità, e il vantaggio dei modelli classici si basa sul costo piuttosto che sull'accuratezza.

Un limite nel titolo: il vantaggio di TabFM su tutti e quattro i modelli classici è statisticamente significativo (test di Friedman, poi differenza critica di Nemenyi; ogni divario la supera). Il suo vantaggio su TabPFN 3 e TabICLv2 non è definito con 19 dataset: quei divari rimangono al di sotto della differenza critica, e gli intervalli Elo si sovrappongono al margine. Che i modelli base battano il gradient boosting è l'affermazione statisticamente supportata; che TabFM guidi il gruppo dei modelli base è un risultato di ranking medio che attende più dataset. I dettagli dei test sono nella metodologia.

Latenza dei modelli tabulari

• Il prezzo per GPU utilizza la tariffa on-demand B200 di RunPod di $5,89 per GPU-ora al 2 luglio 2026³ . I modelli classici sono stati eseguiti su CPU (62 core); ogni modello base è stato eseguito su una B200.
• TabFM ha impiegato in media 173,6 secondi per fold (mediana 16,9). Il suo dataset peggiore, adult con 48.800 righe, ha richiesto 893 secondi per fold. L'intero benchmark è costato a TabFM circa $27 in tempo GPU; TabPFN 3 ha fatto lo stesso lavoro per $0,65 e LightGBM praticamente nulla su CPU.
• Questi numeri escludono l'avvio a freddo di TabFM. Prima della sua prima previsione, il backend JAX di TabFM impiega circa 20 – 25 minuti a compilare i kernel GPU. Una cache di compilazione persistente elimina questa fase nelle esecuzioni successive; ogni nuova implementazione la paga una volta sola.
• TabFM ha anche avuto il più alto onere di configurazione tra gli otto modelli. Richiede una GPU da datacenter recente, e su hardware B200 lo stack CUDA 12 predefinito attiva un bug documentato di cuBLAS che JAX segnala come rischio di corruzione silenziosa dei dati. Una delle nostre esecuzioni ha dovuto essere scartata e ripetuta sullo stack CUDA 13 a causa di ciò. Nessun altro modello ha avuto una modalità di guasto comparabile.
• TabFM sposta il costo sull'inferenza: ogni batch di previsione rielabora i dati di addestramento come contesto. Servito una volta per dataset, va bene. Per scoring ripetuti su dati grandi, il costo per chiamata si accumula, mentre un modello XGBoost addestrato predice in microsecondi.

Risultati per dimensione del dataset e tipo di caratteristica

• Dataset piccoli (sotto le 1.000 righe): i quattro modelli base occupano le prime quattro posizioni sia sui dati numerici che ibridi. Mitra, costruito per dati piccoli, vince su breast-w e pareggia su monks-problems-2 con un punteggio perfetto. La Regressione Logistica tiene bene sui dati numerici (ROC-AUC medio 91,2%) e crolla sui dati ibridi (77,5%).
• Dataset medi (da 1.000 a 10.000 righe): i modelli base guidano su entrambi i tipi di caratteristiche. Il divario sui dati ibridi è ampio: TabFM ROC-AUC medio dell'85,3% contro l'83,4% del miglior modello classico, CatBoost.
• Dataset grandi (oltre 10.000 righe): il vecchio schema del 'boosting che recupera su larga scala' è scomparso. Su dati numerici grandi TabFM ottiene in media il 99,4% contro il 97,0% di XGBoost. Su dati ibridi grandi TabFM è in testa con l'88,4% contro l'87,6% di LightGBM.

Ranking medio per regime

La vista del ranking aggiunge due cose che le medie ROC-AUC nascondono.

• TabFM detiene il miglior ranking medio in tutti e sei i regimi, incluso un perfetto 8,0 sui dati numerici medi, dove si è classificato primo su ogni dataset.
• Quanto sia serrata la competizione dipende dal regime. Su dati piccoli i quattro modelli base sono entro un punto di ranking l'uno dall'altro, quindi gli utenti di dati piccoli possono sceglierne uno qualsiasi e perdere poca accuratezza. Su dati ibridi grandi il campo si divide: TabFM a 6,8, il secondo posto a 4,4. Il terzo posto di LightGBM lì (4,2) è la migliore prestazione classica in qualsiasi regime.

Vittorie dei modelli per regime

TabFM ottiene punti vittoria in tutti e sei i regimi; nessun altro modello ne ottiene in più di due. L'unico punto dei modelli classici nell'intera griglia è la vittoria della Regressione Logistica su amazon_employee_access. I punti di Mitra si trovano tutti nella riga dei dati piccoli, coerente con il suo design.

Il regime conta ancora, ma per scegliere quanta potenza di calcolo spendere, non più per scegliere quale famiglia di modelli vince.

Osservazioni specifiche per modello

TabFM (Google Research, giugno 2026)

Miglior ranking medio (1,42), 15 vittorie nette, modello migliore in ogni regime. Architetturalmente è un ibrido: attenzione riga-colonna in stile TabICL sulle celle grezze, compressione delle righe, poi un trasformatore in-contesto in stile TabPFN sulle righe compresse, pre-addestrato su centinaia di milioni di tabelle sintetiche. I compromessi: circa 40x la potenza di calcolo di TabPFN 3, una compilazione iniziale di oltre 20 minuti, un limite di 500 caratteristiche e 10 classi, e distribuzione solo su GPU da datacenter.

TabICLv2 (Inria SODA, febbraio 2026)

Secondo miglior ranking medio (2,74) a 3,1 secondi per fold⁴ . Aggiunge il supporto per la regressione, che il TabICL originale non aveva. Completato tutti i 19 dataset, incluso amazon_employee_access, la cui colonna categorica con 7.518 valori sovraccarica i modelli in-contesto quando viene codificata one-hot. La migliore accuratezza per GPU-secondo nel benchmark.

TabPFN 3 (Prior Labs)

Terzo ranking medio (3,00), ha completato tutto, 6,6 minuti totali di GPU⁵ . Il chunking delle righe gli consente di gestire dataset che fanno traboccare altri modelli in-contesto sullo stesso hardware. SAP ha annunciato l'acquisizione di Prior Labs a maggio 2026⁶ , cosa importante per gli acquirenti aziendali che valutano la stabilità del fornitore.

Mitra (Amazon, via AutoGluon)

Uno specialista dei dati piccoli per progettazione: un limite rigido di 10.000 righe di addestramento lo rende N/A su 7 dei 19 dataset. All'interno del suo ambito è competitivo: ranking medio 4,50 sui suoi 12 dataset e una vittoria netta. Sceglilo quando i dati sono veramente piccoli e AutoGluon è già nello stack.

Gradient boosting: LightGBM, CatBoost, XGBoost

Ancora il default per la distribuzione, non più il leader di accuratezza in nessun regime. LightGBM è stato il miglior modello classico (ranking medio 5,16). CatBoost rimane la scelta classica più sicura su dati ricchi di categoriche. XGBoost è finito ultimo per ranking medio (6,42) e ha mostrato una debolezza notevole: con split categorici nativi sulla regressione ad alta cardinalità employee_salaries, ha ottenuto un RMSE di 10.894 mentre LightGBM ha ottenuto 4.367 sugli stessi input. È un risultato su un singolo dataset, ma vale la pena verificarlo prima di affidarsi alla modalità categorica di XGBoost.

Il caso degli alberi boostati nel 2026 è operativo: addestramento inferiore al secondo, inferenza in microsecondi, nessuna GPU, nessun limite di righe, strumentazione matura.

Regressione Logistica

Ranking medio 6,21, eppure possiede una quota del pareggio su amazon_employee_access. One-hot sparsa più un modello lineare rimane una baseline forte, quasi gratuita su dati categorici ad alta cardinalità. Tienila in ogni benchmark.

Punti chiave

I modelli base superano gli alberi con gradient boosting in accuratezza, con significatività statistica, su dati tabulari piccoli, medi e grandi. Questo vale solo quando ogni modello riceve l'input categorico per cui è progettato; imporre la codifica one-hot ai modelli in-contesto li penalizza fortemente su dati ad alta cardinalità.

TabFM è in testa per accuratezza ma costa circa 40x la potenza di calcolo di TabPFN 3 o TabICLv2 e comporta il più alto onere di configurazione. TabICLv2 a 3 secondi per fold è la scelta di valore. TabPFN 3 è la via di mezzo collaudata e supportata a livello enterprise.

Su dati categorici ad alta cardinalità, i modelli classici più forti e TabFM sono statisticamente in parità. Il vantaggio classico è il costo, la semplicità e la libertà di distribuzione.

Zero-shot significa zero addestramento, non zero calcolo. Valuta il volume di previsione del tuo carico di lavoro prima di scegliere TabFM.

Cosa sono i modelli base tabulari?

I modelli tabulari tradizionali si addestrano da zero su ogni dataset. I modelli base tabulari (TFM) sono pre-addestrati una volta su grandi raccolte di problemi tabulari, per lo più sintetici, e si adattano a nuovi dataset al momento dell'inferenza: le righe di addestramento entrano come contesto e le previsioni escono da un passaggio in avanti. Nessun addestramento con gradienti, nessuna regolazione degli iperparametri.

TabPFN riformula l'apprendimento tabulare come inferenza bayesiana ammortizzata: un trasformatore pre-addestrato su milioni di compiti sintetici condiziona sul dataset osservato per produrre previsioni⁷ . TabPFN 3 ha innalzato i limiti a 100.000 righe e 2.000 caratteristiche con gestione categorica nativa.

TabICL estende l'apprendimento in-contesto alle tabelle: le righe diventano token strutturati e il modello deduce regole decisionali dagli esempi di contesto⁸ . TabICLv2 ha aggiunto il supporto per la regressione a febbraio 2026.

TabFM combina i due approcci: attenzione alternata riga-colonna sulle celle grezze, compressione di ogni riga in un vettore denso, poi un trasformatore in-contesto sulle righe compresse. È stato addestrato su centinaia di milioni di dataset sintetici generati da modelli causali strutturali.

Mitra segue la linea TabPFN all'interno di AutoGluon, ottimizzato per dati piccoli.

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

Metodologia del Benchmark dei Modelli Tabulari

Modelli (8): LogisticRegression, XGBoost, LightGBM, CatBoost, TabPFN 3, TabICLv2, TabFM, Mitra.

Dataset (19, OpenML): 15 classificazione binaria, 1 multiclasse, 3 regressione; da 435 a 48.800 righe. Rimosse le colonne con fuga di dati nota.

Valutazione: validazione incrociata stratificata a 5-fold (CV semplice per la regressione), seed 42, suddivisioni identiche per ogni modello. Metriche primarie: ROC-AUC (binario), F1 macro (multiclasse), RMSE (regressione). Iperparametri predefiniti, nessuna regolazione. Questo favorisce i modelli senza regolazione (tuning-gratuito): un XGBoost regolato otterrebbe punteggi più alti, e i budget di regolazione sono essi stessi un costo che non abbiamo modellato.

Gestione delle categoriche, in base al design del modello: dtype categoria nativa per CatBoost, XGBoost e LightGBM; caratteristiche grezze con indici categorici per TabPFN 3 e TabFM; codifica ordinale per TabICLv2; one-hot più StandardScaler solo per la Regressione Logistica. Nessun modello che supporta categoriche native è costretto alla one-hot. Il compromesso: le celle differiscono nella rappresentazione in input per progettazione. Imporre una rappresentazione unica a tutti i modelli sembrerebbe più equo ma penalizza i modelli costruiti per un input diverso.

Ambiente: un pod RunPod con 2x NVIDIA B200 (183 GB), driver 580, Ubuntu 24.04. Modelli classici su CPU (62 core), ogni modello base su una B200. PyTorch 2.8.0 cu128 per TabPFN 3, TabICLv2 e Mitra; JAX 0.10.1 con pacchetti CUDA 13 per TabFM.

Latenza: tempo di esecuzione per fold per addestramento più previsione, registrato all'interno del framework di test. La compilazione unica di TabFM è esclusa dai tempi per fold e riportata separatamente.

Politica N/A: una cella è N/A solo per un limite documentato del modello, con il motivo registrato nei log. Gli unici N/A nei dati finali sono i 7 dataset di Mitra che superano il suo limite di 10.000 righe.

Metriche di ranking: all'interno di ogni dataset, i modelli sono classificati da 1 (migliore) a k in base alla metrica primaria; il ranking medio di un modello media questi valori sui dataset che ha completato. Il grafico del regime mostra il ranking invertito, k + 1 meno il ranking, quindi più alto è meglio e 8 significa primo tra otto. I punti vittoria assegnano il singolo punto di ogni dataset al punteggio migliore; i pareggi esatti lo dividono equamente, quindi un pareggio a tre assegna 0,33 ciascuno.

Statistiche: test di Friedman più differenza critica di Nemenyi sui 7 modelli a copertura completa (Mitra escluso; i ranking sono ricalcolati all'interno di questi 7, quindi sono leggermente inferiori ai ranking medi a 8 modelli citati nelle sezioni sui modelli). Il test di Friedman dà chi-quadrato 72,8, p inferiore a 10^-12. La differenza critica è CD = q × sqrt(k(k+1) / (6N)), con q = 2,949 per alpha 0,05 per k = 7 modelli e N = 19 dataset, ottenendo CD = 2,07: due modelli differiscono significativamente solo se i loro ranking medi sono superiori a 2,07. I divari di TabFM rispetto ai modelli classici vanno da 3,47 (LightGBM) a 4,58 (XGBoost), tutti sopra la soglia; i suoi divari rispetto a TabICLv2 (1,34) e TabPFN 3 (1,55) sono inferiori. Gli intervalli di confidenza del ranking medio provengono da un bootstrap di 10.000 campioni sui dataset.

Punteggi Elo: ogni dataset è un torneo all'italiana tra tutti i modelli che lo hanno completato, per un totale di 483 partite a coppie. Il modello con la metrica primaria migliore vince la partita (punteggio 1); i pareggi esatti valgono 0,5 ciascuno.

Le formule utilizzano quattro quantità. R(A) è il punteggio attuale del modello A, il numero riportato nel grafico; ogni modello parte da R = 1000. S(A) è il punteggio effettivo che il modello A ha ottenuto in una partita: 1 per una vittoria, 0,5 per un pareggio, 0 per una sconfitta. E(A) è il punteggio atteso, la probabilità di vittoria che i punteggi attuali prevedono per A prima che la partita venga conteggiata. K = 32 è il passo di aggiornamento, che limita quanto una partita può spostare un punteggio.

Prima di una partita tra i modelli A e B, il punteggio atteso è E(A) = 1 / (1 + 10^((R(B) − R(A)) / 400)): quando i punteggi sono uguali, dà 0,5, e si avvicina a 1 man mano che il punteggio di A aumenta. Dopo la partita, il punteggio si aggiorna con R(A) = R(A) + K × (S(A) − E(A)), quindi A guadagna quando fa meglio del previsto e perde punti quando fa peggio; una vittoria a sorpresa contro un modello con punteggio più alto paga di più di una vittoria di routine contro uno più debole. L'aggiornamento è a somma zero, quindi la media del gruppo rimane 1000, e un punteggio di 994 indica un modello medio in questo campo. Il divisore 400 imposta la scala: con un divario di 200 punti il punteggio atteso è 1 / (1 + 10^(−0,5)) = 0,76, che è da dove viene 'vince circa 3 partite su 4'.

Un singolo passaggio Elo dipende dall'ordine delle partite, e i 19 dataset sono essi stessi un campione. Eseguiamo quindi 1.000 round di bootstrap; ogni round ricampiona i 19 dataset con reinserimento, ricostruisce l'elenco delle partite, mescola l'ordine delle partite ed esegue Elo da zero. Il punteggio pubblicato è la media tra i round, e gli intervalli al 95% sono i percentili 2,5 e 97,5, che coprono sia il campionamento dei dataset che il rumore di ordinamento. Elo è la visualizzazione riassuntiva; il test di Friedman e Nemenyi rimane l'arbitro della significatività.

Riproducibilità: seed fisso 42, suddivisioni identiche, risultati per fold e tutti gli script di merge, statistiche e Elo nel repository del benchmark.

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{kalelioglu2026,
  author = {Kalelioğlu, Berk and Dilmegani, Cem},
  title  = {{Benchmark di Modelli Tabulari: Prestazioni su 19 Dataset}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/tabular-models}},
  note   = {AIMultiple. Consultato il 3 Luglio 2026}
}

Collegamenti di riferimento

1.

Introducing TabFM: A zero-shot foundation model for tabular data

2.

AutoGluon Tabular - Foundational Models - AutoGluon 1.5.0 documentation

3.

Pricing | Runpod

Runpod

4.

[2602.11139] TabICLv2: A better, faster, scalable, and open tabular foundation model

5.

[2207.01848] TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second

6.

SAP to Acquire Prior Labs | SAP News Center

SAP

7.

[2207.01848] TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second

8.

[2502.05564] TabICL: A Tabular Foundation Model for In-Context Learning on Large Data

Berk Kalelioğlu

Ricercatore AI

Segui

Berk è un Ricercatore AI presso AIMultiple, concentrandosi su sistemi di IA agentica e modelli linguistici.

Visualizza il profilo completo

Ricercato da

Cem Dilmegani

Analista principale

Segui

Cem è il principale analista presso AIMultiple dal 2017. AIMultiple informa centinaia di migliaia di aziende (secondo similarWeb) incluso il 55% di Fortune 500 ogni mese. Il lavoro di Cem è stato citato da importanti pubblicazioni globali tra cui Business Insider, Forbes, Washington Post, aziende globali come Deloitte, HPE e ONG come il World Economic Forum e organizzazioni sovranazionali come la Commissione Europea. Puoi vedere altre aziende e risorse affidabili che hanno fatto riferimento a AIMultiple. Nell'arco della sua carriera, Cem ha lavorato come consulente tecnologico, acquirente tecnologico e imprenditore tecnologico. Ha consigliato le imprese sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per oltre un decennio. Ha anche pubblicato un rapporto McKinsey sulla digitalizzazione. Ha guidato la strategia tecnologica e l'approvvigionamento di un'azienda di telecomunicazioni riportando al CEO. Ha anche guidato la crescita commerciale della società deep tech Hypatos che ha raggiunto un fatturato annuo ricorrente a 7 cifre e una valutazione a 9 cifre partendo da 0 in 2 anni. Il lavoro di Cem in Hypatos è stato seguito da importanti pubblicazioni tecnologiche come TechCrunch e Business Insider. Cem parla regolarmente a conferenze tecnologiche internazionali. Si è laureato in ingegneria informatica presso l'Università Bogazici e possiede un MBA della Columbia Business School.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento