Benchmark dei modelli tabulari: prestazioni su 19 dataset

Abbiamo confrontato 13 modelli di apprendimento tabulare su 19 dataset reali per un totale di circa 272.000 campioni, con dimensioni dei dataset da 435 a 48.800 righe. Ogni modello è stato eseguito con convalida incrociata a 5 pieghe su suddivisioni identiche.

Risultati del benchmark dei modelli di apprendimento tabulare

Ogni dataset è un girone all'italiana di sfide dirette tra modelli, decise dalla metrica primaria. Elo aggrega tutte le 1.398 partite in un unico punteggio per modello; un divario di 200 punti significa che il modello con punteggio più alto vince circa 3 partite su 4. I dettagli sono nella metodologia.

• Nessun modello domina da solo. Il test di significatività non rileva una differenza significativa tra i primi cinque: LimiX-2 (1503), Kumo-Tabular (1438), TabPFN-3.5 (1363), TabFM (1325) e Causilo (1192). Gli intervalli Elo dei primi quattro si sovrappongono.
• LimiX-2 è arrivato primo su 11 dei 19 dataset e tra i primi tre su 17. Kumo-Tabular, che il test non distingue da esso, impiega in media 7,6 secondi per fold, circa 15x più veloce.
• Su 15 dei 18 dataset con un unico vincitore, il margine del vincitore è inferiore alla propria deviazione standard fold-to-fold. LimiX-2 guida con un margine maggiore sugli altri tre: diabetes, electricity e employee_salaries.

Elo gestisce anche la copertura parziale in modo equo: Mitra viene valutato solo sulle partite che ha potuto giocare, cioè i 12 dataset entro il suo limite di addestramento di 10.000 righe¹.

• LimiX-2 guida su diabetes con un ROC-AUC di 0.879 contro lo 0.844 di Kumo-Tabular, e su employee_salaries con RMSE 2.743 contro il 3.060 di TabPFN-3.5.
• Su amazon_employee_access, la cui colonna categoriale più ampia ha 7.518 valori, LimiX-2 ottiene 0.898 contro 0.863 per la Regressione Logistica, il miglior modello classico. Il divario è pari a 3.5 volte la deviazione standard fold di LimiX-2.

Il test di significatività (test di Friedman, quindi differenza critica di Nemenyi) colloca LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM e Causilo davanti a tutti e quattro i modelli classici, nessuno dei quali ha vinto un dataset. LimiX-2 e Kumo-Tabular sono anche davanti a TabICLv2, Mitra-v2 e TabPFN 3. Il vantaggio di TabPFN-3.5 su TabPFN 3 supera la soglia di 0.02 punti di rank, il divario significativo più stretto del test. I dettagli del test sono nella metodologia.

Latenza dei modelli tabulari

• Il prezzo delle GPU utilizza la tariffa on-demand Community Cloud B200 di RunPod di $5,98 per ora-GPU. I modelli classici sono stati eseguiti su CPU (62 core); ogni foundation model è stato eseguito su una B200.
• TabFM ha impiegato in media 173,6 secondi per fold (mediana 16.9) e LimiX-2 111.9 (mediana 28.4). A questo ritmo, i tempi per fold di TabFM per l'intero benchmark costano circa $27 e quelli di LimiX-2 circa $18; TabPFN-3.5 ha svolto lo stesso lavoro per $0,68, e LightGBM è stato eseguito su CPU.
• TabPFN-3.5 e Kumo-Tabular impiegano in media 4.3 e 7,6 secondi per fold; l'esecuzione completa di Kumo-Tabular costa $1.19. Causilo (1,4 secondi) e Mitra-v2 (1.5) sono i foundation model più veloci.
• I tempi per fold escludono l'avvio a freddo di TabFM: il suo backend JAX impiega circa da 20 a 25 minuti per compilare i kernel della GPU prima della prima previsione. Una cache di compilazione persistente elimina questo problema nelle esecuzioni successive.
• LimiX-2 ha utilizzato circa 124 GB di memoria della GPU sui dataset più grandi. Il backend JAX di TabFM su hardware B200 incontra un bug documentato di cuBLAS nello stack CUDA 12 predefinito, che JAX segnala come rischio silenzioso di corruzione dei dati; lo stack CUDA 13 lo evita.
• TabFM rielabora i dati di addestramento come contesto ad ogni batch di previsione, quindi il punteggio ripetuto su dati di grandi dimensioni ne aumenta il costo. Un modello XGBoost addestrato prevede in microsecondi.

Risultati per dimensione del dataset e tipo di feature

• Dataset piccoli (meno di 1.000 righe): i foundation model occupano i primi nove posti sia sui dati numerici sia su quelli ibridi (numerici più categoriali). LimiX-2 guida sui dati numerici (ROC-AUC medio del 93,7%). La regressione logistica regge sui dati numerici (91,2%) e crolla su quelli ibridi (77,5%).
• Dataset medi (da 1.001 a 10.000 righe): i foundation model guidano su entrambi i tipi di feature. Il divario sugli ibridi è ampio: LimiX-2 ha un ROC-AUC medio del 85,5% contro il 83,4% del miglior modello classico, CatBoost.
• Dataset grandi (oltre 10.000 righe): il vecchio schema secondo cui “il boosting recupera su larga scala” è scomparso. Su grandi dati numerici, LimiX-2, Kumo-Tabular e TabPFN-3.5 hanno una media del 99,6% contro il 97,0% di XGBoost. Su grandi dati ibridi LimiX-2 e TabPFN-3.5 guidano con l'89,2% contro l'87,6% di LightGBM.
• Mitra-v2 ha una media del 95,6% sui grandi dati numerici, al di sotto di XGBoost. Quella fascia contiene un solo dataset binario, electricity, dove Mitra-v2 prevede da un contesto limitato.

Rank medio per regime

La vista del rank aggiunge due cose che le medie ROC-AUC nascondono.

• LimiX-2 detiene il rank medio più alto in cinque regimi su sei, a pari merito con TabFM sui dati numerici medi. Su piccoli dati ibridi il suo rank invertito di 9.5 lo colloca al quarto posto, dietro Kumo-Tabular (11.5), TabFM (10.0) e TabPFN-3.5 (9.8).
• Ogni foundation model tranne Mitra supera ogni modello classico in tutti e sei i regimi.

Vittorie dei modelli per regime

LimiX-2 ottiene punti vittoria in tutti e sei i regimi e 11.1 dei 19 punti totali. TabFM segna in tre regimi; Kumo-Tabular e TabPFN-3.5 in due. I modelli classici non segnano punti. Il pareggio a otto su monks-problems-2 divide un punto in otto parti, quindi la maggior parte dei foundation model mostra 0.1 sui piccoli dati ibridi.

Osservazioni specifiche sui modelli

LimiX-2 (StableAI)

LimiX-2 ha il miglior rank medio (2.16) e 11 vittorie nette. Ha anche il secondo costo di calcolo più alto, con 111,9 secondi per fold e circa 124 GB di memoria della GPU sui dataset più grandi².

Kumo-Tabular (NVIDIA)

Kumo-Tabular ha il secondo rank medio (2.63) con 7,6 secondi per fold, e il test di significatività non lo distingue da LimiX-2³. È arrivato tra i primi tre su 16 dei 19 dataset.

TabPFN-3.5 (Prior Labs)

TabPFN-3.5 ha il terzo rank medio (3.26) con 4,3 secondi per fold, contro i 4.2 di TabPFN 3. Il suo vantaggio di rank su TabPFN 3 è significativo con il margine più stretto del test. SAP ha annunciato l'acquisizione di Prior Labs a maggio 2026⁴, un elemento importante per gli acquirenti aziendali che valutano la stabilità del fornitore.

TabFM (Google Research)

TabFM ha il quarto rank medio (3.53) ed è arrivato primo su tre dataset⁵. I suoi tempi per fold sono circa 40x quelli di TabPFN 3, la prima esecuzione compila per oltre 20 minuti, ed è limitato a 10 classi e ottimizzato fino a 500 feature.

Causilo (Nums IA)

Causilo ha il quinto rank medio (4.89) con 1,4 secondi per fold, il foundation model più veloce del benchmark⁶. Nessuno dei quattro modelli sopra di lui è significativamente avanti.

TabICLv2 (Inria SODA)

TabICLv2 ha il sesto rank medio (6.58) con 3,1 secondi per fold⁷. Aggiunge il supporto alla regressione, che il TabICL originale non aveva, e ha completato tutti i 19 dataset.

TabPFN 3 (Prior Labs)

TabPFN 3 ha l'ottavo rank medio (7.11) e ha completato tutti i 19 dataset in 6.6 minuti-GPU⁸.

Mitra-v2 (Amazon)

Mitra-v2 ha il settimo rank medio (7.00) con 1,5 secondi per fold⁹. Elimina il limite di 10.000 righe di Mitra e ha completato tutti i 19 dataset, ma su cinque grandi dataset binari prevede da un campione di al massimo 16.384 righe di addestramento.

Mitra (Amazon, via AutoGluon)

Uno specialista dei piccoli dati per progettazione: un limite rigido di 10.000 righe di addestramento lo rende N/A su 7 dei 19 dataset. Sui suoi 12 dataset ha un rank medio di 9.12 tra i 13 modelli. Mitra-v2 elimina il limite e si classifica più in alto.

Gradient boosting: LightGBM, CatBoost, XGBoost

Gli alberi con gradient boosting non guidano più in accuratezza in nessun regime. LightGBM è stato il miglior modello classico (rank medio 9.74). CatBoost è stato il miglior modello classico sui dati ibridi di dimensioni medie. XGBoost è arrivato ultimo per rank medio (10.79) e ha mostrato una debolezza notevole: con split categoriali nativi sulla regressione ad alta cardinalità employee_salaries, ha ottenuto un RMSE di 10.894 laddove LightGBM ha ottenuto 4.367 sugli stessi input. Si tratta di un risultato su un singolo dataset, ma vale la pena verificarlo prima di affidarsi alla modalità categoriale di XGBoost.

La ragione d'essere degli alberi boostati nel 2026 è operativa: addestramento in meno di un secondo, inferenza in microsecondi, nessuna GPU, nessun limite di righe, strumenti maturi.

Regressione logistica

La regressione logistica ha un rank medio di 10.53, eppure su amazon_employee_access batte ogni albero con gradient boosting, TabPFN 3 e TabICLv2. L'one-hot sparso più un modello lineare rimane una baseline solida e quasi gratuito sui dati categoriali ad alta cardinalità. Tienila in ogni benchmark.

Punti chiave

Cinque foundation model (LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM e Causilo) battono tutti e quattro i modelli classici con significatività statistica sui 19 dataset, e i foundation model guidano in ogni regime di dimensione e tipo di feature. Ciò vale solo quando ogni modello riceve l'input categoriale per cui è progettato; imporre la codifica one-hot ai modelli in-context li penalizza fortemente sui dati ad alta cardinalità.

Il test di significatività non separa LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM e Causilo. I loro tempi per fold vanno da 1,4 secondi (Causilo) a 173,6 secondi (TabFM).

Di questi cinque, solo la licenza di Kumo-Tabular consente l'uso commerciale del modello e dei suoi output senza un accordo separato.

Zero-shot significa zero addestramento, non zero calcolo. Valuta il volume di previsione del tuo carico di lavoro prima di scegliere TabFM o LimiX-2.

Cosa sono i foundation model tabulari?

I modelli tabulari tradizionali si addestrano da zero su ogni dataset. I foundation model tabulari (TFM) vengono pre-addestrati una volta su grandi raccolte di problemi tabulari, per lo più sintetici, e si adattano a nuovi dataset al momento dell'inferenza: le righe di addestramento entrano come contesto e le previsioni escono da un passaggio in avanti. Nessun addestramento con gradiente, nessuna ottimizzazione degli iperparametri.

TabPFN riformula l'apprendimento tabulare come inferenza bayesiana ammortizzata: un transformer pre-addestrato su milioni di task sintetici condiziona sul dataset osservato per produrre previsioni⁸. TabPFN 3 è progettato per un massimo di 1.000.000 di righe e 2.000 feature, con gestione nativa delle categorie.

TabICL estende l'apprendimento in-context alle tabelle: le righe diventano token strutturati e il modello inferisce le regole decisionali dagli esempi di contesto¹⁰. TabICLv2 ha aggiunto il supporto alla regressione a febbraio 2026.

TabFM combina i due approcci: attenzione alternata per righe e colonne sulle celle grezze, compressione di ogni riga in un vettore denso, quindi un transformer in-context sulle righe compresse. È stato addestrato su centinaia di milioni di dataset sintetici generati da modelli causali strutturali.

Mitra segue la linea TabPFN all'interno di AutoGluon, ottimizzato per piccoli dati.

LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo e Mitra-v2 funzionano allo stesso modo in questo benchmark: ciascuno prevede dalle righe di addestramento come contesto, senza addestramento con gradiente sul dataset.

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

Metodologia del benchmark dei modelli tabulari

Modelli (13): LogisticRegression (regressione Ridge sui tre dataset di regressione), XGBoost, LightGBM, CatBoost, TabPFN 3, TabICLv2, TabFM, Mitra, LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo, Mitra-v2.

Dataset (19, OpenML): 15 classificazione binaria, 1 multiclasse, 3 regressione; da 435 a 48.800 righe; feature solo numeriche o ibride (numeriche più categoriali). Colonne con leakage note rimosse.

Valutazione: convalida incrociata stratificata a 5 fold (CV semplice per la regressione), seed 42, suddivisioni identiche per ogni modello. Metriche primarie: ROC-AUC (binario), macro-F1 (multiclasse), RMSE (regressione). Iperparametri predefiniti, nessuna ottimizzazione. Ciò favorisce i modelli tuning-free: un XGBoost ottimizzato otterrebbe punteggi più alti, e i budget di tuning sono essi stessi un costo che non abbiamo modellato.

Configurazione: le impostazioni fisse del benchmark per i modelli classici, TabPFN 3, TabICLv2, TabFM e Mitra; per LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo e Mitra-v2, la configurazione predefinita in TabArena, una classifica pubblica per modelli tabulari. Nessun modello viene sottoposto a fine-tuning. Il default di TabArena per Mitra-v2 prevede fine-tuning per 50 passi su ogni fold di addestramento; qui Mitra-v2 viene eseguito senza.

Gestione delle categorie, in base al design del modello: dtype categoria nativa per CatBoost, XGBoost, LightGBM, Causilo e Mitra-v2; feature grezze con indici categoriali per TabPFN 3, TabPFN-3.5 e TabFM, colonne di testo grezzo per LimiX-2; tipi di colonna dedotti dal modello per Kumo-Tabular, codifica ordinale per TabICLv2; one-hot più StandardScaler solo per la Regressione Logistica. Nessun modello che supporta categorie native viene costretto all'one-hot. Il compromesso: le celle differiscono per rappresentazione dell'input in base al design. Imporre un'unica rappresentazione a ogni modello sembra più equo ma penalizza i modelli costruiti per un input diverso.

Ambiente: un pod RunPod con 2x NVIDIA B200 (183 GB), driver 580, Ubuntu 24.04. Modelli classici su CPU (62 core), ogni foundation model su una B200. PyTorch 2.8.0 cu128 per TabPFN 3, TabICLv2 e Mitra; JAX 0.10.1 con wheel CUDA 13 per TabFM. LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo e Mitra-v2 sono stati eseguiti su pod RunPod con singola B200 (driver 595, CUDA 13.2), un modello per GPU alla volta, ciascuno nel proprio ambiente Python.

Latenza: tempo di esecuzione per fold di addestramento più previsione, registrato all'interno del harness. La compilazione una tantum di TabFM è esclusa dai tempi per fold e riportata separatamente.

Politica N/A: una cella è N/A solo per un limite documentato del modello, con il motivo registrato nei log. Gli unici N/A nei dati finali sono i 7 dataset di Mitra che superano il suo limite di 10.000 righe.

Limite di contesto di Mitra-v2: nei dataset binari con più di 16.384 righe di addestramento (adult, amazon_employee_access, bank-marketing-full, default_credit, electricity), Mitra-v2 prevede da un campione bilanciato per classe di 16.384 righe di addestramento, ridisegnato per ogni batch di 16.384 righe di test. Questa è l'impostazione predefinita di TabArena. Il limite è di 32.768 righe per multiclasse e regressione, che nessun dataset qui supera.

Metriche di rank: all'interno di ogni dataset, i modelli sono classificati da 1 (migliore) a k in base alla metrica primaria; il rank medio di un modello è la media di questi valori sui dataset completati. Il grafico per regime mostra il rank invertito, k + 1 meno il rank, quindi più alto è meglio e 13 significa primo tra otto. I punti vittoria assegnano l'unico punto di ogni dataset al punteggio migliore; i pareggi esatti lo dividono in parti uguali, quindi un pareggio a otto paga 0.125 ciascuno.

Statistiche: test di Friedman più differenza critica di Nemenyi sui 12 modelli con copertura completa. Mitra è escluso perché ha completato 12 dei 19 dataset; includerlo ridurrebbe il test a quei 12. I rank medi citati nelle sezioni dei modelli provengono da questo test a 12 modelli; quello di Mitra è calcolato tra tutti i 13 modelli sui suoi 12 dataset.

Il test di Friedman dà un chi-quadrato di 165.8, p inferiore a 10^-29. La differenza critica è CD = q × sqrt(k(k+1) / (6N)), con q = 3.268 ad alpha 0.05 per k = 12 modelli e N = 19 dataset, ottenendo CD = 3.82: due modelli differiscono in modo significativo solo se i loro rank medi distano più di 3.82. I primi quattro vanno da 2.16 (LimiX-2) a 3.53 (TabFM), quindi nessuna differenza tra loro supera la soglia. Il divario tra LimiX-2 e TabICLv2 è 4.42; quello tra TabPFN-3.5 e TabPFN 3 è 3.84. Gli intervalli di confidenza del rank medio provengono da un bootstrap su 10.000 campioni di dataset.

Punteggi Elo: ogni dataset è un round-robin tra tutti i modelli che lo hanno completato, per un totale di 1.398 sfide a coppie. Il modello con la metrica primaria migliore vince la sfida (punteggio 1); i pareggi esatti assegnano 0.5 ciascuno.

Le formule usano quattro quantità. R(A) è il punteggio attuale del modello A, il numero riportato nel grafico; ogni modello parte da R = 1000. S(A) è il punteggio effettivo ottenuto dal modello A in una sfida: 1 per una vittoria, 0.5 per un pareggio, 0 per una sconfitta. E(A) è il punteggio atteso, la probabilità di vittoria che i punteggi attuali prevedono per A prima che la sfida venga conteggiata. K = 32 è il passo di aggiornamento, che limita quanto una singola sfida può spostare un punteggio.

Prima di una sfida tra i modelli A e B, il punteggio atteso è E(A) = 1 / (1 + 10^((R(B) − R(A)) / 400)): quando i punteggi sono uguali, dà 0.5 e tende a 1 quando il punteggio di A si porta avanti. Dopo la sfida, il punteggio si aggiorna con R(A) = R(A) + K × (S(A) − E(A)), quindi A guadagna quando fa meglio del previsto e perde punti quando fa peggio; una vittoria a sorpresa contro un modello con punteggio più alto vale più di una vittoria di routine contro uno più debole. L'aggiornamento è a somma zero, quindi la media del pool resta a 1000, e un punteggio vicino a 1000, come il 977 di Mitra-v2, indica un modello medio in questo campo. Il divisore 400 fissa la scala: con un divario di 200 punti il punteggio atteso è 1 / (1 + 10^(−0.5)) = 0.76, ed è da qui che nasce “vince circa 3 partite su 4”.

Un singolo passaggio Elo dipende dall'ordine delle sfide, e i 19 dataset sono essi stessi un campione. Pertanto eseguiamo 1.000 round di bootstrap; ogni round ricampiona i 19 dataset con sostituzione, ricostruisce l'elenco delle sfide, mescola l'ordine delle sfide ed esegue Elo da zero. Il punteggio pubblicato è la media tra i round, e gli intervalli al 95% sono i percentili 2.5 e 97.5, coprendo sia il campionamento dei dataset sia il rumore di ordinamento. Elo è la visualizzazione di sintesi; il test di Friedman e Nemenyi resta l'arbitro della significatività.

Riproducibilità: seed fisso 42, suddivisioni identiche, risultati per fold e tutti gli script di merge, statistica ed Elo nel repository del benchmark.

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{kalelioglu2026,
  author = {Kalelioğlu, Berk and Dilmegani, Cem},
  title  = {{Benchmark dei modelli tabulari: prestazioni su 19 dataset}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/tabular-models}},
  note   = {AIMultiple. Consultato il 3 luglio 2026}
}

Registro delle modifiche

3 aggiornamenti

Tutte3Generale2Metodologia1

2026

1. 3 lug

   Aggiunto TabFM al benchmark, leader in ogni regime di dataset.

2. 19 mag

   Sostituito TabPFN con TabPFN 3 nei risultati, nelle classifiche e nei limiti del benchmark.

3. 19 mag

   Sostituito TabPFN con TabPFN 3 nell'elenco dei modelli valutati.

Collegamenti di riferimento

1.

AutoGluon Tabular - Foundational Models - AutoGluon 1.6.1 documentation

2.

[2609.17488] LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence

3.

GitHub - NVIDIA/structured-data-models: Foundation Models for Structured Data · GitHub

4.

SAP to Acquire Prior Labs | SAP News Center

SAP

5.

Introducing TabFM: A zero-shot foundation model for tabular data

6.

[2609.22866] Causilo Technical Report

7.

[2602.11139] TabICLv2: A better, faster, scalable, and open tabular foundation model

8.

[2207.01848] TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second

9.

[2609.04540] Mitra-v2 Technical Report

10.

[2502.05564] TabICL: A Tabular Foundation Model for In-Context Learning on Large Data

Berk Kalelioğlu

Ricercatore di IA

Segui

Berk è un ricercatore di IA presso il team benchmark di AIMultiple, concentrandosi su IA agentica, apprendimento automatico e modelli linguistici grandi e piccoli (LLM e SLM).

Visualizza il profilo completo

Ricercato da

Cem Dilmegani

Analista principale

Segui

Cem è analista principale presso AIMultiple dal 2017.

Il lavoro di Cem presso AIMultiple è stato citato da importanti testate internazionali tra cui Business Insider, Forbes, Morning Brew e Washington Post, da aziende globali come Deloitte e HPE, da ONG come il World Economic Forum e da organizzazioni sovranazionali come la Commissione europea. [1], [2], [3], [4], [5]

Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, acquirente tecnologico e imprenditore tecnologico. Ha consigliato le aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per più di un decennio. Ha inoltre pubblicato un report McKinsey sulla digitalizzazione.

Ha guidato la strategia tecnologica e gli approvvigionamenti di una società di telecomunicazioni rispondendo direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto ricavi ricorrenti annuali a 7 cifre e una valutazione a 9 cifre partendo da zero in 2 anni. Il lavoro di Cem in Hypatos è stato ripreso da importanti testate tecnologiche come TechCrunch e Business Insider.

Cem interviene regolarmente a conferenze tecnologiche internazionali. Si è laureato come ingegnere informatico presso l'Università di Bogazici e possiede un MBA della Columbia Business School.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento