Tabular Models Benchmark: Prestazioni su 19 Dataset

Abbiamo testato 13 tabular learning model su 19 dataset reali con circa 272.000 campioni, da 435 a 48.800 righe. Ogni model è stato eseguito con cross-validation 5-fold su split identici. I risultati alimentano anche l'AIM Tabular Index, che li combina con le classifiche pubbliche TabArena e BeyondArena.

Risultati del benchmark sui tabular learning model

Ogni dataset consiste in un round-robin di confronti diretti tra model, decisi dalla metrica primaria. L'Elo aggrega tutti i 1.398 match in un unico punteggio per model; un divario di 200 punti significa che il model con punteggio più alto vince circa 3 match su 4. I dettagli sono nella metodologia.

• Nessun singolo model è in testa. Il test di significatività non rileva un divario significativo tra i primi cinque: LimiX-2 (1503), Kumo-Tabular (1438), TabPFN-3.5 (1363), TabFM (1325) e Causilo (1192). Gli intervalli Elo dei primi quattro si sovrappongono.
• LimiX-2 è arrivato primo su 11 dei 19 dataset e tra i primi tre su 17. Kumo-Tabular, che il test non distingue da esso, impiega in media 7,6 secondi per fold, circa 15x più veloce.
• Su 15 dei 18 dataset con un unico vincitore, il vantaggio del vincitore è inferiore alla propria deviazione standard fold-to-fold. LimiX-2 guida con un margine superiore negli altri tre: diabetes, electricity e employee_salaries.

L'Elo gestisce inoltre in modo equo la copertura parziale: Mitra riceve un punteggio solo sui match che ha potuto giocare, ovvero i 12 dataset entro il suo limite di training di 10.000 righe¹.

• LimiX-2 guida su diabetes con 0.879 ROC-AUC contro lo 0.844 di Kumo-Tabular, e su employee_salaries con RMSE 2.743 contro il 3.060 di TabPFN-3.5.
• Su amazon_employee_access, la cui colonna categorica più grande ha 7.518 valori, LimiX-2 ottiene 0.898 contro lo 0.863 della Logistic Regression, il miglior model classico. Il divario è pari a 3.5 volte la deviazione standard fold di LimiX-2.

Il test di significatività (test di Friedman, poi differenza critica di Nemenyi) colloca LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM e Causilo davanti a tutti e quattro i model classici, nessuno dei quali ha vinto un dataset. LimiX-2 e Kumo-Tabular sono anche davanti a TabICLv2, Mitra-v2 e TabPFN 3. Il vantaggio di TabPFN-3.5 su TabPFN 3 supera la soglia di 0.02 punti rank, il divario significativo più ridotto del test. I dettagli del test sono nella metodologia.

Latenza dei tabular model

• I prezzi GPU usano la tariffa on-demand Community Cloud B200 di RunPod di $5,98 per GPU-ora. I model classici sono stati eseguiti su CPU (62 core); ogni foundation model è stato eseguito su una B200.
• TabFM ha impiegato in media 173,6 secondi per fold (mediana 16.9) e LimiX-2 111.9 (mediana 28.4). A quel ritmo, i tempi di fold di TabFM per l'intero benchmark costano circa $27 e quelli di LimiX-2 circa $18; TabPFN-3.5 ha svolto lo stesso lavoro per $0,68 e LightGBM è stato eseguito su CPU.
• TabPFN-3.5 e Kumo-Tabular impiegano in media 4.3 e 7,6 secondi per fold; l'esecuzione completa di Kumo-Tabular costa $1.19. Causilo (1,4 secondi) e Mitra-v2 (1.5) sono i foundation model più veloci.
• I tempi di fold escludono l'avvio a freddo di TabFM: il suo backend JAX impiega da 20 a 25 minuti per compilare i kernel GPU prima della prima previsione. Una cache di compilazione persistente elimina questo nelle esecuzioni successive.
• LimiX-2 ha utilizzato circa 124 GB di memoria GPU sui dataset più grandi. Il backend JAX di TabFM su hardware B200 incontra un bug documentato di cuBLAS nello stack CUDA 12 predefinito, che JAX segnala come rischio di corruzione silenziosa dei dati; lo stack CUDA 13 lo evita.
• TabFM rielabora i dati di training come contesto a ogni batch di previsione, quindi lo scoring ripetuto su dati grandi ne aggrava il costo. Un model XGBoost addestrato prevede in microsecondi.

Risultati per dimensione del dataset e tipo di feature

• Dataset piccoli (1.000 righe o meno): i foundation model occupano le prime nove posizioni sia sui dati numerici sia su quelli ibridi (numerici più categorici). LimiX-2 guida sui dati numerici (93,7% ROC-AUC medio). La Logistic Regression regge sui dati numerici (91,2%) e crolla su quelli ibridi (77,5%).
• Dataset medi (da 1.001 a 10.000 righe): i foundation model guidano su entrambi i tipi di feature. Il divario sull'ibrido è ampio: LimiX-2 85,5% ROC-AUC medio contro 83,4% del miglior model classico, CatBoost.
• Dataset grandi (oltre 10.000 righe): il vecchio schema secondo cui il boosting recupera su larga scala è scomparso. Su dati numerici grandi, LimiX-2, Kumo-Tabular e TabPFN-3.5 registrano in media 99,6% contro il 97,0% di XGBoost. Su dati ibridi grandi LimiX-2 e TabPFN-3.5 guidano con 89,2% contro l'87,6% di LightGBM.
• Mitra-v2 registra in media 95,6% sui dati numerici grandi, al di sotto di XGBoost. Questa fascia contiene un solo dataset binario, electricity, dove Mitra-v2 prevede da un contesto limitato.

Rank medio per regime

La vista per rank aggiunge due elementi che le medie ROC-AUC nascondono.

• LimiX-2 detiene il rank medio più alto in cinque dei sei regimi, a pari merito con TabFM sui dati numerici medi. Sui dati ibridi piccoli, il suo rank invertito di 9.5 lo colloca quarto, dietro a Kumo-Tabular (11.5), TabFM (10.0) e TabPFN-3.5 (9.8).
• Ogni foundation model, tranne Mitra, supera in rank ogni model classico in tutti e sei i regimi.

Vittorie dei model per regime

LimiX-2 ottiene punti vittoria in tutti e sei i regimi e 11.1 dei 19 punti totali. TabFM fa punti in tre regimi; Kumo-Tabular e TabPFN-3.5 in due. I model classici non ottengono punti. Il pareggio a otto su monks-problems-2 divide un punto in otto parti, quindi la maggior parte dei foundation model mostra 0.1 sui dati ibridi piccoli.

Osservazioni specifiche sui model

LimiX-2 (StableAI)

LimiX-2 ha il rank medio migliore (2.16) e 11 vittorie nette. Ha anche il secondo costo di calcolo più alto, con 111,9 secondi per fold e circa 124 GB di memoria GPU sui dataset più grandi².

Kumo-Tabular (NVIDIA)

Kumo-Tabular ha il secondo rank medio (2.63) con 7,6 secondi per fold, e il test di significatività non lo distingue da LimiX-2³. È arrivato tra i primi tre su 16 dei 19 dataset.

TabPFN-3.5 (Prior Labs)

TabPFN-3.5 ha il terzo rank medio (3.26) con 4,3 secondi per fold, contro i 4.2 di TabPFN 3. Il suo vantaggio di rank su TabPFN 3 è significativo per il margine più stretto del test. SAP ha annunciato l'acquisizione di Prior Labs a maggio 2026⁴, un aspetto rilevante per gli acquirenti aziendali che valutano la stabilità del fornitore.

TabFM (Google Research)

TabFM ha il quarto rank medio (3.53) ed è arrivato primo su tre dataset⁵. I suoi tempi di fold sono circa 40x quelli di TabPFN 3, la prima esecuzione compila per oltre 20 minuti, ed è limitato a 10 classi e ottimizzato fino a 500 feature.

Causilo (Nums IA)

Causilo ha il quinto rank medio (4.89) con 1,4 secondi per fold, il foundation model più veloce del benchmark⁶. Nessuno dei quattro model sopra di esso è significativamente avanti.

TabICLv2 (Inria SODA)

TabICLv2 ha il sesto rank medio (6.58) con 3,1 secondi per fold⁷. Aggiunge il supporto alla regressione, assente nel TabICL originale, e ha completato tutti i 19 dataset.

TabPFN 3 (Prior Labs)

TabPFN 3 ha l'ottavo rank medio (7.11) e ha completato tutti i 19 dataset in 6.6 GPU-minuti⁸.

Mitra-v2 (Amazon)

Mitra-v2 ha il settimo rank medio (7.00) con 1,5 secondi per fold⁹. Elimina il limite di 10.000 righe di Mitra e ha completato tutti i 19 dataset, ma su cinque dataset binari grandi prevede da un campione di al massimo 16.384 righe di training.

Mitra (Amazon, via AutoGluon)

Uno specialista dei piccoli dati per progettazione: un limite rigido di 10.000 righe di training lo rende N/A su 7 dei 19 dataset. Sui suoi 12 dataset ha in media un rank di 9.12 tra i 13 model. Mitra-v2 elimina il limite e ottiene un rank più alto.

Gradient boosting: LightGBM, CatBoost, XGBoost

Gli alberi gradient-boosted non sono più in testa per accuratezza in nessun regime. LightGBM è stato il miglior model classico (rank medio 9.74). CatBoost è stato il miglior model classico sui dati ibridi medi. XGBoost è arrivato ultimo per rank medio (10.79) e ha mostrato una debolezza degna di nota: con le suddivisioni categoriche native sulla regressione ad alta cardinalità employee_salaries, ha ottenuto RMSE 10.894 mentre LightGBM ha ottenuto 4.367 sugli stessi input. È un risultato su un solo dataset, ma vale la pena verificarlo prima di affidarsi alla modalità categorica di XGBoost.

La ragione d'uso degli alberi boosted nel 2026 è operativa: training inferiore al secondo, inference in microsecondi, nessuna GPU, nessun limite di righe, tooling maturo.

Logistic Regression

Logistic regression ha un rank medio di 10.53, eppure su amazon_employee_access batte tutti gli alberi gradient-boosted, TabPFN 3 e TabICLv2. L'one-hot sparsa più un model lineare resta una baseline forte e quasi gratuito sui dati categorici ad alta cardinalità. Va mantenuta in ogni benchmark.

Punti chiave

Cinque foundation model (LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM e Causilo) battono tutti e quattro i model classici con significatività statistica sui 19 dataset, e i foundation model guidano in ogni regime di dimensione e feature. Questo vale solo quando ogni model riceve l'input categorico per cui è progettato; forzare l'one-hot encoding sui model in-context li penalizza gravemente sui dati ad alta cardinalità.

Il test di significatività non distingue LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM e Causilo. I loro tempi di fold vanno da 1,4 secondi (Causilo) a 173,6 secondi (TabFM).

Di questi cinque, solo la licenza di Kumo-Tabular consente l'uso commerciale del model e dei suoi output senza un accordo separato.

Zero-shot significa zero training, non zero calcolo. Valuta il volume di previsione del tuo carico di lavoro prima di scegliere TabFM o LimiX-2.

Cosa sono i tabular foundation model?

I tabular model tradizionali vengono addestrati da zero su ogni dataset. I tabular foundation model (TFM) sono pre-addestrati una volta su grandi raccolte di problemi tabulari, per lo più sintetici, e si adattano a nuovi dataset in fase di inference: le righe di training entrano come contesto e le previsioni escono da un forward pass. Nessun gradient training, nessuna ottimizzazione degli iperparametri.

TabPFN riformula il tabular learning come inference bayesiana ammortizzata: un transformer pre-addestrato su milioni di task sintetici si condiziona al dataset osservato per produrre previsioni⁸. TabPFN 3 è costruito per un massimo di 1.000.000 righe e 2.000 feature, con gestione categorica nativa.

TabICL estende l'in-context learning alle tabelle: le righe diventano token strutturati e il model inferisce regole decisionali dagli esempi di contesto¹⁰. TabICLv2 ha aggiunto il supporto alla regressione a febbraio 2026.

TabFM combina i due approcci: attenzione alternata per righe e colonne sulle celle grezze, compressione di ogni riga in un vettore denso e quindi un transformer in-context sulle righe compresse. È stato addestrato su centinaia di milioni di dataset sintetici generati da model causali strutturali.

Mitra segue la linea di TabPFN all'interno di AutoGluon, ottimizzato per piccoli dati.

LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo e Mitra-v2 funzionano allo stesso modo in questo benchmark: ciascuno prevede dalle righe di training come contesto, senza gradient training sul dataset.

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

Metodologia del benchmark dei tabular model

Models (13): LogisticRegression (regressione Ridge sui tre dataset di regressione), XGBoost, LightGBM, CatBoost, TabPFN 3, TabICLv2, TabFM, Mitra, LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo, Mitra-v2.

Dataset (19, OpenML): 15 classificazione binaria, 1 multiclasse, 3 regressione; da 435 a 48.800 righe; feature solo numeriche o ibride (numeriche più categoriche). Le colonne di leakage note sono state rimosse.

Valutazione: validazione incrociata stratificata 5-fold (CV semplice per la regressione), seed 42, split identici per ogni model. Metriche primarie: ROC-AUC (binaria), macro-F1 (multiclasse), RMSE (regressione). Iperparametri predefiniti, nessuna ottimizzazione. Ciò favorisce i model tuning-free: un XGBoost ottimizzato otterrebbe punteggi più alti, e il budget di tuning è esso stesso un costo che non abbiamo modellato.

Configurazione: impostazioni fisse del benchmark per i model classici, TabPFN 3, TabICLv2, TabFM e Mitra; per LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo e Mitra-v2, la configurazione predefinita di TabArena, una classifica pubblica per i tabular model. Nessun model viene sottoposto a fine-tuning. Il default di TabArena per Mitra-v2 esegue fine-tuning per 50 passi su ogni fold di training; qui Mitra-v2 viene eseguito senza.

Gestione categorica, secondo il design di ogni model: dtype categoriale nativo per CatBoost, XGBoost, LightGBM, Causilo e Mitra-v2; feature grezze con indici categorici per TabPFN 3, TabPFN-3.5 e TabFM, colonne di testo grezze per LimiX-2; tipi di colonna dedotti dal model per Kumo-Tabular, ordinal encoding per TabICLv2; one-hot più StandardScaler solo per la Logistic Regression. Nessun model che supporta le categoriche native è forzato all'one-hot. Il compromesso: le celle differiscono nella rappresentazione dell'input per design. Forzare un'unica rappresentazione per ogni model sembra più equo ma penalizza i model costruiti per un input diverso.

Ambiente: un pod RunPod con 2x NVIDIA B200 (183 GB), driver 580, Ubuntu 24.04. I model classici su CPU (62 core), ogni foundation model su una B200. PyTorch 2.8.0 cu128 per TabPFN 3, TabICLv2 e Mitra; JAX 0.10.1 con wheel CUDA 13 per TabFM. LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo e Mitra-v2 sono stati eseguiti su pod RunPod con singola B200 (driver 595, CUDA 13.2), un model per GPU alla volta, ciascuno nel proprio ambiente Python.

Latenza: tempo di esecuzione effettivo per fold di fit più predict, registrato all'interno dell'harness. La compilazione una tantum di TabFM è esclusa dai tempi di fold e riportata separatamente.

Politica N/A: una cella è N/A solo per un limite documentato del model, con il motivo registrato nei log. Gli unici N/A nei dati finali sono i 7 dataset di Mitra oltre il suo limite di 10.000 righe.

Limite di contesto di Mitra-v2: sui dataset binari con più di 16.384 righe di training (adult, amazon_employee_access, bank-marketing-full, default_credit, electricity), Mitra-v2 prevede da un campione bilanciato per classe di 16.384 righe di training, ridisegnato per ogni batch di 16.384 righe di test. Questo è il default di TabArena. Il limite è di 32.768 righe per multiclasse e regressione, che nessun dataset qui supera.

Metriche di rank: all'interno di ogni dataset, i model sono classificati da 1 (migliore) a k in base alla metrica primaria; il rank medio di un model media questi valori sui dataset completati. Il grafico dei regimi mostra il rank invertito, k + 1 meno il rank, quindi più alto è meglio e 13 significa primo tra 13. I punti vittoria assegnano il singolo punto di ogni dataset al punteggio migliore; i pareggi esatti lo dividono in parti uguali, quindi un pareggio a otto assegna 0.125 ciascuno.

Statistiche: test di Friedman più differenza critica di Nemenyi sui 12 model a copertura completa. Mitra è escluso perché ha completato 12 dei 19 dataset; includerlo ridurrebbe il test a quei 12. I rank medi citati nelle sezioni sui model provengono da questo test a 12 model; quello di Mitra è calcolato tra tutti i 13 model sui suoi 12 dataset.

Il test di Friedman dà chi-quadrato 165.8, p inferiore a 10^-29. La differenza critica è CD = q × sqrt(k(k+1) / (6N)), con q = 3.268 ad alpha 0.05 per k = 12 model e N = 19 dataset, da cui CD = 3.82: due model differiscono in modo significativo solo se i loro rank medi distano più di 3.82. I primi quattro vanno da 2.16 (LimiX-2) a 3.53 (TabFM), quindi nessun divario tra loro supera la soglia. Il divario di LimiX-2 rispetto a TabICLv2 è 4.42; quello di TabPFN-3.5 rispetto a TabPFN 3 è 3.84. Gli intervalli di confidenza dei rank medi provengono da un bootstrap di 10.000 campioni sui dataset.

Punteggi Elo: ogni dataset è un round-robin tra tutti i model che l'hanno completato, per un totale di 1.398 match a coppie. Il model con la metrica primaria migliore vince un match (punteggio 1); i pareggi esatti assegnano 0.5 ciascuno.

Le formule usano quattro grandezze. R(A) è il rating attuale del model A, il numero riportato nel grafico; ogni model parte da R = 1000. S(A) è il punteggio effettivo che il model A ha ottenuto da un match: 1 per una vittoria, 0.5 per un pareggio, 0 per una sconfitta. E(A) è il punteggio atteso, cioè la probabilità di vittoria prevista dai rating attuali per A prima che il match venga conteggiato. K = 32 è il passo di aggiornamento, che limita quanto un singolo match può far muovere un rating.

Prima di un match tra i model A e B, il punteggio atteso è E(A) = 1 / (1 + 10^((R(B) − R(A)) / 400)): quando i rating sono uguali, dà 0.5, e si avvicina a 1 quando il rating di A avanza. Dopo il match, il rating si aggiorna con R(A) = R(A) + K × (S(A) − E(A)), quindi A guadagna quando fa meglio del previsto e perde punti quando fa peggio; una vittoria a sorpresa su un model con rating più alto paga più di una vittoria scontata su uno più debole. L'aggiornamento è a somma zero, quindi la media del gruppo resta a 1000, e un rating vicino a 1000, come il 977 di Mitra-v2, si legge come un model medio in questo campo. Il divisore 400 fissa la scala: con un divario di 200 punti il punteggio atteso è 1 / (1 + 10^(−0.5)) = 0.76, da cui deriva “vince circa 3 match su 4”.

Un singolo passaggio Elo dipende dall'ordine dei match, e i 19 dataset sono essi stessi un campione. Eseguiamo quindi 1.000 round bootstrap; ogni round ricampiona i 19 dataset con reinserimento, ricostruisce l'elenco dei match, mescola l'ordine dei match ed esegue Elo da zero. Il rating pubblicato è la media tra i round, e gli intervalli al 95% sono i percentili 2.5 e 97.5, coprendo sia il campionamento dei dataset sia il rumore di ordinamento. Elo è la visualizzazione riassuntiva; il test di Friedman e Nemenyi resta l'arbitro di significatività.

Riproducibilità: seed fisso 42, split identici, risultati per fold e tutti gli script di merge, statistiche ed Elo nel repository del benchmark.

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{kalelioglu2026,
  author = {Kalelioğlu, Berk and Dilmegani, Cem},
  title  = {{Tabular Models Benchmark: Prestazioni su 19 Dataset}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/tabular-models}},
  note   = {AIMultiple. Consultato il 12 ottobre 2026}
}

Registro delle modifiche

3 aggiornamenti

Tutte3Generale2Metodologia1

2026

1. 3 lug

   Aggiunto TabFM al benchmark, leader in ogni regime di dataset.

2. 19 mag

   Sostituito TabPFN con TabPFN 3 nei risultati, nelle classifiche e nei limiti del benchmark.

3. 19 mag

   Sostituito TabPFN con TabPFN 3 nell'elenco dei modelli valutati.

Collegamenti di riferimento

1.

AutoGluon Tabular - Foundational Models - AutoGluon 1.6.1 documentation

2.

[2609.17488] LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence

3.

GitHub - NVIDIA/structured-data-models: Foundation Models for Structured Data · GitHub

4.

SAP to Acquire Prior Labs | SAP News Center

SAP

5.

Introducing TabFM: A zero-shot foundation model for tabular data

6.

[2609.22866] Causilo Technical Report

7.

[2602.11139] TabICLv2: A better, faster, scalable, and open tabular foundation model

8.

[2207.01848] TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second

9.

[2609.04540] Mitra-v2 Technical Report

10.

[2502.05564] TabICL: A Tabular Foundation Model for In-Context Learning on Large Data

Berk Kalelioğlu

Ricercatore di IA

Segui

Berk è un ricercatore di IA presso il team benchmark di AIMultiple, concentrandosi su IA agentica, apprendimento automatico e modelli linguistici grandi e piccoli (LLM e SLM).

Visualizza il profilo completo

Ricercato da

Cem Dilmegani

Analista principale

Segui

Cem è analista principale presso AIMultiple dal 2017.

Il lavoro di Cem presso AIMultiple è stato citato da importanti testate internazionali tra cui Business Insider, Forbes, Morning Brew e Washington Post, da aziende globali come Deloitte e HPE, da ONG come il World Economic Forum e da organizzazioni sovranazionali come la Commissione europea. [1], [2], [3], [4], [5]

Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, acquirente tecnologico e imprenditore tecnologico. Ha consigliato le aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per più di un decennio. Ha inoltre pubblicato un report McKinsey sulla digitalizzazione.

Ha guidato la strategia tecnologica e gli approvvigionamenti di una società di telecomunicazioni rispondendo direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto ricavi ricorrenti annuali a 7 cifre e una valutazione a 9 cifre partendo da zero in 2 anni. Il lavoro di Cem in Hypatos è stato ripreso da importanti testate tecnologiche come TechCrunch e Business Insider.

Cem interviene regolarmente a conferenze tecnologiche internazionali. Si è laureato come ingegnere informatico presso l'Università di Bogazici e possiede un MBA della Columbia Business School.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento