AIM Tabular Index

AIM Tabular Index Methodology

L'AIM Tabular Index unisce il benchmark dei modelli tabellari di AIMultiple a due classifiche pubbliche, TabArena e BeyondArena.

Punteggio

Ogni benchmark valuta i modelli in Elo. TabArena fissa il RandomForest predefinito a 1000 Elo, BeyondArena fissa l'XGBoost predefinito a 1000 e AIM-Tabular fissa la media dei suoi modelli a 1000. Spostiamo ogni benchmark in modo che XGBoost predefinito ottenga 1000, poi facciamo la media dei punteggi spostati per ottenere l'indice. Su un singolo benchmark, un vantaggio di 200 punti prevede una vittoria su circa 3 dataset su 4.

Intervalli e posizione

Ogni benchmark assegna a ogni modello un intervallo di confidenza al 95%, e facciamo la media di questi intervalli come per i punteggi. Ordiniamo due modelli solo quando i loro intervalli non si sovrappongono. Altrimenti la posizione è mostrata come intervallo. Ad esempio, 1-4 significa che il modello può piazzarsi ovunque dal primo al quarto posto.

Configurazione

I benchmark pubblici forniscono i punteggi in configurazione predefinita. AIM-Tabular esegue ogni modello senza ottimizzazione né fine-tuning. Su TabArena, l'ottimizzazione porta XGBoost 126 punti sopra il suo valore predefinito.

Velocità e costo

AIM-Tabular riporta i secondi per fold (tempo medio di addestramento e previsione su un fold di validazione incrociata) e il costo GPU (tempo totale dei fold a 5,98 $ per ora di GPU). I modelli fondazionali sono stati eseguiti su una GPU NVIDIA B200. I modelli classici sono stati eseguiti su CPU e non hanno costo GPU.