AIM Tabular Index

AIM Tabular Index Methodology

O AIM Tabular Index combina o benchmark de modelos tabulares da AIMultiple com dois rankings públicos, TabArena e BeyondArena.

Pontuação

Cada benchmark classifica os modelos em Elo. O TabArena fixa o RandomForest padrão em 1000 Elo, o BeyondArena fixa o XGBoost padrão em 1000 e o AIM-Tabular fixa a média dos seus modelos em 1000. Deslocamos cada benchmark para que o XGBoost padrão obtenha 1000 e depois calculamos a média das pontuações deslocadas para obter o índice. Num mesmo benchmark, uma vantagem de 200 pontos prevê uma vitória em cerca de 3 em cada 4 conjuntos de dados.

Intervalos e posição

Cada benchmark dá a cada modelo um intervalo de confiança de 95%, e calculamos a média desses intervalos tal como das pontuações. Só ordenamos dois modelos quando os seus intervalos não se sobrepõem. Caso contrário, a posição aparece como um intervalo. Por exemplo, 1-4 significa que o modelo pode ficar em qualquer lugar entre o primeiro e o quarto.

Configuração

Os benchmarks públicos contribuem com as suas pontuações na configuração padrão. O AIM-Tabular executa cada modelo sem ajuste nem fine-tuning. No TabArena, o ajuste eleva o XGBoost 126 pontos acima do seu valor padrão.

Velocidade e custo

O AIM-Tabular reporta os segundos por fold (tempo médio de treino e previsão num fold de validação cruzada) e o custo de GPU (tempo total dos folds a 5,98 $ por hora de GPU). Os modelos fundacionais correram numa GPU NVIDIA B200. Os modelos clássicos correram em CPU e não têm custo de GPU.