AIM Tabular Index

AIM Tabular Index Methodology

L'AIM Tabular Index réunit le benchmark des modèles tabulaires d'AIMultiple et deux classements publics, TabArena et BeyondArena.

Notation

Chaque benchmark note les modèles en Elo. TabArena fixe le RandomForest par défaut à 1000 Elo, BeyondArena fixe le XGBoost par défaut à 1000 et AIM-Tabular fixe la moyenne de ses modèles à 1000. Nous décalons chaque benchmark pour que XGBoost par défaut obtienne 1000, puis nous faisons la moyenne des notes décalées pour obtenir l'indice. Sur un même benchmark, une avance de 200 points prédit une victoire sur environ 3 jeux de données sur 4.

Intervalles et rang

Chaque benchmark donne à chaque modèle un intervalle de confiance à 95 %, et nous faisons la moyenne de ces intervalles comme pour les notes. Nous ne départageons deux modèles que si leurs intervalles ne se chevauchent pas. Sinon, le rang s'affiche sous forme de plage. Par exemple, 1-4 signifie que le modèle peut se classer n'importe où entre la première et la quatrième place.

Configuration

Les benchmarks publics fournissent leurs notes en configuration par défaut. AIM-Tabular exécute chaque modèle sans réglage ni fine-tuning. Sur TabArena, le réglage fait gagner à XGBoost 126 points au-dessus de sa valeur par défaut.

Vitesse et coût

AIM-Tabular indique les secondes par fold (temps moyen d'entraînement et de prédiction sur un fold de validation croisée) et le coût GPU (temps total des folds à 5,98 $ par heure de GPU). Les modèles de fondation ont tourné sur un GPU NVIDIA B200. Les modèles classiques ont tourné sur CPU et n'ont pas de coût GPU.