AIM Tabular Index

AIM Tabular Index Methodology

El AIM Tabular Index combina el benchmark de modelos tabulares de AIMultiple con dos clasificaciones públicas, TabArena y BeyondArena.

Puntuación

Cada benchmark puntúa los modelos en Elo. TabArena fija el RandomForest por defecto en 1000 Elo, BeyondArena fija el XGBoost por defecto en 1000 y AIM-Tabular fija la media de sus modelos en 1000. Desplazamos cada benchmark para que XGBoost por defecto obtenga 1000 y después promediamos las puntuaciones desplazadas para obtener el índice. En un mismo benchmark, una ventaja de 200 puntos predice una victoria en unos 3 de cada 4 conjuntos de datos.

Intervalos y posición

Cada benchmark da a cada modelo un intervalo de confianza del 95 %, y promediamos esos intervalos igual que las puntuaciones. Solo ordenamos dos modelos cuando sus intervalos no se solapan. Si se solapan, la posición se muestra como un rango. Por ejemplo, 1-4 significa que el modelo puede quedar en cualquier puesto del primero al cuarto.

Configuración

Los benchmarks públicos aportan sus puntuaciones con la configuración por defecto. AIM-Tabular ejecuta cada modelo sin ajuste ni fine-tuning. En TabArena, el ajuste sube XGBoost 126 puntos por encima de su valor por defecto.

Velocidad y coste

AIM-Tabular informa de los segundos por fold (tiempo medio de entrenamiento y predicción en un fold de validación cruzada) y del coste de GPU (tiempo total de los folds a 5,98 $ por hora de GPU). Los modelos fundacionales se ejecutaron en una GPU NVIDIA B200. Los modelos clásicos se ejecutaron en CPU y no tienen coste de GPU.