AIM Tabular Index

AIM Tabular Index Methodology

Der AIM Tabular Index verbindet den Benchmark für Tabellenmodelle von AIMultiple mit zwei öffentlichen Ranglisten, TabArena und BeyondArena.

Wertung

Jeder Benchmark bewertet Modelle in Elo. TabArena setzt den Standard-RandomForest auf 1000 Elo, BeyondArena den Standard-XGBoost auf 1000, und AIM-Tabular setzt den Durchschnitt seiner Modelle auf 1000. Wir verschieben jeden Benchmark so, dass Standard-XGBoost 1000 erreicht, und mitteln dann die verschobenen Wertungen zum Index. Auf einem einzelnen Benchmark sagt ein Vorsprung von 200 Punkten einen Sieg auf etwa 3 von 4 Datensätzen voraus.

Intervalle und Rang

Jeder Benchmark gibt jedem Modell ein 95-%-Konfidenzintervall, und wir mitteln diese Intervalle genauso wie die Wertungen. Wir ordnen zwei Modelle nur dann, wenn sich ihre Intervalle nicht überschneiden. Andernfalls zeigt der Rang einen Bereich. Zum Beispiel bedeutet 1-4, dass das Modell irgendwo zwischen Platz eins und vier liegen kann.

Konfiguration

Die öffentlichen Benchmarks liefern ihre Wertungen in Standardkonfiguration. AIM-Tabular führt jedes Modell ohne Tuning oder Fine-Tuning aus. Auf TabArena hebt Tuning XGBoost 126 Punkte über seinen Standardwert.

Geschwindigkeit und Kosten

AIM-Tabular meldet Sekunden pro Fold (mittlere Zeit für Training und Vorhersage auf einem Fold der Kreuzvalidierung) und GPU-Kosten (gesamte Fold-Zeit zu 5,98 $ pro GPU-Stunde). Foundation-Modelle liefen auf einer NVIDIA-B200-GPU. Klassische Modelle liefen auf der CPU und haben keine GPU-Kosten.