AIM Tabular Index

AIM Tabular Index Methodology

AIM Tabular Index, AIMultiple'ın tablo modelleri benchmark'ını iki herkese açık sıralama tablosuyla, TabArena ve BeyondArena ile birleştirir.

Puanlama

Her benchmark modelleri Elo ile puanlar. TabArena varsayılan RandomForest'ı 1000 Elo'ya, BeyondArena varsayılan XGBoost'u 1000'e sabitler, AIM-Tabular ise modellerinin ortalamasını 1000 kabul eder. Her benchmark'ı varsayılan XGBoost 1000 alacak şekilde kaydırır, sonra kaydırılmış puanların ortalamasını alarak index'i buluruz. Tek bir benchmark'ta 200 puanlık fark, veri setlerinin yaklaşık 4'te 3'ünde galibiyet öngörür.

Aralıklar ve sıra

Her benchmark her model için %95 güven aralığı verir ve bu aralıkların ortalamasını puanlarla aynı şekilde alırız. İki modeli yalnızca aralıkları örtüşmediğinde sıralarız. Aksi halde sıra bir aralık olarak gösterilir. Örneğin 1-4, modelin birinci ile dördüncü arasında herhangi bir yerde olabileceği anlamına gelir.

Yapılandırma

Herkese açık benchmark'lar varsayılan yapılandırma puanlarıyla katkı verir. AIM-Tabular her modeli ayar ya da ince ayar yapmadan çalıştırır. TabArena'da ayar, XGBoost'u varsayılanının 126 puan üzerine çıkarır.

Hız ve maliyet

AIM-Tabular fold başına saniyeyi (bir çapraz doğrulama fold'unda eğitim ve tahminin ortalama süresi) ve GPU maliyetini (GPU saati 5,98 $ üzerinden toplam fold süresi) raporlar. Temel modeller tek bir NVIDIA B200 GPU'da çalıştı. Klasik modeller CPU'da çalıştı ve GPU maliyetleri yoktur.