Tabular Model Karşılaştırması: 19 Veri Kümesinde Performans
8 tablosal öğrenme modelini, yaklaşık 260,000 örnek içeren 19 gerçek dünya veri kümesi üzerinde karşılaştırdık; veri kümesi boyutları 435 ile 48,800 satır arasında değişiyor. Her model aynı makinede 5 katlı çapraz doğrulama ve aynı bölmelerle çalıştırıldı.
Tablosal öğrenme modelleri karşılaştırma sonuçları
Her veri kümesi, birincil metriğe göre belirlenen modeller arası birebir karşılaşmalardan oluşan bir turnuva formatındadır. Elo, model başına 483 karşılaşmayı tek bir puana toplar; 200 puanlık fark, daha yüksek puanlı modelin yaklaşık 4 karşılaşmanın 3'ünü kazandığı anlamına gelir. Detaylar metodoloji bölümünde.
TabFM, Google Research tarafından 30 Haziran 2026'da yayımlandı1 , 19 veri kümesinin 15'ini kazandı. Bir sonraki modelin 218 Elo puanı üzerinde ve en iyi gradyan artırmalı ağaçtan 538 puan önde yer alıyor. Hiçbir artırmalı ağaç tek bir veri kümesini kazanamadı.
Elo, kısmi kapsamı da adil bir şekilde ele alır: Mitra, yalnızca oynayabildiği karşılaşmalar üzerinden puanlanır; bu da 10,000 satır eğitim sınırı dahilindeki 12 veri kümesi anlamına gelir2 .
- TabFM'nin 15 galibiyeti, tüm büyük ve zorlu veri kümelerini kapsar: adult (0.9318 ROC-AUC), electricity (0.9936), bank-marketing-full (0.9465) ve house_sales (RMSE 97,704).
- En büyük farkı, tek çok sınıflı veri kümesi olan vehicle'da: XGBoost'un 0.7492'sine karşı 0.9136 macro-F1.
- TabFM olmayan dört galibiyet: amazon_employee_access'te Logistic Regression, compas-two-years'te TabICLv2, breast-w'de Mitra ve monks-problems-2'de mükemmel 1.0000 ile üç temel modelin berabere kalması.
- Logistic Regression'un galibiyeti tablonun gösterdiğinden daha az belirgindir: TabFM'nin 0.8627 ve CatBoost'un 0.8621'ine karşı 0.8631 ROC-AUC, kat seviyesinde standart sapmalar 0.010 ila 0.015 arasındadır. Aşırı yüksek kardinaliteli kategorik verilerde, en iyi klasik modeller ve TabFM istatistiksel olarak eşittir ve klasik durum doğruluktan ziyade maliyete dayanır.
Başlığa bir sınır: TabFM'nin dört klasik modelin tümüne karşı üstünlüğü istatistiksel olarak anlamlıdır (Friedman testi, ardından Nemenyi kritik farkı; her fark bu eşiği aşar). TabPFN 3 ve TabICLv2'ye karşı üstünlüğü 19 veri kümesinde karara bağlanmamıştır: bu farklar kritik farkın altında kalır ve Elo aralıkları uçta örtüşür. Temel modellerin gradyan artırmayı yenmesi istatistiksel olarak desteklenen iddiadır; TabFM'nin temel model grubuna liderlik etmesi, daha fazla veri kümesi bekleyen ortalama sıralama sonucudur. Test detayları metodoloji bölümünde.
Tablosal modellerin gecikmesi
- GPU fiyatlandırması, 2 Temmuz 2026 itibarıyla RunPod'un isteğe bağlı B200 ücreti olan GPU-saati başına $5.89 kullanır3 . Klasik modeller CPU (62 çekirdek) üzerinde çalıştı; her temel model bir B200 üzerinde çalıştı.
- TabFM, kat başına ortalama 173.6 saniye (ortanca 16.9) sürdü. En kötü veri kümesi olan adult, 48,800 satırda, kat başına 893 saniye sürdü. Tam karşılaştırma, TabFM'ye GPU süresinde yaklaşık $27'ye mal oldu; TabPFN 3 aynı işi $0.65'e ve LightGBM CPU'da neredeyse sıfır maliyetle yaptı.
- Bu sayılar TabFM'nin soğuk başlatma süresini hariç tutar. İlk tahmininden önce, TabFM'nin JAX arka ucu GPU çekirdeklerini derlemek için yaklaşık 20 ila 25 dakika harcar. Kalıcı bir derleme önbelleği sonraki çalıştırmalarda bunu kaldırır; her yeni dağıtım bunu bir kez öder.
- TabFM ayrıca sekiz model arasında en yüksek kurulum yüküne sahipti. Güncel bir veri merkezi GPU'su gerektirir ve B200 donanımında varsayılan CUDA 12 yığını, JAX'ın sessiz veri bozulması riski olarak işaretlediği belgelenmiş bir cuBLAS hatasını tetikler. Bu nedenle çalıştırmalarımızdan biri atılmak ve CUDA 13 yığınında tekrarlanmak zorunda kaldı. Başka hiçbir modelde benzer bir hata modu yoktu.
- TabFM maliyeti çıkarıma taşır: her tahmin partisi, eğitim verilerini bağlam olarak yeniden işler. Veri kümesi başına bir kez sunulduğunda bu sorun değildir. Büyük verilerde tekrarlanan puanlama için, eğitilmiş bir XGBoost modelinin mikrosaniyeler içinde tahmin yaptığı durumda çağrı başına maliyet katlanır.
Veri kümesi boyutuna ve özellik türüne göre sonuçlar
- Küçük veri kümeleri (1,000 satırın altında): dört temel model, hem sayısal hem de hibrit verilerde ilk dört sırayı alır. Küçük veriler için üretilmiş Mitra, breast-w'yi kazanır ve monks-problems-2'de mükemmel puanla berabere kalır. Logistic Regression, sayısal verilerde (%91.2 ortalama ROC-AUC) dayanır ve hibritte (%77.5) çöker.
- Orta boy veri kümeleri (1,000 ile 10,000 satır): temel modeller her iki özellik türünde de öndedir. Hibrit farkı büyüktür: en iyi klasik model olan CatBoost'un %83.4'üne karşı TabFM %85.3 ortalama ROC-AUC.
- Büyük veri kümeleri (10,000 satırın üzerinde): eski “ölçekte artırma yetişir” modeli artık geçerli değil. Büyük sayısal verilerde TabFM, XGBoost'un %97.0'sine karşı ortalama %99.4 elde eder. Büyük hibrit verilerde ise TabFM, LightGBM'nin %87.6'sine karşı %88.4 ile öne çıkar.
Rejime göre ortalama sıralama
Sıralama görünümü, ROC-AUC ortalamalarının gizlediği iki şeyi ekler.
- TabFM, her veri kümesinde birinci olduğu orta sayısal verilerde mükemmel bir 8.0 dahil olmak üzere altı rejimin hepsinde en yüksek ortalama sıralamayı elinde tutar.
- Yarışın ne kadar yakın olduğu rejime bağlıdır. Küçük verilerde dört temel model bir sıralama puanı farkla birbirine yakındır, bu nedenle küçük veri kullanıcıları herhangi birini seçip çok az doğruluk kaybeder. Büyük hibrit verilerde alan bölünür: TabFM 6.8 ile, ikinci sıra 4.4 ile. LightGBM'nin oradaki üçüncülüğü (4.2) herhangi bir rejimdeki en iyi klasik performanstır.
Rejime göre model galibiyetleri
TabFM, altı rejimin hepsinde galibiyet puanı alır; başka hiçbir model ikiden fazlasında puan alamaz. Klasik modellerin tüm tablodaki tek puanı, Logistic Regression'ın amazon_employee_access'teki galibiyetidir. Mitra'nın puanlarının tümü, tasarımına uygun olarak küçük veri satırında yer alır.
Rejim hâlâ önemlidir, ancak hangi model ailesinin kazandığını seçmek için değil, ne kadar hesaplama harcanacağını seçmek için.
Modele özgü gözlemler
TabFM (Google Research, Haziran 2026)
En iyi ortalama sıralama (1.42), 15 doğrudan galibiyet, her rejimde en iyi model. Mimari olarak bir melezdir: ham hücreler üzerinde TabICL tarzı satır ve sütun dikkati, satır sıkıştırma, ardından sıkıştırılmış satırlar üzerinde TabPFN tarzı bağlam içi transformatör, yüz milyonlarca sentetik tablo üzerinde önceden eğitilmiştir. Ödünleşimler: TabPFN 3'ün yaklaşık 40 katı hesaplama, 20 dakikadan fazla ilk çalıştırma derlemesi, 500 özellik ve 10 sınıf sınırı ve yalnızca veri merkezi GPU'sunda dağıtım.
TabICLv2 (Inria SODA, Şubat 2026)
Kat başına 3.1 saniyede en iyi ikinci ortalama sıralama (2.74)4 . Orijinal TabICL'de olmayan regresyon desteği ekler. One-hot kodlandığında bağlam içi modelleri aşan 7,518 değerli kategorik sütuna sahip amazon_employee_access dahil 19 veri kümesinin tamamını tamamladı. Karşılaştırmada GPU-saniye başına en iyi doğruluk.
TabPFN 3 (Prior Labs)
Üçüncü ortalama sıralama (3.00), her şeyi tamamladı, toplam GPU dakikası 6.65 . Satır parçalama, aynı donanımda diğer bağlam içi modelleri aşan veri kümelerini işlemesine olanak tanır. SAP, Mayıs 2026'da Prior Labs'ı satın aldığını duyurdu6 ; bu, satıcı istikrarını değerlendiren kurumsal alıcılar için önemlidir.
Mitra (Amazon, via AutoGluon)
Tasarım gereği küçük veri uzmanıdır: katı bir 10,000 satır eğitim sınırı, 19 veri kümesinin 7'sinde N/A olmasına neden olur. Kendi kapsamı dahilinde rekabetçidir: 12 veri kümesinde ortalama sıralama 4.50 ve bir doğrudan galibiyet. Veriler gerçekten küçük olduğunda ve AutoGluon zaten yığında olduğunda tercih edin.
Gradyan artırma: LightGBM, CatBoost, XGBoost
Hâlâ dağıtım varsayılanıdır, hiçbir rejimde doğruluk lideri değildir. LightGBM en iyi klasik modeldi (ortalama sıralama 5.16). CatBoost, kategorik yoğun verilerde en güvenli klasik seçim olmaya devam etmektedir. XGBoost ortalama sıralamada sonuncu oldu (6.42) ve dikkate değer bir zayıflık gösterdi: yüksek kardinaliteli employee_salaries regresyonunda yerel kategorik bölmelerle, aynı girdilerde LightGBM 4,367 puan alırken RMSE 10,894 puan aldı. Bu tek bir veri kümesi sonucudur, ancak XGBoost'un kategorik moduna güvenmeden önce kontrol etmeye değer.
Artırmalı ağaçların 2026'daki durumu operasyoneldir: saniyenin altında eğitim, mikrosaniye çıkarım, GPU yok, satır sınırı yok, olgun araç seti.
Logistic Regression
Ortalama sıralama 6.21, ancak amazon_employee_access beraberliğinin bir payına sahiptir. Seyrek one-hot artı doğrusal bir model, yüksek kardinaliteli kategorik verilerde neredeyse ücretsiz güçlü bir temel olmaya devam etmektedir. Her karşılaştırmada bulundurun.
Önemli çıkarımlar
Temel modeller, küçük, orta ve büyük tablosal verilerde, istatistiksel anlamlılıkla, doğrulukta gradyan artırmalı ağaçları yener. Bu, yalnızca her model tasarlandığı kategorik girdiyi aldığında geçerlidir; bağlam içi modellere one-hot kodlama dayatmak, onları yüksek kardinaliteli verilerde sakat bırakır.
TabFM doğrulukta önde ancak TabPFN 3 veya TabICLv2'nin kabaca 40 katı hesaplama maliyetine sahiptir ve en yüksek kurulum yükünü taşır. Kat başına 3 saniye ile TabICLv2 değer seçimidir. TabPFN 3 kanıtlanmış, kurumsal destekli ortadır.
Yüksek kardinaliteli kategorik verilerde, en güçlü klasik modeller ve TabFM istatistiksel olarak eşittir. Klasik durum maliyet, basitlik ve dağıtım özgürlüğüdür.
Sıfır-örnek, sıfır eğitim anlamına gelir, sıfır hesaplama değil. TabFM'yi seçmeden önce iş yükünüzün tahmin hacmini puanlayın.
Tablosal temel modeller nedir?
Geleneksel tablosal modeller her veri kümesinde sıfırdan eğitilir. Tablosal temel modeller (TFM'ler), çoğunlukla sentetik olan büyük tablosal problem koleksiyonlarında bir kez önceden eğitilir ve çıkarım zamanında yeni veri kümelerine uyarlanır: eğitim satırları bağlam olarak girer ve tahminler ileri geçişten çıkar. Gradyan eğitimi yok, hiperparametre ayarı yok.
TabPFN, tablosal öğrenmeyi amorti edilmiş Bayes çıkarımı olarak yeniden çerçeveler: milyonlarca sentetik görev üzerinde önceden eğitilmiş bir transformatör, gözlemlenen veri kümesine koşullanarak tahminler üretir7 . TabPFN 3, yerel kategorik işleme ile sınırları 100,000 satıra ve 2,000 özelliğe çıkardı.
TabICL, bağlam içi öğrenmeyi tablolara genişletir: satırlar yapılandırılmış token'lar haline gelir ve model bağlam örneklerinden karar kuralları çıkarır8 . TabICLv2, Şubat 2026'da regresyon desteği ekledi.
TabFM iki yaklaşımı birleştirir: ham hücreler üzerinde dönüşümlü satır ve sütun dikkati, her satırın yoğun bir vektöre sıkıştırılması, ardından sıkıştırılmış satırlar üzerinde bağlam içi bir transformatör. Yapısal nedensel modellerden üretilen yüz milyonlarca sentetik veri kümesi üzerinde eğitildi.
Mitra, AutoGluon içinde TabPFN çizgisini izler, küçük veriler için ayarlanmıştır.
Tercih edilen kaynak olarak ekleTablosal Modeller Karşılaştırma Metodolojisi
Modeller (8): LogisticRegression, XGBoost, LightGBM, CatBoost, TabPFN 3, TabICLv2, TabFM, Mitra.
Veri kümeleri (19, OpenML): 15 ikili sınıflandırma, 1 çok sınıflı, 3 regresyon; 435 ila 48,800 satır. Bilinen sızıntı sütunları kaldırıldı.
Değerlendirme: 5 katlı tabakalı çapraz doğrulama (regresyon için düz CV), tohum 42, her model için aynı bölmeler. Birincil metrikler: ROC-AUC (ikili), macro-F1 (çok sınıflı), RMSE (regresyon). Varsayılan hiperparametreler, ayar yok. Bu, ayar gerektirmeyen ayarsız modelleri kayırır: ayarlanmış bir XGBoost daha yüksek puan alırdı ve ayar bütçeleri kendileri modellemediğimiz bir maliyettir.
Kategorik işleme, model tasarımına göre: CatBoost, XGBoost ve LightGBM için yerel kategori dtype; TabPFN 3 ve TabFM için kategorik indisli ham özellikler; TabICLv2 için sıralı kodlama; yalnızca Logistic Regression için one-hot artı StandardScaler. Yerel kategorikleri destekleyen hiçbir model one-hot'a zorlanmaz. Ödünleşim: hücreler tasarım gereği girdi temsilinde farklılık gösterir. Her modele tek bir temsili dayatmak daha adil görünür ancak farklı bir girdi için üretilmiş modelleri cezalandırır.
Ortam: bir RunPod pod'u, 2x NVIDIA B200 (183 GB), sürücü 580, Ubuntu 24.04. Klasik modeller CPU (62 çekirdek) üzerinde, her temel model bir B200 üzerinde. TabPFN 3, TabICLv2 ve Mitra için PyTorch 2.8.0 cu128; TabFM için CUDA 13 tekerlekleri ile JAX 0.10.1.
Gecikme: kat başına uydurma artı tahmin duvar süresi, çerçeve içinde kaydedildi. TabFM'nin bir kerelik derlemesi kat sürelerinden hariç tutulur ve ayrıca raporlanır.
N/A politikası: bir hücre, yalnızca belgelenmiş bir model sınırı için N/A'dır, neden günlüklere kaydedilir. Nihai verilerdeki tek N/A'lar, Mitra'nın 10,000 satır sınırının üzerindeki 7 veri kümesidir.
Sıralama metrikleri: her veri kümesi içinde, modeller birincil metriğe göre 1 (en iyi) ile k arasında sıralanır; bir modelin ortalama sıralaması, tamamladığı veri kümeleri üzerinden bunların ortalamasıdır. Rejim grafiği, ters sıralamayı, k + 1 eksi sıralamayı gösterir, böylece daha yüksek daha iyidir ve 8 sekiz arasında birinci anlamına gelir. Galibiyet puanları, her veri kümesinin tek puanını en iyi puana verir; tam eşitlikler eşit olarak böler, bu nedenle üç yönlü bir eşitlik her birine 0.33 öder.
İstatistikler: 7 tam kapsamlı model üzerinde Friedman testi ve Nemenyi kritik farkı (Mitra hariç; sıralamalar bu 7 içinde yeniden hesaplanır, bu nedenle model bölümlerinde belirtilen 8 modelli ortalama sıralamaların biraz altındadır). Friedman testi ki-kare 72.8, p 10^-12'nin altında verir. Kritik fark CD = q × sqrt(k(k+1) / (6N)) olup, k = 7 model ve N = 19 veri kümesi için alpha 0.05'te q = 2.949 ile CD = 2.07 verir: iki model yalnızca ortalama sıralamaları 2.07'den fazla farklıysa anlamlı olarak farklıdır. TabFM'nin klasik modellere farkları LightGBM için 3.47'den XGBoost için 4.58'e kadar uzanır, hepsi eşiğin üzerindedir; TabICLv2 (1.34) ve TabPFN 3 (1.55) ile farkları altındadır. Ortalama sıralama güven aralıkları, veri kümeleri üzerinde 10,000 örnekli bootstrap'tan gelir.
Elo puanları: her veri kümesi, onu tamamlayan tüm modeller arasında bir lig usulü turnuvadır, toplamda 483 ikili karşılaşma. Daha iyi birincil metriğe sahip model bir karşılaşmayı kazanır (puan 1); tam eşitlikler her birine 0.5 puan verir.
Formüller dört nicelik kullanır. R(A), modelin grafiğin raporladığı mevcut puanıdır; her model R = 1000'den başlar. S(A), modelin bir karşılaşmadan aldığı gerçek puandır: galibiyet için 1, beraberlik için 0.5, mağlubiyet için 0. E(A), karşılaşma sayılmadan önce mevcut puanların model için öngördüğü kazanma olasılığı olan beklenen puandır. K = 32, bir karşılaşmanın bir puanı ne kadar değiştirebileceğini sınırlayan güncelleme adımıdır.
A ve B modelleri arasındaki bir karşılaşmadan önce beklenen puan E(A) = 1 / (1 + 10^((R(B) − R(A)) / 400)): puanlar eşit olduğunda 0.5 verir ve A'nın puanı öne geçtikçe 1'e yaklaşır. Karşılaşmadan sonra, puan R(A) = R(A) + K × (S(A) − E(A)) ile güncellenir, böylece A beklenenden daha iyi yaptığında puan kazanır ve daha kötü yaptığında kaybeder; daha yüksek puanlı bir modele karşı sürpriz bir galibiyet, daha zayıf bir modele karşı rutin bir galibiyetten daha fazla puan kazandırır. Güncelleme sıfır toplamlıdır, bu nedenle havuz ortalaması 1000'de kalır ve 994 puanı bu alanda ortalama bir model olarak okunur. 400 böleni ölçeği belirler: 200 puanlık bir farkta beklenen puan 1 / (1 + 10^(−0.5)) = 0.76'dır, bu da “yaklaşık 4 karşılaşmanın 3'ünü kazanır” ifadesinin geldiği yerdir.
Tek bir Elo geçişi karşılaşma sırasına bağlıdır ve 19 veri kümesi kendileri bir örneklemdir. Bu nedenle 1,000 bootstrap turu çalıştırıyoruz; her tur 19 veri kümesini geri koymalı olarak yeniden örnekler, karşılaşma listesini yeniden oluşturur, karşılaşma sırasını karıştırır ve Elo'yu sıfırdan çalıştırır. Yayınlanan puan turlar arasındaki ortalamadır ve %95 aralıklar, hem veri kümesi örneklemesini hem de sıralama gürültüsünü kapsayan 2.5. ve 97.5. yüzdelik dilimlerdir. Elo özet görselleştirmedir; Friedman ve Nemenyi testi anlamlılık hakemi olmaya devam eder.
Yeniden üretilebilirlik: sabit tohum 42, aynı bölmeler, kat başına sonuçlar ve tüm birleştirme, istatistikler ve Elo betikleri karşılaştırma deposunda.
Bu benchmarkı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk and Dilmegani, Cem},
title = {{Tabular Model Karşılaştırması: 19 Veri Kümesinde Performans}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/tabular-models}},
note = {AIMultiple. Erişim tarihi: 3 Temmuz 2026}
}16 veri noktasının sonuçları ve zaman damgaları. Bu makalede kullanılan verileri, 2 CSV dosyası ve bir README içeren ZIP dosyası olarak indirin.
Referans Linkleri
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.