Tablo Modeller Benchmarki: 19 Veri Setinde Performans
19 gerçek dünya veri setinde, yaklaşık 260.000 örnek ve 250'den fazla toplam özellik kapsayan, veri seti boyutları 435'ten neredeyse 49.000 satıra kadar değişen 7 yaygın kullanılan tablo öğrenme modelini benchmarkladık.
Amaçımız, tipik bir kurumsal veri mimarisini oluşturan farklı boyut ve yapıdaki (örneğin sayısal ile kategorik) veri setleri için en iyi performans gösteren model ailelerini anlamaktı.
Tablo öğrenme modelleri benchmark sonuçları
Şemada, kazanan model 1 puan alır. Beraberlik durumunda, puan eşit şekilde bağlı modellere paylaştırılır. Kazanma oranı, bir rejim içinde bir modelin ne sıklıkla birinci bitirdiğini ölçer ve ortalama sıralamadan daha katı bir hakimiyet görüşü sağlar.
Farklı modeller farklı yapısal koşullar altında kazanır ve başarı oranı veri seti boyutu ve özellik bileşimi ile değişir.
Özellikle:
- Foundation modeller, veri sınırlı olduğunda en başarılı olanlardır
- TabPFN 3, hem büyük hem de sayısal veri setlerinde kazanır, XGBoost ve TabICL'ı geride bırakır
- Büyük + hibrit veri setlerinde:
- TabPFN 3, 5 veri setinden 3'ünü alır; Logistic Regression (amazon_employee_access) ve LightGBM (adult) diğerlerini kazanır
- En iyi dört model arasındaki puan farkları dar kalır (ROC-AUC içinde 0.5 puan), bu nedenle model seçimi hala veri özelliklerine bağlıdır
Yasal Uyarı: Özellik türleri, ön işlemeden sonra baskın girdi temsiline göre sayısal veya hibrit olarak kategorize edilir.
Veri seti karışımının nasıl yorumlanacağı:
- Boyut sepetleri, 1.000'den az satıra sahip küçük veri setlerinden 40.000'den fazla satıra sahip büyük veri setlerine kadar uzanır.
- Görev türleri, ikili sınıflandırma, çok sınıflı sınıflandırma ve regresyonu içerir.
- Özellik türleri, pratik kurumsal verileri yansıtır:
- Sayısal: başlıca sürekli veya sıralı değişkenler
- Hibrit: sayısal ve kategorik özelliklerin bir karışımı
Bu varyasyon, benchmark'ın farklı koşullar altında hangi model ailelerinin güvenilir şekilde performans gösterdiğini anlamak için son derece uygun olmasını sağlar.
Aşağıda yöntemimizi görebilirsiniz.
Veri seti boyutu ve özellik türüne göre genel sonuçlar
Burada, modellerin bireysel veri seti skorlarına odaklanmak yerine, veri seti boyutu sepetleri ve özellik türleri boyunca nasıl davrandığı gösterilmektedir.
Her veri seti boyutu sepeti için, şemada her model tarafından elde edilen ortalama ROC-AUC, sayısal ve hibrit veri setleri için ayrı ayrı raporlanır.
Küçük veri setleri (<1K satır)
Küçük veri setlerinde, foundation tarzı tablo modelleri en başarılı olanlardır.
- TabPFN 3 ve TabICL, önde gelen tablo foundation modelleri (TFM'ler), hem sayısal hem de hibrit veri setlerinde en güçlü performansı sağlar.
- Performans farkı özellikle hibrit veri setlerinde belirgindir
- Lojistik regresyon, sayısal veride rekabetçi performans gösterir ancak hibrit veride keskin bir şekilde düşer
Veri az olduğunda, güçlü tümevarımsal önyargıya sahip modeller, hem boosting hem de sinir tabanlı temelleri geride bırakır. Bu rejimde, önceden edinilmiş bilgi ve öğrenilmiş özellik etkileşimleri, model kapasitesinden daha önemlidir.
Orta büyüklükteki veri setleri (1K–10K satır)
Orta büyüklükteki veri setlerinde, genel performans artar ancak yapısal farklılıklar devam eder.
- Çoğu model, sayısal veri setlerinde güçlü performans gösterir (genellikle %97'den yüksek ROC-AUC)
- Hibrit veri setleri daha zorlayıcı olmaya devam eder.
- TFM'ler içinde, TabPFN 3 ve TabICL liderliğini sürdürür ancak gradient boosting'e olan fark daha yakındır.
Orta büyüklükteki veri setleri, bir geçiş rejimini temsil eder: sinyal yoğunluğu artar ancak tümevarımsal önyargı, özellikle karışık özellik türlerinde hala ölçülebilir bir avantaj sağlar.
Büyük veri setleri (>10K satır)
Ölçeklendirmede, performans desenleri değişir.
- Büyük sayısal veri setlerinde, TabPFN 3 liderdir, ardından XGBoost ve TabICL gelir. TabPFN 3 ayrıca, bu şemada değil de veri seti başına tabloda raporlanan california_housing regresyon görevini de kazanır.
- Büyük + hibrit veri setlerinde, performans yakınsar:
- Farklar daha küçüktür ve model seçimi daha az belirgindir
Ölçeklendirmede, TabPFN 3, daha önce sayısal veride gradient boosting lehine olan farkı kapatır ve hibrit veride liderliğini genişletir. Boosting ve lineer temellerin hala kazandığı tek rejim, amazon_employee_access'te görüldüğü gibi, yüksek kartaliteye sahip saf kategorik veridir.
Rejime göre ortalama sıralama
Modeller her rejim içinde (veri seti boyutu × özellik türü) sıralanır.
Sıralamalar, daha yüksek değerlerin daha güçlü göreli performansı göstermesi için normalize edilir, bu da rejimler arası karşılaştırmaları kolaylaştırır.
Küçük veri setleri
Küçük veri setlerinde, foundation tarzı modeller sıralamaları domine eder.
- TabPFN 3 ve TabICL, hem sayısal hem de hibrit veri setlerinde genellikle berabere kalarak birinci sırada yer alır
- Gradient boosting modelleri tutarlı bir şekilde en altta sıralanır
- Foundation modeller ile boosting arasındaki fark Hibrit veride daha büyüktür
Ortalama sıralama, ham performansta gözlemlenen aynı deseni vurgular:
Veri az olduğunda, öğrenilmiş öncüller ve tümevarımsal önyargı, ölçek odaklı optimizasyondan daha ağır basar.
Orta büyüklükteki veri setleri
Orta büyüklükteki veri setlerinde, sıralamalar değişmeye başlar.
- TabPFN 3 ve TabICL, her iki özellik türünde de üst sırada kalmaya devam eder, TabPFN 3 küçük bir liderliğe sahiptir
- CatBoost, hibrit veri setlerinde güçlü bir üçüncü seçenek olarak ortaya çıkar
- Boosting modelleri, küçük veri rejimine kıyasla göreli konumlarını iyileştirir
Bu rejim, bir denge noktasını yansıtır. Veri hacmi artar ancak özellik etkileşimleri, hala daha güçlü tümevarımsal önyargıya sahip modelleri ödüllendirir.
Büyük veri setleri
Büyük veri setlerinde, hakimiyet rejime özgü hale gelir.
- Büyük + sayısal:
- TabPFN 3 birinci sırada yer alır, arkasında XGBoost ve TabICL gelir.
- Büyük + hibrit:
- TabPFN 3 en üst ortalama sırayı alır ancak sadece küçük bir marjla
- LightGBM, TabICL ve CatBoost, birbirlerinden 1 sıralama puanı içinde takip eder
Ortalama sıralama, TabPFN 3'ün her rejimde lider olduğunu gösterir, ancak birden fazla modelin bir sıralama puanı içinde kümelendiği büyük hibrit verideki boşluklar daralır.
Güçlü genel sıralamalar genellikle rejimler arasında keskin performans farklılıklarını gizler.
Modela özgü gözlemler
Bu bölüm, tüm sonuç setine dayanarak her model sınıfının nerede iyi performans gösterdiğini ve nerede zorlandığını özetler.
Tablo foundation modelleri (TFM'ler): TabPFN 3 ve TabICL
Güçlü Yönler
- Küçük ve orta büyüklükteki veri setlerinde tutarlı bir şekilde en üstte performans gösterir
- Özellikle kategorik yapının önemli olduğu hibrit veri setlerinde çok güçlüdür
- Küçük veri setlerinde yüksek kazanma oranları
Sınırlamalar
- Her iki TFM de sınırlı satır tavanına sahiptir, bu nedenle gradient boosting'in alt örnekleme olmadan çalıştığı veri seti boyutlarını tüketemezler
- TFM'ler genellikle 2.000 özellik veya daha azında tavan yapar, bu da yerel kategorik işleme ile bile çok geniş tablolarda sınırlayıcı olabilir
- TabICL regresyonu desteklemez, bu nedenle regresyon veri setlerinde puanlanamaz
TFM'ler artık çoğu rejimi iyi kapsar. TabPFN 3 özellikle küçük, orta ve büyük veri setlerinde güçlü performans gösterir; ana kalan zayıf nokta yüksek kartaliteye sahip, saf kategorik veridir.
Gradient boosting modelleri: XGBoost ve LightGBM
Güçlü Yönler
- Büyük veri setlerinde rekabetçi
- Veri hacmi arttıkça güçlü ve kararlı performans
- Ölçeklendirmede hibrit veride rekabetçi olmaya devam eder
Sınırlamalar
- Küçük veri setlerinde foundation modellerine kıyasla daha düşük performans
- Kategorik ağırlıklı veri için dikkatli ön işleme ve ayar gerektirir
Gradient boosting, rejimler boyunca güçlü bir temel olmaya devam eder ve lisans kısıtlamaları, regresyon destek açıkları veya satır/özellik tavanları dahil TFM kısıtlamalarının uygulandığı üretim ortamları için pratik varsayılan seçenektir.
CatBoost
Güçlü Yönler
- Foundation modelleri olmayanlar arasında, genellikle orta ve büyük hibrit veri setlerinde güçlüdür
- Yerel kategorik işleme tutarlı kazançlar sağlar
- Rejimler arasında nadiren kötü performans gösterir
Sınırlamalar
- Nadiren en iyi performans gösterendir
- Saf sayısal veri setlerinde daha az baskındır
CatBoost, kategorik özelliklerin baskın olduğu durumlarda en güvenli foundation olmayan seçenektir. Yüksek kartaliteye sahip, saf kategorik veride, hem Lojistik Regresyon hem de CatBoost, TabPFN 3'ü geride bırakır; Lojistik Regresyon biraz daha öndedir.
RealMLP
Gözlemler
- Rejimler arasında nadiren kazanır
- Genellikle birkaç veri seti dışında en altta sıralanır
Genel sinirsel MLP'ler, güçlü tümevarımsal önyargı olmadan tablo verilerinde zorlanır, bu da uygulamalı makine öğrenmesinde uzun süredir devam eden bir dersi pekiştirir. 1
Lojistik regresyon (temel)
Gözlemler
- Küçük sayısal veri setlerinde rekabetçi; orta ve büyük sayısal veride geride kalır
- Hibrit veri setlerinde ara sıra kazanır veya yüksek sıralarda yer alır
- Performans, özellik etkileşimleri baskın olduğunda keskin bir şekilde düşer
Basitliğine rağmen, lojistik regresyon anlamlı bir temel olmaya devam eder ve tablo benchmarklarında atlanmamalıdır.
Tercih edilen kaynak olarak ekleTablo öğrenme modelleri benchmarkının ana çıkarımları
19 veri setinde, TabPFN 3 test ettiğimiz her rejimde en üst modeldir. Küçük, orta ve büyük veri setlerinde ve hem sayısal hem de hibrit veride kazanır.
İstisna, Lojistik Regresyon ve CatBoost'un hala TabPFN 3'ü yendiği yüksek kartaliteye sahip kategorik veridir.
Tablo modeli seçen ekipler için, TabPFN 3 artık çoğu veri seti için pratik varsayılan seçenektir. Gradient boosting, veri seti TabPFN 3 için çok büyük veya çok geniş olduğunda veya veri yapısı CatBoost gibi modelleri tercih ettiğinde güçlü bir temel olmaya devam eder.
Foundation tarzı tablo modellerinin kavramsal temelleri
Foundation tarzı tablo modelleri, tek bir veri seti için optimize etmek yerine, tablo yapısı, özellik etkileşimleri ve görev davranışı üzerinde güçlü öncüller öğrenerek çeşitli tablo veri setlerinde genelleşmeyi amaçlar.
Geleneksel tablo modellerinin her veri seti için bağımsız olarak eğitilmesinin aksine, foundation tarzı yaklaşımlar, büyük tablo problem koleksiyonlarında ön eğitilir ve ardından çıkarım zamanı adaptasyonu yoluyla yeni veri setlerine uygulanır.
Bu benchmark'ta, TabPFN 3 ve TabICL, bu paradigma içinde öne çıkan iki yaklaşımı temsil eder.
Foundation tarzı tablo modellerinin temel yetenekleri
Foundation tarzı tablo modelleri tipik olarak aşağıdaki yetenekleri sergiler:
- Güçlü tümevarımsal önyargı: Birçok tablo veri seti boyunca ortak desenleri öğrenerek, bu modeller özellik etkileşimleri, hedef dağılımları ve gürültü özellikleri hakkında, görülmemiş sorunlara iyi genelleşen varsayımlar kodlar.
- Özellik türlerinin birleştirilmiş işlenmesi: Sayısal ve kategorik özellikler, ortak bir temsil uzayına gömülür, böylece model, kapsamlı manuel ön işleme olmadan karışık özellikli tablolar üzerinde akıl yürütmesine olanak tanır.
- Çıkarım zamanı adaptasyonu: Yeniden eğitim yerine, bu modeller bağlam örnekleri veya veri seti düzeyi istatistiklerini kullanarak yeni veri setlerine uyum sağlar, veri kıtlığı altında güçlü performans sağlar.
- Görevler arası transfer: Tek bir ön eğitilmiş model, genellikle minimum yapılandırma ile daha önce görülmemiş veri setlerinde sınıflandırma veya regresyon gerçekleştirebilir.
Bu özellikler, foundation tarzı modellere, klasik yöntemlerin karmaşık özellik etkileşimlerini tahmin etmek için yeterli veriye sahip olmadığı küçük ve orta büyüklükteki veri setlerinde net bir avantaj sağlar. TabPFN 3 gibi son sürümler, daha yüksek satır ve özellik sınırları ve yerel kategorik işleme yoluyla bu gücü büyük veri setlerine de genişletir.
TabPFN: Tablo tahmini için öncü veri uyumu
TabPFN (Tabular Prior-Data Fitted Network), tablo öğrenmesini bir Bayesian çıkarım problemi olarak yeniden çerçeveleyerek tanımlar.
Tek bir veri seti için parametreler öğrenmek yerine, TabPFN, veri oluşturma süreçleri dağılımından örneklenen milyonlarca sentetik tablo görevinde eğitilir. Çıkarım sırasında model, etkili olarak amortize edilmiş Bayesian çıkarımı gerçekleştirir ve tahminler üretmek için gözlemlenen veri setine koşullandırır.
TabPFN'in temel özellikleri şunlardır:
- Tüm veri setlerini bağlam olarak işleyen bir transformer mimarisi.
- Genel amaçlı öncüller kodlamak için geniş bir sentetik görev dağılımında eğitim.
- Hiperparametre ayarı olmadan düşük veri rejimlerinde güçlü performans.2
Uygulamada, bu tasarım, TabPFN 3'ün benchmark'ta küçük, orta ve büyük veri setlerinde geleneksel boosting yöntemlerini geride bırakmasını sağlar.
TabPFN 3, öncü uyumlu ağ yaklaşımını, 100.000'e kadar eğitim satırını işlemek ve kategorik özellikleri yerel olarak tüketmek için genişletir; bu iki değişiklik, ölçeklendirmede TFM'ler ile gradient boosting arasındaki tarihsel boşluğun çoğunu kapatır.
SAP, Mayıs 2026'da TabPFN arkasındaki araştırma grubu Prior Labs'ın satın alınmasını duyurdu ve onu bağımsız bir AI araştırma laboratuvarı olarak işletmek için dört yıl boyunca 1 milyar Euro'dan fazla taahhüt etti.3
TabICL: Tablo verileri için bağlam içinde öğrenme
TabICL, bağlam içinde öğrenme fikrini tablo tahminine genişletir.
Model parametrelerini uyumlu hale getirmek yerine, TabICL, doğrudan girdi bağlamında sağlanan veri setinden örnekler üzerine koşullandırır. Model, büyük dil modellerinin az-örnek öğrenmeyi nasıl gerçekleştirdiğine benzer şekilde, bu örneklerden karar kurallarını çıkarmayı öğrenir.
TabICL'in temel yönleri şunlardır:
- Yapılandırılmış token'lar olarak kodlanmış veri seti satırları
- Gradient tabanlı eğitim yerine bağlam örnekleri aracılığıyla görev adaptasyonu
- Çeşitli tablo görevlerini işleyebilen tek bir ön eğitilmiş model4
TabICL, küçük veri setlerinde en iyi şekilde çalışır. Büyük sayısal veri setlerinde, TabPFN 3 ve XGBoost'un gerisinde kalır.
Bu yaklaşım, TabICL'in özellikle özellik etkileşimleri karmaşık ve etiketli veri sınırlı olduğunda, hibrit veri setlerinde güçlü performans elde etmesini sağlar.
Foundation tarzı modellerin hala kaybettiği yerler
Daha önceki desen, foundation modellerinin küçük veride mükemmel olduğunu ve gradient boosting'in ölçeklendirmede baskın olduğunu gösteriyordu. TabPFN 3 bu boşluğu daraltır ve artık büyük veri setlerinde de kazanır veya liderlik eder.
Foundation olmayan modellerin hala kazandığı ana rejim, Lojistik Regresyon ve CatBoost'un TabPFN 3'ü geride bıraktığı, yüksek kartaliteye sahip saf kategorik veridir. Böyle veri setlerine sahip ekipler, tek bir yaklaşıma varsayılan olarak gitmek yerine, gradient boosting ve lineer temelleri foundation modelleriyle birlikte benchmarklamalıdır.
Tablo öğrenme modelleri benchmarkının yöntemi
5 katmanlı katmanlı çapraz doğrulama kullanarak 19 tablo veri setinde 7 ML modelini benchmarkladık.
Ortam: RunPod Cloud Container (Ubuntu 24.04).
Sürücüler: Cuda 12.8.1, Pytorch 2.8.0
Modeller:
- LogisticRegression – Lineer temel
- XGBoost – Gradient boosting
- LightGBM – Gradient boosting
- CatBoost – Yerel kategorik destekli gradient boosting
- RealMLP – Derin öğrenme (MLP)
- TabPFN 3 – Transformer tabanlı öncü uyumlu ağ
- TabICL – Transformer tabanlı bağlam içinde öğrenme
OpenML'den 19 veri seti:
- İkili sınıflandırma: 15 veri seti
- Çok sınıflı sınıflandırma: 1 veri seti
- Regresyon: 3 veri seti
- Veri seti boyutları ~600'den ~45.000 örneğe kadar değişir.
Değerlendirme
Çapraz Doğrulama
- Sınıflandırma için 5 katmanlı katmanlı CV
- Regresyon için 5 katmanlı CV
- Tüm deneylerde aynı rastgele tohum (42)
Metrikler
Ön İşleme
- Sayısal özellikler: StandardScaler
- Kategorik özellikler: One-hot encoding (CatBoost hariç, bu yerel olarak işler)
- Eksik değerler: Medyan imputasyon (sayısal), mod imputasyon (kategorik)
Sınırlamalar
- TabPFN 3: ≤2.000 ham özellik, ≤100.000 eğitim satırı. Yerel kategorik işleme, önceki sürümleri kısıtlayan one-hot şişmesini önler
- TabICL: Sadece sınıflandırma görevleri (regresyon desteği yok); bu benchmark'taki 3 regresyon veri setinde skor kaydedilmedi
Yeniden Üretilebilirlik
Tüm deneyler şunları kullanır:
- Sabit rastgele tohum: 42
- Modeller arasında aynı eğitim/test bölümleri
- Varsayılan hiperparametreler (ayar yok)
Bu benchmarkı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{kaleliolu2026,
author = {Kalelioğlu, Berk and Dilmegani, Cem},
title = {{Tablo Modeller Benchmarki: 19 Veri Setinde Performans}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/tabular-models}},
note = {AIMultiple. Erişim tarihi: 3 Temmuz 2026}
}8 veri noktasının sonuçları ve zaman damgaları. Bu makalede kullanılan verileri, bir CSV dosyası ve bir README içeren ZIP dosyası olarak indirin.
Referans Linkleri
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.