Tabular-Modelle Benchmark: Leistung über 19 Datensätze

Wir haben 7 weit verbreitete tabellarische Lernmodelle über 19 reale Datensätze hinweg getestet, die etwa 260.000 Stichproben und über 250 Gesamtmerkmale abdecken, wobei die Datensatzgrößen von 435 bis zu fast 49.000 Zeilen reichen.

Unser Ziel war es, leistungsstarke Modellfamilien für Datensätze unterschiedlicher Größe und Struktur (z. B. numerisch vs. kategorisch) zu verstehen, die eine typische Unternehmensdatenarchitektur ausmachen.

Ergebnisse des Benchmarks für tabellarische Lernmodelle

Im Diagramm erhält das gewinnende Modell 1 Punkt. Im Falle eines Unentschieden wird der Punkt gleichmäßig auf die gebundenen Modelle aufgeteilt. Die Gewinnrate misst, wie oft ein Modell innerhalb eines bestimmten Regimes an erster Stelle endet, und bietet eine strengere Sicht auf die Dominanz als der durchschnittliche Rang.

Unterschiedliche Modelle gewinnen unter unterschiedlichen strukturellen Bedingungen, und die Erfolgsrate variiert je nach Datensatzgröße und Merkmalszusammensetzung.

Insbesondere:

• Foundation-Modelle sind am erfolgreichsten, wenn die Daten begrenzt sind
• TabPFN 3 gewinnt sowohl große als auch numerische Datensätze und übertrifft XGBoost und TabICL
• Bei großen und hybriden Datensätzen:
  • TabPFN 3 gewinnt 3 von 5 Datensätzen, wobei Logistic Regression (amazon_employee_access) und LightGBM (adult) die anderen gewinnen
  • Die Punktelücken zwischen den Top-Vier bleiben gering (innerhalb von 0,5 Punkten ROC-AUC), sodass die Modellwahl immer noch von den Datenmerkmalen abhängt

Haftungsausschluss: Merkmalstypen werden basierend auf der dominanten Eingabedarstellung nach der Vorverarbeitung als numerisch oder hybrid kategorisiert.

So ist die Mischung der Datensätze zu interpretieren:

• Größen-Buckets reichen von kleinen Datensätzen mit weniger als 1.000 Zeilen bis hin zu großen Datensätzen mit mehr als 40.000 Zeilen.
• Aufgabentypen umfassen binäre Klassifizierung, Multiklassen-Klassifizierung und Regression.
• Merkmalstypen spiegeln praktische Unternehmensdaten wider:
  • Numerisch: hauptsächlich kontinuierliche oder ordinale Variablen
  • Hybrid: eine Mischung aus numerischen und kategorischen Merkmalen

Diese Variation macht den Benchmark gut geeignet, um zu verstehen, welche Modellfamilien unter verschiedenen Bedingungen zuverlässig funktionieren.

Sie können unsere Methodik unten sehen.

Ergebnisse auf hoher Ebene nach Datensatzgröße und Merkmalstyp

So verhalten sich Modelle über Größen-Buckets von Datensätzen und Merkmalstypen hinweg, anstatt sich auf einzelne Datensatzwerte zu konzentrieren.

Für jeden Größen-Bucket von Datensätzen gibt das Diagramm den durchschnittlichen ROC-AUC an, der von jedem Modell erreicht wurde, separat für numerische und hybride Datensätze.

Kleine Datensätze (<1K Zeilen)

Bei kleinen Datensätzen sind foundation-ähnliche tabellarische Modelle am erfolgreichsten.

• TabPFN 3 und TabICL, die führenden tabellarischen Foundation-Modelle (TFMs), erzielen die beste Leistung sowohl bei numerischen als auch bei hybriden Datensätzen.
• Die Leistungslücke ist bei hybriden Datensätzen besonders ausgeprägt
• Logistic Regression schneidet bei numerischen Daten wettbewerbsfähig ab, verschlechtert sich jedoch bei hybriden Daten stark

Wenn Daten knapp sind, übertreffen Modelle mit starkem induktiven Bias sowohl Boosting- als auch neuronale Baseline-Modelle. In diesem Regime sind Vorwissen und erlernte Merkmalsinteraktionen wichtiger als die Modellkapazität.

Mittlere Datensätze (1K–10K Zeilen)

Bei mittelgroßen Datensätzen verbessert sich die Gesamtleistung, aber strukturelle Unterschiede bleiben bestehen.

• Die meisten Modelle schneiden bei numerischen Datensätzen stark ab (oft über 97 % ROC-AUC)
• Hybride Datensätze bleiben herausfordernder.
• Innerhalb der TFMs führen TabPFN 3 und TabICL weiterhin, aber die Lücke zum Gradient Boosting ist geringer.

Mittelgroße Datensätze stellen ein Übergangsregime dar: Die Signaldichte nimmt zu, aber der induktive Bias bietet immer noch einen messbaren Vorteil, insbesondere bei gemischten Merkmalstypen.

Große Datensätze (>10K Zeilen)

In großem Maßstab verschieben sich die Leistungsmuster.

• Bei großen numerischen Datensätzen führt TabPFN 3, gefolgt von XGBoost und TabICL. TabPFN 3 gewinnt auch die california_housing-Regressionsaufgabe, die in der Tabelle pro Datensatz und nicht in diesem Diagramm angegeben ist.
• Bei großen und hybriden Datensätzen konvergiert die Leistung:
  • Die Unterschiede sind geringer, und die Modellwahl wird weniger offensichtlich

In großem Maßstab schließt TabPFN 3 die Lücke, die zuvor Gradient Boosting bei numerischen Daten begünstigte, und erweitert seinen Vorsprung bei hybriden Daten. Das eine Regime, in dem Boosting- und lineare Baseline-Modelle immer noch gewinnen, sind hochkategoriale rein-kategorische Daten, wie sie bei amazon_employee_access zu sehen sind.

Durchschnittlicher Rang nach Regime

Modelle werden innerhalb jedes Regimes (Datensatzgröße × Merkmalstyp) gerankt.
Die Ränge werden so normalisiert, dass höhere Werte eine stärkere relative Leistung anzeigen, was Vergleiche zwischen Regimes erleichtert.

Kleine Datensätze

Bei kleinen Datensätzen dominieren foundation-ähnliche Modelle die Ranglisten.

• TabPFN 3 und TabICL rangieren sowohl bei numerischen als auch bei hybriden Datensätzen an erster Stelle, oft gleichauf
• Gradient-Boosting-Modelle rangieren konsistent am unteren Ende
• Die Lücke zwischen Foundation-Modellen und Boosting ist bei hybriden Daten größer

Der durchschnittliche Rang hebt dasselbe Muster hervor, das in der Rohleistung beobachtet wurde:
Wenn Daten knapp sind, wiegen erlernte Priors und induktiver Bias mehr als skalengesteuerte Optimierung.

Mittlere Datensätze

Bei mittelgroßen Datensätzen beginnen sich die Ranglisten zu verschieben.

• TabPFN 3 und TabICL bleiben bei beiden Merkmalstypen an der Spitze, wobei TabPFN 3 einen kleinen Vorsprung hat
• CatBoost emerges als starke dritte Option bei hybriden Datensätzen
• Boosting-Modelle verbessern ihre relative Position im Vergleich zum Small-Data-Regime

Dieses Regime spiegelt einen Balancepunkt wider. Das Datenvolumen nimmt zu, aber Merkmalsinteraktionen belohnen immer noch Modelle mit stärkerem induktiven Bias.

Große Datensätze

Bei großen Datensätzen wird die Dominanz regime-spezifisch.

• Groß + numerisch:
  • TabPFN 3 rangiert an erster Stelle, gefolgt von XGBoost und TabICL.
• Groß + hybrid:
  • TabPFN 3 nimmt den Top-Durchschnittsrang ein, aber nur mit einem kleinen Vorsprung
  • LightGBM, TabICL und CatBoost folgen innerhalb eines Rangepunkts voneinander

Der durchschnittliche Rang zeigt, dass TabPFN 3 in jedem Regime führt, obwohl die Lücken bei großen hybriden Daten geringer werden, wo mehrere Modelle innerhalb eines Rangepunkts clustern.
Starke Gesamtrankings verbergen oft scharfe Leistungsunterschiede zwischen Regimes.

Modellspezifische Beobachtungen

Dieser Abschnitt fasst zusammen, wo jede Modellklasse gut abschneidet und wo sie Schwierigkeiten hat, basierend auf der vollständigen Ergebnismenge.

Tabellarische Foundation-Modelle (TFMs): TabPFN 3 und TabICL

Stärken

• Konsistent leistungsstark bei kleinen und mittleren Datensätzen
• Besonders stark bei hybriden Datensätzen, wo die kategorische Struktur wichtig ist
• Hohe Gewinnraten bei kleinen Datensätzen

Einschränkungen

• Beide TFMs haben begrenzte Zeilenlimits, sodass sie keine Datensatzgrößen verarbeiten können, bei denen Gradient Boosting immer noch ohne Unterabtastung arbeitet
• TFMs sind typischerweise auf 2.000 Merkmale oder weniger begrenzt, was bei sehr breiten Tabellen einschränkend sein kann, selbst mit nativer kategorischer Verarbeitung
• TabICL unterstützt keine Regression, sodass es bei Regressionsdatensätzen nicht bewertet werden kann

TFMs decken jetzt die meisten Regimes gut ab. TabPFN 3 insbesondere schneidet bei kleinen, mittleren und großen Datensätzen stark ab, wobei der Hauptschwachpunkt hochkategoriale, rein-kategorische Daten sind.

Gradient-Boosting-Modelle: XGBoost und LightGBM

Stärken

• Wettbewerbsfähig bei großen Datensätzen
• Starke und stabile Leistung, wenn das Datenvolumen zunimmt
• Bleiben bei hybriden Daten in großem Maßstab wettbewerbsfähig

Einschränkungen

• Schneiden im Vergleich zu Foundation-Modellen bei kleineren Datensätzen schlechter ab
• Benötigen sorgfältige Vorverarbeitung und Abstimmung für datenreiche kategorische Daten

Gradient Boosting bleibt eine starke Baseline über alle Regimes hinweg und die praktische Standardwahl für Produktionsumgebungen, in denen TFM-Einschränkungen gelten, einschließlich Lizenzbeschränkungen, Lücken in der Regressionsunterstützung oder Zeilen-/Merkmalslimits.

CatBoost

Stärken

• Unter Nicht-Foundation-Modellen allgemein stark bei mittleren und großen hybriden Datensätzen
• Native kategorische Verarbeitung sorgt für konsistente Gewinne
• Leistet selten schlecht über Regimes hinweg

Einschränkungen

• Ist selten der Top-Performer
• Weniger dominant bei rein numerischen Datensätzen

CatBoost ist die sicherste Nicht-Foundation-Wahl, wenn kategorische Merkmale dominieren. Bei hochkategorischen, rein kategorischen Daten übertreffen sowohl Logistic Regression als auch CatBoost TabPFN 3, wobei Logistic Regression leicht vorne liegt.

RealMLP

Beobachtungen

• Gewinnt selten über Regimes hinweg
• Rangiert oft am unteren Ende, außer bei einer kleinen Anzahl von Datensätzen

Generische neuronale MLPs haben Schwierigkeiten mit tabellarischen Daten ohne starken induktiven Bias, was eine langjährige Lektion im angewandten maschinellen Lernen untermauert. ¹

Logistic Regression (Baseline)

Beobachtungen

• Wettbewerbsfähig bei kleinen numerischen Datensätzen; bleibt bei mittleren und großen numerischen Daten zurück
• Gewinnt gelegentlich oder rangiert bei hybriden Datensätzen hoch
• Die Leistung verschlechtert sich stark, wenn Merkmalsinteraktionen dominieren

Trotz ihrer Einfachheit bleibt Logistic Regression eine bedeutende Baseline und sollte bei tabellarischen Benchmarks nicht übersprungen werden.

Entdecken Sie weitere unserer Benchmarks und datengestützten Erkenntnisse in der Google-Suche.

Als bevorzugte Quelle hinzufügen

Wichtige Erkenntnisse des Benchmarks für tabellarische Lernmodelle

Über 19 Datensätze hinweg ist TabPFN 3 das Top-Modell in jedem von uns getesteten Regime. Es gewinnt bei kleinen, mittleren und großen Datensätzen sowie bei numerischen und hybriden Daten.

Die Ausnahme sind hochkategoriale kategorische Daten, bei denen Logistic Regression und CatBoost immer noch TabPFN 3 schlagen.

Für Teams, die ein tabellarisches Modell auswählen, ist TabPFN 3 jetzt die praktische Standardwahl für die meisten Datensätze. Gradient Boosting bleibt die starke Baseline, wenn der Datensatz für TabPFN 3 zu groß oder zu breit ist oder wenn die Datenstruktur Modelle wie CatBoost begünstigt.

Konzeptionelle Grundlagen von foundation-ähnlichen tabellarischen Modellen

Foundation-ähnliche tabellarische Modelle zielen darauf ab, sich über diverse tabellarische Datensätze hinweg zu verallgemeinern, indem sie starke Priors über Tabellenstruktur, Merkmalsinteraktionen und Aufgabenverhalten lernen, anstatt sich auf einen einzelnen Datensatz zu optimieren.

Im Gegensatz zu traditionellen tabellarischen Modellen, die unabhängig für jeden Datensatz trainiert werden, werden foundation-ähnliche Ansätze auf großen Sammlungen tabellarischer Probleme vortrainiert und dann durch Inferenzzeit-Anpassung auf neue Datensätze angewendet.

In diesem Benchmark repräsentieren TabPFN 3 und TabICL zwei prominente Ansätze innerhalb dieses Paradigmas.

Schlüsselkompetenzen von foundation-ähnlichen tabellarischen Modellen

Foundation-ähnliche tabellarische Modelle weisen typischerweise folgende Fähigkeiten auf:

• Starker induktiver Bias: Durch das Lernen gemeinsamer Muster über viele tabellarische Datensätze hinweg kodieren diese Modelle Annahmen über Merkmalsinteraktionen, Zielverteilungen und Rauscheigenschaften, die sich gut auf nicht gesehene Probleme verallgemeinern.
• Einheitliche Behandlung von Merkmalstypen: Numerische und kategorische Merkmale werden in einen gemeinsamen Repräsentationsraum eingebettet, sodass das Modell über gemischte Merkmals-Tabellen nachdenken kann, ohne umfangreiche manuelle Vorverarbeitung.
• Inferenzzeit-Anpassung: Anstatt neu zu trainieren, passen sich diese Modelle mit Kontextbeispielen oder datensatzweiten Statistiken an neue Datensätze an, was eine starke Leistung bei Datenknappheit ermöglicht.
• Transfer über Aufgaben hinweg: Ein einzelnes vortrainiertes Modell kann Klassifizierung oder Regression auf zuvor nicht gesehene Datensätze durchführen, oft mit minimaler Konfiguration.

Diese Eigenschaften geben foundation-ähnlichen Modellen einen klaren Vorteil bei kleinen und mittelgroßen Datensätzen, bei denen klassische Methoden nicht genügend Daten haben, um komplexe Merkmalsinteraktionen zu schätzen. Neuere Releases wie TabPFN 3 erweitern diese Stärke auch auf größere Datensätze durch höhere Zeilen- und Merkmalslimits sowie native kategorische Verarbeitung.

TabPFN: Prior-Daten-Anpassung für tabellarische Vorhersagen

TabPFN (Tabular Prior-Data Fitted Network) stellt das tabellarische Lernen als ein Bayes'sches Inferenzproblem neu dar.

Anstatt Parameter für einen einzelnen Datensatz zu lernen, wird TabPFN auf Millionen synthetischer tabellarischer Aufgaben trainiert, die aus einer Verteilung von datengenerierenden Prozessen stammen. Während der Inferenz führt das Modell effektiv amortisierte Bayes'sche Inferenz durch, indem es sich auf den beobachteten Datensatz konditioniert, um Vorhersagen zu treffen.

Wesentliche Merkmale von TabPFN sind:

• Eine Transformer-Architektur, die gesamte Datensätze als Kontext verarbeitet.
• Training auf einer breiten Verteilung synthetischer Aufgaben, um allgemeine Priors zu kodieren.
• Starke Leistung in Low-Data-Regimes ohne Hyperparameter-Abstimmung.²

In der Praxis ermöglicht dieses Design TabPFN 3, traditionelle Boosting-Methoden bei kleinen, mittleren und großen Datensätzen im Benchmark zu übertreffen.

TabPFN 3 erweitert den prior-fitted network-Ansatz, um bis zu 100.000 Trainingszeilen zu verarbeiten und kategorische Merkmale nativ zu verarbeiten, zwei Änderungen, die die historische Lücke zwischen TFMs und Gradient Boosting in großem Maßstab schließen.

SAP gab im Mai 2026 die Übernahme von Prior Labs, der Forschungsgruppe hinter TabPFN, bekannt und verpflichtete sich, mehr als 1 Milliarde Euro über vier Jahre zu investieren, um es als unabhängiges KI-Forschungslabor zu betreiben.³

TabICL: In-Context-Learning für tabellarische Daten

TabICL erweitert die Idee des In-Context-Learnings auf tabellarische Vorhersagen.

Anstatt Modellparameter anzupassen, konditioniert TabICL auf Beispiele aus dem Datensatz, die direkt im Eingabekontext bereitgestellt werden. Das Modell lernt, Entscheidungregeln aus diesen Beispielen abzuleiten, ähnlich wie große Sprachmodelle Few-Shot-Learning durchführen.

Wesentliche Aspekte von TabICL sind:

• Datensatzzeilen, die als strukturierte Token kodiert sind
• Aufgabenanpassung durch Kontextbeispiele anstatt gradientenbasiertem Training
• Ein einzelnes vortrainiertes Modell, das diverse tabellarische Aufgaben bewältigen kann⁴

TabICL funktioniert am besten bei kleinen Datensätzen. Bei großen numerischen Datensätzen bleibt es hinter TabPFN 3 und XGBoost zurück.

Dieser Ansatz ermöglicht es TabICL, bei hybriden Datensätzen eine starke Leistung zu erzielen, insbesondere wenn Merkmalsinteraktionen komplex sind und nur begrenzt gelabelte Daten vorliegen.

Wo foundation-ähnliche Modelle immer noch verlieren

Das frühere Muster war, dass Foundation-Modelle bei kleinen Daten glänzten und Gradient Boosting in großem Maßstab dominierte. TabPFN 3 schließt diese Lücke und gewinnt oder führt jetzt auch bei großen Datensätzen.

Das Hauptregime, in dem Nicht-Foundation-Modelle immer noch gewinnen, sind hochkategoriale rein-kategorische Daten, bei denen Logistic Regression und CatBoost TabPFN 3 übertreffen. Teams mit solchen Datensätzen sollten Gradient Boosting und lineare Baseline-Modelle neben Foundation-Modellen testen, anstatt sich auf einen einzigen Ansatz zu verlassen.

Methodik des Benchmarks für tabellarische Lernmodelle

Wir testen 7 ML-Modelle an 19 tabellarischen Datensätzen unter Verwendung einer 5-fach stratifizierten Kreuzvalidierung.

Umgebung: RunPod Cloud Container (Ubuntu 24.04).

Treiber: Cuda 12.8.1, Pytorch 2.8.0

Modelle:

• LogisticRegression – Lineare Baseline
• XGBoost – Gradient Boosting
• LightGBM – Gradient Boosting
• CatBoost – Gradient Boosting mit nativer kategorischer Unterstützung
• RealMLP – Deep Learning (MLP)
• TabPFN 3 – Transformer-basiertes prior-fitted network
• TabICL – Transformer-basiertes In-Context-Learning

19 Datensätze von OpenML:

• Binäre Klassifizierung: 15 Datensätze
• Multiklassen-Klassifizierung: 1 Datensatz
• Regression: 3 Datensätze
• Die Datensatzgrößen reichen von ~600 bis ~45.000 Stichproben.

Auswertung

Kreuzvalidierung

• 5-fach stratifizierte CV für Klassifizierung
• 5-fach CV für Regression
• derselbe Zufallssamen (42) über alle Experimente hinweg

Metriken

Vorverarbeitung

• Numerische Merkmale: StandardScaler
• Kategorische Merkmale: One-Hot-Encoding (außer CatBoost, das nativ verarbeitet)
• Fehlende Werte: Median-Imputation (numerisch), Modus-Imputation (kategorisch)

Einschränkungen

• TabPFN 3: ≤2.000 Rohmerkmale, ≤100.000 Trainingszeilen. Native kategorische Verarbeitung vermeidet One-Hot-Aufblähung, die frühere Versionen einschränkte
• TabICL: Nur Klassifizierungsaufgaben (keine Regressionsunterstützung); keine Werte für die 3 Regressionsdatensätze in diesem Benchmark aufgezeichnet

Reproduzierbarkeit

Alle Experimente verwenden:

• Fester Zufallssamen: 42
• Die gleichen Train/Test-Aufteilungen über Modelle hinweg
• Standard-Hyperparameter (keine Abstimmung)

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{kaleliolu2026,
  author = {Kalelioğlu, Berk and Dilmegani, Cem},
  title  = {{Tabular-Modelle Benchmark: Leistung über 19 Datensätze}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/tabular-models}},
  note   = {AIMultiple. Abgerufen am 3. Juli 2026}
}

Referenzlinks

1.

Introducing TabFM: A zero-shot foundation model for tabular data

2.

AutoGluon Tabular - Foundational Models - AutoGluon 1.5.0 documentation

3.

Pricing | Runpod

Runpod

4.

[2602.11139] TabICLv2: A better, faster, scalable, and open tabular foundation model

Berk Kalelioğlu

KI-Forscher

Folgen aufVollständiges Profil anzeigen

Recherchiert von

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 55 % der Fortune 500. Cems Arbeit wurde von führenden globalen Publikationen wie Business Insider, Forbes und der Washington Post, von globalen Unternehmen wie Deloitte und HPE sowie von NGOs wie dem Weltwirtschaftsforum und supranationalen Organisationen wie der Europäischen Kommission zitiert. Weitere namhafte Unternehmen und Ressourcen, die AIMultiple referenziert haben, finden Sie hier. Im Laufe seiner Karriere war Cem als Technologieberater, Technologieeinkäufer und Technologieunternehmer tätig. Über ein Jahrzehnt lang beriet er Unternehmen bei McKinsey & Company und Altman Solon in ihren Technologieentscheidungen. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung. Bei einem Telekommunikationsunternehmen leitete er die Technologiestrategie und -beschaffung und berichtete direkt an den CEO. Darüber hinaus verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von null auf einen siebenstelligen jährlichen wiederkehrenden Umsatz und eine neunstellige Unternehmensbewertung kam. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider gewürdigt. Er ist ein gefragter Redner auf internationalen Technologiekonferenzen. Cem absolvierte sein Studium der Informatik an der Bogazici-Universität und besitzt einen MBA der Columbia Business School.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten