Benchmark für tabellarische Modelle: Leistung über 19 Datensätze
Wir haben 8 tabellarische Lernmodelle auf 19 realen Datensätzen mit rund 260.000 Stichproben verglichen, mit Datensatzgrößen von 435 bis 48.800 Zeilen. Jedes Modell lief auf derselben Maschine mit 5-facher Kreuzvalidierung und identischen Aufteilungen.
Benchmark-Ergebnisse für tabellarische Lernmodelle
Jeder Datensatz ist ein Round-Robin von direkten Vergleichen zwischen Modellen, entschieden durch die primäre Metrik. Elo fasst alle 483 Vergleiche zu einer einzigen Bewertung pro Modell zusammen; ein Abstand von 200 Punkten bedeutet, dass das höher bewertete Modell etwa 3 von 4 Vergleichen gewinnt. Details finden Sie in der Methodik.
TabFM, veröffentlicht von Google Research am 30. Juni 20261 , gewann 15 der 19 Datensätze. Es liegt 218 Elo-Punkte über dem nächsten Modell und 538 über dem besten gradientengeboosteten Baum. Kein Boosted Tree gewann einen einzigen Datensatz.
Elo behandelt partielle Abdeckung ebenfalls fair: Mitra wird nur anhand der Vergleiche bewertet, die es bestreiten konnte, d.h. die 12 Datensätze innerhalb seiner Trainingsbegrenzung von 10.000 Zeilen2 .
- TabFMs 15 Siege umfassen jeden großen, schwierigen Datensatz: adult (0.9318 ROC-AUC), electricity (0.9936), bank-marketing-full (0.9465) und house_sales (RMSE 97.704).
- Sein größter Vorsprung ist vehicle, der einzige Multiklassen-Datensatz: 0.9136 Macro-F1 gegenüber XGBoosts 0.7492.
- Die vier Nicht-TabFM-Siege: Logistische Regression bei amazon_employee_access, TabICLv2 bei compas-two-years, Mitra bei breast-w und ein Drei-Wege-Gleichstand der Foundation Models bei einem perfekten Wert von 1,0000 bei monks-problems-2.
- Der Sieg der Logistischen Regression ist knapper, als die Tabelle vermuten lässt: 0.8631 ROC-AUC gegenüber TabFMs 0.8627 und CatBoosts 0.8621, mit Fold-level-Standardabweichungen von 0,010 bis 0,015. Bei kategorialen Daten mit extremer Kardinalität sind die besten klassischen Modelle und TabFM statistisch gleichauf, und die Argumentation für klassische Modelle beruht auf Kosten statt auf Genauigkeit.
Eine Einschränkung der Schlagzeile: TabFMs Vorsprung vor allen vier klassischen Modellen ist statistisch signifikant (Friedman-Test, dann Nemenyi Critical Difference; jeder Abstand überschreitet ihn). Sein Vorsprung vor TabPFN 3 und TabICLv2 ist bei 19 Datensätzen nicht gesichert: Diese Abstände bleiben unter der Critical Difference, und die Elo-Intervalle überlappen sich an den Rändern. Dass Foundation Models Gradient Boosting schlagen, ist die statistisch untermauerte Behauptung; dass TabFM das Feld der Foundation Models anführt, ist ein Ergebnis des mittleren Rangs, das auf weitere Datensätze wartet. Testdetails finden Sie in der Methodik.
Latenz tabellarischer Modelle
- GPU-Preise basieren auf RunPods On-Demand-B200-Rate von $5,89 pro GPU-Stunde, Stand 2. Juli 20263 . Die klassischen Modelle liefen auf CPU (62 Kerne); jedes Foundation Model lief auf einer B200.
- TabFM benötigte durchschnittlich 173,6 Sekunden pro Fold (Median 16,9). Sein schlechtester Datensatz, adult mit 48.800 Zeilen, dauerte 893 Sekunden pro Fold. Der gesamte Benchmark kostete TabFM etwa $27 an GPU-Zeit; TabPFN 3 erledigte die gleiche Arbeit für $0,65 und LightGBM für praktisch nichts auf CPU.
- Diese Zahlen schließen TabFMs Kaltstart aus. Vor seiner ersten Vorhersage verbringt TabFMs JAX-Backend etwa 20 bis 25 Minuten mit der Kompilierung von GPU-Kernels. Ein persistenter Kompilierungs-Cache entfernt dies bei späteren Durchläufen; jede neue Bereitstellung zahlt es einmal.
- TabFM hatte auch den höchsten Einrichtungsaufwand der acht Modelle. Es erfordert eine aktuelle Rechenzentrums-GPU, und auf B200-Hardware löst der standardmäßige CUDA-12-Stack einen dokumentierten cuBLAS-Fehler aus, den JAX als stilles Datenkorruptionsrisiko kennzeichnet. Einer unserer Durchläufe musste deswegen verworfen und auf dem CUDA-13-Stack wiederholt werden. Kein anderes Modell hatte einen vergleichbaren Fehlermodus.
- TabFM verlagert die Kosten auf die Inferenz: Jeder Vorhersage-Batch verarbeitet die Trainingsdaten erneut als Kontext. Einmal pro Datensatz bereitgestellt, ist dies in Ordnung. Für wiederholtes Scoring auf großen Datenmengen summieren sich die Kosten pro Aufruf, während ein trainiertes XGBoost-Modell in Mikrosekunden vorhersagt.
Ergebnisse nach Datensatzgröße und Merkmalstyp
- Kleine Datensätze (unter 1.000 Zeilen): Die vier Foundation Models belegen die ersten vier Plätze sowohl bei numerischen als auch bei hybriden Daten. Mitra, gebaut für kleine Daten, gewinnt breast-w und zieht bei monks-problems-2 mit einem perfekten Score gleich. Logistische Regression hält sich bei numerischen Daten (91,2 % durchschnittliche ROC-AUC) und bricht bei hybriden ein (77,5 %).
- Mittlere Datensätze (1.000 bis 10.000 Zeilen): Foundation Models führen bei beiden Merkmalstypen. Der hybride Abstand ist groß: TabFM 85,3 % durchschnittliche ROC-AUC gegenüber 83,4 % für das beste klassische Modell, CatBoost.
- Große Datensätze (über 10.000 Zeilen): Das alte Muster „Boosting holt bei Skalierung auf“ ist verschwunden. Bei großen numerischen Daten erreicht TabFM durchschnittlich 99,4 % gegenüber XGBoosts 97,0 %. Bei großen hybriden Daten führt TabFM mit 88,4 % gegenüber LightGBMs 87,6 %.
Durchschnittlicher Rang nach Regime
Die Rangansicht fügt zwei Dinge hinzu, die ROC-AUC-Durchschnitte verbergen.
- TabFM hält den höchsten durchschnittlichen Rang in allen sechs Regimen, einschließlich einer perfekten 8,0 bei mittleren numerischen Daten, wo es bei jedem Datensatz den ersten Platz belegte.
- Wie eng das Rennen ist, hängt vom Regime ab. Bei kleinen Daten liegen die vier Foundation Models innerhalb eines Rangpunktes voneinander entfernt, sodass Anwender mit kleinen Daten jedes davon wählen können und wenig Genauigkeit verlieren. Bei großen hybriden Daten teilt sich das Feld: TabFM bei 6,8, der zweite Platz bei 4,4. LightGBMs dritter Platz dort (4,2) ist die beste klassische Platzierung in jedem Regime.
Modellsiege nach Regime
TabFM erhält Siegpunkte in allen sechs Regimen; kein anderes Modell punktet in mehr als zwei. Der einzige Punkt der klassischen Modelle im gesamten Raster ist der Sieg der Logistischen Regression bei amazon_employee_access. Mitras Punkte liegen alle in der Zeile für kleine Daten, entsprechend seinem Design.
Das Regime zählt immer noch, aber für die Wahl des Rechenaufwands, nicht mehr für die Wahl, welche Modellfamilie gewinnt.
Modellspezifische Beobachtungen
TabFM (Google Research, Juni 2026)
Bester mittlerer Rang (1,42), 15 klare Siege, Top-Modell in jedem Regime. Architektonisch ist es ein Hybrid: TabICL-artige Zeilen- und Spalten-Attention über rohe Zellen, Zeilenkompression, dann ein TabPFN-artiger In-Context-Transformer über die komprimierten Zeilen, vortrainiert auf Hunderten Millionen synthetischer Tabellen. Die Kompromisse: etwa das 40-fache der Rechenleistung von TabPFN 3, eine erste Kompilierung von über 20 Minuten, eine Begrenzung auf 500 Merkmale und 10 Klassen und Bereitstellung nur auf Rechenzentrums-GPUs.
TabICLv2 (Inria SODA, Februar 2026)
Zweitbester mittlerer Rang (2,74) bei 3,1 Sekunden pro Fold4 . Fügt Regressionsunterstützung hinzu, die dem ursprünglichen TabICL fehlte. Absolvierte alle 19 Datensätze, einschließlich amazon_employee_access, dessen kategoriale Spalte mit 7.518 Werten In-Context-Modelle überfordert, wenn sie One-Hot-codiert ist. Die beste Genauigkeit pro GPU-Sekunde im Benchmark.
TabPFN 3 (Prior Labs)
Dritter mittlerer Rang (3,00), absolvierte alles, insgesamt 6,6 GPU-Minuten5 . Row-Chunking ermöglicht die Verarbeitung von Datensätzen, die andere In-Context-Modelle auf derselben Hardware überfordern. SAP kündigte die Übernahme von Prior Labs im Mai 2026 an6 , was für Unternehmenskäufer, die Stabilität des Anbieters bewerten, von Bedeutung ist.
Mitra (Amazon, via AutoGluon)
Ein Spezialist für kleine Daten nach Design: Eine harte Trainingsbegrenzung von 10.000 Zeilen macht es bei 7 von 19 Datensätzen zu N/A. Innerhalb seines Bereichs ist es wettbewerbsfähig: mittlerer Rang 4,50 bei seinen 12 Datensätzen und ein klarer Sieg. Wählen Sie es, wenn die Daten wirklich klein sind und AutoGluon bereits im Stack vorhanden ist.
Gradient Boosting: LightGBM, CatBoost, XGBoost
Immer noch der Standard für die Bereitstellung, nicht mehr der Genauigkeitsführer in irgendeinem Regime. LightGBM war das beste klassische Modell (mittlerer Rang 5,16). CatBoost bleibt die sicherste klassische Wahl bei kategorial-lastigen Daten. XGBoost belegte den letzten Platz beim mittleren Rang (6,42) und zeigte eine bemerkenswerte Schwäche: Mit nativen kategorialen Splits bei der Regression employee_salaries mit hoher Kardinalität erzielte es einen RMSE von 10.894, während LightGBM bei identischen Eingaben 4.367 erzielte. Das ist ein Ergebnis eines einzelnen Datensatzes, aber eine Überprüfung wert, bevor man sich auf XGBoosts kategorialen Modus verlässt.
Das Argument der Boosted Trees im Jahr 2026 ist operativ: Training unter einer Sekunde, Inferenz in Mikrosekunden, keine GPU, keine Zeilenbegrenzungen, ausgereifte Werkzeuge.
Logistische Regression
Mittlerer Rang 6,21, doch sie besitzt einen Anteil am Gleichstand bei amazon_employee_access. Sparse One-Hot plus ein lineares Modell bleibt eine starke, nahezu kostenlose Baseline bei kategorialen Daten mit hoher Kardinalität. Behalten Sie es in jedem Benchmark.
Wichtigste Erkenntnisse
Foundation Models schlagen gradientengeboostete Bäume bei der Genauigkeit, mit statistischer Signifikanz, über kleine, mittlere und große tabellarische Daten hinweg. Dies gilt nur, wenn jedes Modell die kategoriale Eingabe erhält, für die es entwickelt wurde; das Erzwingen von One-Hot-Encoding bei In-Context-Modellen beeinträchtigt diese bei Daten mit hoher Kardinalität erheblich.
TabFM führt bei der Genauigkeit, kostet aber etwa das 40-fache der Rechenleistung von TabPFN 3 oder TabICLv2 und hat den höchsten Einrichtungsaufwand. TabICLv2 mit 3 Sekunden pro Fold ist die preiswerte Wahl. TabPFN 3 ist die bewährte, unternehmensgestützte Mitte.
Bei kategorialen Daten mit hoher Kardinalität sind die stärksten klassischen Modelle und TabFM statistisch gleichauf. Das klassische Argument sind Kosten, Einfachheit und Bereitstellungsfreiheit.
Zero-Shot bedeutet kein Training, nicht keine Rechenleistung. Bewerten Sie das Vorhersagevolumen Ihrer Arbeitslast, bevor Sie sich für TabFM entscheiden.
Was sind tabellarische Foundation Models?
Traditionelle tabellarische Modelle trainieren von Grund auf neu auf jedem Datensatz. Tabellarische Foundation Models (TFMs) werden einmalig auf großen Sammlungen tabellarischer Probleme – meist synthetisch – vortrainiert und passen sich zur Inferenzzeit an neue Datensätze an: Die Trainingszeilen gehen als Kontext ein, und Vorhersagen kommen aus einem Vorwärtsdurchlauf. Kein Gradiententraining, keine Hyperparameter-Optimierung.
TabPFN formuliert tabellarisches Lernen als amortisierte Bayessche Inferenz neu: Ein auf Millionen synthetischer Aufgaben vortrainierter Transformer konditioniert auf den beobachteten Datensatz, um Vorhersagen zu erzeugen7 . TabPFN 3 erhöhte die Grenzen auf 100.000 Zeilen und 2.000 Merkmale mit nativer kategorialer Behandlung.
TabICL erweitert In-Context-Lernen auf Tabellen: Zeilen werden zu strukturierten Tokens, und das Modell leitet Entscheidungsregeln aus Kontextbeispielen ab8 . TabICLv2 fügte im Februar 2026 Regressionsunterstützung hinzu.
TabFM kombiniert die beiden Ansätze: abwechselnde Zeilen- und Spalten-Attention über rohe Zellen, Kompression jeder Zeile in einen dichten Vektor, dann ein In-Context-Transformer über die komprimierten Zeilen. Es wurde auf Hunderten Millionen synthetischer Datensätze trainiert, die aus strukturellen Kausalmodellen generiert wurden.
Mitra folgt der TabPFN-Linie innerhalb von AutoGluon, abgestimmt auf kleine Daten.
Als bevorzugte Quelle hinzufügenMethodik des Benchmarks für tabellarische Modelle
Modelle (8): LogisticRegression, XGBoost, LightGBM, CatBoost, TabPFN 3, TabICLv2, TabFM, Mitra.
Datensätze (19, OpenML): 15 binäre Klassifikation, 1 Multiklassen, 3 Regression; 435 bis 48.800 Zeilen. Bekannte Leakage-Spalten wurden entfernt.
Evaluierung: 5-fache stratifizierte Kreuzvalidierung (einfache CV für Regression), Seed 42, identische Aufteilungen für jedes Modell. Primäre Metriken: ROC-AUC (binär), Macro-F1 (Multiklassen), RMSE (Regression). Standard-Hyperparameter, kein Tuning. Dies begünstigt Modelle ohne Tuning-Aufwand: Ein getuntes XGBoost würde höher punkten, und Tuning-Budgets sind selbst Kosten, die wir nicht modelliert haben.
Kategoriale Behandlung, je nach Modell-Design: nativer kategorieller dtype für CatBoost, XGBoost und LightGBM; rohe Merkmale mit kategorialen Indizes für TabPFN 3 und TabFM; ordinale Codierung für TabICLv2; One-Hot plus StandardScaler nur für Logistische Regression. Kein Modell, das native Kategoriale unterstützt, wird durch One-Hot gezwungen. Der Kompromiss: Zellen unterscheiden sich in der Eingabedarstellung designbedingt. Eine Darstellung für alle Modelle zu erzwingen, sieht fairer aus, benachteiligt aber die Modelle, die für eine andere Eingabe gebaut wurden.
Umgebung: ein RunPod-Pod mit 2x NVIDIA B200 (183 GB), Treiber 580, Ubuntu 24.04. Klassische Modelle auf CPU (62 Kerne), jedes Foundation Model auf einer B200. PyTorch 2.8.0 cu128 für TabPFN 3, TabICLv2 und Mitra; JAX 0.10.1 mit CUDA-13-Wheels für TabFM.
Latenz: Wall-Time pro Fold für Anpassung plus Vorhersage, innerhalb des Harness aufgezeichnet. Die einmalige Kompilierung von TabFM ist von den Fold-Zeiten ausgeschlossen und wird separat berichtet.
N/A-Richtlinie: Eine Zelle ist nur dann N/A, wenn eine dokumentierte Modellbegrenzung vorliegt, wobei der Grund in Logs erfasst wird. Die einzigen N/As in den endgültigen Daten sind Mitras 7 Datensätze oberhalb seiner 10.000-Zeilen-Begrenzung.
Rangmetriken: Innerhalb jedes Datensatzes werden die Modelle von 1 (am besten) bis k nach der primären Metrik eingestuft; der mittlere Rang eines Modells mittelt diese über die Datensätze, die es absolviert hat. Die Regime-Grafik zeigt den invertierten Rang, k + 1 minus Rang, sodass höher besser ist und 8 den ersten unter acht bedeutet. Siegpunkte vergeben den einzelnen Punkt jedes Datensatzes an den besten Score; exakte Gleichstände teilen ihn gleichmäßig, sodass ein Drei-Wege-Gleichstand jeweils 0,33 ergibt.
Statistik: Friedman-Test plus Nemenyi Critical Difference über die 7 Modelle mit vollständiger Abdeckung (Mitra ausgeschlossen; die Ränge werden innerhalb dieser 7 neu berechnet, sodass sie etwas unter den in den Modellabschnitten angegebenen mittleren Rängen von 8 Modellen liegen). Der Friedman-Test ergibt Chi-Quadrat 72,8, p unter 10^-12. Die Critical Difference beträgt CD = q × sqrt(k(k+1) / (6N)), mit q = 2,949 bei Alpha 0,05 für k = 7 Modelle und N = 19 Datensätze, was CD = 2,07 ergibt: Zwei Modelle unterscheiden sich nur dann signifikant, wenn ihre mittleren Ränge mehr als 2,07 auseinander liegen. TabFMs Abstände zu den klassischen Modellen reichen von 3,47 (LightGBM) bis 4,58 (XGBoost), alle über dem Schwellenwert; seine Abstände zu TabICLv2 (1,34) und TabPFN 3 (1,55) liegen darunter. Konfidenzintervalle des mittleren Rangs stammen aus einem Bootstrap mit 10.000 Stichproben über Datensätze.
Elo-Bewertungen: Jeder Datensatz ist ein Round-Robin zwischen allen Modellen, die ihn absolviert haben, insgesamt 483 paarweise Vergleiche. Das Modell mit der besseren primären Metrik gewinnt einen Vergleich (Score 1); exakte Gleichstände ergeben jeweils 0,5.
Die Formeln verwenden vier Größen. R(A) ist die aktuelle Bewertung von Modell A, die Zahl, die Grafik anzeigt; jedes Modell startet bei R = 1000. S(A) ist der tatsächliche Score, den Modell A aus einem Vergleich erzielt hat: 1 für einen Sieg, 0,5 für ein Unentschieden, 0 für eine Niederlage. E(A) ist der erwartete Score, die Gewinnwahrscheinlichkeit, die aktuellen Bewertungen für A vor der Zählung des Vergleichs vorhersagen. K = 32 ist der Update-Schritt, der begrenzt, wie sehr ein Vergleich eine Bewertung bewegen kann.
Vor einem Vergleich zwischen den Modellen A und B ist der erwartete Score E(A) = 1 / (1 + 10^((R(B) − R(A)) / 400)): Wenn die Bewertungen gleich sind, ergibt dies 0,5, und es nähert sich 1, wenn A's Bewertung davonzieht. Nach dem Vergleich aktualisiert sich die Bewertung durch R(A) = R(A) + K × (S(A) − E(A)), sodass A gewinnt, wenn es besser als erwartet abschneidet, und Punkte verliert, wenn es schlechter abschneidet; ein Überraschungssieg gegen ein höher bewertetes Modell zahlt mehr als ein routinemäßiger Sieg gegen ein schwächeres. Die Aktualisierung ist ein Nullsummenspiel, sodass der Durchschnitt des Pools bei 1000 bleibt und eine Bewertung von 994 als durchschnittliches Modell in diesem Feld zu lesen ist. Der 400-Divisor legt die Skala fest: Bei einem Abstand von 200 Punkten beträgt der erwartete Score 1 / (1 + 10^(−0,5)) = 0,76, woher die Aussage „gewinnt etwa 3 von 4 Vergleichen“ stammt.
Ein einzelner Elo-Durchlauf hängt von der Reihenfolge der Vergleiche ab, und die 19 Datensätze sind selbst eine Stichprobe. Wir führen daher 1.000 Bootstrap-Runden durch; jede Runde zieht erneut Stichproben der 19 Datensätze mit Zurücklegen, erstellt die Vergleichsliste neu, mischt die Vergleichsreihenfolge und führt Elo von Grund auf neu aus. Die veröffentlichte Bewertung ist der Mittelwert über die Runden, und die 95 %-Intervalle sind das 2,5. und 97,5. Perzentil, die sowohl die Stichprobenziehung der Datensätze als auch das Reihenfolgerauschen abdecken. Elo ist die zusammenfassende Visualisierung; der Friedman- und Nemenyi-Test bleibt der Signifikanz-Schiedsrichter.
Reproduzierbarkeit: Fester Seed 42, identische Aufteilungen, Ergebnisse pro Fold und alle Merge-, Statistik- und Elo-Skripte im Benchmark-Repository.
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk and Dilmegani, Cem},
title = {{Benchmark für tabellarische Modelle: Leistung über 19 Datensätze}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/tabular-models}},
note = {AIMultiple. Abgerufen am 3. Juli 2026}
}Ergebnisse und Zeitstempel von 16 Datenpunkten. Laden Sie die in diesem Artikel verwendeten Daten als ZIP-Datei herunter, die 2 CSV-Dateien und eine README enthält.
Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.