Benchmark des modèles tabulaires: performance sur 19 jeux de données
Nous avons évalué 13 modèles d’apprentissage tabulaire sur 19 jeux de données réels couvrant environ 272 000 échantillons, avec des tailles de jeux de données allant de 435 à 48 800 lignes. Chaque modèle a été exécuté avec une validation croisée à 5 plis sur des divisions identiques.
Résultats du benchmark des modèles d’apprentissage tabulaire
Chaque jeu de données est un tournoi toutes rondes de confrontations directes entre modèles, départagées par la métrique principale. Elo agrège les 1 398 matchs en une note unique par modèle ; un écart de 200 points signifie que le modèle mieux noté remporte environ 3 matchs sur 4. Les détails figurent dans la méthodologie.
- Aucun modèle ne domine à lui seul. Le test de significativité ne détecte aucun écart significatif parmi les cinq premiers : LimiX-2 (1503), Kumo-Tabular (1438), TabPFN-3.5 (1363), TabFM (1325) et Causilo (1192). Les intervalles Elo des quatre premiers se chevauchent.
- LimiX-2 est arrivé premier sur 11 des 19 jeux de données et dans le trio de tête sur 17. Kumo-Tabular, que le test ne distingue pas de lui, affiche en moyenne 7,6 secondes par pli, soit environ 15x plus rapide.
- Sur 15 des 18 jeux de données avec un seul vainqueur, l’avance du vainqueur est inférieure à son propre écart-type entre plis. LimiX-2 devance de plus que cela sur les trois autres : diabetes, electricity et employee_salaries.
Elo gère aussi équitablement la couverture partielle : Mitra n’est évalué que sur les matchs qu’il pouvait jouer, c’est-à-dire les 12 jeux de données dans sa limite d’entraînement de 10 000 lignes1.
- LimiX-2 domine diabetes avec 0.879 de ROC-AUC face au 0.844 de Kumo-Tabular, et employee_salaries avec un RMSE de 2 743 contre le 3 060 de TabPFN-3.5.
- Sur amazon_employee_access, dont la plus grande colonne catégorielle compte 7 518 valeurs, LimiX-2 obtient 0.898 contre 0.863 pour la régression logistique, le meilleur modèle classique. L’écart est 3.5 fois l’écart-type entre plis de LimiX-2.
Le test de significativité (test de Friedman, puis différence critique de Nemenyi) place LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM et Causilo devant les quatre modèles classiques, dont aucun n’a remporté de jeu de données. LimiX-2 et Kumo-Tabular sont également devant TabICLv2, Mitra-v2 et TabPFN 3. L’avance de TabPFN-3.5 sur TabPFN 3 franchit le seuil de 0.02 point de rang, ce qui constitue le plus petit écart significatif du test. Les détails du test se trouvent dans la méthodologie.
Latence des modèles tabulaires
- Le tarif GPU utilise le taux à la demande B200 de RunPod Community Cloud de $5,98 par GPU-heure. Les modèles classiques ont tourné sur CPU (62 cœurs) ; chaque modèle de fondation a tourné sur un B200.
- TabFM a mis en moyenne 173,6 secondes par pli (médiane 16.9) et LimiX-2 111.9 (médiane 28.4). À ce rythme, les temps de pli de TabFM pour l’ensemble du benchmark coûtent environ $27 et ceux de LimiX-2 environ $18 ; TabPFN-3.5 a effectué le même travail pour $0,68, et LightGBM a tourné sur CPU.
- TabPFN-3.5 et Kumo-Tabular affichent en moyenne 4.3 et 7,6 secondes par pli ; l’exécution complète de Kumo-Tabular coûte $1.19. Causilo (1,4 secondes) et Mitra-v2 (1.5) sont les modèles de fondation les plus rapides.
- Les temps de pli excluent le démarrage à froid de TabFM : son backend JAX passe environ 20 à 25 minutes à compiler les noyaux GPU avant la première prédiction. Un cache de compilation persistant supprime ce problème lors des exécutions suivantes.
- LimiX-2 a utilisé environ 124 Go de mémoire GPU sur les plus grands jeux de données. Le backend JAX de TabFM sur le matériel B200 rencontre un bug cuBLAS documenté dans la pile CUDA 12 par défaut, que JAX signale comme un risque silencieux de corruption des données ; la pile CUDA 13 l’évite.
- TabFM retraite les données d’entraînement comme contexte à chaque lot de prédiction, de sorte que les scorings répétés sur de grandes données augmentent son coût. Un modèle XGBoost entraîné prédit en microsecondes.
Résultats par taille de jeu de données et type de caractéristiques
- Petits jeux de données (1 000 lignes ou moins) : les modèles de fondation occupent les neuf premières places tant sur les données numériques que hybrides (numériques plus catégorielles). LimiX-2 est en tête sur les données numériques (93,7 % de ROC-AUC moyen). La régression logistique tient bon sur les données numériques (91,2 %) et s’effondre sur les hybrides (77,5 %).
- Jeux de données moyens (1 001 à 10 000 lignes) : les modèles de fondation sont en tête sur les deux types de caractéristiques. L’écart hybride est large : LimiX-2 85,5 % de ROC-AUC moyen contre 83,4 % pour le meilleur modèle classique, CatBoost.
- Grands jeux de données (plus de 10 000 lignes) : l’ancien schéma « le boosting rattrape son retard à grande échelle » a disparu. Sur les grandes données numériques, LimiX-2, Kumo-Tabular et TabPFN-3.5 affichent en moyenne 99,6 % contre 97,0 % pour XGBoost. Sur les grandes données hybrides, LimiX-2 et TabPFN-3.5 mènent avec 89,2 % contre 87,6 % pour LightGBM.
- Mitra-v2 affiche en moyenne 95,6 % sur les grandes données numériques, en dessous de XGBoost. Ce groupe contient un jeu de données binaire, electricity, où Mitra-v2 prédit à partir d’un contexte plafonné.
Rang moyen par régime
La vue par rang ajoute deux éléments que les moyennes ROC-AUC masquent.
- LimiX-2 détient le meilleur rang moyen dans cinq des six régimes, à égalité avec TabFM sur les données numériques moyennes. Sur les petites données hybrides, son rang inversé de 9.5 le place quatrième, derrière Kumo-Tabular (11.5), TabFM (10.0) et TabPFN-3.5 (9.8).
- Chaque modèle de fondation, sauf Mitra, devance chaque modèle classique dans les six régimes.
Victoires des modèles par régime
LimiX-2 remporte des points de victoire dans les six régimes et 11.1 des 19 points au total. TabFM marque dans trois régimes ; Kumo-Tabular et TabPFN-3.5 dans deux. Les modèles classiques ne marquent aucun point. L’égalité à huit sur monks-problems-2 partage un point en huit, si bien que la plupart des modèles de fondation affichent 0.1 sur les petites données hybrides.
Observations spécifiques aux modèles
LimiX-2 (StableAI)
LimiX-2 a le meilleur rang moyen (2.16) et 11 victoires nettes. Il présente aussi le deuxième coût de calcul le plus élevé, avec 111,9 secondes par pli et environ 124 Go de mémoire GPU sur les plus grands jeux de données2.
Kumo-Tabular (NVIDIA)
Kumo-Tabular a le deuxième rang moyen (2.63) à 7,6 secondes par pli, et le test de significativité ne le distingue pas de LimiX-23. Il a terminé dans le trio de tête sur 16 des 19 jeux de données.
TabPFN-3.5 (Prior Labs)
TabPFN-3.5 a le troisième rang moyen (3.26) à 4,3 secondes par pli, contre 4.2 pour TabPFN 3. Son avance de rang sur TabPFN 3 est significative avec la marge la plus étroite du test. SAP a annoncé l’acquisition de Prior Labs en mai 20264, ce qui compte pour les acheteurs d’entreprise évaluant la stabilité des fournisseurs.
TabFM (Google Research)
TabFM a le quatrième rang moyen (3.53) et a terminé premier sur trois jeux de données5. Ses temps de pli sont environ 40x ceux de TabPFN 3, sa première exécution compile pendant plus de 20 minutes, et il est limité à 10 classes et optimisé pour un maximum de 500 caractéristiques.
Causilo (Nums IA)
Causilo a le cinquième rang moyen (4.89) à 1,4 secondes par pli, ce qui en fait le modèle de fondation le plus rapide du benchmark6. Aucun des quatre modèles qui le précèdent n’est significativement devant lui.
TabICLv2 (Inria SODA)
TabICLv2 a le sixième rang moyen (6.58) à 3,1 secondes par pli7. Il ajoute la prise en charge de la régression, qui manquait au TabICL d’origine, et a terminé les 19 jeux de données.
TabPFN 3 (Prior Labs)
TabPFN 3 a le huitième rang moyen (7.11) et a terminé les 19 jeux de données en 6.6 GPU-minutes8.
Mitra-v2 (Amazon)
Mitra-v2 a le septième rang moyen (7.00) à 1,5 secondes par pli9. Il abandonne la limite de 10 000 lignes de Mitra et a terminé les 19 jeux de données, mais sur cinq grands jeux de données binaires, il prédit à partir d’un échantillon d’au plus 16 384 lignes d’entraînement.
Mitra (Amazon, via AutoGluon)
Spécialiste des petits volumes de données par conception : une limite stricte de 10 000 lignes d’entraînement le rend N/A sur 7 des 19 jeux de données. Sur ses 12 jeux de données, il obtient un rang moyen de 9.12 parmi les 13 modèles. Mitra-v2 supprime cette limite et se classe plus haut.
Boosting par gradient : LightGBM, CatBoost, XGBoost
Les arbres boostés par gradient ne sont plus en tête en précision dans aucun régime. LightGBM a été le meilleur modèle classique (rang moyen 9.74). CatBoost a été le meilleur modèle classique sur les données hybrides moyennes. XGBoost a terminé dernier au rang moyen (10.79) et a montré une faiblesse notable : avec les divisions catégorielles natives sur la régression à forte cardinalité employee_salaries, il a obtenu un RMSE de 10 894 là où LightGBM a obtenu 4 367 sur des entrées identiques. C’est un résultat sur un seul jeu de données, mais il vaut la peine d’être vérifié avant de s’appuyer sur le mode catégoriel de XGBoost.
L’argument des arbres boostés en 2026 est opérationnel : entraînement en moins d’une seconde, inférence en microsecondes, pas de GPU, pas de limites de lignes, outillage mature.
Régression logistique
La régression logistique a un rang moyen de 10.53, mais sur amazon_employee_access elle bat tous les arbres boostés par gradient, TabPFN 3 et TabICLv2. Un encodage one-hot creux plus un modèle linéaire reste une référence solide et quasi gratuit sur les données catégorielles à forte cardinalité. Conservez-la dans chaque benchmark.
Points clés
Cinq modèles de fondation (LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM et Causilo) battent les quatre modèles classiques avec une significativité statistique sur les 19 jeux de données, et les modèles de fondation dominent dans tous les régimes de taille et de caractéristiques. Cela ne vaut que lorsque chaque modèle reçoit l’entrée catégorielle pour laquelle il est conçu ; forcer l’encodage one-hot sur les modèles en contexte les handicape sur les données à forte cardinalité.
Le test de significativité ne distingue pas LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM et Causilo. Leurs temps de pli vont de 1,4 secondes (Causilo) à 173,6 secondes (TabFM).
Parmi ces cinq modèles, seule la licence de Kumo-Tabular permet l’utilisation commerciale du modèle et de ses résultats sans accord séparé.
Zero-shot signifie zéro entraînement, pas zéro calcul. Évaluez le volume de prédiction de votre charge de travail avant de choisir TabFM ou LimiX-2.
Que sont les modèles de fondation tabulaires ?
Les modèles tabulaires traditionnels s’entraînent à partir de zéro sur chaque jeu de données. Les modèles de fondation tabulaires (TFM) sont préentraînés une seule fois sur de grandes collections de problèmes tabulaires, surtout synthétiques, et s’adaptent à de nouveaux jeux de données au moment de l’inférence : les lignes d’entraînement entrent comme contexte, et les prédictions sortent d’une passe avant. Ni entraînement par gradient, ni réglage des hyperparamètres.
TabPFN recadre l’apprentissage tabulaire comme une inférence bayésienne amortie : un transformer préentraîné sur des millions de tâches synthétiques se conditionne sur le jeu de données observé pour produire des prédictions8. TabPFN 3 est conçu pour jusqu’à 1 000 000 lignes et 2 000 caractéristiques, avec une prise en charge native des catégories.
TabICL étend l’apprentissage en contexte aux tables : les lignes deviennent des tokens structurés, et le modèle déduit des règles de décision à partir d’exemples en contexte10. TabICLv2 a ajouté la prise en charge de la régression en février 2026.
TabFM combine les deux approches : attention alternée sur les lignes et les colonnes sur des cellules brutes, compression de chaque ligne en un vecteur dense, puis un transformer en contexte sur les lignes compressées. Il a été entraîné sur des centaines de millions de jeux de données synthétiques générés à partir de modèles causaux structurels.
Mitra suit la lignée TabPFN au sein d’AutoGluon, ajusté pour les petits volumes de données.
LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo et Mitra-v2 fonctionnent de la même manière dans ce benchmark : chacun prédit à partir des lignes d’entraînement comme contexte, sans entraînement par gradient sur le jeu de données.
Méthodologie du benchmark des modèles tabulaires
Modèles (13) : LogisticRegression (régression Ridge sur les trois jeux de données de régression), XGBoost, LightGBM, CatBoost, TabPFN 3, TabICLv2, TabFM, Mitra, LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo, Mitra-v2.
Jeux de données (19, OpenML) : 15 classification binaire, 1 multiclasse, 3 régression ; 435 à 48 800 lignes ; caractéristiques uniquement numériques ou hybrides (numériques plus catégorielles). Les colonnes de fuite connues ont été supprimées.
Évaluation : validation croisée stratifiée à 5 plis (CV simple pour la régression), graine 42, divisions identiques pour chaque modèle. Métriques principales : ROC-AUC (binaire), macro-F1 (multiclasse), RMSE (régression). Hyperparamètres par défaut, sans réglage. Cela favorise les modèles gratuit de réglage : un XGBoost réglé obtiendrait un meilleur score, et les budgets de réglage constituent eux-mêmes un coût que nous n’avons pas modélisé.
Configuration : les réglages fixes du benchmark pour les modèles classiques, TabPFN 3, TabICLv2, TabFM et Mitra ; pour LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo et Mitra-v2, la configuration par défaut de TabArena, un classement public pour les modèles tabulaires. Aucun modèle n’est fine-tuné. La configuration par défaut de TabArena pour Mitra-v2 fine-tune pendant 50 étapes sur chaque pli d’entraînement ; ici Mitra-v2 fonctionne sans cela.
Gestion des catégorielles, selon la conception de chaque modèle : dtype natif de catégorie pour CatBoost, XGBoost, LightGBM, Causilo et Mitra-v2 ; caractéristiques brutes avec indices catégoriels pour TabPFN 3, TabPFN-3.5 et TabFM, colonnes de texte brut pour LimiX-2 ; types de colonnes inférés par le modèle pour Kumo-Tabular, encodage ordinal pour TabICLv2 ; one-hot plus StandardScaler pour la régression logistique uniquement. Aucun modèle prenant en charge les catégorielles natives n’est forcé au one-hot. Le compromis : les cellules diffèrent dans la représentation des entrées par conception. Forcer une représentation unique pour chaque modèle semble plus équitable, mais pénalise les modèles conçus pour une entrée différente.
Environnement : un pod RunPod avec 2x NVIDIA B200 (183 Go), pilote 580, Ubuntu 24.04. Modèles classiques sur CPU (62 cœurs), chaque modèle de fondation sur un B200. PyTorch 2.8.0 cu128 pour TabPFN 3, TabICLv2 et Mitra ; JAX 0.10.1 avec les wheels CUDA 13 pour TabFM. LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo et Mitra-v2 ont tourné sur des pods RunPod à un seul B200 (pilote 595, CUDA 13.2), un modèle par GPU à la fois, chacun dans son propre environnement Python.
Latence : temps horloge ajustement-plus-prédiction par pli, enregistré dans le harnais. La compilation unique de TabFM est exclue des temps de pli et rapportée séparément.
Politique N/A : une cellule est N/A uniquement pour une limite documentée du modèle, avec la raison enregistrée dans les journaux. Les seuls N/A des données finales sont les 7 jeux de données de Mitra dépassant sa limite de 10 000 lignes.
Plafond de contexte de Mitra-v2 : sur les jeux de données binaires de plus de 16 384 lignes d’entraînement (adult, amazon_employee_access, bank-marketing-full, default_credit, electricity), Mitra-v2 prédit à partir d’un échantillon équilibré par classe de 16 384 lignes d’entraînement, retiré pour chaque lot de 16 384 lignes de test. C’est la valeur par défaut de TabArena. Le plafond est de 32 768 lignes pour la multiclasse et la régression, qu’aucun jeu de données ici ne dépasse.
Métriques de rang : dans chaque jeu de données, les modèles sont classés de 1 (meilleur) à k selon la métrique principale ; le rang moyen d’un modèle fait la moyenne de ceux-ci sur les jeux de données qu’il a terminés. Le graphique par régime montre le rang inversé, k + 1 moins le rang, de sorte que plus c’est élevé, mieux c’est, et 13 signifie premier parmi huit. Les points de victoire attribuent le point unique de chaque jeu de données au meilleur score ; les égalités exactes le partagent équitablement, si bien qu’une égalité à huit rapporte 0.125 chacun.
Statistiques : test de Friedman plus différence critique de Nemenyi sur les 12 modèles à couverture complète. Mitra est exclu car il a terminé 12 des 19 jeux de données ; l’inclure réduirait le test à ces 12. Les rangs moyens cités dans les sections sur les modèles proviennent de ce test à 12 modèles ; celui de Mitra est calculé parmi les 13 modèles sur ses 12 jeux de données.
Le test de Friedman donne un chi-carré de 165.8, p inférieur à 10^-29. La différence critique est CD = q × sqrt(k(k+1) / (6N)), avec q = 3.268 à un alpha de 0.05 pour k = 12 modèles et N = 19 jeux de données, ce qui donne CD = 3.82 : deux modèles ne diffèrent significativement que si leurs rangs moyens sont distants de plus de 3.82. Les quatre premiers vont de 2.16 (LimiX-2) à 3.53 (TabFM), de sorte qu’aucun écart entre eux ne franchit le seuil. L’écart de LimiX-2 à TabICLv2 est de 4.42 ; celui de TabPFN-3.5 à TabPFN 3 est de 3.84. Les intervalles de confiance du rang moyen proviennent d’un bootstrap de 10 000 échantillons sur les jeux de données.
Notes Elo : chaque jeu de données est un tournoi toutes rondes entre tous les modèles qui l’ont terminé, soit 1 398 matchs deux à deux au total. Le modèle ayant la meilleure métrique principale remporte un match (score 1) ; les égalités exactes rapportent 0.5 chacun.
Les formules utilisent quatre quantités. R(A) est la note actuelle du modèle A, le chiffre rapporté par le graphique ; chaque modèle commence à R = 1000. S(A) est le score réel obtenu par le modèle A dans un match : 1 pour une victoire, 0.5 pour une égalité, 0 pour une défaite. E(A) est le score attendu, la probabilité de victoire que prédisent les notes actuelles pour A avant que le match ne soit compté. K = 32 est le pas de mise à jour, qui plafonne de combien un match peut faire bouger une note.
Avant un match entre les modèles A et B, le score attendu est E(A) = 1 / (1 + 10^((R(B) − R(A)) / 400)) : lorsque les notes sont égales, il donne 0.5, et il tend vers 1 à mesure que la note de A prend de l’avance. Après le match, la note est mise à jour par R(A) = R(A) + K × (S(A) − E(A)), de sorte que A gagne lorsqu’il fait mieux que prévu et perd des points lorsqu’il fait moins bien ; une victoire surprise contre un modèle mieux noté rapporte plus qu’une victoire de routine contre un modèle plus faible. La mise à jour est à somme nulle, donc la moyenne du groupe reste à 1000, et une note proche de 1000, comme 977 pour Mitra-v2, se lit comme un modèle moyen dans ce champ. Le diviseur 400 fixe l’échelle : à un écart de 200 points, le score attendu est 1 / (1 + 10^(−0.5)) = 0.76, ce qui est à l’origine de l’expression « gagne environ 3 matchs sur 4 ».
Un seul passage Elo dépend de l’ordre des matchs, et les 19 jeux de données sont eux-mêmes un échantillon. Nous exécutons donc 1 000 rondes de bootstrap ; chaque ronde rééchantillonne les 19 jeux de données avec remise, reconstruit la liste des matchs, mélange l’ordre des matchs et exécute Elo à partir de zéro. La note publiée est la moyenne sur les rondes, et les intervalles de 95 % sont les percentiles 2.5 et 97.5, couvrant à la fois l’échantillonnage des jeux de données et le bruit d’ordre. Elo est la visualisation de synthèse ; le test de Friedman et Nemenyi reste l’arbitre de la significativité.
Reproductibilité : graine fixe 42, divisions identiques, résultats par pli et tous les scripts de fusion, de statistiques et d’Elo dans le dépôt du benchmark.
Citez ce benchmark
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk and Dilmegani, Cem},
title = {{Benchmark des modèles tabulaires: performance sur 19 jeux de données}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/tabular-models}},
note = {AIMultiple. Consulté le 3 juillet 2026}
}Résultats et horodatages de 48 points de données. Téléchargez les données de synthèse présentées dans les graphiques et les tableaux de cet article sous forme de fichier ZIP contenant 3 fichiers CSV et un README.
Vous voulez les données détaillées derrière ? Rejoindre Premium
Journal des modifications
3 mises à jourAjout de TabFM au benchmark, en tête dans chaque régime de données.
Remplacement de TabPFN par TabPFN 3 dans les résultats, classements et limites du benchmark.
Remplacement de TabPFN par TabPFN 3 dans la liste des modèles évalués.
Liens de référence
Le travail de Cem chez AIMultiple a été cité par des publications mondiales de premier plan, notamment Business Insider, Forbes, Morning Brew et Washington Post, par des entreprises mondiales comme Deloitte et HPE, par des ONG comme World Economic Forum et par des organisations supranationales comme European Commission. [1], [2], [3], [4], [5]
Tout au long de sa carrière, Cem a été consultant en technologies, acheteur de technologies et entrepreneur technologique. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la digitalisation.
Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité du PDG. Il a également dirigé la croissance commerciale de l'entreprise de technologie profonde Hypatos, qui a atteint un revenu récurrent annuel à 7 chiffres et une valorisation à 9 chiffres, passant de 0 à ce résultat en deux ans. Le travail de Cem chez Hypatos a été couvert par des publications technologiques de premier plan comme TechCrunch et Business Insider.
Cem intervient régulièrement lors de conférences technologiques internationales. Il est diplômé de Bogazici University en tant qu'ingénieur informatique et titulaire d'un MBA de la Columbia Business School.
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.