Benchmark des modèles tabulaires: performances sur 19 jeux de données

Nous avons testé 8 modèles d’apprentissage tabulaire sur 19 jeux de données réels totalisant environ 260,000 échantillons, avec des tailles allant de 435 à 48,800 lignes. Chaque modèle a tourné sur la même machine avec une validation croisée en 5 plis et des partitions identiques.

Résultats du benchmark des modèles d’apprentissage tabulaire

Chaque jeu de données est un tournoi en tête-à-tête entre modèles, décidé par la métrique principale. Le classement Elo agrège les 483 confrontations en un score unique par modèle ; un écart de 200 points signifie que le modèle mieux noté remporte environ 3 matchs sur 4. Les détails figurent dans la méthodologie.

TabFM, présenté par Google Research le 30 juin 2026¹ , a remporté 15 des 19 jeux de données. Il devance le modèle suivant de 218 points Elo et le meilleur arbre boosté par gradient de 538 points. Aucun arbre boosté n’a gagné un seul jeu de données.

Le classement Elo gère aussi équitablement la couverture partielle : Mitra n’est évalué que sur les matchs qu’il a pu disputer, c’est-à-dire les 12 jeux de données dans sa limite d’entraînement de 10,000 lignes² .

• Les 15 victoires de TabFM incluent tous les grands jeux de données difficiles : adult (0.9318 ROC-AUC), electricity (0.9936), bank-marketing-full (0.9465) et house_sales (RMSE 97,704).
• Sa plus grande marge est sur vehicle, l’unique jeu de données multiclasse : 0.9136 macro-F1 contre 0.7492 pour XGBoost.
• Les quatre victoires hors TabFM : Régression logistique sur amazon_employee_access, TabICLv2 sur compas-two-years, Mitra sur breast-w, et une triple égalité de modèles fondamentaux avec un score parfait de 1.0000 sur monks-problems-2.
• La victoire de la Régression logistique est plus serrée que ne le suggère le tableau : 0.8631 ROC-AUC contre les 0.8627 de TabFM et les 0.8621 de CatBoost, avec des écarts-types par pli de 0.010 à 0.015. Sur les données catégorielles à cardinalité extrême, les meilleurs modèles classiques et TabFM sont statistiquement à égalité, et le choix classique repose sur le coût plutôt que sur la précision.

Une limite au résultat principal : l’avance de TabFM sur les quatre modèles classiques est statistiquement significative (test de Friedman, puis différence critique de Nemenyi ; chaque écart la dépasse). Son avance sur TabPFN 3 et TabICLv2 n’est pas établie à 19 jeux de données : ces écarts restent sous la différence critique, et les intervalles Elo se chevauchent légèrement. La supériorité des modèles fondamentaux sur le boosting par gradient est l’affirmation statistiquement étayée ; TabFM en tête du peloton fondamental est un classement moyen qui demande plus de jeux de données. Les détails des tests figurent dans la méthodologie.

Latence des modèles tabulaires

• Le coût du GPU est basé sur le tarif à la demande d’un B200 chez RunPod, soit $5.89 par GPU-heure au 2 juillet 2026³ . Les modèles classiques ont tourné sur CPU (62 cœurs) ; chaque modèle fondamental sur un B200.
• TabFM a pris en moyenne 173.6 secondes par pli (médiane 16.9). Son pire jeu de données, adult avec 48,800 lignes, a nécessité 893 secondes par pli. L’ensemble du benchmark a coûté à TabFM environ $27 en temps GPU ; TabPFN 3 a accompli le même travail pour $0.65, et LightGBM pratiquement rien sur CPU.
• Ces chiffres excluent le démarrage à froid de TabFM. Avant sa première prédiction, le backend JAX passe environ 20 à 25 minutes à compiler les noyaux GPU. Un cache de compilation persistant élimine ce délai lors des exécutions suivantes ; tout déploiement neuf le subit une fois.
• TabFM a également présenté la charge de mise en place la plus lourde des huit modèles. Il requiert un GPU de datacenter récent, et sur le matériel B200, la pile CUDA 12 par défaut déclenche un bogue documenté de cuBLAS que JAX signale comme un risque de corruption silencieuse des données. L’une de nos exécutions a dû être rejetée et répétée sur la pile CUDA 13 à cause de cela. Aucun autre modèle n’a connu un mode de défaillance comparable.
• TabFM déplace le coût vers l’inférence : chaque lot de prédiction retraite les données d’entraînement comme contexte. Une seule fois par jeu de données, c’est acceptable. Pour une évaluation répétée sur des données volumineuses, le coût par appel s’accumule, alors qu’un modèle XGBoost entraîné prédit en microsecondes.

Résultats par taille de jeu de données et type de caractéristiques

• Petits jeux de données (moins de 1,000 lignes) : les quatre modèles fondamentaux occupent les quatre premières places sur les données numériques comme hybrides. Mitra, conçu pour les petits volumes, remporte breast-w et fait match nul sur monks-problems-2 avec un score parfait. La Régression logistique tient bon sur les données numériques (ROC-AUC moyenne de 91.2%) et s’effondre sur les données hybrides (77.5%).
• Jeux de données moyens (1,000 à 10,000 lignes) : les modèles fondamentaux dominent sur les deux types de caractéristiques. L’écart sur les données hybrides est large : TabFM à 85.3% de ROC-AUC moyen contre 83.4% pour le meilleur classique, CatBoost.
• Grands jeux de données (plus de 10,000 lignes) : le vieux schéma « le boosting rattrape à grande échelle » a disparu. Sur les grandes données numériques, TabFM atteint 99.4% en moyenne contre 97.0% pour XGBoost. Sur les grandes données hybrides, TabFM mène avec 88.4% contre 87.6% pour LightGBM.

Classement moyen par régime

La vue par classement apporte deux éclairages que les moyennes de ROC-AUC cachent.

• TabFM détient le meilleur classement moyen dans les six régimes, y compris un 8.0 parfait sur les données numériques de taille moyenne, où il s’est classé premier sur chaque jeu de données.
• L’intensité de la compétition dépend du régime. Sur les petits jeux de données, les quatre modèles fondamentaux sont à moins d’un point de rang les uns des autres, de sorte que les utilisateurs de petits volumes peuvent choisir n’importe lequel sans perdre beaucoup en précision. Sur les grands jeux de données hybrides, le peloton se disperse : TabFM à 6.8, le deuxième à 4.4. La troisième place de LightGBM (4.2) est la meilleure performance classique dans un régime.

Victoires des modèles par régime

TabFM marque des points de victoire dans les six régimes ; aucun autre modèle n’en obtient dans plus de deux. Le seul point des modèles classiques sur toute la grille est la victoire de la Régression logistique sur amazon_employee_access. Les points de Mitra sont tous dans la ligne des petits jeux de données, conformément à sa conception.

Le régime compte toujours, mais pour choisir la puissance de calcul à engager, non plus pour décider quelle famille de modèles l’emporte.

Observations par modèle

TabFM (Google Research, juin 2026)

Meilleur rang moyen (1.42), 15 victoires nettes, premier modèle dans chaque régime. Sur le plan architectural, il est hybride : attention rangée-colonne à la TabICL sur les cellules brutes, compression des lignes, puis transformeur en contexte à la TabPFN sur les lignes compressées, pré-entraîné sur des centaines de millions de tables synthétiques. Les compromis : environ 40x le calcul de TabPFN 3, une compilation initiale de plus de 20 minutes, une limite de 500 caractéristiques et 10 classes, et un déploiement exclusivement sur GPU de datacenter.

TabICLv2 (Inria SODA, février 2026)

Deuxième meilleur rang moyen (2.74) à 3.1 secondes par pli⁴ . Ajoute le support de la régression, absent de l’original TabICL. A traité les 19 jeux de données, y compris amazon_employee_access, dont la colonne catégorielle à 7,518 valeurs submerge les modèles en contexte lorsqu’elle est encodée en one-hot. Meilleure précision par GPU-seconde du benchmark.

TabPFN 3 (Prior Labs)

Troisième rang moyen (3.00), a tout traité, 6.6 GPU-minutes au total⁵ . Le découpage en lignes lui permet de traiter des jeux de données qui débordent d’autres modèles en contexte sur le même matériel. SAP a annoncé l’acquisition de Prior Labs en mai 2026⁶ , ce qui importe aux acheteurs professionnels évaluant la stabilité des fournisseurs.

Mitra (Amazon, via AutoGluon)

Spécialiste des petits volumes par conception : une limite stricte de 10,000 lignes d’entraînement le rend N/A sur 7 des 19 jeux de données. Dans son domaine, il est compétitif : rang moyen de 4.50 sur ses 12 jeux de données et une victoire nette. À choisir lorsque les données sont vraiment petites et qu’AutoGluon est déjà dans la pile.

Boosting par gradient : LightGBM, CatBoost, XGBoost

Toujours le choix par défaut en déploiement, mais plus en tête de la précision dans aucun régime. LightGBM a été le meilleur modèle classique (rang moyen 5.16). CatBoost reste le choix classique le plus sûr sur les données à forte composante catégorielle. XGBoost arrive dernier en rang moyen (6.42) et a montré une faiblesse notable : avec les divisions catégorielles natives sur la régression employee_salaries à forte cardinalité, il a obtenu un RMSE de 10,894 là où LightGBM a obtenu 4,367 sur des entrées identiques. C’est un résultat sur un seul jeu de données, mais à vérifier avant de s’appuyer sur le mode catégoriel de XGBoost.

L’argument des arbres boostés en 2026 est opérationnel : entraînement en moins d’une seconde, inférence en microsecondes, pas de GPU, pas de limite de lignes, outillage éprouvé.

Régression logistique

Rang moyen de 6.21, pourtant elle détient une part de l’égalité sur amazon_employee_access. Le one-hot creux associé à un modèle linéaire reste une base de référence solide, presque gratuite, sur les données catégorielles à forte cardinalité. À conserver dans chaque benchmark.

Principaux enseignements

Les modèles fondamentaux surpassent les arbres boostés par gradient en précision, avec une significativité statistique, sur les données tabulaires de petite, moyenne et grande taille. Cela n’est vrai que lorsque chaque modèle reçoit l’entrée catégorielle pour laquelle il est conçu ; imposer un encodage one-hot aux modèles en contexte les handicape sur les données à forte cardinalité.

TabFM mène en précision mais coûte environ 40x le calcul de TabPFN 3 ou TabICLv2 et impose la charge de mise en place la plus lourde. TabICLv2 à 3 secondes par pli est le choix économique. TabPFN 3 est le juste milieu éprouvé et soutenu par une entreprise.

Sur les données catégorielles à très forte cardinalité, les meilleurs modèles classiques et TabFM sont statistiquement à égalité. Le choix classique repose sur le coût, la simplicité et la liberté de déploiement.

Zero-shot signifie zéro entraînement, pas zéro calcul. Évaluez le volume de prédictions de votre charge de travail avant de choisir TabFM.

Que sont les modèles tabulaires fondamentaux ?

Les modèles tabulaires traditionnels s’entraînent de zéro sur chaque jeu de données. Les modèles tabulaires fondamentaux (TFM) sont pré-entraînés une fois sur de vastes collections de problèmes tabulaires, principalement synthétiques, et s’adaptent à de nouveaux jeux de données au moment de l’inférence : les lignes d’entraînement sont fournies comme contexte, et les prédictions sont produites en une seule passe avant. Pas d’entraînement par gradient, pas de réglage d’hyperparamètres.

TabPFN reformule l’apprentissage tabulaire comme une inférence bayésienne amortie : un transformeur pré-entraîné sur des millions de tâches synthétiques conditionne le jeu de données observé pour produire des prédictions⁷ . TabPFN 3 a porté les limites à 100,000 lignes et 2,000 caractéristiques avec une gestion native des catégories.

TabICL étend l’apprentissage en contexte aux tables : les lignes deviennent des jetons structurés, et le modèle infère des règles de décision à partir d’exemples contextuels⁸ . TabICLv2 a ajouté la prise en charge de la régression en février 2026.

TabFM combine les deux approches : attention alternée sur les lignes et les colonnes des cellules brutes, compression de chaque ligne en un vecteur dense, puis transformeur en contexte sur les lignes compressées. Il a été entraîné sur des centaines de millions de jeux de données synthétiques générés à partir de modèles causals structurels.

Mitra suit la lignée TabPFN au sein d’AutoGluon, optimisé pour les petits volumes.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Méthodologie du benchmark des modèles tabulaires

Modèles (8) : Régression logistique, XGBoost, LightGBM, CatBoost, TabPFN 3, TabICLv2, TabFM, Mitra.

Jeux de données (19, OpenML) : 15 classifications binaires, 1 multiclasse, 3 régressions ; de 435 à 48,800 lignes. Colonnes de fuite connues supprimées.

Évaluation : validation croisée stratifiée en 5 plis (CV simple pour la régression), graine 42, partitions identiques pour tous les modèles. Métriques principales : ROC-AUC (binaire), macro-F1 (multiclasse), RMSE (régression). Hyperparamètres par défaut, sans réglage. Cela avantage les modèles sans réglage (gratuit) : un XGBoost réglé obtiendrait un score plus élevé, et les budgets de réglage sont eux-mêmes un coût que nous n’avons pas modélisé.

Gestion des catégories, selon la conception du modèle : type catégoriel natif pour CatBoost, XGBoost et LightGBM ; caractéristiques brutes avec indices catégoriels pour TabPFN 3 et TabFM ; encodage ordinal pour TabICLv2 ; one-hot plus StandardScaler pour la Régression logistique uniquement. Aucun modèle prenant en charge les catégorielles natives n’est contraint au one-hot. Le compromis : les cellules diffèrent dans leur représentation d’entrée par conception. Imposer une représentation unique à tous les modèles semblerait plus équitable mais pénaliserait les modèles conçus pour une entrée différente.

Environnement : un pod RunPod avec 2x NVIDIA B200 (183 Go), pilote 580, Ubuntu 24.04. Modèles classiques sur CPU (62 cœurs), chaque modèle fondamental sur un B200. PyTorch 2.8.0 cu128 pour TabPFN 3, TabICLv2 et Mitra ; JAX 0.10.1 avec les wheels CUDA 13 pour TabFM.

Latence : temps écoulé par pli pour l’ajustement et la prédiction, mesuré à l’intérieur du harnais. La compilation unique de TabFM est exclue des temps par pli et rapportée séparément.

Politique N/A : une cellule est N/A uniquement pour une limite documentée du modèle, avec la raison consignée dans les journaux. Les seuls N/A dans les données finales sont les 7 jeux de données de Mitra dépassant sa limite de 10,000 lignes.

Métriques de classement : pour chaque jeu de données, les modèles sont classés de 1 (meilleur) à k selon la métrique principale ; le rang moyen d’un modèle est la moyenne de ces classements sur les jeux de données qu’il a traités. Le graphique des régimes affiche le rang inversé, k + 1 moins le rang, donc plus c’est élevé, mieux c’est, et 8 signifie premier parmi huit. Les points de victoire attribuent le point unique de chaque jeu de données au meilleur score ; les égalités exactes le partagent équitablement, de sorte qu’une triple égalité rapporte 0.33 à chacun.

Statistiques : test de Friedman plus différence critique de Nemenyi sur les 7 modèles à couverture complète (Mitra exclu ; les rangs sont recalculés pour ces 7, ils sont donc légèrement inférieurs aux rangs moyens à 8 modèles cités dans les sections sur les modèles). Le test de Friedman donne un chi-carré de 72.8, p inférieur à 10^-12. La différence critique est CD = q × sqrt(k(k+1) / (6N)), avec q = 2.949 à alpha 0.05 pour k = 7 modèles et N = 19 jeux de données, soit CD = 2.07 : deux modèles diffèrent significativement seulement si leurs rangs moyens sont distants de plus de 2.07. Les écarts de TabFM avec les modèles classiques vont de 3.47 (LightGBM) à 4.58 (XGBoost), tous au-dessus du seuil ; ses écarts avec TabICLv2 (1.34) et TabPFN 3 (1.55) sont en dessous. Les intervalles de confiance sur les rangs moyens proviennent d’un bootstrap de 10,000 échantillons sur les jeux de données.

Classement Elo : chaque jeu de données est un tournoi en tête-à-tête entre tous les modèles qui l’ont traité, soit 483 confrontations au total. Le modèle avec la meilleure métrique principale remporte le match (score 1) ; les égalités exactes valent 0.5 chacun.

Les formules utilisent quatre quantités. R(A) est le classement actuel du modèle A, le nombre affiché dans le graphique ; chaque modèle commence à R = 1000. S(A) est le score réel que le modèle A a obtenu dans un match : 1 pour une victoire, 0.5 pour une égalité, 0 pour une défaite. E(A) est le score attendu, la probabilité de victoire prédite par les classements actuels pour A avant que le match ne soit comptabilisé. K = 32 est le pas de mise à jour, qui plafonne l’impact d’un seul match sur le classement.

Avant un match entre les modèles A et B, le score attendu est E(A) = 1 / (1 + 10^((R(B) − R(A)) / 400)) : lorsque les classements sont égaux, cela donne 0.5, et tend vers 1 à mesure que le classement de A prend de l’avance. Après le match, le classement est mis à jour par R(A) = R(A) + K × (S(A) − E(A)), de sorte que A gagne des points quand il fait mieux que prévu et en perd quand il fait moins bien ; une victoire surprise contre un modèle mieux classé rapporte plus qu’une victoire routinière contre un modèle plus faible. La mise à jour est à somme nulle, donc la moyenne du groupe reste à 1000, et un classement de 994 se lit comme un modèle moyen dans ce champ. Le diviseur 400 fixe l’échelle : à un écart de 200 points, le score attendu est 1 / (1 + 10^(−0.5)) = 0.76, ce qui correspond à « gagne environ 3 matchs sur 4 ».

Un seul passage Elo dépend de l’ordre des matchs, et les 19 jeux de données sont eux-mêmes un échantillon. Nous exécutons donc 1,000 tours de bootstrap ; chaque tour rééchantillonne les 19 jeux de données avec remise, reconstruit la liste des matchs, mélange l’ordre des matchs et exécute Elo à partir de zéro. Le classement publié est la moyenne sur les tours, et les intervalles à 95% sont les 2.5e et 97.5e percentiles, couvrant à la fois l’échantillonnage des jeux de données et le bruit d’ordre. Elo est la visualisation synthétique ; le test de Friedman et Nemenyi reste l’arbitre de la significativité.

Reproductibilité : graine fixe 42, partitions identiques, résultats par pli et tous les scripts de fusion, de statistiques et d’Elo dans le dépôt du benchmark.

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{kalelioglu2026,
  author = {Kalelioğlu, Berk and Dilmegani, Cem},
  title  = {{Benchmark des modèles tabulaires: performances sur 19 jeux de données}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/tabular-models}},
  note   = {AIMultiple. Consulté le 3 Juillet 2026}
}

Liens de référence

1.

Introducing TabFM: A zero-shot foundation model for tabular data

2.

AutoGluon Tabular - Foundational Models - AutoGluon 1.5.0 documentation

3.

Pricing | Runpod

Runpod

4.

[2602.11139] TabICLv2: A better, faster, scalable, and open tabular foundation model

5.

[2207.01848] TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second

6.

SAP to Acquire Prior Labs | SAP News Center

SAP

7.

[2207.01848] TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second

8.

[2502.05564] TabICL: A Tabular Foundation Model for In-Context Learning on Large Data

Berk Kalelioğlu

Chercheur en IA

Suivre

Berk est chercheur en IA chez AIMultiple, se concentrant sur les systèmes d'IA agentique et les language models.

Voir le profil complet

Recherche effectuée par

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017. AIMultiple informe chaque mois des centaines de milliers d'entreprises (selon similarWeb), dont 55 % des entreprises du classement Fortune 500. Les travaux de Cem ont été cités par des publications internationales de premier plan telles que Business Insider, Forbes et le Washington Post, ainsi que par des entreprises mondiales comme Deloitte et HPE, des ONG comme le Forum économique mondial et des organisations supranationales comme la Commission européenne. Vous trouverez d'autres entreprises et ressources réputées ayant fait référence à AIMultiple. Tout au long de sa carrière, Cem a exercé les fonctions de consultant, d'acheteur et d'entrepreneur dans le secteur des technologies. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la numérisation. Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité directe du PDG. Il a également piloté la croissance commerciale de la société de deep tech Hypatos, qui a atteint un chiffre d'affaires annuel récurrent à sept chiffres et une valorisation à neuf chiffres en seulement deux ans. Les travaux de Cem chez Hypatos ont été présentés dans des publications technologiques de référence telles que TechCrunch et Business Insider. Cem intervient régulièrement lors de conférences internationales sur les technologies. Diplômé en génie informatique de l'université de Bogazici, il est également titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire