Benchmark de Modelos Tabulares: Desempenho em 19 Datasets
Comparamos 8 modelos de aprendizagem tabular em 19 datasets reais que abrangem aproximadamente 260.000 amostras, com tamanhos de dataset de 435 a 48.800 linhas. Todos os modelos foram executados na mesma máquina com validação cruzada de 5 dobras e divisões idênticas.
Resultados do benchmark dos modelos de aprendizagem tabular
Cada dataset é um round-robin de confrontos diretos entre modelos, decididos pela métrica principal. O Elo agrega todos os 483 confrontos numa única classificação por modelo; uma diferença de 200 pontos significa que o modelo com classificação mais alta ganha cerca de 3 em cada 4 confrontos. Os detalhes estão na metodologia.
TabFM, lançado pela Google Research em 30 de junho de 20261 , ganhou 15 dos 19 datasets. Tem 218 pontos Elo acima do modelo seguinte e 538 acima da melhor árvore de gradient boosting. Nenhuma árvore de boosting ganhou um único dataset.
O Elo também lida de forma justa com a cobertura parcial: o Mitra é classificado apenas nos confrontos que pôde jogar, ou seja, os 12 datasets dentro do seu limite de treino de 10.000 linhas2 .
- As 15 vitórias do TabFM incluem todos os datasets grandes e difíceis: adult (0.9318 ROC-AUC), electricity (0.9936), bank-marketing-full (0.9465) e house_sales (RMSE 97.704).
- A sua maior margem é no dataset vehicle, o único de multiclasse: 0.9136 macro-F1 contra XGBoost com 0.7492.
- As quatro vitórias não-TabFM: Regressão Logística no amazon_employee_access, TabICLv2 no compas-two-years, Mitra no breast-w e um empate a três entre modelos de base com um valor perfeito de 1,0000 no monks-problems-2.
- A vitória da Regressão Logística é mais apertada do que a tabela sugere: 0,8631 de ROC-AUC contra 0,8627 do TabFM e 0,8621 do CatBoost, com desvios-padrão ao nível da dobra de 0,010 a 0,015. Em dados categóricos de cardinalidade extrema, os melhores modelos clássicos e o TabFM estão estatisticamente empatados, e o caso clássico assenta no custo e não na precisão.
Uma ressalva ao título: a vantagem do TabFM sobre os quatro modelos clássicos é estatisticamente significativa (teste de Friedman, seguido da diferença crítica de Nemenyi; todas as diferenças a ultrapassam). A sua vantagem sobre o TabPFN 3 e o TabICLv2 não está definida com 19 datasets: essas diferenças ficam abaixo da diferença crítica e os intervalos Elo sobrepõem-se nos extremos. A afirmação estatisticamente suportada é que os modelos de base superam o gradient boosting; a liderança do TabFM entre os modelos de base é um resultado de classificação média à espera de mais datasets. Os detalhes dos testes estão na metodologia.
Latência dos modelos tabulares
- Os preços de GPU utilizam a tarifa sob demanda RunPod para B200 de $5,89 por GPU-hora, a 2 de julho de 20263 . Os modelos clássicos foram executados em CPU (62 núcleos); cada modelo de base foi executado numa B200.
- O TabFM teve uma média de 173,6 segundos por dobra (mediana de 16,9). O seu pior dataset, adult com 48.800 linhas, demorou 893 segundos por dobra. O benchmark completo custou ao TabFM cerca de $27 em tempo de GPU; o TabPFN 3 fez o mesmo trabalho por $0,65 e o LightGBM por praticamente nada em CPU.
- Estes números excluem o arranque a frio do TabFM. Antes da primeira previsão, o backend JAX do TabFM gasta aproximadamente 20 a 25 minutos a compilar kernels de GPU. Uma cache de compilação persistente remove este custo nas execuções seguintes; qualquer implementação nova paga-o uma vez.
- O TabFM teve também a maior dificuldade de configuração entre os oito modelos. Requer uma GPU de datacenter recente e, no hardware B200, a stack CUDA 12 predefinida desencadeia um bug documentado da cuBLAS que o JAX sinaliza como risco de corrupção silenciosa de dados. Uma das nossas execuções teve de ser descartada e repetida na stack CUDA 13 por causa disso. Nenhum outro modelo teve um modo de falha comparável.
- O TabFM transfere o custo para a inferência: cada lote de previsão reprocessa os dados de treino como contexto. Servido uma vez por dataset, isto é aceitável. Para pontuação repetida com dados volumosos, o custo por chamada acumula-se, enquanto um modelo XGBoost treinado prevê em microssegundos.
Resultados por tamanho do dataset e tipo de atributo
- Datasets pequenos (menos de 1.000 linhas): os quatro modelos de base ocupam os quatro primeiros lugares, tanto em dados numéricos como híbridos. O Mitra, concebido para dados pequenos, vence o breast-w e empata no monks-problems-2 com pontuação perfeita. A Regressão Logística aguenta-se nos dados numéricos (média de ROC-AUC de 91,2%) e colapsa nos híbridos (77,5%).
- Datasets médios (1.000 a 10.000 linhas): os modelos de base lideram em ambos os tipos de atributo. A diferença nos híbridos é grande: o TabFM com média de ROC-AUC de 85,3% contra 83,4% do melhor modelo clássico, o CatBoost.
- Datasets grandes (mais de 10.000 linhas): o velho padrão de que “o boosting recupera em escala” desapareceu. Em dados numéricos grandes, o TabFM tem uma média de 99,4% contra 97,0% do XGBoost. Em dados híbridos grandes, o TabFM lidera com 88,4% contra 87,6% do LightGBM.
Classificação média por regime
A visão por classificação acrescenta duas coisas que as médias de ROC-AUC escondem.
- O TabFM detém a melhor classificação média em todos os seis regimes, incluindo um 8,0 perfeito em dados numéricos médios, onde ficou em primeiro em todos os datasets.
- A proximidade da corrida depende do regime. Em dados pequenos, os quatro modelos de base ficam a menos de um ponto de classificação uns dos outros, pelo que os utilizadores de dados pequenos podem escolher qualquer um deles e perder pouca precisão. Em dados híbridos grandes, o campo divide-se: TabFM com 6,8, segundo lugar com 4,4. O terceiro lugar do LightGBM aí (4,2) é a melhor exibição clássica em qualquer regime.
Vitórias dos modelos por regime
O TabFM obtém pontos de vitória em todos os seis regimes; nenhum outro modelo pontua em mais de dois. O único ponto dos modelos clássicos em toda a grelha é a vitória da Regressão Logística no amazon_employee_access. Os pontos do Mitra estão todos na linha de dados pequenos, consistente com o seu design.
O regime ainda importa, mas para escolher quanto despender em computação, e já não para escolher que família de modelos ganha.
Observações específicas dos modelos
TabFM (Google Research, junho de 2026)
Melhor classificação média (1,42), 15 vitórias absolutas, melhor modelo em todos os regimes. Arquitetonicamente é um híbrido: atenção por linha e coluna ao estilo TabICL sobre células brutas, compressão de linhas e depois um transformador in-context ao estilo TabPFN sobre as linhas comprimidas, pré-treinado em centenas de milhões de tabelas sintéticas. Os compromissos: cerca de 40x a computação do TabPFN 3, uma compilação inicial de mais de 20 minutos, um limite de 500 atributos e 10 classes, e implementação exclusiva em GPU de datacenter.
TabICLv2 (Inria SODA, fevereiro de 2026)
Segunda melhor classificação média (2,74) a 3,1 segundos por dobra4 . Adiciona suporte a regressão, que o TabICL original não tinha. Completou todos os 19 datasets, incluindo o amazon_employee_access, cuja coluna categórica com 7.518 valores sobrecarrega os modelos in-context quando é codificada com one-hot. A melhor precisão por GPU-segundo no benchmark.
TabPFN 3 (Prior Labs)
Terceira classificação média (3,00), completou tudo, 6,6 minutos de GPU no total5 . O fatiamento de linhas permite-lhe lidar com datasets que excedem a capacidade de outros modelos in-context no mesmo hardware. A SAP anunciou a aquisição da Prior Labs em maio de 20266 , o que é relevante para compradores empresariais que avaliam a estabilidade do fornecedor.
Mitra (Amazon, via AutoGluon)
Um especialista em dados pequenos por design: um limite rígido de 10.000 linhas de treino torna-o N/A em 7 dos 19 datasets. Dentro do seu envelope é competitivo: classificação média de 4,50 nos seus 12 datasets e uma vitória absoluta. Escolha-o quando os dados são genuinamente pequenos e o AutoGluon já está na stack.
Gradient boosting: LightGBM, CatBoost, XGBoost
Ainda a opção predefinida para produção, já não o líder de precisão em nenhum regime. O LightGBM foi o melhor modelo clássico (classificação média de 5,16). O CatBoost continua a ser a escolha clássica mais segura em dados com muitas categorias. O XGBoost ficou em último na classificação média (6,42) e mostrou uma fraqueza notável: com divisões categóricas nativas na regressão employee_salaries, de elevada cardinalidade, obteve RMSE de 10.894 onde o LightGBM obteve 4.367 com entradas idênticas. É um resultado de um único dataset, mas vale a pena verificar antes de confiar no modo categórico do XGBoost.
O argumento das árvores de boosting em 2026 é operacional: treino em menos de um segundo, inferência em microssegundos, sem GPU, sem limites de linhas, ferramentas maduras.
Regressão Logística
Classificação média de 6,21, no entanto detém uma parte do empate no amazon_employee_access. A codificação one-hot esparsa mais um modelo linear continuam a ser uma baseline forte, quase gratuita, em dados categóricos de elevada cardinalidade. Mantenha-a em todos os benchmarks.
Principais conclusões
Os modelos de base superam as árvores de gradient boosting em precisão, com significância estatística, em dados tabulares pequenos, médios e grandes. Isto só se verifica quando cada modelo recebe a entrada categórica para a qual foi concebido; forçar a codificação one-hot nos modelos in-context prejudica-os em dados de elevada cardinalidade.
O TabFM lidera em precisão, mas custa cerca de 40x a computação do TabPFN 3 ou do TabICLv2 e acarreta a maior dificuldade de configuração. O TabICLv2, a 3 segundos por dobra, é a escolha de melhor relação custo-benefício. O TabPFN 3 é o meio-termo comprovado e apoiado empresarialmente.
Em dados categóricos de elevada cardinalidade, os melhores modelos clássicos e o TabFM estão estatisticamente empatados. O argumento clássico é o custo, a simplicidade e a liberdade de implementação.
Zero-shot significa zero treino, não zero computação. Avalie o volume de previsão da sua carga de trabalho antes de escolher o TabFM.
O que são modelos de base tabulares?
Os modelos tabulares tradicionais treinam de raiz em cada dataset. Os modelos de base tabulares (TFMs) são pré-treinados uma vez em grandes coleções de problemas tabulares, na sua maioria sintéticos, e adaptam-se a novos datasets no momento da inferência: as linhas de treino entram como contexto e as previsões saem de uma passagem para a frente. Sem treino por gradiente, sem afinação de hiperparâmetros.
O TabPFN reformula a aprendizagem tabular como inferência bayesiana amortizada: um transformador pré-treinado em milhões de tarefas sintéticas condiciona o dataset observado para produzir previsões7 . O TabPFN 3 elevou os limites para 100.000 linhas e 2.000 atributos com tratamento nativo de categorias.
O TabICL estende a aprendizagem in-context a tabelas: as linhas tornam-se tokens estruturados e o modelo infere regras de decisão a partir de exemplos de contexto8 . O TabICLv2 adicionou suporte a regressão em fevereiro de 2026.
O TabFM combina as duas abordagens: atenção alternada por linha e coluna sobre células brutas, compressão de cada linha num vetor denso e depois um transformador in-context sobre as linhas comprimidas. Foi treinado em centenas de milhões de datasets sintéticos gerados a partir de modelos causais estruturais.
O Mitra segue a linha do TabPFN dentro do AutoGluon, otimizado para dados pequenos.
Adicionar como fonte preferencialMetodologia do Benchmark de Modelos Tabulares
Modelos (8): Regressão Logística, XGBoost, LightGBM, CatBoost, TabPFN 3, TabICLv2, TabFM, Mitra.
Datasets (19, OpenML): 15 de classificação binária, 1 multiclasse, 3 de regressão; 435 a 48.800 linhas. Colunas de fuga conhecidas removidas.
Avaliação: Validação cruzada estratificada de 5 dobras (CV simples para regressão), semente 42, divisões idênticas para todos os modelos. Métricas principais: ROC-AUC (binário), macro-F1 (multiclasse), RMSE (regressão). Hiperparâmetros predefinidos, sem afinação. Isto favorece os modelos livres de afinação: um XGBoost afinado teria pontuações mais altas, e os orçamentos de afinação são eles próprios um custo que não modelámos.
Tratamento de categorias, conforme o design do modelo: dtype nativo de categoria para CatBoost, XGBoost e LightGBM; atributos brutos com índices categóricos para TabPFN 3 e TabFM; codificação ordinal para TabICLv2; one-hot mais StandardScaler apenas para a Regressão Logística. Nenhum modelo que suporte categorias nativas é forçado a one-hot. O compromisso: as células diferem na representação de entrada por design. Forçar uma representação em todos os modelos parece mais justo, mas penaliza os modelos construídos para uma entrada diferente.
Ambiente: um pod RunPod com 2x NVIDIA B200 (183 GB), driver 580, Ubuntu 24.04. Modelos clássicos em CPU (62 núcleos), cada modelo de base numa B200. PyTorch 2.8.0 cu128 para TabPFN 3, TabICLv2 e Mitra; JAX 0.10.1 com wheels CUDA 13 para TabFM.
Latência: tempo de execução de ajuste mais previsão por dobra, registado dentro do harness. A compilação única do TabFM é excluída dos tempos por dobra e reportada separadamente.
Política de N/A: uma célula é N/A apenas por um limite documentado do modelo, com o motivo registado em logs. Os únicos N/A nos dados finais são os 7 datasets do Mitra acima do seu limite de 10.000 linhas.
Métricas de classificação: dentro de cada dataset, os modelos são classificados de 1 (melhor) a k pela métrica principal; a classificação média de um modelo faz a média destas sobre os datasets que completou. O gráfico de regime mostra a classificação invertida, k + 1 menos a classificação, para que mais alto seja melhor e 8 signifique primeiro entre oito. Os pontos de vitória atribuem o ponto único de cada dataset à melhor pontuação; empates exatos dividem-no igualmente, pelo que um empate a três paga 0,33 cada.
Estatística: teste de Friedman mais diferença crítica de Nemenyi sobre os 7 modelos de cobertura total (Mitra excluído; as classificações são recalculadas dentro destes 7, pelo que ficam ligeiramente abaixo das classificações médias de 8 modelos citadas nas secções dos modelos). O teste de Friedman dá qui-quadrado 72,8, p abaixo de 10^-12. A diferença crítica é CD = q × sqrt(k(k+1) / (6N)), com q = 2,949 a alfa 0,05 para k = 7 modelos e N = 19 datasets, resultando em CD = 2,07: dois modelos diferem significativamente apenas se as suas classificações médias estiverem a mais de 2,07 de distância. As diferenças do TabFM para os modelos clássicos vão de 3,47 (LightGBM) a 4,58 (XGBoost), todas acima do limiar; as suas diferenças para TabICLv2 (1,34) e TabPFN 3 (1,55) estão abaixo. Os intervalos de confiança da classificação média provêm de uma reamostragem bootstrap de 10.000 amostras sobre os datasets.
Classificações Elo: cada dataset é um round-robin entre todos os modelos que o completaram, num total de 483 confrontos diretos. O modelo com a melhor métrica principal ganha um confronto (pontuação 1); empates exatos atribuem 0,5 a cada.
As fórmulas utilizam quatro quantidades. R(A) é a classificação atual do modelo A, o número que o gráfico reporta; todos os modelos começam com R = 1000. S(A) é a pontuação real que o modelo A obteve num confronto: 1 para vitória, 0,5 para empate, 0 para derrota. E(A) é a pontuação esperada, a probabilidade de vitória que as classificações atuais preveem para A antes de o confronto ser contabilizado. K = 32 é o passo de atualização, que limita o quanto um confronto pode alterar uma classificação.
Antes de um confronto entre os modelos A e B, a pontuação esperada é E(A) = 1 / (1 + 10^((R(B) − R(A)) / 400)): quando as classificações são iguais, dá 0,5, e aproxima-se de 1 à medida que a classificação de A se destaca. Após o confronto, a classificação atualiza-se por R(A) = R(A) + K × (S(A) − E(A)), pelo que A ganha quando faz melhor do que o esperado e perde pontos quando faz pior; uma vitória surpresa sobre um modelo mais bem classificado paga mais do que uma vitória rotineira sobre um mais fraco. A atualização é de soma zero, pelo que a média do conjunto se mantém em 1000, e uma classificação de 994 lê-se como um modelo médio neste campo. O divisor 400 define a escala: com uma diferença de 200 pontos a pontuação esperada é 1 / (1 + 10^(−0,5)) = 0,76, que é de onde vem “ganha cerca de 3 em cada 4 confrontos”.
Uma única passagem Elo depende da ordem dos confrontos, e os 19 datasets são eles próprios uma amostra. Por isso, executamos 1.000 rondas de bootstrap; cada ronda reamostra os 19 datasets com reposição, reconstrói a lista de confrontos, baralha a ordem dos confrontos e executa o Elo de raiz. A classificação publicada é a média entre as rondas, e os intervalos de 95% são os percentis 2,5 e 97,5, cobrindo tanto a amostragem dos datasets como o ruído da ordenação. O Elo é a visualização de síntese; o teste de Friedman e Nemenyi continua a ser o árbitro da significância.
Reprodutibilidade: semente fixa 42, divisões idênticas, resultados por dobra e todos os scripts de junção, estatística e Elo no repositório do benchmark.
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk and Dilmegani, Cem},
title = {{Benchmark de Modelos Tabulares: Desempenho em 19 Datasets}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/tabular-models}},
note = {AIMultiple. Acessado em 3 Julho 2026}
}Resultados e carimbos de data/hora de 16 pontos de dados. Baixe os dados utilizados neste artigo como um arquivo ZIP contendo 2 arquivos CSV e um README.
Links de referência
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.