Benchmark de Modelos Tabulares: Desempenho em 19 Conjuntos de Dados

Avaliamos 13 modelos de aprendizado tabular em 19 conjuntos de dados reais, cobrindo cerca de 272.000 amostras, com tamanhos de conjuntos de dados variando de 435 a 48.800 linhas. Cada modelo foi executado com validação cruzada de 5 dobras em divisões idênticas.

Resultados do benchmark de modelos de aprendizado tabular

Cada conjunto de dados é um round-robin de confrontos diretos entre modelos, decididos pela métrica primária. O Elo agrega todas as 1.398 partidas em uma única classificação por modelo; uma diferença de 200 pontos significa que o modelo com melhor classificação vence cerca de 3 em cada 4 partidas. Os detalhes estão na metodologia.

• Nenhum modelo lidera isoladamente. O teste de significância não encontra diferença significativa entre os cinco primeiros: LimiX-2 (1503), Kumo-Tabular (1438), TabPFN-3.5 (1363), TabFM (1325) e Causilo (1192). Os intervalos de Elo dos quatro primeiros se sobrepõem.
• O LimiX-2 terminou em primeiro em 11 dos 19 conjuntos de dados e entre os três primeiros em 17. O Kumo-Tabular, que o teste não separa dele, tem média de 7,6 segundos por dobra, cerca de 15x mais rápido.
• Em 15 dos 18 conjuntos de dados com um único vencedor, a vantagem do vencedor é menor que seu próprio desvio padrão entre dobras. O LimiX-2 lidera por mais do que isso nos outros três: diabetes, electricity e employee_salaries.

O Elo também lida com cobertura parcial de forma justa: o Mitra é avaliado apenas em partidas que pôde jogar, ou seja, os 12 conjuntos de dados dentro de seu limite de treinamento de 10.000 linhas¹.

• O LimiX-2 lidera em diabetes com ROC-AUC de 0.879 contra 0.844 do Kumo-Tabular, e em employee_salaries com RMSE de 2.743 contra 3.060 do TabPFN-3.5.
• Em amazon_employee_access, cuja maior coluna categórica tem 7.518 valores, o LimiX-2 pontua 0.898 contra 0.863 da Regressão Logística, o melhor modelo clássico. A diferença é 3.5 vezes o desvio padrão de dobras do LimiX-2.

O teste de significância (teste de Friedman e depois diferença crítica de Nemenyi) coloca LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM e Causilo à frente dos quatro modelos clássicos, nenhum dos quais venceu um conjunto de dados. LimiX-2 e Kumo-Tabular também estão à frente de TabICLv2, Mitra-v2 e TabPFN 3. A vantagem do TabPFN-3.5 sobre o TabPFN 3 ultrapassa o limite em 0.02 pontos de classificação, a menor diferença significativa do teste. Os detalhes do teste estão na metodologia.

Latência dos modelos tabulares

• O preço de GPU usa a tarifa sob demanda do RunPod Community Cloud B200 de US$ 5.98 por GPU-hora. Os modelos clássicos rodaram em CPU (62 núcleos); cada modelo de base rodou em uma B200.
• O TabFM teve média de 173,6 segundos por dobra (mediana 16.9) e o LimiX-2 111.9 (mediana 28.4). Nesse ritmo, os tempos de dobra do TabFM para o benchmark completo custam cerca de US$ 27 e os do LimiX-2 cerca de US$ 18; o TabPFN-3.5 fez o mesmo trabalho por US$ 0.68, e o LightGBM rodou em CPU.
• O TabPFN-3.5 e o Kumo-Tabular têm médias de 4.3 e 7,6 segundos por dobra; a execução completa do Kumo-Tabular custa US$ 1.19. O Causilo (1,4 segundos) e o Mitra-v2 (1.5) são os modelos de base mais rápidos.
• Os tempos de dobra excluem a inicialização a frio do TabFM: seu backend JAX gasta cerca de 20 a 25 minutos compilando kernels de GPU antes da primeira predição. Um cache de compilação persistente elimina isso nas execuções seguintes.
• O LimiX-2 usou cerca de 124 GB de memória de GPU nos maiores conjuntos de dados. O backend JAX do TabFM em hardware B200 encontra um bug documentado do cuBLAS na pilha CUDA 12 padrão, que o JAX sinaliza como risco silencioso de corrupção de dados; a pilha CUDA 13 evita isso.
• O TabFM reprocessa os dados de treinamento como contexto em cada lote de predição, de modo que pontuações repetidas em dados grandes aumentam seu custo. Um modelo XGBoost treinado faz predições em microssegundos.

Resultados por tamanho de conjunto de dados e tipo de característica

• Conjuntos de dados pequenos (1.000 linhas ou menos): os modelos de base ocupam as nove primeiras posições tanto em dados numéricos quanto em híbridos (numéricos mais categóricos). O LimiX-2 lidera em dados numéricos (ROC-AUC médio de 93,7%). A Regressão Logística se mantém em dados numéricos (91,2%) e colapsa em híbridos (77,5%).
• Conjuntos de dados médios (1.001 a 10.000 linhas): os modelos de base lideram em ambos os tipos de características. A diferença em híbridos é grande: LimiX-2 com ROC-AUC médio de 85,5% contra 83,4% do melhor modelo clássico, o CatBoost.
• Conjuntos de dados grandes (acima de 10.000 linhas): o antigo padrão de “o boosting alcança em escala” desapareceu. Em dados numéricos grandes, LimiX-2, Kumo-Tabular e TabPFN-3.5 têm média de 99,6% contra 97,0% do XGBoost. Em dados híbridos grandes, LimiX-2 e TabPFN-3.5 lideram com 89,2% contra 87,6% do LightGBM.
• O Mitra-v2 tem média de 95,6% em dados numéricos grandes, abaixo do XGBoost. Esse grupo contém um conjunto de dados binário, electricity, onde o Mitra-v2 prediz a partir de um contexto limitado.

Classificação média por regime

A visão de classificação acrescenta duas coisas que as médias de ROC-AUC ocultam.

• O LimiX-2 mantém a melhor classificação média em cinco dos seis regimes, empatando com o TabFM em dados numéricos médios. Em dados híbridos pequenos, sua classificação invertida de 9.5 o coloca em quarto, atrás de Kumo-Tabular (11.5), TabFM (10.0) e TabPFN-3.5 (9.8).
• Todos os modelos de base, exceto o Mitra, superam todos os modelos clássicos nos seis regimes.

Vitórias por modelo e regime

O LimiX-2 conquista pontos de vitória em todos os seis regimes e 11.1 dos 19 pontos no total. O TabFM pontua em três regimes; Kumo-Tabular e TabPFN-3.5 em dois. Os modelos clássicos não pontuam. O empate de oito vias em monks-problems-2 divide um ponto por oito, então a maioria dos modelos de base apresenta 0.1 em dados híbridos pequenos.

Observações específicas dos modelos

LimiX-2 (StableAI)

O LimiX-2 tem a melhor classificação média (2.16) e 11 vitórias diretas. Também tem o segundo maior custo computacional, com 111,9 segundos por dobra e cerca de 124 GB de memória de GPU nos maiores conjuntos de dados².

Kumo-Tabular (NVIDIA)

O Kumo-Tabular tem a segunda melhor classificação média (2.63) com 7,6 segundos por dobra, e o teste de significância não o separa do LimiX-2³. Terminou entre os três primeiros em 16 dos 19 conjuntos de dados.

TabPFN-3.5 (Prior Labs)

O TabPFN-3.5 tem a terceira melhor classificação média (3.26) com 4,3 segundos por dobra, contra 4.2 do TabPFN 3. Sua vantagem de classificação sobre o TabPFN 3 é significativa pela menor margem do teste. A SAP anunciou a aquisição da Prior Labs em maio de 2026⁴, o que é relevante para compradores empresariais avaliarem a estabilidade do fornecedor.

TabFM (Google Research)

O TabFM tem a quarta melhor classificação média (3.53) e terminou em primeiro em três conjuntos de dados⁵. Seus tempos de dobra são cerca de 40x os do TabPFN 3, sua primeira execução compila por mais de 20 minutos e ele é limitado a 10 classes e otimizado para até 500 características.

Causilo (Nums IA)

O Causilo tem a quinta melhor classificação média (4.89) com 1,4 segundos por dobra, o modelo de base mais rápido do benchmark⁶. Nenhum dos quatro modelos acima dele está significativamente à frente.

TabICLv2 (Inria SODA)

O TabICLv2 tem a sexta melhor classificação média (6.58) com 3,1 segundos por dobra⁷. Ele adiciona suporte a regressão, que o TabICL original não tinha, e completou todos os 19 conjuntos de dados.

TabPFN 3 (Prior Labs)

O TabPFN 3 tem a oitava melhor classificação média (7.11) e completou todos os 19 conjuntos de dados em 6.6 GPU-minutos⁸.

Mitra-v2 (Amazon)

O Mitra-v2 tem a sétima melhor classificação média (7.00) com 1,5 segundos por dobra⁹. Ele elimina o limite de 10.000 linhas do Mitra e completou todos os 19 conjuntos de dados, mas em cinco conjuntos de dados binários grandes ele prediz a partir de uma amostra de no máximo 16.384 linhas de treinamento.

Mitra (Amazon, via AutoGluon)

Um especialista em dados pequenos por design: um limite rígido de 10.000 linhas de treinamento o torna N/D em 7 dos 19 conjuntos de dados. Em seus 12 conjuntos de dados, ele tem classificação média de 9.12 entre os 13 modelos. O Mitra-v2 remove o limite e fica mais bem classificado.

Boosting por gradiente: LightGBM, CatBoost, XGBoost

As árvores de boosting por gradiente não lideram mais em acurácia em nenhum regime. O LightGBM foi o melhor modelo clássico (classificação média 9.74). O CatBoost foi o melhor modelo clássico em dados híbridos médios. O XGBoost terminou por último na classificação média (10.79) e mostrou uma fraqueza notável: com divisões categóricas nativas na regressão de alta cardinalidade employee_salaries, obteve RMSE de 10.894 onde o LightGBM obteve 4.367 em entradas idênticas. É um resultado de um único conjunto de dados, mas vale verificar antes de confiar no modo categórico do XGBoost.

O argumento das árvores boosted em 2026 é operacional: treinamento em menos de um segundo, inferência em microssegundos, sem GPU, sem limites de linhas, ferramental maduro.

Regressão Logística

A regressão logística tem classificação média de 10.53, mas em amazon_employee_access supera todas as árvores de boosting por gradiente, o TabPFN 3 e o TabICLv2. One-hot esparso mais um modelo linear continua sendo uma linha de base forte e quase gratuito em dados categóricos de alta cardinalidade. Mantenha-a em todos os benchmarks.

Principais conclusões

Cinco modelos de base (LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM e Causilo) superam todos os quatro modelos clássicos com significância estatística nos 19 conjuntos de dados, e os modelos de base lideram em todos os regimes de tamanho e tipo de característica. Isso só se mantém quando cada modelo recebe a entrada categórica para a qual foi projetado; forçar codificação one-hot em modelos in-context os prejudica em dados de alta cardinalidade.

O teste de significância não separa LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM e Causilo. Seus tempos de dobra variam de 1,4 segundos (Causilo) a 173,6 segundos (TabFM).

Desses cinco, apenas a licença do Kumo-Tabular permite o uso comercial do modelo e de suas saídas sem um contrato separado.

Zero-shot significa zero treinamento, não zero computação. Avalie o volume de predição da sua carga de trabalho antes de escolher TabFM ou LimiX-2.

O que são modelos de base tabulares?

Os modelos tabulares tradicionais treinam do zero em cada conjunto de dados. Os modelos de base tabulares (TFMs) são pré-treinados uma vez em grandes coleções de problemas tabulares, em sua maioria sintéticos, e se adaptam a novos conjuntos de dados no momento da inferência: as linhas de treinamento entram como contexto e as predições saem de uma passagem para frente. Sem treinamento por gradiente, sem ajuste de hiperparâmetros.

O TabPFN reformula o aprendizado tabular como inferência bayesiana amortizada: um transformer pré-treinado em milhões de tarefas sintéticas condiciona-se ao conjunto de dados observado para produzir predições⁸. O TabPFN 3 é construído para até 1.000.000 linhas e 2.000 características, com tratamento categórico nativo.

O TabICL estende o aprendizado in-context para tabelas: as linhas se tornam tokens estruturados e o modelo infere regras de decisão a partir de exemplos de contexto¹⁰. O TabICLv2 adicionou suporte a regressão em fevereiro de 2026.

O TabFM combina as duas abordagens: atenção alternada entre linhas e colunas sobre células brutas, compressão de cada linha em um vetor denso e, em seguida, um transformer in-context sobre as linhas comprimidas. Ele foi treinado em centenas de milhões de conjuntos de dados sintéticos gerados a partir de modelos causais estruturais.

O Mitra segue a linha do TabPFN dentro do AutoGluon, ajustado para dados pequenos.

LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo e Mitra-v2 funcionam da mesma forma neste benchmark: cada um prediz a partir das linhas de treinamento como contexto, sem treinamento por gradiente no conjunto de dados.

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Metodologia do Benchmark de Modelos Tabulares

Modelos (13): LogisticRegression (regressão Ridge nos três conjuntos de dados de regressão), XGBoost, LightGBM, CatBoost, TabPFN 3, TabICLv2, TabFM, Mitra, LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo, Mitra-v2.

Conjuntos de dados (19, OpenML): 15 classificação binária, 1 multiclasse, 3 regressão; 435 a 48.800 linhas; características somente numéricas ou híbridas (numéricas mais categóricas). Colunas de vazamento conhecidas foram removidas.

Avaliação: validação cruzada estratificada de 5 dobras (CV simples para regressão), semente 42, divisões idênticas para todos os modelos. Métricas primárias: ROC-AUC (binário), macro-F1 (multiclasse), RMSE (regressão). Hiperparâmetros padrão, sem ajuste. Isso favorece modelos tuning-free: um XGBoost ajustado pontuaria mais alto, e os orçamentos de ajuste são em si um custo que não modelamos.

Configuração: as configurações fixas do benchmark para os modelos clássicos, TabPFN 3, TabICLv2, TabFM e Mitra; para LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo e Mitra-v2, a configuração padrão no TabArena, um leaderboard público para modelos tabulares. Nenhum modelo é fine-tuned. O padrão do TabArena para o Mitra-v2 faz fine-tuning por 50 passos em cada dobra de treinamento; aqui o Mitra-v2 roda sem isso.

Tratamento categórico, conforme o design de cada modelo: dtype de categoria nativa para CatBoost, XGBoost, LightGBM, Causilo e Mitra-v2; características brutas com índices categóricos para TabPFN 3, TabPFN-3.5 e TabFM, colunas de texto brutas para LimiX-2; tipos de coluna inferidos pelo modelo para Kumo-Tabular, codificação ordinal para TabICLv2; one-hot mais StandardScaler apenas para Regressão Logística. Nenhum modelo que suporta categóricas nativas é forçado a one-hot. O trade-off: as células diferem na representação de entrada por design. Forçar uma única representação em todos os modelos parece mais justo, mas penaliza os modelos construídos para uma entrada diferente.

Ambiente: um pod RunPod com 2x NVIDIA B200 (183 GB), driver 580, Ubuntu 24.04. Modelos clássicos em CPU (62 núcleos), cada modelo de base em uma B200. PyTorch 2.8.0 cu128 para TabPFN 3, TabICLv2 e Mitra; JAX 0.10.1 com wheels CUDA 13 para TabFM. LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo e Mitra-v2 rodaram em pods RunPod de B200 única (driver 595, CUDA 13.2), um modelo por GPU por vez, cada um em seu próprio ambiente Python.

Latência: tempo de relógio por dobra de fit mais predict, registrado dentro do harness. A compilação única do TabFM é excluída dos tempos de dobra e relatada separadamente.

Política de N/D: uma célula é N/D somente para um limite documentado do modelo, com o motivo capturado nos logs. Os únicos N/D nos dados finais são os 7 conjuntos de dados do Mitra acima do limite de 10.000 linhas.

Limite de contexto do Mitra-v2: em conjuntos de dados binários com mais de 16.384 linhas de treinamento (adult, amazon_employee_access, bank-marketing-full, default_credit, electricity), o Mitra-v2 prediz a partir de uma amostra balanceada por classe de 16.384 linhas de treinamento, reamostrada para cada lote de 16.384 linhas de teste. Esse é o padrão do TabArena. O limite é de 32.768 linhas para multiclasse e regressão, que nenhum conjunto de dados aqui excede.

Métricas de classificação: dentro de cada conjunto de dados, os modelos são classificados de 1 (melhor) a k pela métrica primária; a classificação média de um modelo é a média dessas classificações nos conjuntos de dados que ele completou. O gráfico de regime mostra a classificação invertida, k + 1 menos a classificação, de modo que maior é melhor e 13 significa primeiro lugar entre oito. Os pontos de vitória atribuem o ponto único de cada conjunto de dados à melhor pontuação; empates exatos dividem o ponto igualmente, então um empate de oito vias paga 0.125 a cada.

Estatísticas: teste de Friedman mais diferença crítica de Nemenyi sobre os 12 modelos de cobertura completa. O Mitra é excluído porque completou 12 dos 19 conjuntos de dados; incluí-lo reduziria o teste a esses 12. As classificações médias citadas nas seções dos modelos vêm deste teste com 12 modelos; a do Mitra é calculada entre todos os 13 modelos em seus 12 conjuntos de dados.

O teste de Friedman produz qui-quadrado 165.8, p abaixo de 10^-29. A diferença crítica é CD = q × sqrt(k(k+1) / (6N)), com q = 3.268 no alfa 0.05 para k = 12 modelos e N = 19 conjuntos de dados, resultando em CD = 3.82: dois modelos diferem significativamente somente se suas classificações médias estiverem afastadas por mais de 3.82. Os quatro primeiros vão de 2.16 (LimiX-2) a 3.53 (TabFM), então nenhuma diferença entre eles ultrapassa o limite. A diferença do LimiX-2 para o TabICLv2 é 4.42; a diferença do TabPFN-3.5 para o TabPFN 3 é 3.84. Os intervalos de confiança da classificação média vêm de um bootstrap de 10.000 amostras sobre conjuntos de dados.

Classificações Elo: cada conjunto de dados é um round-robin entre todos os modelos que o completaram, 1.398 partidas pareadas no total. O modelo com a melhor métrica primária vence a partida (pontuação 1); empates exatos pontuam 0.5 cada.

As fórmulas usam quatro quantidades. R(A) é a classificação atual do modelo A, o número que o gráfico mostra; todo modelo começa em R = 1000. S(A) é a pontuação real que o modelo A obteve em uma partida: 1 para vitória, 0.5 para empate, 0 para derrota. E(A) é a pontuação esperada, a probabilidade de vitória que as classificações atuais preveem para A antes de a partida ser contabilizada. K = 32 é o passo de atualização, que limita o quanto uma partida pode mover uma classificação.

Antes de uma partida entre os modelos A e B, a pontuação esperada é E(A) = 1 / (1 + 10^((R(B) − R(A)) / 400)): quando as classificações são iguais, ela resulta em 0.5, e se aproxima de 1 à medida que a classificação de A avança. Após a partida, a classificação é atualizada por R(A) = R(A) + K × (S(A) − E(A)), de modo que A ganha quando tem desempenho melhor que o esperado e perde pontos quando tem desempenho pior; uma vitória surpreendente sobre um modelo mais bem classificado rende mais que uma vitória rotineira sobre um mais fraco. A atualização é de soma zero, então a média do pool permanece em 1000, e uma classificação próxima de 1000, como a do Mitra-v2, 977, é lida como um modelo mediano neste campo. O divisor 400 define a escala: em uma diferença de 200 pontos, a pontuação esperada é 1 / (1 + 10^(−0.5)) = 0.76, que é de onde vem “vence cerca de 3 em cada 4 partidas”.

Uma única passada de Elo depende da ordem das partidas, e os 19 conjuntos de dados são em si uma amostra. Portanto, executamos 1.000 rodadas de bootstrap; cada rodada reamostra os 19 conjuntos de dados com reposição, reconstrói a lista de partidas, embaralha a ordem das partidas e executa o Elo do zero. A classificação publicada é a média entre as rodadas, e os intervalos de 95% são os percentis 2.5 e 97.5, cobrindo tanto a amostragem do conjunto de dados quanto o ruído de ordenação. O Elo é a visualização-resumo; o teste de Friedman e Nemenyi permanece como o árbitro de significância.

Reprodutibilidade: semente fixa 42, divisões idênticas, resultados por dobra e todos os scripts de merge, estatísticas e Elo no repositório do benchmark.

Cite este benchmark

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{kalelioglu2026,
  author = {Kalelioğlu, Berk and Dilmegani, Cem},
  title  = {{Benchmark de Modelos Tabulares: Desempenho em 19 Conjuntos de Dados}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/tabular-models}},
  note   = {AIMultiple. Acessado em 3 julho 2026}
}

Registro de alterações

3 atualizações

Todas3Geral2Metodologia1

2026

1. 3 jul

   Adicionado TabFM ao benchmark, liderando cada regime de dados.

2. 19 mai

   Substituído TabPFN por TabPFN 3 nos resultados, nas classificações e nas limitações do benchmark.

3. 19 mai

   Substituído o TabPFN pelo TabPFN 3 na lista de modelos avaliados.

Links de referência

1.

AutoGluon Tabular - Foundational Models - AutoGluon 1.6.1 documentation

2.

[2609.17488] LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence

3.

GitHub - NVIDIA/structured-data-models: Foundation Models for Structured Data · GitHub

4.

SAP to Acquire Prior Labs | SAP News Center

SAP

5.

Introducing TabFM: A zero-shot foundation model for tabular data

6.

[2609.22866] Causilo Technical Report

7.

[2602.11139] TabICLv2: A better, faster, scalable, and open tabular foundation model

8.

[2207.01848] TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second

9.

[2609.04540] Mitra-v2 Technical Report

10.

[2502.05564] TabICL: A Tabular Foundation Model for In-Context Learning on Large Data

Berk Kalelioğlu

Pesquisador de IA

Siga-nos

Berk é um Pesquisador de IA na equipe de benchmark da AIMultiple, com foco em IA agêntica, aprendizado de máquina e grandes e pequenos language models (LLMs e SLMs).

Ver perfil completo

Pesquisado por

Cem Dilmegani

Analista Principal

Siga-nos

Cem é o analista principal da AIMultiple desde 2017.

O trabalho de Cem na AIMultiple foi citado por publicações globais líderes, incluindo Business Insider, Forbes, Morning Brew e Washington Post, por empresas globais como Deloitte e HPE, ONGs como o World Economic Forum e organizações supranacionais como a European Commission. [1], [2], [3], [4], [5]

Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas sobre suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização.

Ele liderou a estratégia de tecnologia e as compras de uma operadora de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de deep tech Hypatos, que atingiu uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia líderes como TechCrunch e Business Insider.

Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou como engenheiro da computação pela Bogazici University e possui um MBA pela Columbia Business School.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário