Benchmark de Modelos Tabulares: Desempenho em 19 Conjuntos de Dados

Avaliamos 13 modelos de aprendizado tabular em 19 conjuntos de dados reais, com cerca de 272.000 amostras, variando de 435 a 48.800 linhas. Cada modelo foi executado com validação cruzada de 5 partições em divisões idênticas. Os resultados também alimentam o AIM Tabular Index, que os combina com os rankings públicos TabArena e BeyondArena.

Resultados do benchmark de modelos de aprendizado tabular

Cada conjunto de dados é um round-robin de confrontos diretos entre modelos, decidido pela métrica primária. O Elo agrega todas as 1.398 partidas em uma única classificação por modelo; uma diferença de 200 pontos significa que o modelo com classificação mais alta vence cerca de 3 de cada 4 partidas. Os detalhes estão na metodologia.

• Nenhum modelo lidera isoladamente. O teste de significância não encontra diferença significativa entre os cinco primeiros: LimiX-2 (1503), Kumo-Tabular (1438), TabPFN-3.5 (1363), TabFM (1325) e Causilo (1192). Os intervalos de Elo dos quatro primeiros se sobrepõem.
• LimiX-2 ficou em primeiro lugar em 11 dos 19 conjuntos de dados e entre os três primeiros em 17. O Kumo-Tabular, que o teste não separa dele, leva em média 7,6 segundos por fold, cerca de 15x mais rápido.
• Em 15 dos 18 conjuntos de dados com um único vencedor, a vantagem do vencedor é menor do que seu próprio desvio padrão entre folds. O LimiX-2 lidera por mais do que isso nos outros três: diabetes, electricity e employee_salaries.

O Elo também trata a cobertura parcial de forma justa: o Mitra é classificado apenas nas partidas que pôde disputar, ou seja, os 12 conjuntos de dados dentro de seu limite de treinamento de 10.000 linhas¹.

• LimiX-2 lidera em diabetes com 0.879 ROC-AUC contra os 0.844 do Kumo-Tabular e em employee_salaries com RMSE 2.743 contra 3.060 do TabPFN-3.5.
• Em amazon_employee_access, cuja maior coluna categórica tem 7.518 valores, o LimiX-2 pontua 0.898 contra 0.863 da Regressão Logística, o melhor modelo clássico. A diferença é 3.5 vezes o desvio padrão entre folds do LimiX-2.

O teste de significância (teste de Friedman, seguido da diferença crítica de Nemenyi) coloca LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM e Causilo à frente dos quatro modelos clássicos, nenhum dos quais venceu um conjunto de dados. O LimiX-2 e o Kumo-Tabular também estão à frente de TabICLv2, Mitra-v2 e TabPFN 3. A vantagem do TabPFN-3.5 sobre o TabPFN 3 supera o limiar por 0.02 pontos de classificação, a menor diferença significativa do teste. Os detalhes do teste estão na metodologia.

Latência dos modelos tabulares

• GPU o preço usa a taxa Community Cloud B200 sob demanda da RunPod de US$ 5.98 por GPU-hora. Os modelos clássicos rodaram em CPU (62 núcleos); cada modelo de fundação rodou em uma B200.
• TabFM levou em média 173,6 segundos por fold (mediana 16.9) e o LimiX-2 111.9 (mediana 28.4). Nessa taxa, os tempos de fold do TabFM no benchmark completo custaram cerca de US$ 27 e os do LimiX-2 cerca de US$ 18; o TabPFN-3.5 fez o mesmo trabalho por US$ 0.68, e o LightGBM rodou em CPU.
• TabPFN-3.5 e Kumo-Tabular levam em média 4.3 e 7,6 segundos por fold; a execução completa do Kumo-Tabular custa US$ 1.19. Causilo (1,4 segundos) e Mitra-v2 (1.5) são os modelos de fundação mais rápidos.
• Os tempos de fold excluem a inicialização a frio do TabFM: seu backend JAX leva cerca de 20 a 25 minutos compilando kernels de GPU antes da primeira predição. Um cache de compilação persistente elimina isso nas execuções posteriores.
• O LimiX-2 usou cerca de 124 GB de memória de GPU nos maiores conjuntos de dados. O backend JAX do TabFM no hardware B200 atinge um bug documentado do cuBLAS na pilha CUDA 12 padrão, que o JAX sinaliza como risco silencioso de corrupção de dados; a pilha CUDA 13 evita isso.
• O TabFM reprocessa os dados de treinamento como contexto em cada lote de predição, portanto pontuações repetidas em dados grandes aumentam seu custo. Um modelo XGBoost treinado faz predições em microssegundos.

Resultados por tamanho do conjunto de dados e tipo de característica

• Conjuntos de dados pequenos (1.000 linhas ou menos): os modelos de fundação ocupam as nove primeiras posições tanto em dados numéricos quanto híbridos (numéricos mais categóricos). O LimiX-2 lidera em dados numéricos (93,7% de ROC-AUC média). A Regressão Logística se mantém em dados numéricos (91,2%) e desaba em híbridos (77,5%).
• Conjuntos de dados médios (1.001 a 10.000 linhas): os modelos de fundação lideram em ambos os tipos de características. A diferença em híbridos é ampla: LimiX-2 obtém 85,5% de ROC-AUC média contra 83,4% do melhor modelo clássico, CatBoost.
• Conjuntos de dados grandes (acima de 10.000 linhas): o antigo padrão de “boosting alcança em escala” desapareceu. Em grandes dados numéricos, LimiX-2, Kumo-Tabular e TabPFN-3.5 têm média de 99,6% contra 97,0% do XGBoost. Em grandes dados híbridos, LimiX-2 e TabPFN-3.5 lideram com 89,2% contra 87,6% do LightGBM.
• Mitra-v2 tem média de 95,6% em grandes dados numéricos, abaixo do XGBoost. Esse grupo contém um conjunto de dados binário, electricity, onde o Mitra-v2 prediz a partir de um contexto limitado.

Classificação média por regime

A visão por classificação acrescenta duas coisas que as médias de ROC-AUC ocultam.

• LimiX-2 mantém a melhor classificação média em cinco dos seis regimes, empatado com TabFM em dados numéricos médios. Em dados híbridos pequenos, sua classificação invertida de 9.5 o coloca em quarto, atrás de Kumo-Tabular (11.5), TabFM (10.0) e TabPFN-3.5 (9.8).
• Todos os modelos de fundação, exceto Mitra, superam todos os modelos clássicos em todos os seis regimes.

Vitórias de modelos por regime

LimiX-2 conquista pontos de vitória em todos os seis regimes e 11.1 dos 19 pontos no total. O TabFM pontua em três regimes; Kumo-Tabular e TabPFN-3.5 em dois. Os modelos clássicos não pontuam. O empate de oito vias em monks-problems-2 divide um ponto por oito, então a maioria dos modelos de fundação mostra 0.1 em dados híbridos pequenos.

Observações específicas do modelo

LimiX-2 (StableAI)

LimiX-2 tem a melhor classificação média (2.16) e 11 vitórias diretas. Também tem o segundo maior custo computacional, com 111,9 segundos por fold e cerca de 124 GB de memória de GPU nos maiores conjuntos de dados².

Kumo-Tabular (NVIDIA)

O Kumo-Tabular tem a segunda classificação média (2.63) com 7,6 segundos por fold, e o teste de significância não o separa do LimiX-2³. Ficou entre os três primeiros em 16 dos 19 conjuntos de dados.

TabPFN-3.5 (Prior Labs)

O TabPFN-3.5 tem a terceira classificação média (3.26) com 4,3 segundos por fold, contra 4.2 do TabPFN 3. Sua vantagem de classificação sobre o TabPFN 3 é significativa pela menor margem do teste. A SAP anunciou a aquisição da Prior Labs em maio de 2026⁴, o que importa para compradores empresariais que avaliam a estabilidade do fornecedor.

TabFM (Google Research)

O TabFM tem a quarta classificação média (3.53) e terminou em primeiro em três conjuntos de dados⁵. Seus tempos de fold são cerca de 40x os do TabPFN 3, sua primeira execução compila por mais de 20 minutos e ele está limitado a 10 classes e otimizado para até 500 características.

Causilo (Nums IA)

O Causilo tem a quinta classificação média (4.89) com 1,4 segundos por fold, o modelo de fundação mais rápido do benchmark⁶. Nenhum dos quatro modelos acima dele está significativamente à frente dele.

TabICLv2 (Inria SODA)

O TabICLv2 tem a sexta classificação média (6.58) com 3,1 segundos por fold⁷. Ele adiciona suporte a regressão, que o TabICL original não tinha, e completou todos os 19 conjuntos de dados.

TabPFN 3 (Prior Labs)

O TabPFN 3 tem a oitava classificação média (7.11) e completou todos os 19 conjuntos de dados em 6.6 GPU-minutos⁸.

Mitra-v2 (Amazon)

O Mitra-v2 tem a sétima classificação média (7.00) com 1,5 segundos por fold⁹. Ele elimina o limite de 10.000 linhas do Mitra e completou todos os 19 conjuntos de dados, mas em cinco grandes conjuntos de dados binários ele prediz a partir de uma amostra de no máximo 16.384 linhas de treinamento.

Mitra (Amazon, via AutoGluon)

Um especialista em dados pequenos por design: um limite rígido de 10.000 linhas de treinamento o torna N/A em 7 dos 19 conjuntos de dados. Em seus 12 conjuntos de dados, ele tem classificação média de 9.12 entre os 13 modelos. O Mitra-v2 remove o limite e fica em posição mais alta.

Gradient boosting: LightGBM, CatBoost, XGBoost

As árvores com reforço de gradiente não lideram mais em acurácia em nenhum regime. O LightGBM foi o melhor modelo clássico (classificação média 9.74). O CatBoost foi o melhor modelo clássico em dados híbridos médios. O XGBoost terminou em último em classificação média (10.79) e mostrou uma fraqueza notável: com divisões categóricas nativas na regressão de alta cardinalidade employee_salaries, ele obteve RMSE 10.894 onde o LightGBM obteve 4.367 com as mesmas entradas. Esse é um resultado de um único conjunto de dados, mas vale a pena verificar antes de confiar no modo categórico do XGBoost.

O argumento das árvores impulsionadas em 2026 é operacional: treinamento abaixo de um segundo, inferência em microssegundos, sem GPU, sem limites de linhas, ferramental maduro.

Regressão Logística

Logistic regression tem classificação média de 10.53, mas em amazon_employee_access supera todas as árvores com gradient boosting, o TabPFN 3 e o TabICLv2. One-hot esparso mais um modelo linear continua sendo uma baseline forte, de custo quase gratuito, em dados categóricos de alta cardinalidade. Mantenha-o em todos os benchmarks.

Principais conclusões

Cinco modelos de fundação (LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM e Causilo) superam os quatro modelos clássicos com significância estatística nos 19 conjuntos de dados, e os modelos de fundação lideram em todos os regimes de tamanho e de característica. Isso só se mantém quando cada modelo recebe a entrada categórica para a qual foi projetado; forçar one-hot encoding em modelos in-context os prejudica em dados de alta cardinalidade.

O teste de significância não separa LimiX-2, Kumo-Tabular, TabPFN-3.5, TabFM e Causilo. Os tempos de fold variam de 1,4 segundos (Causilo) a 173,6 segundos (TabFM).

Desses cinco, apenas a licença do Kumo-Tabular permite o uso comercial do modelo e de seus resultados sem um contrato separado.

Zero-shot significa zero treinamento, não zero computação. Avalie o volume de predição da sua carga de trabalho antes de escolher TabFM ou LimiX-2.

O que são modelos de fundação tabulares?

Os modelos tabulares tradicionais treinam do zero em cada conjunto de dados. Os modelos de fundação tabulares (TFMs) são pré-treinados uma vez em grandes coleções de problemas tabulares, em sua maioria sintéticos, e se adaptam a novos conjuntos de dados em tempo de inferência: as linhas de treinamento entram como contexto e as predições saem de uma passagem direta. Sem treinamento por gradiente, sem ajuste de hiperparâmetros.

O TabPFN reformula o aprendizado tabular como inferência bayesiana amortizada: um transformer pré-treinado em milhões de tarefas sintéticas condiciona no conjunto de dados observado para produzir predições⁸. O TabPFN 3 é construído para até 1.000.000 linhas e 2.000 características, com tratamento categórico nativo.

O TabICL estende o aprendizado in-context a tabelas: as linhas se tornam tokens estruturados e o modelo infere regras de decisão a partir de exemplos de contexto¹⁰. O TabICLv2 adicionou suporte a regressão em fevereiro de 2026.

O TabFM combina as duas abordagens: atenção alternada de linhas e colunas sobre as células brutas, compactação de cada linha em um vetor denso e, em seguida, um transformer in-context sobre as linhas compactadas. Ele foi treinado em centenas de milhões de conjuntos de dados sintéticos gerados a partir de modelos causais estruturais.

O Mitra segue a linha do TabPFN dentro do AutoGluon, ajustado para dados pequenos.

LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo e Mitra-v2 funcionam da mesma forma neste benchmark: cada um prediz a partir das linhas de treinamento como contexto, sem treinamento por gradiente no conjunto de dados.

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Metodologia do Benchmark de Modelos Tabulares

Modelos (13): LogisticRegression (regressão Ridge nos três conjuntos de dados de regressão), XGBoost, LightGBM, CatBoost, TabPFN 3, TabICLv2, TabFM, Mitra, LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo, Mitra-v2.

Conjuntos de dados (19, OpenML): 15 classificação binária, 1 multiclasse, 3 regressão; 435 a 48.800 linhas; características apenas numéricas ou híbridas (numéricas mais categóricas). Colunas de vazamento conhecidas removidas.

Avaliação: validação cruzada estratificada de 5 partições (CV simples para regressão), seed 42, divisões idênticas para todos os modelos. Métricas primárias: ROC-AUC (binária), macro-F1 (multiclasse), RMSE (regressão). Hiperparâmetros padrão, sem ajuste. Isso favorece modelos tuning-free: um XGBoost ajustado pontuaria mais alto, e os orçamentos de ajuste são, eles próprios, um custo que não modelamos.

Configuração: as configurações fixas do benchmark para os modelos clássicos, TabPFN 3, TabICLv2, TabFM e Mitra; para LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo e Mitra-v2, a configuração padrão no TabArena, um leaderboard público de modelos tabulares. Nenhum modelo é fine-tuned. A configuração padrão do TabArena para o Mitra-v2 faz fine-tune por 50 etapas em cada fold de treinamento; aqui o Mitra-v2 roda sem isso.

Tratamento de categóricas, conforme o design de cada modelo: dtype nativo de categoria para CatBoost, XGBoost, LightGBM, Causilo e Mitra-v2; características brutas com índices categóricos para TabPFN 3, TabPFN-3.5 e TabFM, colunas de texto brutas para LimiX-2; tipos de coluna inferidos pelo modelo para Kumo-Tabular, codificação ordinal para TabICLv2; one-hot mais StandardScaler somente para a Regressão Logística. Nenhum modelo que suporta categóricas nativas é forçado a passar por one-hot. O trade-off: as células diferem na representação de entrada por design. Forçar uma representação em todos os modelos parece mais justo, mas penaliza os modelos construídos para uma entrada diferente.

Ambiente: um pod RunPod com 2x NVIDIA B200 (183 GB), driver 580, Ubuntu 24.04. Modelos clássicos em CPU (62 núcleos), cada modelo de fundação em uma B200. PyTorch 2.8.0 cu128 para TabPFN 3, TabICLv2 e Mitra; JAX 0.10.1 com rodas CUDA 13 para TabFM. LimiX-2, Kumo-Tabular, TabPFN-3.5, Causilo e Mitra-v2 rodaram em pods RunPod com uma única B200 (driver 595, CUDA 13.2), um modelo por GPU por vez, cada um em seu próprio ambiente Python.

Latência: tempo de parede por fold de ajuste mais predição, registrado dentro do harness. A compilação única do TabFM é excluída dos tempos de fold e relatada separadamente.

Política de N/A: uma célula é N/A somente por um limite documentado do modelo, com o motivo registrado nos logs. Os únicos N/A nos dados finais são os 7 conjuntos de dados do Mitra acima de seu limite de 10.000 linhas.

Limite de contexto do Mitra-v2: em conjuntos de dados binários com mais de 16.384 linhas de treinamento (adult, amazon_employee_access, bank-marketing-full, default_credit, electricity), o Mitra-v2 prediz a partir de uma amostra balanceada por classe de 16.384 linhas de treinamento, sorteada novamente para cada lote de 16.384 linhas de teste. Este é o padrão do TabArena. O limite é 32.768 linhas para multiclasse e regressão, que nenhum conjunto de dados aqui excede.

Métricas de classificação: em cada conjunto de dados, os modelos são classificados de 1 (melhor) a k pela métrica primária; a classificação média de um modelo é a média dessas posições nos conjuntos de dados que ele completou. O gráfico de regime mostra a classificação invertida, k + 1 menos a classificação, portanto, quanto maior, melhor, e 13 significa primeiro entre 13. Os pontos de vitória atribuem o ponto único de cada conjunto de dados à melhor pontuação; empates exatos dividem igualmente, portanto um empate de oito vias paga 0.125 para cada um.

Estatísticas: teste de Friedman mais diferença crítica de Nemenyi sobre os 12 modelos de cobertura completa. O Mitra é excluído porque completou 12 dos 19 conjuntos de dados; incluí-lo cortaria o teste para esses 12. As classificações médias citadas nas seções de modelos vêm deste teste com 12 modelos; a do Mitra é calculada entre todos os 13 modelos em seus 12 conjuntos de dados.

O teste de Friedman resulta em qui-quadrado 165.8, p abaixo de 10^-29. A diferença crítica é CD = q × sqrt(k(k+1) / (6N)), com q = 3.268 em alfa 0.05 para k = 12 modelos e N = 19 conjuntos de dados, resultando CD = 3.82: dois modelos diferem significativamente apenas se suas classificações médias estiverem a mais de 3.82 de distância. Os quatro primeiros vão de 2.16 (LimiX-2) a 3.53 (TabFM), então nenhuma diferença entre eles supera o limiar. A diferença do LimiX-2 para o TabICLv2 é 4.42; a diferença do TabPFN-3.5 para o TabPFN 3 é 3.84. Os intervalos de confiança da classificação média vêm de um bootstrap de 10.000 amostras sobre os conjuntos de dados.

Classificações Elo: cada conjunto de dados é um round-robin entre todos os modelos que o completaram, 1.398 confrontos pareados no total. O modelo com a melhor métrica primária vence a partida (pontuação 1); empates exatos pontuam 0.5 cada.

As fórmulas usam quatro quantidades. R(A) é a classificação atual do modelo A, o número que o gráfico reporta; todo modelo começa com R = 1000. S(A) é a pontuação real que o modelo A obteve em uma partida: 1 para vitória, 0.5 para empate, 0 para derrota. E(A) é a pontuação esperada, a probabilidade de vitória que as classificações atuais preveem para A antes de a partida ser contada. K = 32 é o passo de atualização, que limita o quanto uma única partida pode mover uma classificação.

Antes de uma partida entre os modelos A e B, a pontuação esperada é E(A) = 1 / (1 + 10^((R(B) − R(A)) / 400)): quando as classificações são iguais, ela resulta em 0.5, e se aproxima de 1 conforme a classificação de A avança. Após a partida, a classificação é atualizada por R(A) = R(A) + K × (S(A) − E(A)), portanto A ganha quando vai melhor do que o esperado e perde pontos quando vai pior; uma vitória surpreendente sobre um modelo mais bem classificado paga mais do que uma vitória rotineira sobre um mais fraco. A atualização é de soma zero, então a média do grupo permanece em 1000, e uma classificação perto de 1000, como a de Mitra-v2 977, é lida como um modelo médio neste campo. O divisor 400 define a escala: em uma diferença de 200 pontos, a pontuação esperada é 1 / (1 + 10^(−0.5)) = 0.76, que é de onde vem “vence cerca de 3 de cada 4 partidas”.

Uma única passada de Elo depende da ordem das partidas, e os 19 conjuntos de dados são, eles próprios, uma amostra. Portanto, executamos 1.000 rodadas de bootstrap; cada rodada reamostra os 19 conjuntos de dados com reposição, reconstrói a lista de partidas, embaralha a ordem das partidas e executa o Elo do zero. A classificação publicada é a média entre as rodadas, e os intervalos de 95% são os percentis 2.5 e 97.5, cobrindo tanto a amostragem de conjuntos de dados quanto o ruído de ordenação. O Elo é a visualização resumida; o teste de Friedman e Nemenyi continua sendo o árbitro de significância.

Reprodutibilidade: seed fixa 42, divisões idênticas, resultados por fold e todos os scripts de merge, estatísticas e Elo no repositório do benchmark.

Cite este benchmark

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{kalelioglu2026,
  author = {Kalelioğlu, Berk and Dilmegani, Cem},
  title  = {{Benchmark de Modelos Tabulares: Desempenho em 19 Conjuntos de Dados}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/tabular-models}},
  note   = {AIMultiple. Acessado em 12 outubro 2026}
}

Registro de alterações

3 atualizações

Todas3Geral2Metodologia1

2026

1. 3 jul

   Adicionado TabFM ao benchmark, liderando cada regime de dados.

2. 19 mai

   Substituído TabPFN por TabPFN 3 nos resultados, nas classificações e nas limitações do benchmark.

3. 19 mai

   Substituído o TabPFN pelo TabPFN 3 na lista de modelos avaliados.

Links de referência

1.

AutoGluon Tabular - Foundational Models - AutoGluon 1.6.1 documentation

2.

[2609.17488] LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence

3.

GitHub - NVIDIA/structured-data-models: Foundation Models for Structured Data · GitHub

4.

SAP to Acquire Prior Labs | SAP News Center

SAP

5.

Introducing TabFM: A zero-shot foundation model for tabular data

6.

[2609.22866] Causilo Technical Report

7.

[2602.11139] TabICLv2: A better, faster, scalable, and open tabular foundation model

8.

[2207.01848] TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second

9.

[2609.04540] Mitra-v2 Technical Report

10.

[2502.05564] TabICL: A Tabular Foundation Model for In-Context Learning on Large Data

Berk Kalelioğlu

Pesquisador de IA

Siga-nos

Berk é um Pesquisador de IA na equipe de benchmark da AIMultiple, com foco em IA agêntica, aprendizado de máquina e grandes e pequenos language models (LLMs e SLMs).

Ver perfil completo

Pesquisado por

Cem Dilmegani

Analista Principal

Siga-nos

Cem é o analista principal da AIMultiple desde 2017.

O trabalho de Cem na AIMultiple foi citado por publicações globais líderes, incluindo Business Insider, Forbes, Morning Brew e Washington Post, por empresas globais como Deloitte e HPE, ONGs como o World Economic Forum e organizações supranacionais como a European Commission. [1], [2], [3], [4], [5]

Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas sobre suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização.

Ele liderou a estratégia de tecnologia e as compras de uma operadora de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de deep tech Hypatos, que atingiu uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia líderes como TechCrunch e Business Insider.

Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou como engenheiro da computação pela Bogazici University e possui um MBA pela Columbia Business School.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário