Benchmark de Modelos Tabulares: Desempenho em 19 Conjuntos de Dados
Benchmarkedos 7 modelos de aprendizado tabular amplamente utilizados em 19 conjuntos de dados do mundo real, cobrindo ~260.000 amostras e mais de 250 recursos totais, com tamanhos de conjunto de dados variando de 435 a quase 49.000 linhas.
Nosso objetivo foi entender as famílias de modelos de melhor desempenho para conjuntos de dados de diferentes tamanhos e estruturas (por exemplo, numérico vs. categórico) que compõem uma arquitetura de dados empresarial típica.
Resultados do benchmark de modelos de aprendizado tabular
No gráfico, o modelo vencedor recebe 1 ponto. Em caso de empate, o ponto é dividido igualmente entre os modelos empatados. A taxa de vitória mede com que frequência um modelo termina em primeiro lugar dentro de um regime determinado, fornecendo uma visão mais rigorosa de domínio do que a classificação média.
Diferentes modelos vencem sob diferentes condições estruturais, e a taxa de sucesso varia com o tamanho do conjunto de dados e a composição dos recursos.
Em particular:
- Modelos de fundação são os mais bem-sucedidos quando os dados são limitados
- TabPFN 3 vence tanto em conjuntos de dados grandes + numéricos, superando XGBoost e TabICL
- Em conjuntos de dados grandes + híbridos:
- TabPFN 3 leva 3 de 5 conjuntos de dados, com Regressão Logística (amazon_employee_access) e LightGBM (adult) vencendo os outros
- As lacunas de pontuação entre os quatro principais modelos permanecem estreitas (dentro de 0,5 pontos de ROC-AUC), então a escolha do modelo ainda depende das características dos dados
Isenção de responsabilidade: Os tipos de recursos são categorizados como numéricos ou híbridos com base na representação de entrada dominante após o pré-processamento.
Como interpretar a mistura de conjuntos de dados:
- Faixas de tamanho variam de conjuntos de dados pequenos com menos de 1.000 linhas a conjuntos de dados grandes com mais de 40.000 linhas.
- Tipos de tarefa incluem classificação binária, classificação multiclasse e regressão.
- Tipos de recursos refletem dados empresariais práticos:
- Numérico: principalmente variáveis contínuas ou ordinais
- Híbrido: uma mistura de recursos numéricos e categóricos
Essa variação torna o benchmark bem adequado para entender quais famílias de modelos se desempenham de forma confiável sob diferentes condições.
Você pode ver nossa metodologia abaixo.
Resultados de alto nível por tamanho do conjunto de dados e tipo de recurso
Aqui está como os modelos se comportam em faixas de tamanho de conjunto de dados e tipos de recursos, em vez de focar em pontuações de conjuntos de dados individuais.
Para cada faixa de tamanho de conjunto de dados, o gráfico relata a média ROC-AUC alcançada por cada modelo, separadamente para conjuntos de dados numéricos e híbridos.
Conjuntos de dados pequenos (<1K linhas)
Em conjuntos de dados pequenos, modelos tabulares no estilo de fundação são os mais bem-sucedidos.
- TabPFN 3 e TabICL, os principais modelos de fundação tabular (TFMs), alcançam o desempenho mais forte em conjuntos de dados numéricos e híbridos.
- A lacuna de desempenho é especialmente pronunciada em conjuntos de dados híbridos
- A regressão logística se desempenha competitivamente em dados numéricos, mas degrada-se drasticamente em dados híbridos
Quando os dados são escassos, modelos com forte viés indutivo superam tanto o boosting quanto as bases neurais. Neste regime, o conhecimento prévio e as interações de recursos aprendidas importam mais do que a capacidade do modelo.
Conjuntos de dados médios (1K–10K linhas)
Em conjuntos de dados de tamanho médio, o desempenho geral melhora, mas as diferenças estruturais permanecem.
- A maioria dos modelos se desempenha fortemente em conjuntos de dados numéricos (frequentemente excedendo 97% ROC-AUC)
- Conjuntos de dados híbridos permanecem mais desafiadores.
- Dentro dos TFMs, TabPFN 3 e TabICL continuam a liderar, mas a lacuna para o gradient boosting é mais próxima.
Conjuntos de dados de tamanho médio representam um regime de transição: a densidade de sinal aumenta, mas o viés indutivo ainda fornece uma vantagem mensurável, particularmente em tipos de recursos mistos.
Conjuntos de dados grandes (>10K linhas)
Em escala, os padrões de desempenho mudam.
- Em conjuntos de dados numéricos grandes, TabPFN 3 lidera, seguido por XGBoost e TabICL. TabPFN 3 também vence a tarefa de regressão california_housing, que é relatada na tabela por conjunto de dados e não neste gráfico.
- Em conjuntos de dados grandes + híbridos, o desempenho converge:
- As diferenças são menores e a escolha do modelo torna-se menos óbvia
Em escala, TabPFN 3 fecha a lacuna que anteriormente favorecia o gradient boosting em dados numéricos e estende sua liderança em dados híbridos. O único regime onde o boosting e as bases lineares ainda vencem são dados puramente categóricos de alta cardinalidade, como visto em amazon_employee_access.
Classificação média por regime
Os modelos são classificados dentro de cada regime (tamanho do conjunto de dados × tipo de recurso).
As classificações são normalizadas para que valores mais altos indiquem desempenho relativo mais forte, facilitando comparações entre regimes.
Conjuntos de dados pequenos
Em conjuntos de dados pequenos, modelos no estilo de fundação dominam as classificações.
- TabPFN 3 e TabICL ocupam o primeiro lugar tanto em conjuntos de dados numéricos quanto híbridos, frequentemente empatados
- Modelos de gradient boosting consistentemente ocupam posições próximas ao fundo
- A lacuna entre modelos de fundação e boosting é maior em dados híbridos
A classificação média destaca o mesmo padrão observado no desempenho bruto:
Quando os dados são escassos, priores aprendidos e viés indutivo superam a otimização impulsionada por escala.
Conjuntos de dados médios
Em conjuntos de dados de tamanho médio, as classificações começam a mudar.
- TabPFN 3 e TabICL permanecem no topo em ambos os tipos de recursos, com TabPFN 3 mantendo uma pequena liderança
- CatBoost emerge como uma forte terceira opção em conjuntos de dados híbridos
- Modelos de boosting melhoram sua posição relativa em comparação com o regime de dados pequenos
Este regime reflete um ponto de equilíbrio. O volume de dados aumenta, mas as interações de recursos ainda recompensam modelos com viés indutivo mais forte.
Conjuntos de dados grandes
Em conjuntos de dados grandes, o domínio torna-se específico do regime.
- Grande + numérico:
- TabPFN 3 ocupa o primeiro lugar, com XGBoost e TabICL atrás.
- Grande + híbrido:
- TabPFN 3 leva a classificação média mais alta, mas apenas por uma pequena margem
- LightGBM, TabICL e CatBoost seguem dentro de 1 ponto de classificação um do outro
A classificação média mostra TabPFN 3 liderando em cada regime, embora as lacunas se estreitem em dados híbridos grandes onde vários modelos se agrupam dentro de um ponto de classificação.
Classificações gerais fortes frequentemente mascaram diferenças de desempenho acentuadas entre regimes.
Observações específicas do modelo
Esta seção resume onde cada classe de modelo se desempenha bem e onde luta, com base no conjunto completo de resultados.
Modelos de fundação tabular (TFMs): TabPFN 3 e TabICL
Pontos fortes
- Consistentemente de melhor desempenho em conjuntos de dados pequenos e médios
- Particularmente forte em conjuntos de dados híbridos, onde a estrutura categórica importa
- Altas taxas de vitória em conjuntos de dados pequenos
Limitações
- Ambos os TFMs têm limites de linhas limitados, então não podem ingerir tamanhos de conjunto de dados onde o gradient boosting ainda opera sem subamostragem
- Os TFMs geralmente têm limite de 2.000 recursos ou menos, o que pode ser limitante em tabelas muito largas, mesmo com manipulação nativa de categóricos
- TabICL não suporta regressão, então não pode ser pontuado em conjuntos de dados de regressão
Os TFMs agora cobrem a maioria dos regimes bem. TabPFN 3 em particular se desempenha fortemente em conjuntos de dados pequenos, médios e grandes, com o principal ponto fraco restante sendo dados puramente categóricos de alta cardinalidade.
Modelos de gradient boosting: XGBoost e LightGBM
Pontos fortes
- Competitivo em conjuntos de dados grandes
- Desempenho forte e estável conforme o volume de dados aumenta
- Permanece competitivo em dados híbridos em escala
Limitações
- Desempenho inferior em comparação com modelos de fundação em conjuntos de dados menores
- Requer pré-processamento e ajuste cuidadosos para dados com muitos categóricos
O gradient boosting permanece uma base forte em todos os regimes e o padrão prático para configurações de produção onde as restrições de TFM se aplicam, incluindo restrições de licença, lacunas de suporte de regressão ou limites de linhas/recursos.
CatBoost
Pontos fortes
- Entre modelos não de fundação, geralmente forte em conjuntos de dados híbridos médios e grandes
- Manipulação nativa de categóricos fornece ganhos consistentes
- Raramente se desempenha mal em todos os regimes
Limitações
- Raramente é o melhor desempenho
- Menos dominante em conjuntos de dados puramente numéricos
CatBoost é a escolha não de fundação mais segura quando recursos categóricos dominam. Em dados puramente categóricos de alta cardinalidade, tanto Regressão Logística quanto CatBoost superam TabPFN 3, com Regressão Logística ligeiramente à frente.
RealMLP
Observações
- Raramente vence em todos os regimes
- Frequentemente ocupa posições próximas ao fundo, exceto em um pequeno número de conjuntos de dados
MLPs neurais genéricos lutam com dados tabulares sem viés indutivo forte, reforçando uma lição de longa data em aprendizado de máquina aplicado. 1
Regressão logística (base)
Observações
- Competitivo em conjuntos de dados numéricos pequenos; fica para trás em dados numéricos médios e grandes
- Ocasionalmente vence ou ocupa posições altas em conjuntos de dados híbridos
- O desempenho degrada-se drasticamente quando as interações de recursos dominam
Apesar de sua simplicidade, a regressão logística permanece uma base significativa e não deve ser pulada em benchmarks tabulares.
Adicionar como fonte preferencialPrincipais conclusões do benchmark de modelos de aprendizado tabular
Através de 19 conjuntos de dados, TabPFN 3 é o modelo principal em cada regime que testamos. Ele vence em conjuntos de dados pequenos, médios e grandes, e em dados numéricos e híbridos.
A exceção são dados categóricos de alta cardinalidade, onde Regressão Logística e CatBoost ainda vencem TabPFN 3.
Para equipes escolhendo um modelo tabular, TabPFN 3 é agora o padrão prático para a maioria dos conjuntos de dados. O gradient boosting permanece a base forte quando o conjunto de dados é muito grande ou muito largo para TabPFN 3, ou quando a estrutura de dados favorece modelos como CatBoost.
Fundamentos conceituais de modelos tabulares no estilo de fundação
Modelos tabulares no estilo de fundação visam generalizar entre conjuntos de dados tabulares diversos aprendendo priores fortes sobre estrutura de tabela, interações de recursos e comportamento de tarefa, em vez de otimizar para um único conjunto de dados.
Diferentemente dos modelos tabulares tradicionais, que são treinados independentemente para cada conjunto de dados, abordagens no estilo de fundação são pré-treinadas em grandes coleções de problemas tabulares e depois aplicadas a novos conjuntos de dados através de adaptação em tempo de inferência.
Neste benchmark, TabPFN 3 e TabICL representam duas abordagens proeminentes dentro deste paradigma.
Capacidades principais de modelos tabulares no estilo de fundação
Modelos tabulares no estilo de fundação tipicamente exibem as seguintes capacidades:
- Forte viés indutivo: Ao aprender padrões comuns entre muitos conjuntos de dados tabulares, esses modelos codificam suposições sobre interações de recursos, distribuições de alvo e características de ruído que generalizam bem para problemas não vistos.
- Manipulação unificada de tipos de recursos: Recursos numéricos e categóricos são incorporados em um espaço de representação compartilhado, permitindo que o modelo raciocine sobre tabelas de recursos mistos sem pré-processamento manual extensivo.
- Adaptação em tempo de inferência: Em vez de retreinar, esses modelos se adaptam a novos conjuntos de dados usando exemplos de contexto ou estatísticas de nível de conjunto de dados, permitindo desempenho forte sob escassez de dados.
- Transferência entre tarefas: Um único modelo pré-treinado pode realizar classificação ou regressão em conjuntos de dados anteriormente não vistos, muitas vezes com configuração mínima.
Essas propriedades dão aos modelos no estilo de fundação uma vantagem clara em conjuntos de dados pequenos e médios, onde métodos clássicos não têm dados suficientes para estimar interações de recursos complexas. Lançamentos recentes como TabPFN 3 estendem essa força para conjuntos de dados maiores também, através de limites de linhas e recursos mais altos e manipulação nativa de categóricos.
TabPFN: Ajuste de prior para previsão tabular
TabPFN (Tabular Prior-Data Fitted Network) reformula o aprendizado tabular como um problema de inferência bayesiana.
Em vez de aprender parâmetros para um único conjunto de dados, TabPFN é treinado em milhões de tarefas tabulares sintéticas amostradas de uma distribuição de processos geradores de dados. Durante a inferência, o modelo efetivamente realiza inferência bayesiana amortizada, condicionando-se ao conjunto de dados observado para produzir previsões.
Características principais de TabPFN incluem:
- Uma arquitetura transformer que processa conjuntos de dados inteiros como contexto.
- Treinamento em uma ampla distribuição de tarefas sintéticas para codificar priores de propósito geral.
- Desempenho forte em regimes de baixos dados sem ajuste de hiperparâmetros.2
Na prática, este design permite que TabPFN 3 supere métodos tradicionais de boosting em conjuntos de dados pequenos, médios e grandes no benchmark.
TabPFN 3 estende a abordagem de rede ajustada a prior para lidar com até 100.000 linhas de treinamento e para ingerir recursos categóricos nativamente, duas mudanças que fecham a maior parte da lacuna histórica entre TFMs e gradient boosting em escala.
SAP anunciou sua aquisição da Prior Labs, o grupo de pesquisa por trás do TabPFN, em maio de 2026 e comprometeu mais de €1 bilhão ao longo de quatro anos para operá-lo como um laboratório de pesquisa de IA independente.3
TabICL: Aprendizado em contexto para dados tabulares
TabICL estende a ideia de aprendizado em contexto para previsão tabular.
Em vez de ajustar parâmetros do modelo, TabICL condiciona exemplos do conjunto de dados fornecidos diretamente no contexto de entrada. O modelo aprende a inferir regras de decisão a partir desses exemplos, semelhante à forma como grandes modelos de linguagem realizam aprendizado de poucos exemplos.
Aspectos principais de TabICL incluem:
- Linhas de conjunto de dados codificadas como tokens estruturados
- Adaptação de tarefa através de exemplos de contexto em vez de treinamento baseado em gradiente
- Um único modelo pré-treinado capaz de lidar com tarefas tabulares diversas4
TabICL funciona melhor em conjuntos de dados pequenos. Em conjuntos de dados numéricos grandes, fica para trás de TabPFN 3 e XGBoost.
Esta abordagem permite que TabICL alcance desempenho forte em conjuntos de dados Híbridos, especialmente quando as interações de recursos são complexas e os dados rotulados são limitados.
Onde modelos no estilo de fundação ainda perdem
O padrão anterior era que modelos de fundação se destacavam em dados pequenos e o gradient boosting dominava em escala. TabPFN 3 estreita essa lacuna e agora vence ou lidera em conjuntos de dados grandes também.
O principal regime onde modelos não de fundação ainda vencem são dados puramente categóricos de alta cardinalidade, onde Regressão Logística e CatBoost superam TabPFN 3. Equipes com tais conjuntos de dados devem fazer benchmark de gradient boosting e bases lineares ao lado de modelos de fundação em vez de recorrer a uma única abordagem.
Metodologia do benchmark de modelos de aprendizado tabular
Benchmarkamos 7 modelos de ML em 19 conjuntos de dados tabulares usando validação cruzada estratificada de 5 dobras.
Ambiente: RunPod Cloud Container (Ubuntu 24.04).
Drivers: Cuda 12.8.1, Pytorch 2.8.0
Modelos:
- LogisticRegression – Base linear
- XGBoost – Gradient boosting
- LightGBM – Gradient boosting
- CatBoost – Gradient boosting com suporte nativo a categóricos
- RealMLP – Deep learning (MLP)
- TabPFN 3 – Rede ajustada a prior baseada em transformer
- TabICL – Aprendizado em contexto baseado em transformer
19 conjuntos de dados do OpenML:
- Classificação binária: 15 conjuntos de dados
- Classificação multiclasse: 1 conjunto de dados
- Regressão: 3 conjuntos de dados
- Tamanhos de conjunto de dados variam de ~600 a ~45.000 amostras.
Avaliação
Validação Cruzada
- CV estratificado de 5 dobras para classificação
- CV de 5 dobras para regressão
- Mesma semente aleatória (42) em todos os experimentos
Métricas
Pré-processamento
- Recursos numéricos: StandardScaler
- Recursos categóricos: Codificação one-hot (exceto CatBoost, que lida nativamente)
- Valores ausentes: Imputação mediana (numérico), imputação moda (categórico)
Limitações
- TabPFN 3: ≤2.000 recursos brutos, ≤100.000 linhas de treinamento. Manipulação nativa de categóricos evita explosão one-hot que restringiu versões anteriores
- TabICL: Tarefas de classificação apenas (sem suporte de regressão); sem pontuações registradas nos 3 conjuntos de dados de regressão neste benchmark
Reprodutibilidade
Todos os experimentos usam:
- Semente aleatória fixa: 42
- Mesmas divisões de treino/teste entre modelos
- Hiperparâmetros padrão (sem ajuste)
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{kaleliolu2026,
author = {Kalelioğlu, Berk and Dilmegani, Cem},
title = {{Benchmark de Modelos Tabulares: Desempenho em 19 Conjuntos de Dados}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/tabular-models}},
note = {AIMultiple. Acessado em 3 Julho 2026}
}Resultados e carimbos de data/hora de 8 pontos de dados. Baixe os dados utilizados neste artigo como um arquivo ZIP contendo um arquivo CSV e um README.
Links de referência
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.