Comparativo de Modelos Tabulares: Rendimiento en 19 Conjuntos de Datos

Comparamos 7 modelos de aprendizaje tabular ampliamente utilizados para identificar las familias de modelos de mejor rendimiento en 19 conjuntos de datos reales de diversos tamaños y estructuras, cubriendo ~260,000 muestras y más de 250 características en total, con tamaños de conjunto de datos que van desde 435 hasta casi 49,000 filas.

Resultados del comparativo de modelos de aprendizaje tabular

En el gráfico, el modelo ganador recibe 1 punto. En caso de empate, el punto se comparte equitativamente entre los modelos empatados. La tasa de victoria mide con qué frecuencia un modelo termina primero dentro de un régimen dado, proporcionando una visión más estricta de la dominancia que el rango promedio.

Diferentes modelos ganan bajo diferentes condiciones estructurales, y la tasa de éxito varía con el tamaño del conjunto de datos y la composición de características.

En particular:

• Los modelos fundacionales son los más exitosos cuando los datos son limitados
• TabPFN 3 gana tanto en conjuntos de datos grandes como numéricos, superando a XGBoost y TabICL
• En conjuntos de datos grandes e híbridos:
  • TabPFN 3 se lleva 3 de 5 conjuntos de datos, con Logistic Regression (amazon_employee_access) y LightGBM (adult) ganando los demás
  • Las brechas de puntuación entre los cuatro mejores modelos permanecen estrechas (dentro de 0.5 puntos de ROC-AUC), por lo que la elección del modelo aún depende de las características de los datos

Descargo de responsabilidad: Los tipos de características se categorizan como numéricos o híbridos según la representación de entrada dominante después del preprocesamiento.

Cómo interpretar la mezcla de conjuntos de datos:

• Categorías de tamaño van desde conjuntos de datos pequeños con menos de 1,000 filas hasta conjuntos de datos grandes con más de 40,000 filas.
• Tipos de tarea incluyen clasificación binaria, clasificación multiclase y regresión.
• Tipos de características reflejan datos empresariales prácticos:
  • Numérico: principalmente variables continuas u ordinales
  • Híbrido: una mezcla de características numéricas y categóricas

Esta variación hace que el comparativo sea muy adecuado para comprender qué familias de modelos funcionan de manera confiable bajo diferentes condiciones.

Puedes ver nuestra metodología a continuación.

Resultados de alto nivel por tamaño de conjunto de datos y tipo de característica

Así es como se comportan los modelos en las categorías de tamaño de conjunto de datos y tipos de características, en lugar de centrarse en las puntuaciones individuales de los conjuntos de datos.

Para cada categoría de tamaño de conjunto de datos, el gráfico reporta el ROC-AUC promedio logrado por cada modelo, por separado para conjuntos de datos numéricos e híbridos.

Conjuntos de datos pequeños (<1K filas)

En conjuntos de datos pequeños, los modelos tabulares de estilo fundacional son los más exitosos.

• TabPFN 3 y TabICL, los principales modelos fundacionales tabulares (TFMs), logran el mejor rendimiento tanto en conjuntos de datos numéricos como híbridos.
• La brecha de rendimiento es especialmente pronunciada en conjuntos de datos híbridos
• La regresión logística funciona de manera competitiva en datos numéricos, pero se degrada bruscamente en datos híbridos

Cuando los datos son escasos, los modelos con fuerte sesgo inductivo superan tanto al boosting como a las bases neuronales. En este régimen, el conocimiento previo y las interacciones de características aprendidas importan más que la capacidad del modelo.

Conjuntos de datos medianos (1K–10K filas)

En conjuntos de datos de tamaño mediano, el rendimiento general mejora, pero las diferencias estructurales permanecen.

• La mayoría de los modelos funcionan bien en conjuntos de datos numéricos (a menudo superando el 97% de ROC-AUC)
• Los conjuntos de datos híbridos siguen siendo más desafiantes.
• Dentro de los TFM, TabPFN 3 y TabICL continúan liderando, pero la brecha con el gradient boosting es más estrecha.

Los conjuntos de datos de tamaño mediano representan un régimen de transición: la densidad de señal aumenta, pero el sesgo inductivo aún proporciona una ventaja medible, particularmente en tipos de características mixtos.

Conjuntos de datos grandes (>10K filas)

A escala, los patrones de rendimiento cambian.

• En conjuntos de datos numéricos grandes, TabPFN 3 lidera, seguido de XGBoost y TabICL. TabPFN 3 también gana la tarea de regresión california_housing, que se reporta en la tabla por conjunto de datos en lugar de en este gráfico.
• En conjuntos de datos grandes e híbridos, el rendimiento converge:
  • Las diferencias son menores y la elección del modelo se vuelve menos obvia

A escala, TabPFN 3 cierra la brecha que anteriormente favorecía al gradient boosting en datos numéricos y extiende su ventaja en datos híbridos. El único régimen donde el boosting y las bases lineales aún ganan son los datos puramente categóricos de alta cardinalidad, como se ve en amazon_employee_access.

Rango promedio por régimen

Los modelos se clasifican dentro de cada régimen (tamaño del conjunto de datos × tipo de característica).
Los rangos se normalizan para que los valores más altos indiquen un rendimiento relativo más fuerte, facilitando las comparaciones entre regímenes.

Conjuntos de datos pequeños

En conjuntos de datos pequeños, los modelos de estilo fundacional dominan las clasificaciones.

• TabPFN 3 y TabICL ocupan el primer lugar tanto en conjuntos de datos numéricos como híbridos, a menudo empatados
• Los modelos de gradient boosting se clasifican consistentemente cerca del final
• La brecha entre los modelos fundacionales y el boosting es mayor en datos híbridos

El rango promedio destaca el mismo patrón observado en el rendimiento bruto:
Cuando los datos son escasos, los priores aprendidos y el sesgo inductivo superan a la optimización impulsada por la escala.

Conjuntos de datos medianos

En conjuntos de datos de tamaño mediano, las clasificaciones comienzan a cambiar.

• TabPFN 3 y TabICL permanecen en los primeros lugares en ambos tipos de características, con TabPFN 3 manteniendo una pequeña ventaja
• CatBoost emerge como una tercera opción sólida en conjuntos de datos híbridos
• Los modelos de boosting mejoran su posición relativa en comparación con el régimen de datos pequeños

Este régimen refleja un punto de equilibrio. El volumen de datos aumenta, pero las interacciones de características aún recompensan a los modelos con un sesgo inductivo más fuerte.

Conjuntos de datos grandes

En conjuntos de datos grandes, la dominancia se vuelve específica del régimen.

• Grandes + numéricos:
  • TabPFN 3 ocupa el primer lugar, con XGBoost y TabICL detrás.
• Grandes + híbridos:
  • TabPFN 3 toma el rango promedio superior, pero solo por un margen pequeño
  • LightGBM, TabICL y CatBoost siguen dentro de 1 punto de rango entre sí

El rango promedio muestra a TabPFN 3 liderando en cada régimen, aunque las brechas se estrechan en datos híbridos grandes donde múltiples modelos se agrupan dentro de un punto de rango.
Las clasificaciones generales sólidas a menudo ocultan diferencias de rendimiento agudas entre regímenes.

Observaciones específicas del modelo

Esta sección resume dónde funciona bien cada clase de modelo y dónde tiene dificultades, basándose en el conjunto completo de resultados.

Modelos fundacionales tabulares (TFMs): TabPFN 3 y TabICL

Fortalezas

• Consistentemente de mejor rendimiento en conjuntos de datos pequeños y medianos
• Particularmente fuertes en conjuntos de datos híbridos, donde la estructura categórica importa
• Altas tasas de victoria en conjuntos de datos pequeños

Limitaciones

• Ambos TFM tienen límites de filas acotados, por lo que no pueden ingerir tamaños de conjunto de datos donde el gradient boosting aún opera sin submuestreo
• Los TFM generalmente se limitan a 2,000 características o menos, lo que puede ser limitante en tablas muy anchas, incluso con manejo nativo de categorías
• TabICL no admite regresión, por lo que no puede ser evaluado en conjuntos de datos de regresión

Los TFM ahora cubren bien la mayoría de los regímenes. TabPFN 3 en particular funciona bien en conjuntos de datos pequeños, medianos y grandes, siendo el principal punto débil restante los datos puramente categóricos de alta cardinalidad.

Modelos de gradient boosting: XGBoost y LightGBM

Fortalezas

• Competitivos en conjuntos de datos grandes
• Rendimiento sólido y estable a medida que aumenta el volumen de datos
• Permanecen competitivos en datos híbridos a escala

Limitaciones

• Rendimiento inferior en comparación con los modelos fundacionales en conjuntos de datos más pequeños
• Requieren preprocesamiento y ajuste cuidadosos para datos con muchas categorías

El gradient boosting sigue siendo una base sólida en todos los regímenes y la opción predeterminada práctica para entornos de producción donde se aplican las restricciones de TFM, incluidas las restricciones de licencia, las brechas de soporte de regresión o los límites de filas/características.

CatBoost

Fortalezas

• Entre los modelos no fundacionales, generalmente fuertes en conjuntos de datos híbridos medianos y grandes
• El manejo nativo de categorías proporciona ganancias consistentes
• Raramente funciona mal en todos los regímenes

Limitaciones

• Raramente es el mejor rendimiento
• Menos dominante en conjuntos de datos puramente numéricos

CatBoost es la opción no fundacional más segura cuando las características categóricas dominan. En datos puramente categóricos de alta cardinalidad, tanto la regresión logística como CatBoost superan a TabPFN 3, con la regresión logística ligeramente por delante.

RealMLP

Observaciones

• Raramente gana en todos los regímenes
• A menudo se clasifica cerca del final, excepto en un pequeño número de conjuntos de datos

Las MLP neuronales genéricas tienen dificultades con los datos tabulares sin un fuerte sesgo inductivo, reforzando una lección de larga data en el aprendizaje automático aplicado. ¹

Regresión logística (base)

Observaciones

• Competitiva en conjuntos de datos numéricos pequeños; se queda atrás en datos numéricos medianos y grandes
• Ocasionalmente gana o se clasifica altamente en conjuntos de datos híbridos
• El rendimiento se degrada bruscamente cuando las interacciones de características dominan

A pesar de su simplicidad, la regresión logística sigue siendo una base significativa y no debe omitirse en los comparativos tabulares.

Descubre más de nuestros análisis comparativos e insights basados en datos en la Búsqueda de Google.

Añadir como fuente preferida

Conclusiones clave del comparativo de modelos de aprendizaje tabular

En 19 conjuntos de datos, TabPFN 3 es el mejor modelo en cada régimen que probamos. Gana en conjuntos de datos pequeños, medianos y grandes, y en datos numéricos e híbridos.

La excepción son los datos categóricos de alta cardinalidad, donde la regresión logística y CatBoost aún superan a TabPFN 3.

Para los equipos que eligen un modelo tabular, TabPFN 3 es ahora la opción predeterminada práctica para la mayoría de los conjuntos de datos. El gradient boosting se mantiene como la base sólida cuando el conjunto de datos es demasiado grande o demasiado ancho para TabPFN 3, o cuando la estructura de los datos favorece modelos como CatBoost.

Fundamentos conceptuales de los modelos tabulares de estilo fundacional

Los modelos tabulares de estilo fundacional buscan generalizar en diversos conjuntos de datos tabulares aprendiendo priores fuertes sobre la estructura de la tabla, las interacciones de características y el comportamiento de la tarea, en lugar de optimizar para un solo conjunto de datos.

A diferencia de los modelos tabulares tradicionales, que se entrenan de forma independiente para cada conjunto de datos, los enfoques de estilo fundacional se preentrenan en grandes colecciones de problemas tabulares y luego se aplican a nuevos conjuntos de datos a través de adaptación en tiempo de inferencia.

En este comparativo, TabPFN 3 y TabICL representan dos enfoques prominentes dentro de este paradigma.

Capacidades clave de los modelos tabulares de estilo fundacional

Los modelos tabulares de estilo fundacional típicamente exhiben las siguientes capacidades:

• Fuerte sesgo inductivo: Al aprender patrones comunes en muchos conjuntos de datos tabulares, estos modelos codifican suposiciones sobre interacciones de características, distribuciones objetivo y características de ruido que se generalizan bien a problemas no vistos.
• Manejo unificado de tipos de características: Las características numéricas y categóricas se incrustan en un espacio de representación compartido, permitiendo que el modelo razone sobre tablas de características mixtas sin un extenso preprocesamiento manual.
• Adaptación en tiempo de inferencia: En lugar de reentrenar, estos modelos se adaptan a nuevos conjuntos de datos usando ejemplos de contexto o estadísticas a nivel de conjunto de datos, permitiendo un rendimiento sólido bajo escasez de datos.
• Transferencia entre tareas: Un solo modelo preentrenado puede realizar clasificación o regresión en conjuntos de datos previamente no vistos, a menudo con una configuración mínima.

Estas propiedades dan a los modelos de estilo fundacional una clara ventaja en conjuntos de datos pequeños y medianos, donde los métodos clásicos no tienen suficientes datos para estimar interacciones de características complejas. Lanzamientos recientes como TabPFN 3 extienden esa fortaleza a conjuntos de datos más grandes también, a través de límites de filas y características más altos y manejo nativo de categorías.

TabPFN: Ajuste de datos previos para predicción tabular

TabPFN (Tabular Prior-Data Fitted Network) replantea el aprendizaje tabular como un problema de inferencia bayesiana.

En lugar de aprender parámetros para un solo conjunto de datos, TabPFN se entrena en millones de tareas tabulares sintéticas muestreadas de una distribución de procesos generadores de datos. Durante la inferencia, el modelo efectivamente realiza inferencia bayesiana amortizada, condicionando en el conjunto de datos observado para producir predicciones.

Las características clave de TabPFN incluyen:

• Una arquitectura de transformador que procesa conjuntos de datos completos como contexto.
• Entrenamiento en una amplia distribución de tareas sintéticas para codificar priores de propósito general.
• Rendimiento sólido en regímenes de bajos datos sin ajuste de hiperparámetros.²

En la práctica, este diseño permite que TabPFN 3 supere a los métodos de boosting tradicionales en conjuntos de datos pequeños, medianos y grandes en el comparativo.

TabPFN 3 extiende el enfoque de red ajustada a datos previos para manejar hasta 100,000 filas de entrenamiento e ingerir características categóricas de forma nativa, dos cambios que cierran la mayor parte de la brecha histórica entre TFM y gradient boosting a escala.

SAP anunció su adquisición de Prior Labs, el grupo de investigación detrás de TabPFN, en mayo de 2026 y se comprometió a invertir más de 1 mil millones de euros durante cuatro años para operarlo como un laboratorio de investigación de IA independiente.³

TabICL: Aprendizaje en contexto para datos tabulares

TabICL extiende la idea de aprendizaje en contexto a la predicción tabular.

En lugar de ajustar parámetros del modelo, TabICL se condiciona en ejemplos del conjunto de datos proporcionados directamente en el contexto de entrada. El modelo aprende a inferir reglas de decisión a partir de estos ejemplos, similar a cómo los modelos de lenguaje grandes realizan aprendizaje de pocos ejemplos.

Los aspectos clave de TabICL incluyen:

• Filas del conjunto de datos codificadas como tokens estructurados
• Adaptación de tarea a través de ejemplos de contexto en lugar de entrenamiento basado en gradientes
• Un solo modelo preentrenado capaz de manejar diversas tareas tabulares⁴

TabICL funciona mejor en conjuntos de datos pequeños. En conjuntos de datos numéricos grandes, se queda atrás de TabPFN 3 y XGBoost.

Este enfoque permite que TabICL logre un rendimiento sólido en conjuntos de datos híbridos, especialmente cuando las interacciones de características son complejas y los datos etiquetados son limitados.

Dónde los modelos de estilo fundacional aún pierden

El patrón anterior era que los modelos fundacionales sobresalían en datos pequeños y el gradient boosting dominaba a escala. TabPFN 3 estrecha esta brecha y ahora gana o lidera en conjuntos de datos grandes también.

El régimen principal donde los modelos no fundacionales aún ganan son los datos puramente categóricos de alta cardinalidad, donde la regresión logística y CatBoost superan a TabPFN 3. Los equipos con tales conjuntos de datos deben comparar el gradient boosting y las bases lineales junto con los modelos fundacionales en lugar de optar por un solo enfoque.

Metodología del comparativo de modelos de aprendizaje tabular

Comparamos 7 modelos de ML en 19 conjuntos de datos tabulares usando validación cruzada estratificada de 5 pliegues.

Entorno: RunPod Cloud Container (Ubuntu 24.04).

Controladores: Cuda 12.8.1, Pytorch 2.8.0

Modelos:

• LogisticRegression – Base lineal
• XGBoost – Gradient boosting
• LightGBM – Gradient boosting
• CatBoost – Gradient boosting con soporte nativo de categorías
• RealMLP – Aprendizaje profundo (MLP)
• TabPFN 3 – Red ajustada a datos previos basada en transformador
• TabICL – Aprendizaje en contexto basado en transformador

19 conjuntos de datos de OpenML:

• Clasificación binaria: 15 conjuntos de datos
• Clasificación multiclase: 1 conjunto de datos
• Regresión: 3 conjuntos de datos
• Los tamaños de los conjuntos de datos van desde ~600 hasta ~45,000 muestras.

Evaluación

Validación cruzada

• CV estratificado de 5 pliegues para clasificación
• CV de 5 pliegues para regresión
• Misma semilla aleatoria (42) en todos los experimentos

Métricas

Preprocesamiento

• Características numéricas: StandardScaler
• Características categóricas: Codificación one-hot (excepto CatBoost, que lo maneja de forma nativa)
• Valores faltantes: Imputación mediana (numérico), imputación moda (categórico)

Limitaciones

• TabPFN 3: ≤2,000 características sin procesar, ≤100,000 filas de entrenamiento. El manejo nativo de categorías evita la explosión one-hot que limitaba versiones anteriores
• TabICL: Solo tareas de clasificación (sin soporte de regresión); no se registraron puntuaciones en los 3 conjuntos de datos de regresión en este comparativo

Reproducibilidad

Todos los experimentos usan:

• Semilla aleatoria fija: 42
• Mismas divisiones de entrenamiento/prueba en todos los modelos
• Hiperparámetros predeterminados (sin ajuste)

Cita este benchmark

Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.

@misc{kaleliolu2026,
  author = {Kalelioğlu, Berk and Dilmegani, Cem},
  title  = {{Comparativo de Modelos Tabulares: Rendimiento en 19 Conjuntos de Datos}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/tabular-models}},
  note   = {AIMultiple. Recuperado el 3 de Julio de 2026}
}

Enlaces de referencia

1.

Introducing TabFM: A zero-shot foundation model for tabular data

2.

AutoGluon Tabular - Foundational Models - AutoGluon 1.5.0 documentation

3.

Pricing | Runpod

Runpod

4.

[2602.11139] TabICLv2: A better, faster, scalable, and open tabular foundation model

Berk Kalelioğlu

Investigador de IA

Síguenos

Berk es un investigador de IA en AIMultiple, centrándose en sistemas de IA agentiva y modelos de lenguaje.

Ver perfil completo

Investigado por

Cem Dilmegani

Analista principal

Síguenos

Cem ha sido el analista principal de AIMultiple desde 2017. AIMultiple informa a cientos de miles de empresas (según similarWeb), incluyendo el 55% de las empresas Fortune 500 cada mes. El trabajo de Cem ha sido citado por importantes publicaciones globales como Business Insider, Forbes, Washington Post, firmas globales como Deloitte, HPE y ONG como el Foro Económico Mundial y organizaciones supranacionales como la Comisión Europea. Puede consultar más empresas y recursos de renombre que citan a AIMultiple. A lo largo de su carrera, Cem se desempeñó como consultor, comprador y emprendedor tecnológico. Asesoró a empresas en sus decisiones tecnológicas en McKinsey & Company y Altman Solon durante más de una década. También publicó un informe de McKinsey sobre digitalización. Lideró la estrategia y adquisición de tecnología de una empresa de telecomunicaciones, reportando directamente al CEO. Asimismo, lideró el crecimiento comercial de la empresa de tecnología avanzada Hypatos, que alcanzó ingresos recurrentes anuales de siete cifras y una valoración de nueve cifras partiendo de cero en tan solo dos años. El trabajo de Cem en Hypatos fue reseñado por importantes publicaciones tecnológicas como TechCrunch y Business Insider. Cem participa regularmente como ponente en conferencias internacionales de tecnología. Se graduó en ingeniería informática por la Universidad de Bogazici y posee un MBA de la Columbia Business School.

Ver perfil completo

Sé el primero en comentar

Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.

Nombre

Dirección de correo electrónico

Comentario

0/450

Publicar comentario