Premium
Servicios
Premium

Benchmark de clasificación de series temporales: Foundation Models frente a métodos clásicos

Berk Kalelioğlu
Berk Kalelioğlu
actualizado el 24 de ago. de 2026

Evaluamos 13 métodos de clasificación de series temporales, desde foundation models de series temporales preentrenados hasta una línea base de 22 características de 2019, en 33 datasets UCR/UEA bajo un único protocolo congelado. Es decir, 14.638 celdas registradas de método-dataset-remuestreo, 11.874 de ellas puntuadas.

Resultados del benchmark TSC

Mean accuracy
*Mean accuracy over the 15 univariate datasets all 12 methods completed, 5 train/test splits each.
Mean accuracy
NameMean accuracy
RocketPFN0.9047
HIVE-COTE 20.8976
MultiRocket0.8897
Hydra0.8771
MiniRocket0.8755
MOMENT0.8529
Chronos-20.8348
TiRex0.8258
catch220.8059
Mantis-V20.7874
TiCT0.7759
DTW-1NN0.7563

El gráfico compara 12 métodos en los 15 datasets univariados que todos completaron, cada dataset ejecutado con las mismas 5 divisiones de entrenamiento/prueba. Las barras están ordenadas por exactitud media. La tabla siguiente también incluye el rango medio, la posición promedio que ocupa un método dentro de un dataset, y presenta los mismos 12 en un orden diferente.

No hay un único ganador. HIVE-COTE 2 ocupa el primer lugar en rango medio (2.400) y RocketPFN el primero en exactitud media (0.905). Bajo un bootstrap de datasets con 5.000 extracciones, el primer lugar corresponde a HIVE-COTE 2 en el 46,6 % de las extracciones, a RocketPFN en el 45,5 % y a MultiRocket en el 7,9 %. Las dos ordenaciones no coinciden y el bootstrap se divide casi por igual, de modo que nombrar a cualquiera de los dos sería un artefacto de la métrica elegida.

El grupo superior es más pequeño de lo que sugiere la tabla. El clique de Wilcoxon-Holm es HIVE-COTE 2, RocketPFN, MultiRocket y Hydra. MiniRocket, seis décimas de rango por detrás de Hydra en 4.700, no está en él: la pertenencia proviene de las pruebas pareadas corregidas, no de dónde caen los números de rango.

En este panel las transformaciones ocupan los rangos 3, 4 y 5, y los models preentrenados ocupan 6, 7, 8 y 10. MOMENT, el model preentrenado mejor clasificado con 6.633, queda casi dos rangos completos por debajo de MiniRocket.

catch22, publicado en 2019 con 22 características fijas, se sitúa dentro de la banda de los preentrenados en 8.700, por delante de Mantis-V2 (9.733) y por detrás de TiRex (8.433). A plena profundidad de 30 remuestreos permanece en esa banda, tanto en el panel de 18 datasets que aparece más abajo, en 7.222, como en una variante de 27 datasets y ocho métodos que excluye a RocketPFN.

El rango y la exactitud tampoco coinciden en la parte inferior. DTW-1NN tiene una exactitud media peor que TiCT (0.756 frente a 0.776) y un mejor rango medio (9.900 frente a 10.200). La métrica que se informe cambia el orden en ambas mitades de la tabla.

Solo el centro de la tabla es estable. Eliminar cualquier dataset individual cambia el orden en 10 de 15 casos. Seis de ellos son el intercambio entre HIVE-COTE 2 y RocketPFN; Mantis-V2 y DTW-1NN alternan posiciones en seis, y DTW-1NN y TiCT en dos. Las posiciones 3 a 9 nunca se mueven.

La métrica de comparación es la exactitud porque la métrica primaria declarada, ROC-AUC, no está disponible para 6 de los 7 foundation models de referencia. El panel es solo univariado: TiCT y RocketPFN no tienen soporte multivariado nativo, de modo que la regla de caso completo elimina los 10 datasets multivariados. Las filas de foundation models miden esos models bajo un único protocolo de transferencia congelado. TimEE no lleva rango, por el motivo que se indica más abajo. Una participación de primer lugar en bootstrap es la frecuencia con la que un método ocupa el primer puesto en colecciones de datasets remuestreadas, y nada más.

La ordenación en sí replica el bake-off de 2024, que estableció que HIVE-COTE 2 y la familia ROCKET lideran esta clase de problema e indica que HIVE-COTE 2 es mucho más lento.1 La contribución aquí es una medición controlada de forma independiente sobre una lista de 2026 bajo un protocolo común, con las separaciones cuantificadas tras la corrección por familia.

RocketPFN son características ROCKET pasadas a TabPFN,2 un model tabular en contexto en lugar de un foundation model de series temporales preentrenado, de modo que su posición por encima de las filas preentrenadas no dice nada sobre esa clase.

Con qué frecuencia ocupa cada método el primer lugar

No method ranks first in most redraws
NameFirst-place share
HIVE-COTE 246.6
RocketPFN45.5
MultiRocket7.9

Cada barra es la proporción de 5.000 reextracciones aleatorias de los 15 datasets, con repeticiones permitidas, en las que un método ocupa el primer lugar. Nueve de los 12 métodos nunca lo hacen y no se dibujan. Las reextracciones se ejecutan con la semilla 1729. El primer puesto varía según qué datasets se extraen, y las proporciones no dicen nada sobre qué tan separados están los métodos.

Una calificación de Bradley-Terry modela la probabilidad de que cada método venza a otro en un dataset y no puede fabricar un ganador que las pruebas de significación no hayan encontrado. Califica a HIVE-COTE 2 con 1384.6, a RocketPFN con 1380.6 y a MultiRocket con 1338.3, ocupando cada uno del primero al tercer puesto a lo largo de las reextracciones. El ancla de 1000 es relativa a estos 15 datasets, y una calificación es la probabilidad modelada de ganar un dataset, no puntos de exactitud.

Las pruebas congeladas de Wilcoxon-Holm, corregidas por ejecutar muchas comparaciones a la vez, no detectan diferencias entre HIVE-COTE 2, RocketPFN, MultiRocket y Hydra. Eso no es evidencia de que rindan por igual. Hydra ocupa el cuarto o quinto lugar a lo largo de las reextracciones, lo que tampoco lo separa de los tres primeros. Esas posiciones summarize estabilidad, no significación. No se respalda un ganador único.

Qué brechas sobreviven a la corrección

Pairwise contrasts: only 6 of 19 survive Holm
NameMean accuracy difference (A - B)Share of shared datasets won by AWins/lossesp (Holm)Shared datasetsStatus
hc2 vs rocketpfn-0.00710.42866/8115inconclusive
hc2 vs multirocket0.01190.666718/9128inconclusive
rocketpfn vs multirocket0.01310.647111/6118inconclusive
multirocket vs moment-probe0.04880.892925/30.00018828survives Holm
minirocket vs moment-probe0.03640.857124/40.0078828survives Holm
hydra vs moment-probe0.03320.785722/60.023928survives Holm
multirocket vs chronos-probe0.0517128/01.42e-0728survives Holm
multirocket vs tirex-probe0.0587128/01.42e-0728survives Holm
multirocket vs mantis-v20.07810.888924/30.00030127survives Holm
dtw1nn vs tict-0.02080.3818/13121inconclusive
dtw1nn vs moment-probe-0.05460.29638/190.22927inconclusive
dtw1nn vs chronos-probe-0.05140.29638/190.083927inconclusive
dtw1nn vs tirex-probe-0.04430.33339/180.16427inconclusive
dtw1nn vs mantis-v2-0.02350.423111/15126inconclusive
dtw1nn vs moment-probe (multivariate)0.01190.66/4110inconclusive
dtw1nn vs chronos-probe (multivariate)-0.00980.55/5110inconclusive
dtw1nn vs tirex-probe (multivariate)-0.00740.44/6110inconclusive
dtw1nn vs mantis-v2 (multivariate)-0.01830.33333/619inconclusive
multirocket vs moment-probe (multivariate)0.07220.99/10.16410inconclusive

Se inspeccionaron diecinueve contrastes por pares y seis sobreviven a la corrección de Holm. Cada punto lleva su intervalo del 95 % y el valor p ajustado por Holm en la información sobre herramientas; esos intervalos son resúmenes de bootstrap de datasets y no están ajustados por multiplicidad, de modo que solo los valores p llevan Holm.

Cada contraste que sobrevive es una transformación convolucional que vence a un model preentrenado.

MultiRocket arrasa en dos de ellos sin perder un dataset. 28 victorias a 0 contra Chronos-2 y TiRex, con p = 1.4e-07.

Trece contrastes no son concluyentes, lo cual no es evidencia de que no haya diferencias. Nada que involucre a DTW-1NN sobrevive a la corrección, y nada en el subconjunto multivariado lo hace.

Cada fila se calcula sobre los datasets que comparte el par, no sobre un panel común, de modo que las filas no son una tabla de clasificación y no pueden leerse unas contra otras.

Los resultados de los foundation models dependen de un protocolo de transferencia: agrupación media de la capa final con una sonda logística, aplicada de forma idéntica a MOMENT, Chronos-2, TiRex y Mantis-V2 y congelada antes de cualquier celda puntuada. Un brazo post hoc, rank-free, cambió la extracción de capas de TiRex y movió la exactitud media de 0.793 a 0.805, 1.13 puntos porcentuales, con 23 de 30 datasets que mejoraron y siete que empeoraron. La mayor pérdida, Heartbeat con 7.98 puntos, no mejoró en ninguno de sus 30 remuestreos, de modo que la media oculta un resultado que se invierte según el dataset. Los detalles están en el apéndice.

Seis veces la profundidad de división

The order holds at six times the depth
NameMean accuracy
RocketPFN0.9164
MultiRocket0.9018
Hydra0.8917
MiniRocket0.8881
MOMENT0.8656
Chronos-20.8521
TiRex0.8424
catch220.8202
Mantis-V20.8037

Cada tabla anterior ejecuta 5 divisiones de entrenamiento/prueba, porque HIVE-COTE 2 y DTW-1NN ejecutan solo esas cinco bajo la excepción congelada de celdas costosas y la regla de remuestreo emparejado reduce el resto para igualarlas. Las barras muestran la exactitud media en las 30 divisiones, y el rango medio da el mismo orden. Si se descartan esos dos, los nueve métodos restantes ejecutan los 30 remuestreos estratificados con semilla en 18 datasets, la profundidad que usa el bake-off.

El orden se mantiene. RocketPFN 1.694, MultiRocket 2.250, Hydra 2.889 y MiniRocket 3.833 ocupan los cuatro primeros lugares, los cuatro basados en características convolucionales aleatorias. Después MOMENT 5.889, Chronos-2 6.444 y TiRex 7.056, con catch22 en 7.222 y Mantis-V2 en 7.722. El chi-cuadrado de Friedman es 105.067 con p = 3.9e-19. Las cinco divisiones no lo fabricaron.

Los dos bloques se separan claramente a esta profundidad. El rango de bootstrap del 95 % de MiniRocket alcanza 4.278 y el de MOMENT comienza en 5.111 y, en todas las 5.000 extracciones de bootstrap, ningún rango medio de un model preentrenado cruzó al rango del bloque convolucional.

Diez de los doce pares de transformación contra preentrenado sobreviven aquí a la corrección de Holm. Los dos que no lo hacen, MiniRocket sobre MOMENT con p = 0.108 y Hydra sobre MOMENT con p = 0.105, sobreviven ambos en el panel primario. Holm cubre la propia familia de 36 pares de este panel, de modo que ese recuento y los seis supervivientes del panel primario responden a preguntas diferentes.

El primer puesto no queda más resuelto. RocketPFN lo obtiene en el 92,9 % de las 5.000 extracciones de bootstrap de datasets, frente al 46,6 % y el 45,5 % en el panel primario, pero HIVE-COTE 2, el método con el que comparte el primer puesto allí, está ausente aquí. El clique superior sigue teniendo tres integrantes: RocketPFN, MultiRocket y Hydra. MiniRocket vuelve a quedar fuera, compartiendo un clique con MOMENT.

Esto es una comprobación de profundidad, no una replicación independiente. Los 18 datasets contienen los 15 del panel primario más ElectricDevices, StarLightCurves y UWaveGestureLibraryAll, de modo que la fragilidad ante la eliminación de un dataset mencionada antes se mantiene. Es solo univariado por la misma razón, al estar RocketPFN presente. Lo que descarta es una ordenación que dependa de cinco divisiones concretas.

La composición del lote cambia las predicciones de TimEE

TimEE agreement across two machines by metric and test-set size
Metric and test-set size n_test (the harness calls in batches of 512)CellsShare of cells with identical results
Accuracy270 / 2701
Accuracy >512146 / 3250.4492
ROC-AUC221 / 2700.8185
ROC-AUC >51212 / 3080.039

TimEE es un clasificador en contexto cuyo titular publicado es el primer puesto en ROC-AUC en el benchmark UCR.3 Lo ejecutamos en dos máquinas y comparamos resultados a nivel de celda.

La concordancia se rompe exactamente en el tamaño de lote del arnés de 512. La exactitud es idéntica en 270 de 270 celdas donde el conjunto de prueba cabe en una llamada, y en 146 de 325 celdas donde no cabe. Para ROC-AUC la división es 221 de 270 frente a 12 de 308. Las dos máquinas difieren en hardware en ambos estratos, de modo que ningún estrato por sí solo prueba nada; el contraste entre ellos es la evidencia.

TimEE cross-machine agreement against test-set size
NameSeriesTest-set size (log scale, call threshold 512)Share of resamples with identical resultsIdentical
ChinatownAccuracy343130 / 30
ChlorineConcentrationAccuracy38400.16675 / 30
ComputersAccuracy250130 / 30
ECG5000Accuracy45000.515 / 30
EOGHorizontalSignalAccuracy362130 / 30
EarthquakesAccuracy139130 / 30
ElectricDevicesAccuracy771100 / 2
EthanolLevelAccuracy500130 / 30
FordAAccuracy13200.26 / 30
FordBAccuracy8100.13334 / 30
GunPointAccuracy150130 / 30
HapticsAccuracy308130 / 30
InsectWingbeatSoundAccuracy19800.23337 / 30
ItalyPowerDemandAccuracy10290.933328 / 30
LargeKitchenAppliancesAccuracy375130 / 30
NonInvasiveFetalECGThorax1Accuracy19650.63 / 5
PhonemeAccuracy18960.44448 / 18
StarLightCurvesAccuracy82360.26 / 30
StrawberryAccuracy370130 / 30
TwoPatternsAccuracy40000.733322 / 30
UWaveGestureLibraryAllAccuracy35820.566717 / 30
WaferAccuracy61640.833325 / 30
ChinatownROC-AUC343130 / 30
ChlorineConcentrationROC-AUC384000 / 30
ComputersROC-AUC2500.966729 / 30
ECG5000ROC-AUC450000 / 30
EOGHorizontalSignalROC-AUC362130 / 30
EarthquakesROC-AUC1390.333310 / 30
ElectricDevicesROC-AUC771100 / 2
EthanolLevelROC-AUC5000.333310 / 30
FordAROC-AUC132000 / 30
FordBROC-AUC81000 / 30
GunPointROC-AUC150130 / 30
HapticsROC-AUC3080.933328 / 30
InsectWingbeatSoundROC-AUC198000 / 30
ItalyPowerDemandROC-AUC10290.06672 / 30
LargeKitchenAppliancesROC-AUC3750.927 / 30
NonInvasiveFetalECGThorax1ROC-AUC196500 / 5
PhonemeROC-AUC189600 / 1
StarLightCurvesROC-AUC823600 / 30
StrawberryROC-AUC3700.927 / 30
TwoPatternsROC-AUC400000 / 30
UWaveGestureLibraryAllROC-AUC358200 / 30
WaferROC-AUC61640.333310 / 30

Por dataset, la ruptura es más marcada de lo que sugieren los totales por estrato. Cada dataset cuyo conjunto de prueba cabe en una llamada concuerda en exactitud en 30 de 30 remuestreos, y ningún dataset por encima del umbral alcanza 30 de 30. ROC-AUC es peor en ambos lados de la línea, y cae por debajo de la mitad en dos datasets lo bastante pequeños como para caber.

El mecanismo está en el código fuente. La función de embedding estadístico calcula el z-score de cada característica en cada fila de la llamada de inferencia, tanto en las filas de soporte como en las de consulta, sin ninguna protección que separe las posiciones de entrenamiento de las de evaluación. Treinta líneas después, el mismo archivo aplica exactamente esa protección a otro paso de normalización. Un intercambio controlado de pares lo confirma: al mantener fija una consulta ancla y reemplazar las otras 511 consultas de su llamada, la probabilidad predicha del ancla cambia en 1.163e-04, frente a un ruido de repetición exactamente cero. TiCT y RocketPFN, probados de forma idéntica, son bit a bit idénticos bajo el mismo intercambio.

Por lo tanto, una predicción de TimEE no es una función únicamente de la serie de entrada. Sus puntuaciones son reproducibles con una composición de lote fija, de modo que no puede recibir un rango equiparable frente a clasificadores inductivos y este benchmark lo presenta sin uno. Esto matiza la afirmación publicada sobre ROC-AUC, ya que ROC-AUC se calcula exactamente a partir de las probabilidades que se ha demostrado dependen de la llamada. No muestra que las puntuaciones estén infladas en ninguna dirección, no cambia el rango publicado, que se obtuvo en una tabla de clasificación que no poseemos, y cubre la versión que inspeccionamos.

Tres de las cuatro vías de detección no requieren acceso al código fuente. Repetir una celda dos veces, intercambiar los compañeros de lote en torno a un ancla fija y comparar los resultados en dos máquinas estratificadas por el límite del lote. Un trabajo publicado relacionado agrupa la inferencia de redes preajustadas por consultas de prueba agrupadas por eficiencia y no informa dependencia de la composición.4

Resultados del panel multivariado

Panel-specific mean ranks
NameEvaluation panelMean rank (lower is better)Mean accuracy
catch22Wide panel (N=24)6.850.7932
catch22UEA multivariate (N=9)5.670.7718
chronos-probeWide panel (N=24)7.10.8055
chronos-probeUEA multivariate (N=9)7.560.7566
dtw1nnWide panel (N=24)7.960.7542
dtw1nnUEA multivariate (N=9)7.330.7508
hc2Wide panel (N=24)1.730.8735
hc2UEA multivariate (N=9)1.670.8334
hydraWide panel (N=24)3.940.8454
hydraUEA multivariate (N=9)4.890.7925
mantis-v2Wide panel (N=24)7.210.7806
mantis-v2UEA multivariate (N=9)5.440.7691
minirocketWide panel (N=24)3.690.846
minirocketUEA multivariate (N=9)3.560.7967
moment-probeWide panel (N=24)6.730.8093
moment-probeUEA multivariate (N=9)8.670.7365
multirocketWide panel (N=24)2.480.858
multirocketUEA multivariate (N=9)30.8052
tirex-probeWide panel (N=24)7.310.7983
tirex-probeUEA multivariate (N=9)7.220.7524

Una lista corta construida sobre el panel amplio no se transfiere a los datos multivariados. MOMENT es el último de diez en el panel multivariado de 9 datasets, mientras que es el model preentrenado mejor clasificado en el panel amplio de 24 datasets con 6.729. Mantis-V2 va en la dirección opuesta: 5.444 en el panel multivariado frente a 7.208 en el amplio.

Esto no es un efecto de modalidad. El panel amplio contiene los datasets multivariados como un subconjunto, de modo que el movimiento es un contraste entre dos listas de distinto tamaño y composición de tareas, no algo medido dentro de ninguno de los métodos. Con N=9 y ningún contraste que sobreviva a la corrección, hay que leerlo como una advertencia contra llevar una lista corta del panel amplio a un despliegue multivariado, no como un resultado de selección.

Resultados de divisiones agrupadas por sujeto

SleepEDF: random splits report higher and far more stable accuracy
NameMean window accuracy across foldsFold-to-fold standard deviationFoldsSubject-macro meanSubject-macro SD
catch22 grouped0.73220.020250.72820.019
catch22 random0.79220.0022100.78810.0024
MiniRocket grouped0.79970.007950.79790.0077
MiniRocket random0.82990.000980.82710.0011

Los archivos UCR y UEA incluyen divisiones fijas de entrenamiento/prueba definidas sobre series individuales, sin anotación de sujeto ni de origen sobre la cual dividir,56 de modo que remuestrearlos reordena series en lugar de sujetos. En la clasificación de etapas de sueño SleepEDF, donde un sujeto aporta muchas ventanas, también dividimos por sujeto. MiniRocket conserva 8 de 10 pliegues aleatorios debido al corte de congelación.

La división aleatoria reporta una exactitud más alta, en 0.060 para catch22 y en 0.030 para MiniRocket.

La compresión de la varianza es la mitad más transferible. La variabilidad de un pliegue a otro es aproximadamente de siete a nueve veces menor bajo división aleatoria que bajo agrupación por sujeto, tanto en la exactitud por ventana como en la exactitud macro por sujeto. Un model seleccionado con divisiones aleatorias parece mejor y más estable que el mismo model evaluado de la forma en que se desplegará, sobre sujetos no vistos.

Informamos de una brecha asociada a la división, nunca de fuga. Los datos no pueden decir si la brecha proviene de una fuga de identidad del sujeto o de una variación genuina en la dificultad del sujeto y en la mezcla de etapas, y las divisiones aleatorias distribuyen esa variación en cada conjunto de prueba, lo que estabiliza mecánicamente la exactitud. El experimento que separaría ambas cosas, épocas de prueba idénticas bajo conjuntos de entrenamiento que contengan y no contengan a los sujetos de prueba, se ejecutó en PTB-XL y se descartó de SleepEDF por cómputo. El propio PTB-XL conserva un 14,9 % de superposición del mismo sujeto bajo división aleatoria, de modo que es un comparador de baja superposición, no un control nulo.

Datos desequilibrados: Earthquakes

Earthquakes: accuracy vs balanced accuracy
NameAccuracyBalanced accuracyN resamples
catch220.78350.499630
dtw1nn0.71940.54535
hydra0.77820.512230
minirocket0.76620.518730
multirocket0.78320.522930

La exactitud oculta una clasificación cercana al azar. Todos los métodos del carril CPU reportan una exactitud de 0.72 a 0.78 en Earthquakes, mientras que la exactitud equilibrada va de 0.4996 a 0.5453. Hay que leer 0.5 como azar solo en el eje de exactitud equilibrada; el azar para la exactitud ordinaria depende de la prevalencia de las clases.

El método con la exactitud más alta tiene la exactitud equilibrada más baja. catch22 con una exactitud de 0.783 obtiene 0.4996 equilibrada, numéricamente justo por debajo de 0.5. No se midió si literalmente predice la clase mayoritaria; la cifra citada no lleva incertidumbre ni una prueba frente a 0.5.

La inversión es local, no una propiedad del método. En todo el panel, catch22 es claramente el último en exactitud equilibrada, 0.726 frente al 0.806 de MultiRocket. La exactitud equilibrada es aquí una métrica post hoc, calculada después de la congelación a partir de predicciones archivadas. DTW-1NN lleva 5 remuestreos frente a los 30 de los otros cuatro métodos, de modo que su punto se apoya en menos evidencia.

Etiquetas duras, no probabilidades

Cuatro de los seis métodos del carril CPU no devuelven probabilidad. MiniRocket, MultiRocket, Hydra y DTW-1NN ponen 1 en la clase predicha y 0 en el resto, de modo que su pérdida logarítmica es exactitud con otro nombre. Es igual a la tasa de error multiplicada por 36.0437 en todas las 2.465 celdas donde se registró la pérdida logarítmica, dentro de 7.1e-15. Esa constante es la penalización que scikit-learn asigna a una probabilidad cero en la clase verdadera.

La receta se comporta como está documentado. Los tres clasificadores convolucionales usan por defecto una cabeza de ridge sin salida de probabilidad, y la biblioteca llena el hueco con un vector one-hot; DTW-1NN con un vecino tiene la misma forma por construcción.7

La ROC-AUC calculada para ellos mide, por tanto, la etiqueta, no una ordenación. En los 27 datasets donde los seis tienen ROC-AUC completa, catch22 registra 0.884 frente al 0.866 de MultiRocket, mientras queda 7.2 puntos de exactitud por detrás, 0.782 frente a 0.854. Hay que leerlo como que catch22 tiene una puntuación utilizable y MultiRocket no tiene ninguna, no como que catch22 ordena mejor los casos.

Solo dos de los seis pueden compararse en probabilidades. En los 22 datasets con pérdida logarítmica completa, HIVE-COTE 2 promedia 0.344 frente al 0.527 de catch22, con medianas de 0.265 y 0.371, y es más bajo en 19 de 22. Ambas cifras describen la salida archivada. No se ejecutó ningún experimento de calibración y ninguna prueba congelada los cubre.

La tabla de exactitud no se mueve. Lo que no incluye es esto: una carga de trabajo que ordena o establece umbrales sobre casos no obtiene nada que umbralizar de la receta predeterminada de MiniRocket, MultiRocket, Hydra o DTW-1NN. No se ejecutó una cabeza probabilística sobre las mismas características.

Cómputo registrado

CPU core-hours versus accuracy on matched cells
NameCPU core-hours for 140 matched cells (log scale)Mean accuracy on the same 140 cellsMatched cells
catch220.540.7654140
dtw1nn356.820.7155140
hc2694.230.8484140
hydra2.120.8219140
minirocket0.480.8213140
multirocket2.810.8365140

El gráfico representa celdas emparejadas: cada método del carril CPU restringido a los 28 datasets que ejecutaron los seis, en los remuestreos 0 a 4, lo que da 140 celdas cada uno. Horas-núcleo de CPU registradas en esas celdas: HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 y MiniRocket 0.48.

La restricción es lo que hace significativa una proporción. El cómputo registrado totaliza 1.496.5 horas-núcleo en todo el carril CPU, de las cuales HIVE-COTE 2 representa 804.8: 694.2 en sus 140 celdas clasificadas y el resto en cuatro celdas diagnósticas post hoc excluidas de todas las tablas. MultiRocket representa 26.2 en 990 celdas clasificadas. Esos dos totales cubren cantidades de trabajo diferentes, de modo que ninguna proporción entre ellos compara los métodos.

Las celdas emparejadas hacen posible una. Al restringir cada método del carril CPU a los 28 datasets que ejecutaron los seis, en los remuestreos 0 a 4, se obtienen 140 celdas cada uno. Horas-núcleo de CPU registradas: HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 y MiniRocket 0.48.

En esos mismos 28 datasets, HIVE-COTE 2 vence a MultiRocket en 18 y pierde en 9, una brecha de exactitud media de 0.012 que no sobrevive a la corrección de Holm. Eso es 247 veces el tiempo de CPU para una diferencia que este benchmark no puede detectar. DTW-1NN, la línea base que el protocolo del archivo exige para cada resultado publicado, cuesta 747 veces MiniRocket en las mismas celdas.

Todos los métodos aquí se ejecutaron en un solo hilo con n_jobs = 1, una celda por proceso, de modo que el tiempo de pared registrado es tiempo de núcleo. Siguen aplicándose dos límites a ambas proporciones. Los tiempos son rendimiento bajo cualquier otra cosa que estuviera ejecutando la máquina, no latencia en solitario. Además, HIVE-COTE 2 se ejecutó en su propio carril de configuración mientras que los otros cinco compartieron uno, de modo que su proporción abarca dos carriles; la proporción de DTW-1NN a MiniRocket se mide dentro de un único carril.

No es posible una comparación de costes entre métodos clásicos y foundation models a partir de este benchmark, y no hacemos ninguna. Los seis métodos del carril GPU no registraron tiempo de pared. TimEE tiene tiempo de pared registrado, pero está excluido del gráfico porque no lleva rango.

Métodos comparados

HIVE-COTE 2

Primero en rango medio (2.400) en el panel primario, no separable de RocketPFN. Ejecutó 140 celdas clasificadas durante 694.2 horas-núcleo registradas, el método más costoso del carril CPU registrado, y no terminó FaceDetection (144 canales). Un metaensamble heterogéneo sobre representaciones de shapelets, diccionario, intervalos y convolucionales.8

RocketPFN

Primero en exactitud media (0.905), no separable de HIVE-COTE 2. Bit a bit idéntico bajo la prueba de intercambio de pares. Solo univariado, por lo que nunca entra en el panel UEA. Combina características convolucionales de la familia ROCKET con clasificación en contexto mediante el model fundacional tabular TabPFN v2.5, de modo que no se ajusta ningún model en el dataset objetivo; su artículo informa paridad con HIVE-COTE 2 con una exactitud media de 0.900 en 92 datasets UCR.2

MultiRocket

Tercero en rango medio (2.800) y con el mejor historial pareado: los cuatro contrastes inspeccionados contra models preentrenados sobreviven a Holm, dos con 28 victorias a 0. 26.2 horas-núcleo registradas para 990 celdas. Extiende MiniRocket con múltiples operadores de pooling y diferencias de primer orden.9

Hydra

Rango medio 4.100; su victoria sobre MOMENT (22/6) sobrevive a la corrección. Un método convolucional de estilo diccionario: los kernels compiten en grupos y los recuentos de los kernels ganadores forman la representación.10

MiniRocket

Rango medio 4.700 con 4.9 horas-núcleo registradas para 990 celdas, el método fuerte más barato del carril CPU registrado; su victoria sobre MOMENT (24/4) sobrevive a la corrección. Una transformación convolucional aleatoria casi determinista con un clasificador lineal.11

MOMENT

El model preentrenado mejor clasificado en el panel primario univariado (6.633); pierde frente a las tres transformaciones convolucionales con contrastes que sobreviven. Un model basado en T5 de 385M parámetros preentrenado en un corpus multidominio para pronóstico, clasificación, detección de anomalías e imputación.12

Chronos-2

Rango medio 7.967; pierde frente a MultiRocket 28/0. Un foundation model de pronóstico utilizado aquí como extractor de embeddings congelado, que no es su tarea nativa.13

TiRex

Rango medio 8.433; pierde frente a MultiRocket 28/0. Un model de pronóstico zero-shot basado en xLSTM,14 utilizado también aquí como extractor congelado. En el brazo de sensibilidad post hoc, cambiar la extracción de la capa final por la concatenación de todas las capas elevó la exactitud media en 1.13 puntos porcentuales en su panel de 30 datasets: 23 datasets mejoraron y siete empeoraron, Heartbeat en 7.98 puntos sin que ninguno de sus 30 remuestreos mejorara. El resultado congelado de la capa final y el rango siguen siendo primarios; el brazo de sensibilidad no lleva rango.

Mantis-V2

Rango medio 9.733 en univariado y 5.444 en el panel multivariado; pierde frente a MultiRocket 24/3. No terminó FaceDetection: los 144 canales abruman su cabeza de clasificación nativa. Un model de clasificación ligero preentrenado de forma contrastiva, con datos sintéticos y estrategias en tiempo de prueba añadidas en V2.15

TimEE

Se presenta sin rango; véase el hallazgo sobre la composición del lote más arriba. Exactitud media 0.841 en los 21 datasets de su panel reportado, calculada con una composición de lote fija. Se declararon dos exclusiones antes de que se aplicaran los resultados: NonInvasiveFetalECGThorax1 es parcial en 5 de 30 remuestreos, y Phoneme se reporta solo en su división de archivo. Un model de 4.5M parámetros metaentrenado en tareas sintéticas que clasifica de extremo a extremo en contexto, en una única pasada hacia delante a partir de un conjunto de soporte etiquetado.3

TiCT

Rango medio 10.200. Solo univariado; su ejecutor fue el único que aplicó la regla de validez de clase rara en Phoneme, contribuyendo una celda válida donde otros carriles ejecutaron 30. Bit a bit idéntico bajo la prueba de intercambio de pares. Un transformer en contexto preentrenado con datos sintéticos y codificación de etiquetas basada en bits para recuentos arbitrarios de clases.16

DTW-1NN

Rango medio 9.900. No terminó StarLightCurves, un DNF por coste declarado a las 95 horas para una celda no divisible. Vecino más cercano bajo la distancia de Dynamic Time Warping, la línea base más antigua del campo.

catch22

Rango medio 8.700 en el panel primario. Veintidós características de resumen fijas e interpretables que alimentan un clasificador simple.17

Deja que nuestro equipo automatice uno de tus procesos de negocio con agentes de IA, sin coste alguno.
Automatizar un proceso

Cuándo elegir un foundation model en lugar de un clasificador clásico

  • Muchos datos de entrenamiento etiquetados: cada contraste que sobrevive a la corrección aquí favorece una transformación convolucional, y dos de los tres, MultiRocket y Hydra, están en el clique superior junto con HIVE-COTE 2 y RocketPFN.
  • Etiquetas muy limitadas o despliegue en frío: los models en contexto y zero-shot son los candidatos, y este es el régimen que nuestro benchmark no mide. Todos nuestros paneles usan divisiones de entrenamiento completas del archivo.
  • Datos multivariados: compruebe primero la cobertura nativa. Dos de los tres métodos en contexto de esta lista son solo univariados.
  • Máxima exactitud sin importar el cómputo: HIVE-COTE 2 y RocketPFN no son separables con esta evidencia. Este benchmark no separa ni su exactitud ni su cómputo, porque RocketPFN no tiene tiempos registrados.
    Un presupuesto de cómputo que importa: en las 140 celdas emparejadas anteriores, MultiRocket usa 1/247 de las horas-núcleo de CPU de HIVE-COTE 2 y ninguna diferencia de exactitud entre ellos sobrevive a la corrección en esos datasets.
  • Requisitos de auditabilidad: prefiera métodos cuyas predicciones sean reproducibles solo a partir de la entrada. El hallazgo sobre la composición del lote anterior es el caso que invita a la precaución.

Qué es la clasificación de series temporales

La clasificación de series temporales entrena un model con secuencias numéricas ordenadas y etiquetadas para predecir una clase discreta en una serie no vista: diagnóstico de ECG, reconocimiento de actividad humana con dispositivos ponibles, detección de fallos industriales. Se diferencia del pronóstico, que produce valores futuros en lugar de una etiqueta de clase. Los models tabulares no codifican el orden de los valores como sesgo inductivo; tratan cada paso temporal como una columna independiente.

Los métodos clásicos ajustan un model nuevo por dataset. Un foundation model de series temporales se preentrena una vez en un corpus grande y luego se aplica a nuevos datasets en modo zero-shot, mediante una sonda ligera o en contexto a partir de un puñado de ejemplos etiquetados suministrados en el momento de la inferencia. Si ese preentrenamiento actualmente aporta exactitud de clasificación en archivos estándar, bajo un protocolo controlado, es la pregunta que mide este benchmark.

No te pierdas nuestros análisis comparativos e insights basados en datos. El botón abre Google; seleccionar AIMultiple confirma que deseas ver AIMultiple con más frecuencia en los resultados de búsqueda de Google.
GoogleAñadir como fuente preferida

Metodología del benchmark de clasificación de series temporales

Métodos. Cuatro familias: foundation models preentrenados evaluados mediante un protocolo de transferencia (MOMENT, Chronos-2, TiRex, Mantis-V2), models en contexto (TimEE, TiCT, RocketPFN), transformaciones convolucionales (MiniRocket, MultiRocket, Hydra) y referencias clásicas (HIVE-COTE 2, DTW-1NN, catch22).

Datos. 23 datasets univariados de UCR y 10 multivariados de UEA,56 más una capa no IID separada en SleepEDF y PTB-XL. 14.638 celdas registradas, desglosadas en la tabla de cobertura siguiente.

Cobertura. Las celdas puntuadas no se distribuyen de manera uniforme entre los métodos, y los denominadores deciden qué comparaciones son posibles en absoluto.

Cada comparación clasificada se ejecuta sobre la intersección de casos completos de los métodos que nombra, nunca sobre la cobertura de un único método, que es lo que permite que las 140 celdas de HIVE-COTE 2 y las 2.760 de RocketPFN aparezcan en la misma tabla. La exportación completa contiene 14.638 filas: estas 11.874 celdas puntuadas, el brazo de reproducción del protocolo del artículo de RocketPFN con 2.760 celdas y 4 celdas diagnósticas post hoc de HIVE-COTE 2.

Remuestreo. r0 es la división de entrenamiento/prueba del archivo; r1 a r29 son barajados estratificados con las proporciones del archivo, con semilla 1729+r. La unidad inferencial es el dataset: los remuestreos se promedian dentro de un dataset antes de comparar los métodos. HIVE-COTE 2 y DTW-1NN ejecutan 5 remuestreos porque su coste por celda es de uno a dos órdenes de magnitud mayor, y la tabla primaria restringe todos los métodos a los mismos 5 remuestreos emparejados. La división de archivo r0 es sistemáticamente más difícil que los remuestreos con semilla en 8 de 33 datasets, hasta en 0.218 de exactitud, de modo que los cinco remuestreos emparejados no son extracciones intercambiables.

Protocolo de transferencia. Cada foundation model de referencia ejecuta el mismo pipeline: codificación por variable, capa final del codificador, mean-pooling sobre tokens de contexto válidos, normalización L2 por variable, concatenación de canales, estandarización solo con entrenamiento y regresión logística como sonda. Congelado el 2026-07-24, antes de cualquier celda puntuada.

Estadística. Ómnibus de Friedman y, después, Wilcoxon de rangos con signo por pares con corrección de Holm sobre los 19 contrastes inspeccionados, sobre medias a nivel de dataset y solo paneles de casos completos. El ómnibus solo respalda que los rangos difieren en algún lugar; cada afirmación pareada proviene de los contrastes corregidos.

Congelación. Los datos se congelaron el 2026-07-29 03:00 UTC, con reglas de exclusión escritas antes de que se conocieran los resultados pendientes. Una celda terminó 22 minutos después del corte y queda excluida según la regla preescrita. La publicación supera 120 comprobaciones mecánicas de aserción, incluida la comparación de hash de cada archivo de entrada, la regeneración de la tabla primaria a partir de la exportación y la aplicación de las exclusiones declaradas detrás de la cifra publicada de TimEE tanto en el artículo como en las tablas de la publicación.

Métricas. La métrica primaria declarada fue ROC-AUC. No está disponible para 6 de los 7 foundation models de referencia, cuyas ejecuciones archivan puntuaciones de decisión o predicciones de clase en lugar de probabilidades calibradas, de modo que la exactitud se convirtió en la métrica de comparación. TimEE es el único de los siete que lleva ROC-AUC. Lo declaramos explícitamente en lugar de reetiquetar la exactitud como preespecificada. La exactitud equilibrada, la macro-F1 y la pérdida logarítmica son análisis de sensibilidad post hoc sobre el subconjunto cubierto.

Reproducibilidad. Las predicciones por instancia están archivadas para los 13 métodos y para los 12 de la tabla primaria; cada predicción regenerada reproduce su escalar congelado con una diferencia máxima de 0.000e+00 (4.260 celdas del carril CPU reverificadas el 2026-08-02, cero huérfanas). La tabla primaria se puede recalcular por completo a partir de las predicciones publicadas.

Métodos que no están en este benchmark

Models relevantes para TSC publicados que no evaluamos, enumerados para que el límite de la lista sea explícito. Ninguna de las afirmaciones aquí son mediciones nuestras. UniTS es un model multitarea unificado que cubre clasificación, pronóstico, imputación y detección de anomalías.18 TiViT convierte series en imágenes y clasifica con Vision Transformers preentrenados congelados.19 UniShape es un foundation model consciente de la forma creado para clasificación, con un adaptador consciente de la forma, aceptado en AAAI 2026.20 GPT4TS, publicado también como One Fits All, utiliza un backbone GPT-2 cuyos bloques de autoatención y feedforward permanecen congelados mientras se entrenan los componentes de entrada, normalización y salida.21 TIC-FM es un clasificador zero-shot en contexto que predice todas las instancias de prueba en una única pasada hacia delante;22 interpretar su diseño de una sola llamada como la misma clase de exposición que el hallazgo de composición del lote anterior es una inferencia nuestra a partir de la descripción publicada, no un resultado probado.

Limitaciones

  • No existe un registro de superposición de preentrenamiento para ningún model preentrenado: ninguno publica una declaración a nivel de dataset sobre si las series UCR/UEA aparecen en su corpus de preentrenamiento, de modo que la transferencia no puede separarse de la exposición previa. Tratar las derrotas como seguras descansa en una suposición que ningún registro a nivel de dataset puede comprobar: que la exposición previa, donde se produjo, favoreció a estos models en lugar de perjudicarlos. Bajo esa suposición, van por detrás pese a la ventaja y las derrotas se mantienen; por la misma lógica, cualquier victoria de un model preentrenado no puede atribuirse limpiamente a la transferencia.
  • Los resultados de los foundation models dependen del único protocolo de transferencia congelado. El brazo post hoc de TiRex solo cambió la extracción de capas y elevó la exactitud media en 1.13 puntos porcentuales al tiempo que empeoró siete de sus 30 datasets, Heartbeat en 7.98 puntos con 0 de sus 30 remuestreos que mejoraran. Probó un model, no lleva rango y no establece el efecto para los demás foundation models.
  • Todos los tiempos de pared son rendimiento bajo carga con concurrencia variable en una máquina compartida. Seis de 13 métodos no llevan ninguno.
  • La evidencia cubre solo problemas del tamaño de los archivos. Nada aquí habla de escalabilidad.
  • El benchmark inspecciona una versión de cada método en su fecha congelada.

Errores comunes al evaluar la clasificación de series temporales

Superposición entre preentrenamiento y prueba. Una auditoría de 2025 rastreó 401 datasets a través de 22 foundation models de series temporales publicados y encontró que solo el 6 % nunca había aparecido en el corpus de preentrenamiento o de fine-tuning de ningún model.23 Ningún model de nuestra lista publica una declaración de superposición a nivel de dataset, razón por la cual nuestra sección de limitaciones trata la transferencia y la exposición previa como inseparables.

Diseño de división. El archivo UCR estándar incluye una división fija de entrenamiento/prueba; la práctica moderna remuestrea, y nuestro panel SleepEDF muestra por qué la estructura de sujetos necesita más que remuestreo: solo el diseño de la división movió la exactitud reportada hasta en 0.060 y comprimió su varianza aproximadamente entre siete y nueve veces. Ninguna cifra aislada aquí es una propiedad del dataset; cada una es una propiedad del dataset bajo un diseño de división declarado.

Multiplicidad. Comparar muchos clasificadores en muchos datasets sin corrección fabrica hallazgos. La maquinaria estándar es Wilcoxon de rangos con signo para pares y la corrección por familia de estilo Holm sobre cada contraste inspeccionado,2425 y la corrección debe cubrir cada contraste inspeccionado, no solo los reportados. En este benchmark, esa disciplina eliminó 13 de 19 contrastes.

Apéndice: sensibilidad de la extracción de TiRex

Este brazo post hoc usa los mismos 30 datasets, 30 divisiones de remuestreo, escalador y sonda logística que el resultado congelado de TiRex. Solo cambia la extracción de características, de la capa final del codificador a representaciones concatenadas de las 12 capas. El brazo es rank-free y no altera el benchmark congelado.

La exactitud media pasó de 0.793 a 0.805, un cambio de 1.13 puntos porcentuales, con un intervalo de bootstrap de datasets con semilla de +0.15 a +2.06 puntos. Una prueba de Wilcoxon de rangos con signo pareada sobre las 30 diferencias de dataset da una W bilateral exacta de 92.0 con p=0.003. Esa prueba es exploratoria: se ejecutó después de la congelación, queda fuera de la familia Holm de 19 contrastes que gobierna cada afirmación corregida aquí y no lleva rango.

Auer et al. clasifican a TiRex primero entre los foundation models de pronóstico usando características concatenadas por capas y un Random Forest, y su propia ablación informa de un efecto de capa mayor de 5 puntos.26 Los dos estudios difieren en datasets, lista de models, clasificador y filtrado por longitud de serie, de modo que 1.13 y 5 puntos son estimaciones de sensibilidad específicas del protocolo, no estimaciones competidoras de un mismo efecto. Este brazo no reproduce ni refuta su clasificación y no identifica la causa de la diferencia de rango entre estudios. Establece la sensibilidad de capa de TiRex dentro de este benchmark. No generaliza el efecto a los demás foundation models ni identifica el mejor rendimiento de clasificación alcanzable de ningún model.

Cita esta investigación

Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.

Berk Kalelioğlu (2026) - "Benchmark de clasificación de series temporales: Foundation Models frente a métodos clásicos". Publicado en línea en AIMultiple.com. Recuperado el 24 de agosto de 2026, de: https://aimultiple.com/time-series-classification [Recurso en línea]

Kalelioğlu, B. (2026, 24 de agosto). Benchmark de clasificación de series temporales: Foundation Models frente a métodos clásicos. AIMultiple. https://aimultiple.com/time-series-classification

@misc{kalelioglu2026,
  author = {Kalelioğlu, Berk},
  title  = {{Benchmark de clasificación de series temporales: Foundation Models frente a métodos clásicos}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/time-series-classification}},
  note   = {AIMultiple. Recuperado el 24 de agosto de 2026}
}
Descargar todos los datos

Resultados y marcas de tiempo de 99 puntos de datos. Descargue los datos resumidos que se muestran en los gráficos y las tablas de este artículo como un archivo ZIP que contiene 8 archivos CSV y un README.

Última actualización: 29 de octubre de 2026
Descargar

¿Quieres los datos granulares que hay detrás? Únete a Premium

Registro de cambios

3 actualizaciones
  1. Reemplazado: el número de modelos sin ROC-AUC pasó de 5 de 7 a 6 de 7.

  2. Actualizada la disponibilidad de ROC-AUC a 6 de 7 modelos base en la sección de metodología.

  3. Añadida una sección "Etiquetas duras, no probabilidades" sobre métodos de CPU sin salida de probabilidad.

Enlaces de referencia

1.
Bake off redux: a review and experimental evaluation of recent time series classification algorithms | Data Mining and Knowledge Discovery | Springer Nature Link
Springer US
2.
RocketPFN: Accurate Time Series Classification via In-Context Learning
3.
TimEE: End-to-end Time Series Classification via In-Context Learning
4.
CRUMB: Efficient Prior Fitted Network Inference via Distributionally Matched Context Batching
5.
The UCR Time Series Archive
6.
The UEA multivariate time series classification archive, 2018
7.
aeon/aeon/classification/convolution_based/_minirocket.py at main · aeon-toolkit/aeon · GitHub
8.
HIVE-COTE 2.0: a new meta ensemble for time series classification | Machine Learning | Springer Nature Link
Springer US
9.
MultiRocket: Multiple pooling operators and transformations for fast and effective time series classification
10.
HYDRA: Competing convolutional kernels for fast and accurate time series classification
11.
MINIROCKET: A Very Fast (Almost) Deterministic Transform for Time Series Classification
12.
MOMENT: A Family of Open Time-series Foundation Models
13.
Chronos-2: From Univariate to Universal Forecasting
14.
TiRex: Zero-Shot Forecasting Across Long and Short Horizons with Enhanced In-Context Learning
15.
MantisV2: Closing the Zero-Shot Gap in Time Series Classification with Synthetic Data and Test-Time Strategies
16.
TiCT: A Synthetically Pre-Trained Foundation Model for Time Series Classification
17.
catch22: CAnonical Time-series CHaracteristics | Data Mining and Knowledge Discovery | Springer Nature Link
Springer US
18.
UniTS: A Unified Multi-Task Time Series Model
19.
Unlocking Pretrained Vision Transformers for Time Series Classification
20.
A Unified Shape-Aware Foundation Model for Time Series Classification
21.
One Fits All:Power General Time Series Analysis by Pretrained LM
22.
Rethinking Zero-Shot Time Series Classification: From Task-specific Classifiers to In-Context Inference
23.
Rethinking Evaluation in the Era of Time Series Foundation Models: (Un)known Information Leakage Challenges
24.
Statistical Comparisons of Classifiers over Multiple Data Sets
25.
An Extension on Statistical Comparisons of Classifiers over Multiple Data Sets for all Pairwise Comparisons
26.
Pre-trained Forecasting Models: Strong Zero-Shot Feature Extractors for Time Series Classification
Berk Kalelioğlu
Berk Kalelioğlu
Investigador de IA
Berk es Investigador de IA en el equipo de benchmark de AIMultiple, centrándose en IA agéntica, aprendizaje automático y los models de lenguaje grandes y pequeños (LLMs y SLMs).
Ver perfil completo

Sé el primero en comentar

Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.

0/450