Benchmark de clasificación de series temporales: Foundation Models frente a métodos clásicos
Evaluamos 13 métodos de clasificación de series temporales, desde foundation models de series temporales preentrenados hasta una línea base de 22 características de 2019, en 33 datasets UCR/UEA bajo un único protocolo congelado. Es decir, 14.638 celdas registradas de método-dataset-remuestreo, 11.874 de ellas puntuadas.
Resultados del benchmark TSC
| Name | Mean accuracy |
|---|---|
| RocketPFN | 0.9047 |
| HIVE-COTE 2 | 0.8976 |
| MultiRocket | 0.8897 |
| Hydra | 0.8771 |
| MiniRocket | 0.8755 |
| MOMENT | 0.8529 |
| Chronos-2 | 0.8348 |
| TiRex | 0.8258 |
| catch22 | 0.8059 |
| Mantis-V2 | 0.7874 |
| TiCT | 0.7759 |
| DTW-1NN | 0.7563 |
El gráfico compara 12 métodos en los 15 datasets univariados que todos completaron, cada dataset ejecutado con las mismas 5 divisiones de entrenamiento/prueba. Las barras están ordenadas por exactitud media. La tabla siguiente también incluye el rango medio, la posición promedio que ocupa un método dentro de un dataset, y presenta los mismos 12 en un orden diferente.
No hay un único ganador. HIVE-COTE 2 ocupa el primer lugar en rango medio (2.400) y RocketPFN el primero en exactitud media (0.905). Bajo un bootstrap de datasets con 5.000 extracciones, el primer lugar corresponde a HIVE-COTE 2 en el 46,6 % de las extracciones, a RocketPFN en el 45,5 % y a MultiRocket en el 7,9 %. Las dos ordenaciones no coinciden y el bootstrap se divide casi por igual, de modo que nombrar a cualquiera de los dos sería un artefacto de la métrica elegida.
El grupo superior es más pequeño de lo que sugiere la tabla. El clique de Wilcoxon-Holm es HIVE-COTE 2, RocketPFN, MultiRocket y Hydra. MiniRocket, seis décimas de rango por detrás de Hydra en 4.700, no está en él: la pertenencia proviene de las pruebas pareadas corregidas, no de dónde caen los números de rango.
En este panel las transformaciones ocupan los rangos 3, 4 y 5, y los models preentrenados ocupan 6, 7, 8 y 10. MOMENT, el model preentrenado mejor clasificado con 6.633, queda casi dos rangos completos por debajo de MiniRocket.
catch22, publicado en 2019 con 22 características fijas, se sitúa dentro de la banda de los preentrenados en 8.700, por delante de Mantis-V2 (9.733) y por detrás de TiRex (8.433). A plena profundidad de 30 remuestreos permanece en esa banda, tanto en el panel de 18 datasets que aparece más abajo, en 7.222, como en una variante de 27 datasets y ocho métodos que excluye a RocketPFN.
El rango y la exactitud tampoco coinciden en la parte inferior. DTW-1NN tiene una exactitud media peor que TiCT (0.756 frente a 0.776) y un mejor rango medio (9.900 frente a 10.200). La métrica que se informe cambia el orden en ambas mitades de la tabla.
Solo el centro de la tabla es estable. Eliminar cualquier dataset individual cambia el orden en 10 de 15 casos. Seis de ellos son el intercambio entre HIVE-COTE 2 y RocketPFN; Mantis-V2 y DTW-1NN alternan posiciones en seis, y DTW-1NN y TiCT en dos. Las posiciones 3 a 9 nunca se mueven.
La métrica de comparación es la exactitud porque la métrica primaria declarada, ROC-AUC, no está disponible para 6 de los 7 foundation models de referencia. El panel es solo univariado: TiCT y RocketPFN no tienen soporte multivariado nativo, de modo que la regla de caso completo elimina los 10 datasets multivariados. Las filas de foundation models miden esos models bajo un único protocolo de transferencia congelado. TimEE no lleva rango, por el motivo que se indica más abajo. Una participación de primer lugar en bootstrap es la frecuencia con la que un método ocupa el primer puesto en colecciones de datasets remuestreadas, y nada más.
La ordenación en sí replica el bake-off de 2024, que estableció que HIVE-COTE 2 y la familia ROCKET lideran esta clase de problema e indica que HIVE-COTE 2 es mucho más lento.1 La contribución aquí es una medición controlada de forma independiente sobre una lista de 2026 bajo un protocolo común, con las separaciones cuantificadas tras la corrección por familia.
RocketPFN son características ROCKET pasadas a TabPFN,2 un model tabular en contexto en lugar de un foundation model de series temporales preentrenado, de modo que su posición por encima de las filas preentrenadas no dice nada sobre esa clase.
Con qué frecuencia ocupa cada método el primer lugar
| Name | First-place share |
|---|---|
| HIVE-COTE 2 | 46.6 |
| RocketPFN | 45.5 |
| MultiRocket | 7.9 |
Cada barra es la proporción de 5.000 reextracciones aleatorias de los 15 datasets, con repeticiones permitidas, en las que un método ocupa el primer lugar. Nueve de los 12 métodos nunca lo hacen y no se dibujan. Las reextracciones se ejecutan con la semilla 1729. El primer puesto varía según qué datasets se extraen, y las proporciones no dicen nada sobre qué tan separados están los métodos.
Una calificación de Bradley-Terry modela la probabilidad de que cada método venza a otro en un dataset y no puede fabricar un ganador que las pruebas de significación no hayan encontrado. Califica a HIVE-COTE 2 con 1384.6, a RocketPFN con 1380.6 y a MultiRocket con 1338.3, ocupando cada uno del primero al tercer puesto a lo largo de las reextracciones. El ancla de 1000 es relativa a estos 15 datasets, y una calificación es la probabilidad modelada de ganar un dataset, no puntos de exactitud.
Las pruebas congeladas de Wilcoxon-Holm, corregidas por ejecutar muchas comparaciones a la vez, no detectan diferencias entre HIVE-COTE 2, RocketPFN, MultiRocket y Hydra. Eso no es evidencia de que rindan por igual. Hydra ocupa el cuarto o quinto lugar a lo largo de las reextracciones, lo que tampoco lo separa de los tres primeros. Esas posiciones summarize estabilidad, no significación. No se respalda un ganador único.
Qué brechas sobreviven a la corrección
| Name | Mean accuracy difference (A - B) | Share of shared datasets won by A | Wins/losses | p (Holm) | Shared datasets | Status |
|---|---|---|---|---|---|---|
| hc2 vs rocketpfn | -0.0071 | 0.4286 | 6/8 | 1 | 15 | inconclusive |
| hc2 vs multirocket | 0.0119 | 0.6667 | 18/9 | 1 | 28 | inconclusive |
| rocketpfn vs multirocket | 0.0131 | 0.6471 | 11/6 | 1 | 18 | inconclusive |
| multirocket vs moment-probe | 0.0488 | 0.8929 | 25/3 | 0.000188 | 28 | survives Holm |
| minirocket vs moment-probe | 0.0364 | 0.8571 | 24/4 | 0.00788 | 28 | survives Holm |
| hydra vs moment-probe | 0.0332 | 0.7857 | 22/6 | 0.0239 | 28 | survives Holm |
| multirocket vs chronos-probe | 0.0517 | 1 | 28/0 | 1.42e-07 | 28 | survives Holm |
| multirocket vs tirex-probe | 0.0587 | 1 | 28/0 | 1.42e-07 | 28 | survives Holm |
| multirocket vs mantis-v2 | 0.0781 | 0.8889 | 24/3 | 0.000301 | 27 | survives Holm |
| dtw1nn vs tict | -0.0208 | 0.381 | 8/13 | 1 | 21 | inconclusive |
| dtw1nn vs moment-probe | -0.0546 | 0.2963 | 8/19 | 0.229 | 27 | inconclusive |
| dtw1nn vs chronos-probe | -0.0514 | 0.2963 | 8/19 | 0.0839 | 27 | inconclusive |
| dtw1nn vs tirex-probe | -0.0443 | 0.3333 | 9/18 | 0.164 | 27 | inconclusive |
| dtw1nn vs mantis-v2 | -0.0235 | 0.4231 | 11/15 | 1 | 26 | inconclusive |
| dtw1nn vs moment-probe (multivariate) | 0.0119 | 0.6 | 6/4 | 1 | 10 | inconclusive |
| dtw1nn vs chronos-probe (multivariate) | -0.0098 | 0.5 | 5/5 | 1 | 10 | inconclusive |
| dtw1nn vs tirex-probe (multivariate) | -0.0074 | 0.4 | 4/6 | 1 | 10 | inconclusive |
| dtw1nn vs mantis-v2 (multivariate) | -0.0183 | 0.3333 | 3/6 | 1 | 9 | inconclusive |
| multirocket vs moment-probe (multivariate) | 0.0722 | 0.9 | 9/1 | 0.164 | 10 | inconclusive |
Se inspeccionaron diecinueve contrastes por pares y seis sobreviven a la corrección de Holm. Cada punto lleva su intervalo del 95 % y el valor p ajustado por Holm en la información sobre herramientas; esos intervalos son resúmenes de bootstrap de datasets y no están ajustados por multiplicidad, de modo que solo los valores p llevan Holm.
Cada contraste que sobrevive es una transformación convolucional que vence a un model preentrenado.
MultiRocket arrasa en dos de ellos sin perder un dataset. 28 victorias a 0 contra Chronos-2 y TiRex, con p = 1.4e-07.
Trece contrastes no son concluyentes, lo cual no es evidencia de que no haya diferencias. Nada que involucre a DTW-1NN sobrevive a la corrección, y nada en el subconjunto multivariado lo hace.
Cada fila se calcula sobre los datasets que comparte el par, no sobre un panel común, de modo que las filas no son una tabla de clasificación y no pueden leerse unas contra otras.
Los resultados de los foundation models dependen de un protocolo de transferencia: agrupación media de la capa final con una sonda logística, aplicada de forma idéntica a MOMENT, Chronos-2, TiRex y Mantis-V2 y congelada antes de cualquier celda puntuada. Un brazo post hoc, rank-free, cambió la extracción de capas de TiRex y movió la exactitud media de 0.793 a 0.805, 1.13 puntos porcentuales, con 23 de 30 datasets que mejoraron y siete que empeoraron. La mayor pérdida, Heartbeat con 7.98 puntos, no mejoró en ninguno de sus 30 remuestreos, de modo que la media oculta un resultado que se invierte según el dataset. Los detalles están en el apéndice.
Seis veces la profundidad de división
| Name | Mean accuracy |
|---|---|
| RocketPFN | 0.9164 |
| MultiRocket | 0.9018 |
| Hydra | 0.8917 |
| MiniRocket | 0.8881 |
| MOMENT | 0.8656 |
| Chronos-2 | 0.8521 |
| TiRex | 0.8424 |
| catch22 | 0.8202 |
| Mantis-V2 | 0.8037 |
Cada tabla anterior ejecuta 5 divisiones de entrenamiento/prueba, porque HIVE-COTE 2 y DTW-1NN ejecutan solo esas cinco bajo la excepción congelada de celdas costosas y la regla de remuestreo emparejado reduce el resto para igualarlas. Las barras muestran la exactitud media en las 30 divisiones, y el rango medio da el mismo orden. Si se descartan esos dos, los nueve métodos restantes ejecutan los 30 remuestreos estratificados con semilla en 18 datasets, la profundidad que usa el bake-off.
El orden se mantiene. RocketPFN 1.694, MultiRocket 2.250, Hydra 2.889 y MiniRocket 3.833 ocupan los cuatro primeros lugares, los cuatro basados en características convolucionales aleatorias. Después MOMENT 5.889, Chronos-2 6.444 y TiRex 7.056, con catch22 en 7.222 y Mantis-V2 en 7.722. El chi-cuadrado de Friedman es 105.067 con p = 3.9e-19. Las cinco divisiones no lo fabricaron.
Los dos bloques se separan claramente a esta profundidad. El rango de bootstrap del 95 % de MiniRocket alcanza 4.278 y el de MOMENT comienza en 5.111 y, en todas las 5.000 extracciones de bootstrap, ningún rango medio de un model preentrenado cruzó al rango del bloque convolucional.
Diez de los doce pares de transformación contra preentrenado sobreviven aquí a la corrección de Holm. Los dos que no lo hacen, MiniRocket sobre MOMENT con p = 0.108 y Hydra sobre MOMENT con p = 0.105, sobreviven ambos en el panel primario. Holm cubre la propia familia de 36 pares de este panel, de modo que ese recuento y los seis supervivientes del panel primario responden a preguntas diferentes.
El primer puesto no queda más resuelto. RocketPFN lo obtiene en el 92,9 % de las 5.000 extracciones de bootstrap de datasets, frente al 46,6 % y el 45,5 % en el panel primario, pero HIVE-COTE 2, el método con el que comparte el primer puesto allí, está ausente aquí. El clique superior sigue teniendo tres integrantes: RocketPFN, MultiRocket y Hydra. MiniRocket vuelve a quedar fuera, compartiendo un clique con MOMENT.
Esto es una comprobación de profundidad, no una replicación independiente. Los 18 datasets contienen los 15 del panel primario más ElectricDevices, StarLightCurves y UWaveGestureLibraryAll, de modo que la fragilidad ante la eliminación de un dataset mencionada antes se mantiene. Es solo univariado por la misma razón, al estar RocketPFN presente. Lo que descarta es una ordenación que dependa de cinco divisiones concretas.
La composición del lote cambia las predicciones de TimEE
| Metric and test-set size n_test (the harness calls in batches of 512) | Cells | Share of cells with identical results |
|---|---|---|
| Accuracy | 270 / 270 | 1 |
| Accuracy >512 | 146 / 325 | 0.4492 |
| ROC-AUC | 221 / 270 | 0.8185 |
| ROC-AUC >512 | 12 / 308 | 0.039 |
TimEE es un clasificador en contexto cuyo titular publicado es el primer puesto en ROC-AUC en el benchmark UCR.3 Lo ejecutamos en dos máquinas y comparamos resultados a nivel de celda.
La concordancia se rompe exactamente en el tamaño de lote del arnés de 512. La exactitud es idéntica en 270 de 270 celdas donde el conjunto de prueba cabe en una llamada, y en 146 de 325 celdas donde no cabe. Para ROC-AUC la división es 221 de 270 frente a 12 de 308. Las dos máquinas difieren en hardware en ambos estratos, de modo que ningún estrato por sí solo prueba nada; el contraste entre ellos es la evidencia.
| Name | Series | Test-set size (log scale, call threshold 512) | Share of resamples with identical results | Identical |
|---|---|---|---|---|
| Chinatown | Accuracy | 343 | 1 | 30 / 30 |
| ChlorineConcentration | Accuracy | 3840 | 0.1667 | 5 / 30 |
| Computers | Accuracy | 250 | 1 | 30 / 30 |
| ECG5000 | Accuracy | 4500 | 0.5 | 15 / 30 |
| EOGHorizontalSignal | Accuracy | 362 | 1 | 30 / 30 |
| Earthquakes | Accuracy | 139 | 1 | 30 / 30 |
| ElectricDevices | Accuracy | 7711 | 0 | 0 / 2 |
| EthanolLevel | Accuracy | 500 | 1 | 30 / 30 |
| FordA | Accuracy | 1320 | 0.2 | 6 / 30 |
| FordB | Accuracy | 810 | 0.1333 | 4 / 30 |
| GunPoint | Accuracy | 150 | 1 | 30 / 30 |
| Haptics | Accuracy | 308 | 1 | 30 / 30 |
| InsectWingbeatSound | Accuracy | 1980 | 0.2333 | 7 / 30 |
| ItalyPowerDemand | Accuracy | 1029 | 0.9333 | 28 / 30 |
| LargeKitchenAppliances | Accuracy | 375 | 1 | 30 / 30 |
| NonInvasiveFetalECGThorax1 | Accuracy | 1965 | 0.6 | 3 / 5 |
| Phoneme | Accuracy | 1896 | 0.4444 | 8 / 18 |
| StarLightCurves | Accuracy | 8236 | 0.2 | 6 / 30 |
| Strawberry | Accuracy | 370 | 1 | 30 / 30 |
| TwoPatterns | Accuracy | 4000 | 0.7333 | 22 / 30 |
| UWaveGestureLibraryAll | Accuracy | 3582 | 0.5667 | 17 / 30 |
| Wafer | Accuracy | 6164 | 0.8333 | 25 / 30 |
| Chinatown | ROC-AUC | 343 | 1 | 30 / 30 |
| ChlorineConcentration | ROC-AUC | 3840 | 0 | 0 / 30 |
| Computers | ROC-AUC | 250 | 0.9667 | 29 / 30 |
| ECG5000 | ROC-AUC | 4500 | 0 | 0 / 30 |
| EOGHorizontalSignal | ROC-AUC | 362 | 1 | 30 / 30 |
| Earthquakes | ROC-AUC | 139 | 0.3333 | 10 / 30 |
| ElectricDevices | ROC-AUC | 7711 | 0 | 0 / 2 |
| EthanolLevel | ROC-AUC | 500 | 0.3333 | 10 / 30 |
| FordA | ROC-AUC | 1320 | 0 | 0 / 30 |
| FordB | ROC-AUC | 810 | 0 | 0 / 30 |
| GunPoint | ROC-AUC | 150 | 1 | 30 / 30 |
| Haptics | ROC-AUC | 308 | 0.9333 | 28 / 30 |
| InsectWingbeatSound | ROC-AUC | 1980 | 0 | 0 / 30 |
| ItalyPowerDemand | ROC-AUC | 1029 | 0.0667 | 2 / 30 |
| LargeKitchenAppliances | ROC-AUC | 375 | 0.9 | 27 / 30 |
| NonInvasiveFetalECGThorax1 | ROC-AUC | 1965 | 0 | 0 / 5 |
| Phoneme | ROC-AUC | 1896 | 0 | 0 / 1 |
| StarLightCurves | ROC-AUC | 8236 | 0 | 0 / 30 |
| Strawberry | ROC-AUC | 370 | 0.9 | 27 / 30 |
| TwoPatterns | ROC-AUC | 4000 | 0 | 0 / 30 |
| UWaveGestureLibraryAll | ROC-AUC | 3582 | 0 | 0 / 30 |
| Wafer | ROC-AUC | 6164 | 0.3333 | 10 / 30 |
Por dataset, la ruptura es más marcada de lo que sugieren los totales por estrato. Cada dataset cuyo conjunto de prueba cabe en una llamada concuerda en exactitud en 30 de 30 remuestreos, y ningún dataset por encima del umbral alcanza 30 de 30. ROC-AUC es peor en ambos lados de la línea, y cae por debajo de la mitad en dos datasets lo bastante pequeños como para caber.
El mecanismo está en el código fuente. La función de embedding estadístico calcula el z-score de cada característica en cada fila de la llamada de inferencia, tanto en las filas de soporte como en las de consulta, sin ninguna protección que separe las posiciones de entrenamiento de las de evaluación. Treinta líneas después, el mismo archivo aplica exactamente esa protección a otro paso de normalización. Un intercambio controlado de pares lo confirma: al mantener fija una consulta ancla y reemplazar las otras 511 consultas de su llamada, la probabilidad predicha del ancla cambia en 1.163e-04, frente a un ruido de repetición exactamente cero. TiCT y RocketPFN, probados de forma idéntica, son bit a bit idénticos bajo el mismo intercambio.
Por lo tanto, una predicción de TimEE no es una función únicamente de la serie de entrada. Sus puntuaciones son reproducibles con una composición de lote fija, de modo que no puede recibir un rango equiparable frente a clasificadores inductivos y este benchmark lo presenta sin uno. Esto matiza la afirmación publicada sobre ROC-AUC, ya que ROC-AUC se calcula exactamente a partir de las probabilidades que se ha demostrado dependen de la llamada. No muestra que las puntuaciones estén infladas en ninguna dirección, no cambia el rango publicado, que se obtuvo en una tabla de clasificación que no poseemos, y cubre la versión que inspeccionamos.
Tres de las cuatro vías de detección no requieren acceso al código fuente. Repetir una celda dos veces, intercambiar los compañeros de lote en torno a un ancla fija y comparar los resultados en dos máquinas estratificadas por el límite del lote. Un trabajo publicado relacionado agrupa la inferencia de redes preajustadas por consultas de prueba agrupadas por eficiencia y no informa dependencia de la composición.4
Resultados del panel multivariado
| Name | Evaluation panel | Mean rank (lower is better) | Mean accuracy |
|---|---|---|---|
| catch22 | Wide panel (N=24) | 6.85 | 0.7932 |
| catch22 | UEA multivariate (N=9) | 5.67 | 0.7718 |
| chronos-probe | Wide panel (N=24) | 7.1 | 0.8055 |
| chronos-probe | UEA multivariate (N=9) | 7.56 | 0.7566 |
| dtw1nn | Wide panel (N=24) | 7.96 | 0.7542 |
| dtw1nn | UEA multivariate (N=9) | 7.33 | 0.7508 |
| hc2 | Wide panel (N=24) | 1.73 | 0.8735 |
| hc2 | UEA multivariate (N=9) | 1.67 | 0.8334 |
| hydra | Wide panel (N=24) | 3.94 | 0.8454 |
| hydra | UEA multivariate (N=9) | 4.89 | 0.7925 |
| mantis-v2 | Wide panel (N=24) | 7.21 | 0.7806 |
| mantis-v2 | UEA multivariate (N=9) | 5.44 | 0.7691 |
| minirocket | Wide panel (N=24) | 3.69 | 0.846 |
| minirocket | UEA multivariate (N=9) | 3.56 | 0.7967 |
| moment-probe | Wide panel (N=24) | 6.73 | 0.8093 |
| moment-probe | UEA multivariate (N=9) | 8.67 | 0.7365 |
| multirocket | Wide panel (N=24) | 2.48 | 0.858 |
| multirocket | UEA multivariate (N=9) | 3 | 0.8052 |
| tirex-probe | Wide panel (N=24) | 7.31 | 0.7983 |
| tirex-probe | UEA multivariate (N=9) | 7.22 | 0.7524 |
Una lista corta construida sobre el panel amplio no se transfiere a los datos multivariados. MOMENT es el último de diez en el panel multivariado de 9 datasets, mientras que es el model preentrenado mejor clasificado en el panel amplio de 24 datasets con 6.729. Mantis-V2 va en la dirección opuesta: 5.444 en el panel multivariado frente a 7.208 en el amplio.
Esto no es un efecto de modalidad. El panel amplio contiene los datasets multivariados como un subconjunto, de modo que el movimiento es un contraste entre dos listas de distinto tamaño y composición de tareas, no algo medido dentro de ninguno de los métodos. Con N=9 y ningún contraste que sobreviva a la corrección, hay que leerlo como una advertencia contra llevar una lista corta del panel amplio a un despliegue multivariado, no como un resultado de selección.
Resultados de divisiones agrupadas por sujeto
| Name | Mean window accuracy across folds | Fold-to-fold standard deviation | Folds | Subject-macro mean | Subject-macro SD |
|---|---|---|---|---|---|
| catch22 grouped | 0.7322 | 0.0202 | 5 | 0.7282 | 0.019 |
| catch22 random | 0.7922 | 0.0022 | 10 | 0.7881 | 0.0024 |
| MiniRocket grouped | 0.7997 | 0.0079 | 5 | 0.7979 | 0.0077 |
| MiniRocket random | 0.8299 | 0.0009 | 8 | 0.8271 | 0.0011 |
Los archivos UCR y UEA incluyen divisiones fijas de entrenamiento/prueba definidas sobre series individuales, sin anotación de sujeto ni de origen sobre la cual dividir,56 de modo que remuestrearlos reordena series en lugar de sujetos. En la clasificación de etapas de sueño SleepEDF, donde un sujeto aporta muchas ventanas, también dividimos por sujeto. MiniRocket conserva 8 de 10 pliegues aleatorios debido al corte de congelación.
La división aleatoria reporta una exactitud más alta, en 0.060 para catch22 y en 0.030 para MiniRocket.
La compresión de la varianza es la mitad más transferible. La variabilidad de un pliegue a otro es aproximadamente de siete a nueve veces menor bajo división aleatoria que bajo agrupación por sujeto, tanto en la exactitud por ventana como en la exactitud macro por sujeto. Un model seleccionado con divisiones aleatorias parece mejor y más estable que el mismo model evaluado de la forma en que se desplegará, sobre sujetos no vistos.
Informamos de una brecha asociada a la división, nunca de fuga. Los datos no pueden decir si la brecha proviene de una fuga de identidad del sujeto o de una variación genuina en la dificultad del sujeto y en la mezcla de etapas, y las divisiones aleatorias distribuyen esa variación en cada conjunto de prueba, lo que estabiliza mecánicamente la exactitud. El experimento que separaría ambas cosas, épocas de prueba idénticas bajo conjuntos de entrenamiento que contengan y no contengan a los sujetos de prueba, se ejecutó en PTB-XL y se descartó de SleepEDF por cómputo. El propio PTB-XL conserva un 14,9 % de superposición del mismo sujeto bajo división aleatoria, de modo que es un comparador de baja superposición, no un control nulo.
Datos desequilibrados: Earthquakes
| Name | Accuracy | Balanced accuracy | N resamples |
|---|---|---|---|
| catch22 | 0.7835 | 0.4996 | 30 |
| dtw1nn | 0.7194 | 0.5453 | 5 |
| hydra | 0.7782 | 0.5122 | 30 |
| minirocket | 0.7662 | 0.5187 | 30 |
| multirocket | 0.7832 | 0.5229 | 30 |
La exactitud oculta una clasificación cercana al azar. Todos los métodos del carril CPU reportan una exactitud de 0.72 a 0.78 en Earthquakes, mientras que la exactitud equilibrada va de 0.4996 a 0.5453. Hay que leer 0.5 como azar solo en el eje de exactitud equilibrada; el azar para la exactitud ordinaria depende de la prevalencia de las clases.
El método con la exactitud más alta tiene la exactitud equilibrada más baja. catch22 con una exactitud de 0.783 obtiene 0.4996 equilibrada, numéricamente justo por debajo de 0.5. No se midió si literalmente predice la clase mayoritaria; la cifra citada no lleva incertidumbre ni una prueba frente a 0.5.
La inversión es local, no una propiedad del método. En todo el panel, catch22 es claramente el último en exactitud equilibrada, 0.726 frente al 0.806 de MultiRocket. La exactitud equilibrada es aquí una métrica post hoc, calculada después de la congelación a partir de predicciones archivadas. DTW-1NN lleva 5 remuestreos frente a los 30 de los otros cuatro métodos, de modo que su punto se apoya en menos evidencia.
Etiquetas duras, no probabilidades
Cuatro de los seis métodos del carril CPU no devuelven probabilidad. MiniRocket, MultiRocket, Hydra y DTW-1NN ponen 1 en la clase predicha y 0 en el resto, de modo que su pérdida logarítmica es exactitud con otro nombre. Es igual a la tasa de error multiplicada por 36.0437 en todas las 2.465 celdas donde se registró la pérdida logarítmica, dentro de 7.1e-15. Esa constante es la penalización que scikit-learn asigna a una probabilidad cero en la clase verdadera.
La receta se comporta como está documentado. Los tres clasificadores convolucionales usan por defecto una cabeza de ridge sin salida de probabilidad, y la biblioteca llena el hueco con un vector one-hot; DTW-1NN con un vecino tiene la misma forma por construcción.7
La ROC-AUC calculada para ellos mide, por tanto, la etiqueta, no una ordenación. En los 27 datasets donde los seis tienen ROC-AUC completa, catch22 registra 0.884 frente al 0.866 de MultiRocket, mientras queda 7.2 puntos de exactitud por detrás, 0.782 frente a 0.854. Hay que leerlo como que catch22 tiene una puntuación utilizable y MultiRocket no tiene ninguna, no como que catch22 ordena mejor los casos.
Solo dos de los seis pueden compararse en probabilidades. En los 22 datasets con pérdida logarítmica completa, HIVE-COTE 2 promedia 0.344 frente al 0.527 de catch22, con medianas de 0.265 y 0.371, y es más bajo en 19 de 22. Ambas cifras describen la salida archivada. No se ejecutó ningún experimento de calibración y ninguna prueba congelada los cubre.
La tabla de exactitud no se mueve. Lo que no incluye es esto: una carga de trabajo que ordena o establece umbrales sobre casos no obtiene nada que umbralizar de la receta predeterminada de MiniRocket, MultiRocket, Hydra o DTW-1NN. No se ejecutó una cabeza probabilística sobre las mismas características.
Cómputo registrado
| Name | CPU core-hours for 140 matched cells (log scale) | Mean accuracy on the same 140 cells | Matched cells |
|---|---|---|---|
| catch22 | 0.54 | 0.7654 | 140 |
| dtw1nn | 356.82 | 0.7155 | 140 |
| hc2 | 694.23 | 0.8484 | 140 |
| hydra | 2.12 | 0.8219 | 140 |
| minirocket | 0.48 | 0.8213 | 140 |
| multirocket | 2.81 | 0.8365 | 140 |
El gráfico representa celdas emparejadas: cada método del carril CPU restringido a los 28 datasets que ejecutaron los seis, en los remuestreos 0 a 4, lo que da 140 celdas cada uno. Horas-núcleo de CPU registradas en esas celdas: HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 y MiniRocket 0.48.
La restricción es lo que hace significativa una proporción. El cómputo registrado totaliza 1.496.5 horas-núcleo en todo el carril CPU, de las cuales HIVE-COTE 2 representa 804.8: 694.2 en sus 140 celdas clasificadas y el resto en cuatro celdas diagnósticas post hoc excluidas de todas las tablas. MultiRocket representa 26.2 en 990 celdas clasificadas. Esos dos totales cubren cantidades de trabajo diferentes, de modo que ninguna proporción entre ellos compara los métodos.
Las celdas emparejadas hacen posible una. Al restringir cada método del carril CPU a los 28 datasets que ejecutaron los seis, en los remuestreos 0 a 4, se obtienen 140 celdas cada uno. Horas-núcleo de CPU registradas: HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 y MiniRocket 0.48.
En esos mismos 28 datasets, HIVE-COTE 2 vence a MultiRocket en 18 y pierde en 9, una brecha de exactitud media de 0.012 que no sobrevive a la corrección de Holm. Eso es 247 veces el tiempo de CPU para una diferencia que este benchmark no puede detectar. DTW-1NN, la línea base que el protocolo del archivo exige para cada resultado publicado, cuesta 747 veces MiniRocket en las mismas celdas.
Todos los métodos aquí se ejecutaron en un solo hilo con n_jobs = 1, una celda por proceso, de modo que el tiempo de pared registrado es tiempo de núcleo. Siguen aplicándose dos límites a ambas proporciones. Los tiempos son rendimiento bajo cualquier otra cosa que estuviera ejecutando la máquina, no latencia en solitario. Además, HIVE-COTE 2 se ejecutó en su propio carril de configuración mientras que los otros cinco compartieron uno, de modo que su proporción abarca dos carriles; la proporción de DTW-1NN a MiniRocket se mide dentro de un único carril.
No es posible una comparación de costes entre métodos clásicos y foundation models a partir de este benchmark, y no hacemos ninguna. Los seis métodos del carril GPU no registraron tiempo de pared. TimEE tiene tiempo de pared registrado, pero está excluido del gráfico porque no lleva rango.
Métodos comparados
HIVE-COTE 2
Primero en rango medio (2.400) en el panel primario, no separable de RocketPFN. Ejecutó 140 celdas clasificadas durante 694.2 horas-núcleo registradas, el método más costoso del carril CPU registrado, y no terminó FaceDetection (144 canales). Un metaensamble heterogéneo sobre representaciones de shapelets, diccionario, intervalos y convolucionales.8
RocketPFN
Primero en exactitud media (0.905), no separable de HIVE-COTE 2. Bit a bit idéntico bajo la prueba de intercambio de pares. Solo univariado, por lo que nunca entra en el panel UEA. Combina características convolucionales de la familia ROCKET con clasificación en contexto mediante el model fundacional tabular TabPFN v2.5, de modo que no se ajusta ningún model en el dataset objetivo; su artículo informa paridad con HIVE-COTE 2 con una exactitud media de 0.900 en 92 datasets UCR.2
MultiRocket
Tercero en rango medio (2.800) y con el mejor historial pareado: los cuatro contrastes inspeccionados contra models preentrenados sobreviven a Holm, dos con 28 victorias a 0. 26.2 horas-núcleo registradas para 990 celdas. Extiende MiniRocket con múltiples operadores de pooling y diferencias de primer orden.9
Hydra
Rango medio 4.100; su victoria sobre MOMENT (22/6) sobrevive a la corrección. Un método convolucional de estilo diccionario: los kernels compiten en grupos y los recuentos de los kernels ganadores forman la representación.10
MiniRocket
Rango medio 4.700 con 4.9 horas-núcleo registradas para 990 celdas, el método fuerte más barato del carril CPU registrado; su victoria sobre MOMENT (24/4) sobrevive a la corrección. Una transformación convolucional aleatoria casi determinista con un clasificador lineal.11
MOMENT
El model preentrenado mejor clasificado en el panel primario univariado (6.633); pierde frente a las tres transformaciones convolucionales con contrastes que sobreviven. Un model basado en T5 de 385M parámetros preentrenado en un corpus multidominio para pronóstico, clasificación, detección de anomalías e imputación.12
Chronos-2
Rango medio 7.967; pierde frente a MultiRocket 28/0. Un foundation model de pronóstico utilizado aquí como extractor de embeddings congelado, que no es su tarea nativa.13
TiRex
Rango medio 8.433; pierde frente a MultiRocket 28/0. Un model de pronóstico zero-shot basado en xLSTM,14 utilizado también aquí como extractor congelado. En el brazo de sensibilidad post hoc, cambiar la extracción de la capa final por la concatenación de todas las capas elevó la exactitud media en 1.13 puntos porcentuales en su panel de 30 datasets: 23 datasets mejoraron y siete empeoraron, Heartbeat en 7.98 puntos sin que ninguno de sus 30 remuestreos mejorara. El resultado congelado de la capa final y el rango siguen siendo primarios; el brazo de sensibilidad no lleva rango.
Mantis-V2
Rango medio 9.733 en univariado y 5.444 en el panel multivariado; pierde frente a MultiRocket 24/3. No terminó FaceDetection: los 144 canales abruman su cabeza de clasificación nativa. Un model de clasificación ligero preentrenado de forma contrastiva, con datos sintéticos y estrategias en tiempo de prueba añadidas en V2.15
TimEE
Se presenta sin rango; véase el hallazgo sobre la composición del lote más arriba. Exactitud media 0.841 en los 21 datasets de su panel reportado, calculada con una composición de lote fija. Se declararon dos exclusiones antes de que se aplicaran los resultados: NonInvasiveFetalECGThorax1 es parcial en 5 de 30 remuestreos, y Phoneme se reporta solo en su división de archivo. Un model de 4.5M parámetros metaentrenado en tareas sintéticas que clasifica de extremo a extremo en contexto, en una única pasada hacia delante a partir de un conjunto de soporte etiquetado.3
TiCT
Rango medio 10.200. Solo univariado; su ejecutor fue el único que aplicó la regla de validez de clase rara en Phoneme, contribuyendo una celda válida donde otros carriles ejecutaron 30. Bit a bit idéntico bajo la prueba de intercambio de pares. Un transformer en contexto preentrenado con datos sintéticos y codificación de etiquetas basada en bits para recuentos arbitrarios de clases.16
DTW-1NN
Rango medio 9.900. No terminó StarLightCurves, un DNF por coste declarado a las 95 horas para una celda no divisible. Vecino más cercano bajo la distancia de Dynamic Time Warping, la línea base más antigua del campo.
catch22
Rango medio 8.700 en el panel primario. Veintidós características de resumen fijas e interpretables que alimentan un clasificador simple.17
Cuándo elegir un foundation model en lugar de un clasificador clásico
- Muchos datos de entrenamiento etiquetados: cada contraste que sobrevive a la corrección aquí favorece una transformación convolucional, y dos de los tres, MultiRocket y Hydra, están en el clique superior junto con HIVE-COTE 2 y RocketPFN.
- Etiquetas muy limitadas o despliegue en frío: los models en contexto y zero-shot son los candidatos, y este es el régimen que nuestro benchmark no mide. Todos nuestros paneles usan divisiones de entrenamiento completas del archivo.
- Datos multivariados: compruebe primero la cobertura nativa. Dos de los tres métodos en contexto de esta lista son solo univariados.
- Máxima exactitud sin importar el cómputo: HIVE-COTE 2 y RocketPFN no son separables con esta evidencia. Este benchmark no separa ni su exactitud ni su cómputo, porque RocketPFN no tiene tiempos registrados.
Un presupuesto de cómputo que importa: en las 140 celdas emparejadas anteriores, MultiRocket usa 1/247 de las horas-núcleo de CPU de HIVE-COTE 2 y ninguna diferencia de exactitud entre ellos sobrevive a la corrección en esos datasets. - Requisitos de auditabilidad: prefiera métodos cuyas predicciones sean reproducibles solo a partir de la entrada. El hallazgo sobre la composición del lote anterior es el caso que invita a la precaución.
Qué es la clasificación de series temporales
La clasificación de series temporales entrena un model con secuencias numéricas ordenadas y etiquetadas para predecir una clase discreta en una serie no vista: diagnóstico de ECG, reconocimiento de actividad humana con dispositivos ponibles, detección de fallos industriales. Se diferencia del pronóstico, que produce valores futuros en lugar de una etiqueta de clase. Los models tabulares no codifican el orden de los valores como sesgo inductivo; tratan cada paso temporal como una columna independiente.
Los métodos clásicos ajustan un model nuevo por dataset. Un foundation model de series temporales se preentrena una vez en un corpus grande y luego se aplica a nuevos datasets en modo zero-shot, mediante una sonda ligera o en contexto a partir de un puñado de ejemplos etiquetados suministrados en el momento de la inferencia. Si ese preentrenamiento actualmente aporta exactitud de clasificación en archivos estándar, bajo un protocolo controlado, es la pregunta que mide este benchmark.
Metodología del benchmark de clasificación de series temporales
Métodos. Cuatro familias: foundation models preentrenados evaluados mediante un protocolo de transferencia (MOMENT, Chronos-2, TiRex, Mantis-V2), models en contexto (TimEE, TiCT, RocketPFN), transformaciones convolucionales (MiniRocket, MultiRocket, Hydra) y referencias clásicas (HIVE-COTE 2, DTW-1NN, catch22).
Datos. 23 datasets univariados de UCR y 10 multivariados de UEA,56 más una capa no IID separada en SleepEDF y PTB-XL. 14.638 celdas registradas, desglosadas en la tabla de cobertura siguiente.
Cobertura. Las celdas puntuadas no se distribuyen de manera uniforme entre los métodos, y los denominadores deciden qué comparaciones son posibles en absoluto.
Cada comparación clasificada se ejecuta sobre la intersección de casos completos de los métodos que nombra, nunca sobre la cobertura de un único método, que es lo que permite que las 140 celdas de HIVE-COTE 2 y las 2.760 de RocketPFN aparezcan en la misma tabla. La exportación completa contiene 14.638 filas: estas 11.874 celdas puntuadas, el brazo de reproducción del protocolo del artículo de RocketPFN con 2.760 celdas y 4 celdas diagnósticas post hoc de HIVE-COTE 2.
Remuestreo. r0 es la división de entrenamiento/prueba del archivo; r1 a r29 son barajados estratificados con las proporciones del archivo, con semilla 1729+r. La unidad inferencial es el dataset: los remuestreos se promedian dentro de un dataset antes de comparar los métodos. HIVE-COTE 2 y DTW-1NN ejecutan 5 remuestreos porque su coste por celda es de uno a dos órdenes de magnitud mayor, y la tabla primaria restringe todos los métodos a los mismos 5 remuestreos emparejados. La división de archivo r0 es sistemáticamente más difícil que los remuestreos con semilla en 8 de 33 datasets, hasta en 0.218 de exactitud, de modo que los cinco remuestreos emparejados no son extracciones intercambiables.
Protocolo de transferencia. Cada foundation model de referencia ejecuta el mismo pipeline: codificación por variable, capa final del codificador, mean-pooling sobre tokens de contexto válidos, normalización L2 por variable, concatenación de canales, estandarización solo con entrenamiento y regresión logística como sonda. Congelado el 2026-07-24, antes de cualquier celda puntuada.
Estadística. Ómnibus de Friedman y, después, Wilcoxon de rangos con signo por pares con corrección de Holm sobre los 19 contrastes inspeccionados, sobre medias a nivel de dataset y solo paneles de casos completos. El ómnibus solo respalda que los rangos difieren en algún lugar; cada afirmación pareada proviene de los contrastes corregidos.
Congelación. Los datos se congelaron el 2026-07-29 03:00 UTC, con reglas de exclusión escritas antes de que se conocieran los resultados pendientes. Una celda terminó 22 minutos después del corte y queda excluida según la regla preescrita. La publicación supera 120 comprobaciones mecánicas de aserción, incluida la comparación de hash de cada archivo de entrada, la regeneración de la tabla primaria a partir de la exportación y la aplicación de las exclusiones declaradas detrás de la cifra publicada de TimEE tanto en el artículo como en las tablas de la publicación.
Métricas. La métrica primaria declarada fue ROC-AUC. No está disponible para 6 de los 7 foundation models de referencia, cuyas ejecuciones archivan puntuaciones de decisión o predicciones de clase en lugar de probabilidades calibradas, de modo que la exactitud se convirtió en la métrica de comparación. TimEE es el único de los siete que lleva ROC-AUC. Lo declaramos explícitamente en lugar de reetiquetar la exactitud como preespecificada. La exactitud equilibrada, la macro-F1 y la pérdida logarítmica son análisis de sensibilidad post hoc sobre el subconjunto cubierto.
Reproducibilidad. Las predicciones por instancia están archivadas para los 13 métodos y para los 12 de la tabla primaria; cada predicción regenerada reproduce su escalar congelado con una diferencia máxima de 0.000e+00 (4.260 celdas del carril CPU reverificadas el 2026-08-02, cero huérfanas). La tabla primaria se puede recalcular por completo a partir de las predicciones publicadas.
Métodos que no están en este benchmark
Models relevantes para TSC publicados que no evaluamos, enumerados para que el límite de la lista sea explícito. Ninguna de las afirmaciones aquí son mediciones nuestras. UniTS es un model multitarea unificado que cubre clasificación, pronóstico, imputación y detección de anomalías.18 TiViT convierte series en imágenes y clasifica con Vision Transformers preentrenados congelados.19 UniShape es un foundation model consciente de la forma creado para clasificación, con un adaptador consciente de la forma, aceptado en AAAI 2026.20 GPT4TS, publicado también como One Fits All, utiliza un backbone GPT-2 cuyos bloques de autoatención y feedforward permanecen congelados mientras se entrenan los componentes de entrada, normalización y salida.21 TIC-FM es un clasificador zero-shot en contexto que predice todas las instancias de prueba en una única pasada hacia delante;22 interpretar su diseño de una sola llamada como la misma clase de exposición que el hallazgo de composición del lote anterior es una inferencia nuestra a partir de la descripción publicada, no un resultado probado.
Limitaciones
- No existe un registro de superposición de preentrenamiento para ningún model preentrenado: ninguno publica una declaración a nivel de dataset sobre si las series UCR/UEA aparecen en su corpus de preentrenamiento, de modo que la transferencia no puede separarse de la exposición previa. Tratar las derrotas como seguras descansa en una suposición que ningún registro a nivel de dataset puede comprobar: que la exposición previa, donde se produjo, favoreció a estos models en lugar de perjudicarlos. Bajo esa suposición, van por detrás pese a la ventaja y las derrotas se mantienen; por la misma lógica, cualquier victoria de un model preentrenado no puede atribuirse limpiamente a la transferencia.
- Los resultados de los foundation models dependen del único protocolo de transferencia congelado. El brazo post hoc de TiRex solo cambió la extracción de capas y elevó la exactitud media en 1.13 puntos porcentuales al tiempo que empeoró siete de sus 30 datasets, Heartbeat en 7.98 puntos con 0 de sus 30 remuestreos que mejoraran. Probó un model, no lleva rango y no establece el efecto para los demás foundation models.
- Todos los tiempos de pared son rendimiento bajo carga con concurrencia variable en una máquina compartida. Seis de 13 métodos no llevan ninguno.
- La evidencia cubre solo problemas del tamaño de los archivos. Nada aquí habla de escalabilidad.
- El benchmark inspecciona una versión de cada método en su fecha congelada.
Errores comunes al evaluar la clasificación de series temporales
Superposición entre preentrenamiento y prueba. Una auditoría de 2025 rastreó 401 datasets a través de 22 foundation models de series temporales publicados y encontró que solo el 6 % nunca había aparecido en el corpus de preentrenamiento o de fine-tuning de ningún model.23 Ningún model de nuestra lista publica una declaración de superposición a nivel de dataset, razón por la cual nuestra sección de limitaciones trata la transferencia y la exposición previa como inseparables.
Diseño de división. El archivo UCR estándar incluye una división fija de entrenamiento/prueba; la práctica moderna remuestrea, y nuestro panel SleepEDF muestra por qué la estructura de sujetos necesita más que remuestreo: solo el diseño de la división movió la exactitud reportada hasta en 0.060 y comprimió su varianza aproximadamente entre siete y nueve veces. Ninguna cifra aislada aquí es una propiedad del dataset; cada una es una propiedad del dataset bajo un diseño de división declarado.
Multiplicidad. Comparar muchos clasificadores en muchos datasets sin corrección fabrica hallazgos. La maquinaria estándar es Wilcoxon de rangos con signo para pares y la corrección por familia de estilo Holm sobre cada contraste inspeccionado,2425 y la corrección debe cubrir cada contraste inspeccionado, no solo los reportados. En este benchmark, esa disciplina eliminó 13 de 19 contrastes.
Apéndice: sensibilidad de la extracción de TiRex
Este brazo post hoc usa los mismos 30 datasets, 30 divisiones de remuestreo, escalador y sonda logística que el resultado congelado de TiRex. Solo cambia la extracción de características, de la capa final del codificador a representaciones concatenadas de las 12 capas. El brazo es rank-free y no altera el benchmark congelado.
La exactitud media pasó de 0.793 a 0.805, un cambio de 1.13 puntos porcentuales, con un intervalo de bootstrap de datasets con semilla de +0.15 a +2.06 puntos. Una prueba de Wilcoxon de rangos con signo pareada sobre las 30 diferencias de dataset da una W bilateral exacta de 92.0 con p=0.003. Esa prueba es exploratoria: se ejecutó después de la congelación, queda fuera de la familia Holm de 19 contrastes que gobierna cada afirmación corregida aquí y no lleva rango.
Auer et al. clasifican a TiRex primero entre los foundation models de pronóstico usando características concatenadas por capas y un Random Forest, y su propia ablación informa de un efecto de capa mayor de 5 puntos.26 Los dos estudios difieren en datasets, lista de models, clasificador y filtrado por longitud de serie, de modo que 1.13 y 5 puntos son estimaciones de sensibilidad específicas del protocolo, no estimaciones competidoras de un mismo efecto. Este brazo no reproduce ni refuta su clasificación y no identifica la causa de la diferencia de rango entre estudios. Establece la sensibilidad de capa de TiRex dentro de este benchmark. No generaliza el efecto a los demás foundation models ni identifica el mejor rendimiento de clasificación alcanzable de ningún model.
Cita esta investigación
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk},
title = {{Benchmark de clasificación de series temporales: Foundation Models frente a métodos clásicos}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/time-series-classification}},
note = {AIMultiple. Recuperado el 24 de agosto de 2026}
}Resultados y marcas de tiempo de 99 puntos de datos. Descargue los datos resumidos que se muestran en los gráficos y las tablas de este artículo como un archivo ZIP que contiene 8 archivos CSV y un README.
¿Quieres los datos granulares que hay detrás? Únete a Premium
Registro de cambios
3 actualizacionesReemplazado: el número de modelos sin ROC-AUC pasó de 5 de 7 a 6 de 7.
Actualizada la disponibilidad de ROC-AUC a 6 de 7 modelos base en la sección de metodología.
Añadida una sección "Etiquetas duras, no probabilidades" sobre métodos de CPU sin salida de probabilidad.
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.