Benchmark de Classificação de Séries Temporais: Modelos de Fundação vs Métodos Clássicos
Avaliamos 13 métodos de classificação de séries temporais, desde modelos de fundação de séries temporais pré-treinados até uma linha de base de 22 características de 2019, em 33 datasets UCR/UEA sob um protocolo congelado. Isso equivale a 14.638 células registradas de método-dataset-reamostragem, 11.874 delas pontuadas.
Resultados do benchmark TSC
| Name | Mean accuracy |
|---|---|
| RocketPFN | 0.9047 |
| HIVE-COTE 2 | 0.8976 |
| MultiRocket | 0.8897 |
| Hydra | 0.8771 |
| MiniRocket | 0.8755 |
| MOMENT | 0.8529 |
| Chronos-2 | 0.8348 |
| TiRex | 0.8258 |
| catch22 | 0.8059 |
| Mantis-V2 | 0.7874 |
| TiCT | 0.7759 |
| DTW-1NN | 0.7563 |
O gráfico compara 12 métodos nos 15 datasets univariados que todos concluíram, cada dataset executado nas mesmas 5 divisões de treino/teste. As barras estão ordenadas por acurácia média. A tabela abaixo também inclui o rank médio, a posição média que um método ocupa dentro de um dataset, e coloca os mesmos 12 em uma ordem diferente.
Não há vencedor único. HIVE-COTE 2 fica em primeiro no rank médio (2.400) e RocketPFN em primeiro em acurácia média (0.905). Em um bootstrap de dataset com 5.000 sorteios, o primeiro lugar fica com HIVE-COTE 2 em 46,6% dos sorteios, RocketPFN em 45,5% e MultiRocket em 7,9%. As duas ordenações discordam e o bootstrap se divide quase igualmente, de modo que nomear qualquer um deles seria um artefato da métrica escolhida.
O grupo do topo é menor do que a tabela sugere. O clique Wilcoxon-Holm é HIVE-COTE 2, RocketPFN, MultiRocket e Hydra. O MiniRocket, seis décimos de posição atrás do Hydra em 4.700, não está nele: a pertinência vem dos testes pareados corrigidos, não de onde os números de rank caem.
Neste painel, as transformações ocupam as posições 3, 4 e 5 e os modelos pré-treinados ocupam 6, 7, 8 e 10. O MOMENT, modelo pré-treinado mais bem classificado com 6.633, fica quase duas posições completas abaixo do MiniRocket.
catch22, publicado em 2019 com 22 características fixas, cai dentro da faixa pré-treinada em 8.700, à frente do Mantis-V2 (9.733) e atrás do TiRex (8.433). Em profundidade total de 30 reamostragens, permanece nessa faixa, tanto no painel de 18 datasets abaixo com 7.222 quanto em uma variante de 27 datasets e oito métodos que descarta o RocketPFN.
Rank e acurácia também discordam na parte inferior. O DTW-1NN tem acurácia média pior que o TiCT (0.756 contra 0.776) e um rank médio melhor (9.900 contra 10.200). A métrica que você relata muda a ordem nas duas metades da tabela.
Apenas o meio da tabela é estável. Remover qualquer dataset isolado altera a ordenação em 10 de 15 casos. Seis deles são a troca entre HIVE-COTE 2 e RocketPFN; Mantis-V2 e DTW-1NN trocam de lugar em seis e DTW-1NN e TiCT em dois. As posições de 3 a 9 nunca mudam.
A métrica de comparação é a acurácia porque a métrica primária declarada, ROC-AUC, está indisponível para 6 dos 7 modelos de fundação de referência. O painel é somente univariado: TiCT e RocketPFN não têm suporte multivariado nativo, então a regra de caso completo remove todos os 10 datasets multivariados. As linhas dos modelos de fundação medem esses modelos sob um único protocolo de transferência fixo. O TimEE não recebe rank, pelo motivo abaixo. Uma participação de primeiro lugar no bootstrap é a frequência de ficar em primeiro entre coleções de datasets reamostradas, e nada mais.
A própria ordenação replica o bake-off de 2024, que estabeleceu que o HIVE-COTE 2 e a família ROCKET lideram essa classe de problema e relata que o HIVE-COTE 2 é muito mais lento.1 A contribuição aqui é uma medição controlada de forma independente em um elenco de 2026 sob um protocolo comum, com as separações quantificadas após correção por família.
O RocketPFN consiste em características do ROCKET fornecidas ao TabPFN,2 um modelo tabular em contexto, em vez de um modelo de fundação de séries temporais pré-treinado, portanto sua posição acima das linhas pré-treinadas não diz nada sobre essa classe.
Com que frequência cada método fica em primeiro
| Name | First-place share |
|---|---|
| HIVE-COTE 2 | 46.6 |
| RocketPFN | 45.5 |
| MultiRocket | 7.9 |
Cada barra é a proporção de 5.000 sorteios aleatórios dos 15 datasets, com repetições permitidas, em que um método fica em primeiro. Nove dos 12 métodos nunca ficam e não são desenhados. Os sorteios são executados com semente 1729. O primeiro lugar muda conforme os datasets sorteados, e as proporções não dizem nada sobre a distância entre os métodos.
Uma classificação de Bradley-Terry modela a chance de cada método vencer outro em um dataset e não pode fabricar um vencedor que os testes de significância não encontraram. Ela classifica HIVE-COTE 2 em 1384.6, RocketPFN em 1380.6 e MultiRocket em 1338.3, cada um deles do primeiro ao terceiro lugar nos sorteios. A âncora de 1000 é relativa a esses 15 datasets, e uma classificação é a chance modelada de vencer um dataset, não pontos de acurácia.
Os testes congelados de Wilcoxon-Holm, corrigidos por executar muitas comparações ao mesmo tempo, não detectam diferença entre HIVE-COTE 2, RocketPFN, MultiRocket e Hydra. Isso não é evidência de que tenham desempenho igual. O Hydra fica em quarto ou quinto nos sorteios, o que também não o separa dos três primeiros. Essas posições summarize estabilidade, não significância. Nenhum vencedor único é sustentado.
Quais lacunas sobrevivem à correção
| Name | Mean accuracy difference (A - B) | Share of shared datasets won by A | Wins/losses | p (Holm) | Shared datasets | Status |
|---|---|---|---|---|---|---|
| hc2 vs rocketpfn | -0.0071 | 0.4286 | 6/8 | 1 | 15 | inconclusive |
| hc2 vs multirocket | 0.0119 | 0.6667 | 18/9 | 1 | 28 | inconclusive |
| rocketpfn vs multirocket | 0.0131 | 0.6471 | 11/6 | 1 | 18 | inconclusive |
| multirocket vs moment-probe | 0.0488 | 0.8929 | 25/3 | 0.000188 | 28 | survives Holm |
| minirocket vs moment-probe | 0.0364 | 0.8571 | 24/4 | 0.00788 | 28 | survives Holm |
| hydra vs moment-probe | 0.0332 | 0.7857 | 22/6 | 0.0239 | 28 | survives Holm |
| multirocket vs chronos-probe | 0.0517 | 1 | 28/0 | 1.42e-07 | 28 | survives Holm |
| multirocket vs tirex-probe | 0.0587 | 1 | 28/0 | 1.42e-07 | 28 | survives Holm |
| multirocket vs mantis-v2 | 0.0781 | 0.8889 | 24/3 | 0.000301 | 27 | survives Holm |
| dtw1nn vs tict | -0.0208 | 0.381 | 8/13 | 1 | 21 | inconclusive |
| dtw1nn vs moment-probe | -0.0546 | 0.2963 | 8/19 | 0.229 | 27 | inconclusive |
| dtw1nn vs chronos-probe | -0.0514 | 0.2963 | 8/19 | 0.0839 | 27 | inconclusive |
| dtw1nn vs tirex-probe | -0.0443 | 0.3333 | 9/18 | 0.164 | 27 | inconclusive |
| dtw1nn vs mantis-v2 | -0.0235 | 0.4231 | 11/15 | 1 | 26 | inconclusive |
| dtw1nn vs moment-probe (multivariate) | 0.0119 | 0.6 | 6/4 | 1 | 10 | inconclusive |
| dtw1nn vs chronos-probe (multivariate) | -0.0098 | 0.5 | 5/5 | 1 | 10 | inconclusive |
| dtw1nn vs tirex-probe (multivariate) | -0.0074 | 0.4 | 4/6 | 1 | 10 | inconclusive |
| dtw1nn vs mantis-v2 (multivariate) | -0.0183 | 0.3333 | 3/6 | 1 | 9 | inconclusive |
| multirocket vs moment-probe (multivariate) | 0.0722 | 0.9 | 9/1 | 0.164 | 10 | inconclusive |
Dezenove contrastes pareados foram inspecionados e seis sobrevivem à correção de Holm. Cada ponto carrega seu intervalo de 95% e o p-valor ajustado por Holm no tooltip; esses intervalos são resumos de bootstrap de dataset e não são ajustados por multiplicidade, portanto apenas os p-valores carregam Holm.
Todo contraste sobrevivente é uma transformação convolucional vencendo um modelo pré-treinado.
O MultiRocket varre dois deles sem perder um dataset. 28 vitórias a 0 contra Chronos-2 e TiRex, com p = 1.4e-07.
Treze contrastes são inconclusivos, o que não é evidência de ausência de diferença. Nada envolvendo o DTW-1NN sobrevive à correção, e nada no subconjunto multivariado sobrevive.
Cada linha é calculada nos datasets que o par compartilha, não em um painel comum, portanto as linhas não formam uma tabela de liga e não podem ser lidas umas contra as outras.
Resultados de modelos de fundação são condicionais a um protocolo de transferência: mean-pool da última camada com uma sonda logística, aplicado de forma idêntica a MOMENT, Chronos-2, TiRex e Mantis-V2 e congelado antes de qualquer célula pontuada. Um braço post hoc, rank-free, alterou a extração de camada do TiRex e moveu a acurácia média de 0.793 para 0.805, 1.13 pontos percentuais, com 23 de 30 datasets melhorando e sete piorando. A maior perda, Heartbeat com 7.98 pontos, não melhorou em nenhuma de suas 30 reamostragens, então a média esconde um resultado que inverte por dataset. Detalhes estão no apêndice.
Seis vezes a profundidade de divisão
| Name | Mean accuracy |
|---|---|
| RocketPFN | 0.9164 |
| MultiRocket | 0.9018 |
| Hydra | 0.8917 |
| MiniRocket | 0.8881 |
| MOMENT | 0.8656 |
| Chronos-2 | 0.8521 |
| TiRex | 0.8424 |
| catch22 | 0.8202 |
| Mantis-V2 | 0.8037 |
Toda tabela acima executa 5 divisões de treino/teste, porque HIVE-COTE 2 e DTW-1NN executam apenas essas cinco sob a exceção congelada de célula cara e a regra de reamostragem pareada reduz o restante para corresponder. As barras mostram a acurácia média sobre as 30 divisões, e o rank médio dá a mesma ordem. Retire esses dois e os nove métodos restantes executam todas as 30 reamostragens estratificadas com semente em 18 datasets, a profundidade usada no bake-off.
A ordenação se mantém. RocketPFN 1.694, MultiRocket 2.250, Hydra 2.889 e MiniRocket 3.833 ocupam as quatro primeiras posições, todos os quatro baseados em características convolucionais aleatórias. Depois MOMENT 5.889, Chronos-2 6.444 e TiRex 7.056, com catch22 em 7.222 e Mantis-V2 em 7.722. O qui-quadrado de Friedman é 105.067 com p = 3.9e-19. Cinco divisões não o fabricaram.
Os dois blocos se separam claramente nessa profundidade. O intervalo de rank do bootstrap do MiniRocket de 95% chega a 4.278 e o do MOMENT começa em 5.111; em todos os 5.000 sorteios de bootstrap, nenhum rank médio de modelo pré-treinado cruzou para o intervalo do bloco convolucional.
Dez dos doze pares transformação contra pré-treinado sobrevivem à correção de Holm aqui. Os dois que não sobrevivem, MiniRocket sobre MOMENT com p = 0.108 e Hydra sobre MOMENT com p = 0.105, ambos sobrevivem no painel primário. Holm cobre a própria família deste painel de 36 pares, então essa contagem e os seis sobreviventes do painel primário respondem a perguntas diferentes.
O primeiro lugar não está mais resolvido. O RocketPFN o obtém em 92,9% dos 5.000 sorteios de bootstrap de datasets, contra 46,6% e 45,5% no painel primário, mas o HIVE-COTE 2, método com quem ele divide o primeiro lugar lá, está ausente aqui. O clique do topo ainda tem três: RocketPFN, MultiRocket e Hydra. O MiniRocket fica fora dele novamente, compartilhando um clique com o MOMENT.
Isto é uma verificação de profundidade, não uma replicação independente. Os 18 datasets contêm todos os 15 do painel primário mais ElectricDevices, StarLightCurves e UWaveGestureLibraryAll, então a fragilidade de deixar um dataset de fora acima permanece. É somente univariado pelo mesmo motivo: a presença do RocketPFN. O que isso descarta é uma ordenação que dependa de cinco divisões específicas.
A composição do lote altera as previsões do TimEE
| Metric and test-set size n_test (the harness calls in batches of 512) | Cells | Share of cells with identical results |
|---|---|---|
| Accuracy | 270 / 270 | 1 |
| Accuracy >512 | 146 / 325 | 0.4492 |
| ROC-AUC | 221 / 270 | 0.8185 |
| ROC-AUC >512 | 12 / 308 | 0.039 |
O TimEE é um classificador em contexto cuja manchete publicada é o primeiro lugar em ROC-AUC no benchmark UCR.3 Nós o executamos em duas máquinas e comparamos os resultados em nível de célula.
A concordância quebra exatamente no tamanho de lote do harness de 512. A acurácia é idêntica em 270 de 270 células onde o conjunto de teste cabe em uma chamada, e em 146 de 325 células onde não cabe. Para ROC-AUC, a divisão é 221 de 270 contra 12 de 308. As duas máquinas diferem em hardware em ambos os estratos, então nenhum estrato isolado prova algo; o contraste entre eles é a evidência.
| Name | Series | Test-set size (log scale, call threshold 512) | Share of resamples with identical results | Identical |
|---|---|---|---|---|
| Chinatown | Accuracy | 343 | 1 | 30 / 30 |
| ChlorineConcentration | Accuracy | 3840 | 0.1667 | 5 / 30 |
| Computers | Accuracy | 250 | 1 | 30 / 30 |
| ECG5000 | Accuracy | 4500 | 0.5 | 15 / 30 |
| EOGHorizontalSignal | Accuracy | 362 | 1 | 30 / 30 |
| Earthquakes | Accuracy | 139 | 1 | 30 / 30 |
| ElectricDevices | Accuracy | 7711 | 0 | 0 / 2 |
| EthanolLevel | Accuracy | 500 | 1 | 30 / 30 |
| FordA | Accuracy | 1320 | 0.2 | 6 / 30 |
| FordB | Accuracy | 810 | 0.1333 | 4 / 30 |
| GunPoint | Accuracy | 150 | 1 | 30 / 30 |
| Haptics | Accuracy | 308 | 1 | 30 / 30 |
| InsectWingbeatSound | Accuracy | 1980 | 0.2333 | 7 / 30 |
| ItalyPowerDemand | Accuracy | 1029 | 0.9333 | 28 / 30 |
| LargeKitchenAppliances | Accuracy | 375 | 1 | 30 / 30 |
| NonInvasiveFetalECGThorax1 | Accuracy | 1965 | 0.6 | 3 / 5 |
| Phoneme | Accuracy | 1896 | 0.4444 | 8 / 18 |
| StarLightCurves | Accuracy | 8236 | 0.2 | 6 / 30 |
| Strawberry | Accuracy | 370 | 1 | 30 / 30 |
| TwoPatterns | Accuracy | 4000 | 0.7333 | 22 / 30 |
| UWaveGestureLibraryAll | Accuracy | 3582 | 0.5667 | 17 / 30 |
| Wafer | Accuracy | 6164 | 0.8333 | 25 / 30 |
| Chinatown | ROC-AUC | 343 | 1 | 30 / 30 |
| ChlorineConcentration | ROC-AUC | 3840 | 0 | 0 / 30 |
| Computers | ROC-AUC | 250 | 0.9667 | 29 / 30 |
| ECG5000 | ROC-AUC | 4500 | 0 | 0 / 30 |
| EOGHorizontalSignal | ROC-AUC | 362 | 1 | 30 / 30 |
| Earthquakes | ROC-AUC | 139 | 0.3333 | 10 / 30 |
| ElectricDevices | ROC-AUC | 7711 | 0 | 0 / 2 |
| EthanolLevel | ROC-AUC | 500 | 0.3333 | 10 / 30 |
| FordA | ROC-AUC | 1320 | 0 | 0 / 30 |
| FordB | ROC-AUC | 810 | 0 | 0 / 30 |
| GunPoint | ROC-AUC | 150 | 1 | 30 / 30 |
| Haptics | ROC-AUC | 308 | 0.9333 | 28 / 30 |
| InsectWingbeatSound | ROC-AUC | 1980 | 0 | 0 / 30 |
| ItalyPowerDemand | ROC-AUC | 1029 | 0.0667 | 2 / 30 |
| LargeKitchenAppliances | ROC-AUC | 375 | 0.9 | 27 / 30 |
| NonInvasiveFetalECGThorax1 | ROC-AUC | 1965 | 0 | 0 / 5 |
| Phoneme | ROC-AUC | 1896 | 0 | 0 / 1 |
| StarLightCurves | ROC-AUC | 8236 | 0 | 0 / 30 |
| Strawberry | ROC-AUC | 370 | 0.9 | 27 / 30 |
| TwoPatterns | ROC-AUC | 4000 | 0 | 0 / 30 |
| UWaveGestureLibraryAll | ROC-AUC | 3582 | 0 | 0 / 30 |
| Wafer | ROC-AUC | 6164 | 0.3333 | 10 / 30 |
Por dataset, a quebra é mais acentuada do que os totais do estrato sugerem. Todo dataset cujo conjunto de teste cabe em uma chamada concorda na acurácia em 30 de 30 reamostragens, e nenhum dataset acima do limite alcança 30 de 30. A ROC-AUC é pior em ambos os lados da linha, caindo abaixo da metade em dois datasets pequenos o suficiente para caber.
O mecanismo está no código-fonte. A função de embedding estatística aplica z-score a cada característica em todas as linhas da chamada de inferência, tanto de suporte quanto de consulta, sem nenhuma proteção separando posições de treinamento de avaliação. Trinta linhas depois, o mesmo arquivo aplica exatamente essa proteção a uma etapa de normalização diferente. Uma troca controlada de pares confirma: manter uma consulta âncora fixa e substituir as outras 511 consultas na chamada desloca a probabilidade prevista da âncora em 1.163e-04, contra um ruído de repetição exatamente zero. TiCT e RocketPFN, testados de forma idêntica, são bit-idênticos sob a mesma troca.
Uma previsão do TimEE, portanto, não é função apenas da série de entrada. Suas pontuações são reproduzíveis em composição de lote fixa, então ele não pode receber um rank comparável ao de classificadores indutivos e este benchmark o relata sem um. Isso qualifica a alegação publicada de ROC-AUC, já que a ROC-AUC é calculada exatamente a partir das probabilidades que se mostraram dependentes da chamada. Não mostra que as pontuações estão infladas em nenhuma direção, não altera o rank publicado, que foi conquistado em um leaderboard que não possuímos, e cobre a versão que inspecionamos.
Três das quatro rotas de detecção não precisam de acesso ao código-fonte. Repita uma célula duas vezes, troque os pares do lote em torno de uma âncora fixa e compare os resultados entre duas máquinas estratificadas pelo limite do lote. Trabalho publicado relacionado agrupa a inferência de rede previamente ajustada por consultas de teste agrupadas por eficiência e não relata dependência da composição.4
Resultados do painel multivariado
| Name | Evaluation panel | Mean rank (lower is better) | Mean accuracy |
|---|---|---|---|
| catch22 | Wide panel (N=24) | 6.85 | 0.7932 |
| catch22 | UEA multivariate (N=9) | 5.67 | 0.7718 |
| chronos-probe | Wide panel (N=24) | 7.1 | 0.8055 |
| chronos-probe | UEA multivariate (N=9) | 7.56 | 0.7566 |
| dtw1nn | Wide panel (N=24) | 7.96 | 0.7542 |
| dtw1nn | UEA multivariate (N=9) | 7.33 | 0.7508 |
| hc2 | Wide panel (N=24) | 1.73 | 0.8735 |
| hc2 | UEA multivariate (N=9) | 1.67 | 0.8334 |
| hydra | Wide panel (N=24) | 3.94 | 0.8454 |
| hydra | UEA multivariate (N=9) | 4.89 | 0.7925 |
| mantis-v2 | Wide panel (N=24) | 7.21 | 0.7806 |
| mantis-v2 | UEA multivariate (N=9) | 5.44 | 0.7691 |
| minirocket | Wide panel (N=24) | 3.69 | 0.846 |
| minirocket | UEA multivariate (N=9) | 3.56 | 0.7967 |
| moment-probe | Wide panel (N=24) | 6.73 | 0.8093 |
| moment-probe | UEA multivariate (N=9) | 8.67 | 0.7365 |
| multirocket | Wide panel (N=24) | 2.48 | 0.858 |
| multirocket | UEA multivariate (N=9) | 3 | 0.8052 |
| tirex-probe | Wide panel (N=24) | 7.31 | 0.7983 |
| tirex-probe | UEA multivariate (N=9) | 7.22 | 0.7524 |
Uma pré-seleção construída no painel amplo não se transfere para dados multivariados. O MOMENT é o último de dez no painel multivariado de 9 datasets, enquanto é o modelo pré-treinado mais bem classificado no painel amplo de 24 datasets com 6.729. O Mantis-V2 segue o caminho oposto: 5.444 no painel multivariado contra 7.208 no amplo.
Isso não é um efeito de modalidade. O painel amplo contém os datasets multivariados como um subconjunto, então o movimento é um contraste entre duas listas de tamanho e composição de tarefas diferentes, não algo medido dentro de cada método. Com N=9 e nenhum contraste sobrevivendo à correção, leia isso como um aviso contra levar uma pré-seleção de painel amplo para uma implantação multivariada, e não como um resultado de seleção.
Resultados de divisão agrupada por sujeito
| Name | Mean window accuracy across folds | Fold-to-fold standard deviation | Folds | Subject-macro mean | Subject-macro SD |
|---|---|---|---|---|---|
| catch22 grouped | 0.7322 | 0.0202 | 5 | 0.7282 | 0.019 |
| catch22 random | 0.7922 | 0.0022 | 10 | 0.7881 | 0.0024 |
| MiniRocket grouped | 0.7997 | 0.0079 | 5 | 0.7979 | 0.0077 |
| MiniRocket random | 0.8299 | 0.0009 | 8 | 0.8271 | 0.0011 |
Os arquivos UCR e UEA fornecem divisões fixas de treino/teste definidas sobre séries individuais, sem anotação de sujeito ou origem para dividir,56 de modo que reamostrá-las reembaralha séries em vez de sujeitos. No estagiamento de sono SleepEDF, em que um sujeito contribui com muitas janelas, também dividimos por sujeito. O MiniRocket carrega 8 de 10 dobras aleatórias por causa do corte de congelamento.
A divisão aleatória relata acurácia maior, em 0.060 para catch22 e 0.030 para MiniRocket.
A compressão de variância é a metade mais transferível. A variabilidade entre dobras é aproximadamente sete a nove vezes menor sob divisão aleatória do que sob agrupamento por sujeito, tanto na acurácia de janela quanto na acurácia macro por sujeito. Um modelo selecionado em divisões aleatórias parece melhor e mais estável do que o mesmo modelo avaliado da maneira como será implantado, em sujeitos não vistos.
Relatamos uma lacuna associada à divisão, nunca vazamento. Os dados não podem dizer se a lacuna vem de vazamento de identidade do sujeito ou de variação genuína dificuldade do sujeito e na mistura de estágios, e divisões aleatórias distribuem essa variação por todos os conjuntos de teste, o que estabiliza a acurácia mecanicamente. O experimento que separaria os dois, épocas de teste idênticas sob conjuntos de treinamento que contêm e não contêm os sujeitos de teste, rodou no PTB-XL e foi descartado do SleepEDF por computação. O próprio PTB-XL mantém 14,9% de sobreposição de mesmo sujeito sob divisão aleatória, portanto é um comparador de baixa sobreposição, não um controle nulo.
Dados desbalanceados: Earthquakes
| Name | Accuracy | Balanced accuracy | N resamples |
|---|---|---|---|
| catch22 | 0.7835 | 0.4996 | 30 |
| dtw1nn | 0.7194 | 0.5453 | 5 |
| hydra | 0.7782 | 0.5122 | 30 |
| minirocket | 0.7662 | 0.5187 | 30 |
| multirocket | 0.7832 | 0.5229 | 30 |
A acurácia oculta uma classificação próxima do acaso. Todo método da via de CPU relata acurácia de 0.72 a 0.78 no Earthquakes, enquanto a acurácia balanceada varia de 0.4996 a 0.5453. Leia 0.5 como acaso apenas no eixo de acurácia balanceada; o acaso para a acurácia comum depende da prevalência de classe.
O método com a maior acurácia tem a menor acurácia balanceada. O catch22, com acurácia 0.783, pontua 0.4996 balanceado, numericamente logo abaixo de 0.5. Se ele está literalmente prevendo a classe majoritária não foi medido; o valor citado não carrega incerteza nem teste contra 0.5.
A inversão é local, não uma propriedade do método. Em todo o painel, o catch22 é claramente o último em acurácia balanceada, 0.726 contra 0.806 do MultiRocket. A acurácia balanceada é uma métrica post hoc aqui, calculada após o congelamento a partir de previsões arquivadas. O DTW-1NN carrega 5 reamostragens contra 30 dos outros quatro métodos, então seu ponto se baseia em menos evidência.
Rótulos rígidos, não probabilidades
Quatro dos seis métodos da via de CPU não retornam probabilidade. MiniRocket, MultiRocket, Hydra e DTW-1NN colocam 1 na classe prevista e 0 em todas as outras, então a log loss deles é acurácia sob outro nome. Ela é igual à taxa de erro vezes 36.0437 em todas as 2.465 células onde a log loss foi registrada, com diferença de até 7.1e-15. Essa constante é a penalidade que o scikit-learn atribui a uma probabilidade zero na classe verdadeira.
A receita se comporta como documentado. Os três classificadores convolucionais, por padrão, usam uma cabeça ridge sem saída de probabilidade, e a biblioteca preenche a lacuna com um vetor one-hot; o DTW-1NN com um vizinho tem a mesma forma por construção.7
A ROC-AUC calculada para eles, portanto, mede o rótulo, não uma ordenação. Nos 27 datasets em que os seis carregam ROC-AUC completa, o catch22 registra 0.884 contra 0.866 do MultiRocket, enquanto fica atrás por 7.2 pontos de acurácia, 0.782 contra 0.854. Leia isso como o catch22 tendo uma pontuação utilizável e o MultiRocket não tendo nenhuma, não como o catch22 ordenando casos melhor.
Apenas dois dos seis podem ser comparados em probabilidades. Nos 22 datasets com log loss completa, o HIVE-COTE 2 tem média 0.344 contra catch22’s 0.527, medianas 0.265 e 0.371, e é menor em 19 de 22. Ambos os valores descrevem saída arquivada. Nenhum experimento de calibração foi executado e nenhum teste congelado cobre essas saídas.
A tabela de acurácia não se move. O que ela não carrega é isto: uma carga de trabalho que ordena ou aplica limiar a casos não obtém nada para limitar a partir da receita padrão de MiniRocket, MultiRocket, Hydra ou DTW-1NN. Uma cabeça probabilística sobre as mesmas características não foi executada.
Computação registrada
| Name | CPU core-hours for 140 matched cells (log scale) | Mean accuracy on the same 140 cells | Matched cells |
|---|---|---|---|
| catch22 | 0.54 | 0.7654 | 140 |
| dtw1nn | 356.82 | 0.7155 | 140 |
| hc2 | 694.23 | 0.8484 | 140 |
| hydra | 2.12 | 0.8219 | 140 |
| minirocket | 0.48 | 0.8213 | 140 |
| multirocket | 2.81 | 0.8365 | 140 |
O gráfico plota células pareadas: todo método da via de CPU restrito aos 28 datasets que todos os seis executaram, nas reamostragens 0 a 4, o que dá 140 células cada. Horas-núcleo de CPU registradas nessas células: HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 e MiniRocket 0.48.
A restrição é o que torna uma razão significativa. A computação registrada totaliza 1.496.5 horas-núcleo em toda a via de CPU, das quais o HIVE-COTE 2 responde por 804.8: 694.2 em suas 140 células classificadas e o restante em quatro células diagnósticas post hoc excluídas de todas as tabelas. O MultiRocket responde por 26.2 em 990 células classificadas. Esses dois totais cobrem quantidades diferentes de trabalho, então nenhuma razão entre eles compara os métodos.
Células pareadas tornam uma razão possível. Restringir todo método da via de CPU aos 28 datasets que todos os seis executaram, nas reamostragens 0 a 4, dá 140 células cada. Horas-núcleo de CPU registradas: HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 e MiniRocket 0.48.
Nesses mesmos 28 datasets, o HIVE-COTE 2 vence o MultiRocket em 18 e perde em 9, uma diferença de acurácia média de 0.012 que não sobrevive à correção de Holm. Isso é 247 vezes o tempo de CPU para uma diferença que este benchmark não consegue detectar. O DTW-1NN, a linha de base que o protocolo do arquivo exige de todo resultado publicado, custa 747 vezes o MiniRocket nas mesmas células.
Todos os métodos aqui foram executados em thread única com n_jobs = 1, uma célula por processo, então o tempo de parede registrado é tempo de núcleo. Dois limites ainda se aplicam a ambas as razões. Os tempos são vazão sob o que mais a máquina estivesse executando, não latência isolada. E o HIVE-COTE 2 rodou em sua própria via de configuração enquanto os outros cinco compartilharam uma, então sua razão abrange duas vias; a razão entre DTW-1NN e MiniRocket é medida dentro de uma única via.
Nenhuma comparação de custo entre métodos clássicos e modelos de fundação é possível a partir deste benchmark, e não fazemos nenhuma. Os seis métodos da via de GPU não registraram tempo de parede. O TimEE tem tempo de parede registrado, mas é excluído gráfico porque não carrega rank.
Métodos comparados
HIVE-COTE 2
Primeiro no rank médio (2.400) no painel primário, não separável do RocketPFN. Executou 140 células classificadas por 694.2 horas-núcleo registradas, o método mais caro na via de CPU registrada, e não concluiu FaceDetection (144 canais). Um meta-ensemble heterogêneo sobre representações shapelet, de dicionário, de intervalo e convolucionais.8
RocketPFN
Primeiro em acurácia média (0.905), não separável do HIVE-COTE 2. Bit-idêntico sob o teste de troca de pares. Somente univariado, portanto nunca entra no painel UEA. Combina características convolucionais da família ROCKET com classificação em contexto pelo modelo de fundação tabular TabPFN v2.5, de modo que nenhum modelo é ajustado no dataset alvo; seu artigo relata paridade com o HIVE-COTE 2 com acurácia média de 0.900 em 92 datasets UCR.2
MultiRocket
Terceiro no rank médio (2.800) e o registro pareado mais forte: todos os quatro contrastes inspecionados contra modelos pré-treinados sobrevivem a Holm, dois com 28 vitórias a 0. 26.2 horas-núcleo registradas para 990 células. Estende o MiniRocket com múltiplos operadores de pooling e diferenças de primeira ordem.9
Hydra
Rank médio 4.100; sua vitória sobre MOMENT (22/6) sobrevive à correção. Um método convolucional estilo dicionário: kernels competem em grupos e as contagens de kernels vencedores formam a representação.10
MiniRocket
Rank médio 4.700 com 4.9 horas-núcleo registradas para 990 células, o método forte mais barato na via de CPU registrada; sua vitória sobre MOMENT (24/4) sobrevive à correção. Uma transformada de kernel convolucional aleatória quase determinística com um classificador linear.11
MOMENT
Modelo pré-treinado mais bem classificado no painel primário univariado (6.633); perde para todas as três transformações convolucionais com contrastes sobreviventes. Um modelo baseado em T5 com 385M parâmetros, pré-treinado em um corpus multidomínio para previsão, classificação, detecção de anomalias e imputação.12
Chronos-2
Rank médio 7.967; perde para o MultiRocket por 28/0. Um modelo de fundação de previsão usado aqui como extrator de embedding congelado, o que não é sua tarefa nativa.13
TiRex
Rank médio 8.433; perde para o MultiRocket por 28/0. Um modelo de previsão zero-shot baseado em xLSTM,14 também usado aqui como extrator congelado. No braço de sensibilidade post hoc, mudar a extração da última camada para a concatenação de todas as camadas elevou a acurácia média em 1.13 pontos percentuais em seu painel de 30 datasets: 23 datasets melhoraram e sete pioraram, Heartbeat em 7.98 pontos sem nenhuma de suas 30 reamostragens melhorando. O resultado congelado da última camada e o rank permanecem primários; o braço de sensibilidade não carrega rank.
Mantis-V2
Rank médio 9.733 no univariado e 5.444 no painel multivariado; perde para o MultiRocket por 24/3. Não concluiu FaceDetection: 144 canais sobrecarregam sua cabeça de classificação nativa. Um modelo de classificação leve pré-treinado por contraste, com dados sintéticos e estratégias de tempo de teste adicionadas na V2.15
TimEE
Relatado sem rank; veja a descoberta de composição de lote acima. Acurácia média de 0.841 nos 21 datasets de seu painel relatado, calculada com composição de lote fixa. Duas exclusões declaradas antes da aplicação dos resultados: NonInvasiveFetalECGThorax1 é parcial com 5 de 30 reamostragens, e Phoneme é relatado apenas em sua divisão de arquivo. Um modelo de 4.5M parâmetros meta-treinado em tarefas sintéticas que classifica ponta a ponta em contexto, em uma única passagem para frente a partir de um conjunto de suporte rotulado.3
TiCT
Rank médio 10.200. Somente univariado; seu executor foi o único a aplicar a regra de validade de classe rara no Phoneme, contribuindo com uma célula válida onde outras vias executaram 30. Bit-idêntico sob o teste de troca de pares. Um transformer em contexto pré-treinado em dados sintéticos com codificação de rótulo baseada em bits para contagens arbitrárias de classes.16
DTW-1NN
Rank médio 9.900. Não concluiu StarLightCurves, um DNF de custo declarado em 95 horas para uma célula indivisível. Vizinho mais próximo único sob distância de Dynamic Time Warping, a linha de base mais antiga do campo.
catch22
Rank médio 8.700 no painel primário. Vinte e duas características-resumo fixas e interpretáveis alimentando um classificador simples.17
Quando escolher um modelo de fundação em vez de um classificador clássico
- Muitos dados de treinamento rotulados: todo contraste que sobrevive à correção aqui favorece uma transformação convolucional, e dois dos três, MultiRocket e Hydra, estão no clique do topo junto com HIVE-COTE 2 e RocketPFN.
- Rótulos severamente limitados ou implantação a frio: modelos em contexto e zero-shot são os candidatos, e este é o regime que nosso benchmark não mede. Todos os nossos painéis usam divisões de treinamento completas do arquivo.
- Dados multivariados: verifique a cobertura nativa primeiro. Dois dos três métodos em contexto neste elenco são somente univariados.
- Maior acurácia independentemente de computação: HIVE-COTE 2 e RocketPFN não são separáveis com esta evidência. Este benchmark não separa nem a acurácia nem a computação deles, porque o RocketPFN não tem tempo registrado.
Um orçamento de computação que importa: nas 140 células pareadas acima, o MultiRocket usa 1/247 das horas-núcleo de CPU do HIVE-COTE 2 e nenhuma diferença de acurácia entre eles sobrevive à correção nesses datasets. - Requisitos de auditabilidade: prefira métodos cujas previsões sejam reproduzíveis somente a partir da entrada. A descoberta de composição de lote acima é o caso de advertência.
O que é classificação de séries temporais
A classificação de séries temporais treina um modelo em sequências numéricas ordenadas e rotuladas para prever uma classe discreta para uma série não vista: diagnóstico de ECG, reconhecimento de atividade humana por wearables, detecção de falhas industriais. Ela difere da previsão, que produz valores futuros em vez de um rótulo de classe. Modelos tabulares não codificam a ordenação dos valores como um viés indutivo; tratam cada passo de tempo como uma coluna independente.
Métodos clássicos ajustam um novo modelo por dataset. Um modelo de fundação de séries temporais é pré-treinado uma vez em um grande corpus e, em seguida, aplicado a novos datasets zero-shot, por meio de uma sonda leve ou em contexto a partir de alguns exemplos rotulados fornecidos no momento da inferência. Se esse pré-treinamento atualmente compra acurácia de classificação em arquivos padrão, sob um protocolo controlado, é a pergunta que este benchmark mede.
Metodologia do benchmark de classificação de séries temporais
Métodos. Quatro famílias: modelos de fundação pré-treinados avaliados por meio de um protocolo de transferência (MOMENT, Chronos-2, TiRex, Mantis-V2), modelos em contexto (TimEE, TiCT, RocketPFN), transformações convolucionais (MiniRocket, MultiRocket, Hydra) e referências clássicas (HIVE-COTE 2, DTW-1NN, catch22).
Dados. 23 datasets univariados UCR e 10 multivariados UEA,56 mais uma camada não-IID separada em SleepEDF e PTB-XL. 14.638 células registradas, divididas na tabela de cobertura abaixo.
Cobertura. As células pontuadas não são distribuídas uniformemente entre os métodos, e os denominadores decidem quais comparações são possíveis.
Toda comparação classificada é executada na interseção de casos completos dos métodos que nomeia, nunca na cobertura de um único método, o que permite que as 140 células do HIVE-COTE 2 e as 2.760 do RocketPFN apareçam na mesma tabela. A exportação completa contém 14.638 linhas: estas 11.874 células pontuadas, o braço de reprodução do protocolo do artigo de 2.760 células do RocketPFN e 4 células diagnósticas post hoc do HIVE-COTE 2.
Reamostragem. r0 é a divisão treino/teste do arquivo; r1 a r29 são embaralhamentos estratificados nas proporções do arquivo, com semente 1729+r. A unidade inferencial é o dataset: as reamostragens são calculadas em média dentro de um dataset antes de os métodos serem comparados. HIVE-COTE 2 e DTW-1NN executam 5 reamostragens porque seu custo por célula é de uma a duas ordens de magnitude maior, e a tabela primária restringe todos os métodos às mesmas 5 reamostragens pareadas. A divisão de arquivo r0 é sistematicamente mais difícil do que as reamostragens com semente em 8 de 33 datasets, por até 0.218 de acurácia, portanto as cinco reamostragens pareadas não são sorteios intercambiáveis.
Protocolo de transferência. Todo modelo de fundação de referência executa o mesmo pipeline: codificação por variável, camada final do codificador, mean-pool sobre tokens de contexto válidos, normalização L2 por variável, concatenação de canais, padronização apenas no treinamento e sonda de regressão logística. Congelado em 2026-07-24, antes de qualquer célula pontuada.
Estatísticas. Omnibus de Friedman e, em seguida, Wilcoxon pareado com correção de Holm em todos os 19 contrastes inspecionados, em médias por dataset, somente painéis de caso completo. O omnibus sustenta apenas que os ranks diferem em algum lugar; toda afirmação pareada vem dos contrastes corrigidos.
Congelamento. Os dados congelaram em 2026-07-29 03:00 UTC, com regras de exclusão escritas antes de os resultados pendentes serem conhecidos. Uma célula terminou 22 minutos após o corte e é excluída sob a regra pré-escrita. A liberação passa por 120 verificações mecânicas de asserção, incluindo comparação de hash de cada arquivo de entrada, regeneração da tabela primária a partir da exportação e aplicação das exclusões declaradas por trás do número publicado do TimEE tanto no artigo quanto nas tabelas de liberação.
Métricas. A ROC-AUC era a métrica primária declarada. Ela está indisponível para 6 dos 7 modelos de fundação de referência, cujas execuções arquivam pontuações de decisão ou previsões de classe em vez de probabilidades calibradas, então a acurácia se tornou a métrica de comparação. O TimEE é o único dos sete que carrega ROC-AUC. Afirmamos isso em vez de rotular a acurácia como pré-especificada. Acurácia balanceada, macro-F1 e log-loss são análises de sensibilidade post hoc no subconjunto coberto.
Reprodutibilidade. Previsões por instância são arquivadas para todos os 13 métodos e todos os 12 da tabela primária; cada previsão regenerada reproduz seu escalar congelado com diferença máxima de 0.000e+00 (4.260 células da via de CPU reverificadas em 2026-08-02, zero órfãs). A tabela primária é totalmente recalculável a partir das previsões liberadas.
Métodos fora deste benchmark
Modelos publicados relevantes para TSC que não avaliamos, listados para que a fronteira do elenco fique explícita. Nenhuma das afirmações aqui são medições nossas. O UniTS é um modelo multitarefa unificado que cobre classificação, previsão, imputação e detecção de anomalias.18 O TiViT converte séries em imagens e classifica com Vision Transformers pré-treinados congelados.19 O UniShape é um modelo de fundação sensível à forma construído para classificação, com um adaptador sensível à forma, aceito na AAAI 2026.20 O GPT4TS, também publicado como One Fits All, usa um backbone GPT-2 cujos blocos de self-attention e feedforward permanecem congelados enquanto os componentes de entrada, normalização e saída são treinados.21 O TIC-FM é um classificador zero-shot em contexto que prevê todas as instâncias de teste em uma única passagem para frente;22 ler seu design de chamada única como a mesma classe de exposição da descoberta de composição de lote acima é uma inferência nossa a partir da descrição publicada, não um resultado testado.
Limitações
- Não existe um livro-razão de sobreposição de pré-treinamento para nenhum modelo pré-treinado: nenhum publica uma declaração em nível de dataset sobre se séries UCR/UEA aparecem em seu corpus de pré-treinamento, de modo que a transferência não pode ser separada da exposição prévia. Tratar as derrotas como seguras se baseia em uma suposição que nenhum livro-razão em nível de dataset pode testar: a de que a exposição prévia, onde ocorreu, favoreceu esses modelos em vez de prejudicá-los. Sob essa suposição, eles ficam atrás apesar da vantagem, e as derrotas permanecem; qualquer vitória de modelo pré-treinado, pela mesma lógica, não pode ser creditada de forma limpa à transferência.
- Resultados de modelos de fundação são condicionais ao único protocolo de transferência congelado. O braço post hoc do TiRex alterou apenas a extração de camada e elevou a acurácia média em 1.13 pontos percentuais, enquanto piorou sete de seus 30 datasets, Heartbeat em 7.98 pontos com 0 de suas 30 reamostragens melhorando. Testou um modelo, não carrega rank e não estabelece o efeito para os outros modelos de fundação.
- Todos os tempos de parede são vazão carregada sob concorrência variável em uma máquina compartilhada. Seis de 13 métodos não carregam nenhum.
- A evidência cobre apenas problemas do tamanho de arquivo. Nada aqui fala sobre escalabilidade.
- O benchmark inspeciona uma versão de cada método em sua data congelada.
Armadilhas comuns no benchmark de classificação de séries temporais
Sobreposição pré-treinamento-teste. Uma auditoria de 2025 rastreou 401 datasets em 22 modelos de fundação de séries temporais publicados e descobriu que apenas 6% nunca haviam aparecido no corpus de pré-treinamento ou fine-tuning de nenhum modelo.23 Nenhum modelo do nosso elenco publica uma declaração de sobreposição em nível de dataset, razão pela qual nossa seção de limitações trata transferência e exposição prévia como inseparáveis.
Desenho de divisão. O arquivo UCR padrão fornece uma divisão fixa treino/teste; a prática moderna reamostra, e nosso painel SleepEDF mostra por que a estrutura de sujeito precisa de mais do que reamostragem: só o desenho de divisão moveu a acurácia relatada em até 0.060 e comprimiu sua variância em aproximadamente sete a nove vezes. Nenhum número isolado aqui é uma propriedade do dataset; cada um é uma propriedade do dataset sob um desenho de divisão declarado.
Multiplicidade. Comparar muitos classificadores em muitos datasets sem correção fabrica descobertas. O maquinário padrão é Wilcoxon signed-rank para pares e correção por família ao estilo Holm sobre cada contraste inspecionado,2425 e a correção deve cobrir cada contraste inspecionado, não apenas os relatados. Neste benchmark, essa disciplina eliminou 13 de 19 contrastes.
Apêndice: sensibilidade da extração do TiRex
Este braço post hoc usa os mesmos 30 datasets, 30 divisões de reamostragem, scaler e sonda logística do resultado congelado do TiRex. Apenas a extração de características muda, da camada final do codificador para representações concatenadas de todas as 12 camadas. O braço é rank-free e não altera o benchmark congelado.
A acurácia média passou de 0.793 para 0.805, uma mudança de 1.13 ponto percentual, com um intervalo de bootstrap de dataset com semente de +0.15 a +2.06 pontos. Um teste pareado de Wilcoxon signed-rank sobre os 30 deltas de dataset dá um W bilateral exato de 92.0 com p=0.003. Esse teste é exploratório: foi executado após o congelamento, fica fora da família Holm de 19 contrastes que governa toda afirmação corrigida aqui e não carrega rank.
Auer et al. classificam o TiRex em primeiro entre modelos de fundação de previsão usando características concatenadas por camadas e uma Random Forest, e a própria ablação deles relata um efeito de camada maior, de 5 pontos.26 Os dois estudos diferem em datasets, elenco de modelos, classificador e filtragem por comprimento de série, de modo que 1.13 e 5 pontos são estimativas de sensibilidade específicas do protocolo, e não estimativas concorrentes de um mesmo efeito. Este braço não reproduz nem refuta a classificação deles, e não identifica a causa da diferença de rank entre estudos. Ele estabelece a sensibilidade de camada do TiRex dentro deste benchmark. Não generaliza o efeito para os outros modelos de fundação nem identifica o melhor desempenho de classificação alcançável de qualquer modelo.
Cite esta pesquisa
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk},
title = {{Benchmark de Classificação de Séries Temporais: Modelos de Fundação vs Métodos Clássicos}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/time-series-classification}},
note = {AIMultiple. Acessado em 24 agosto 2026}
}Resultados e carimbos de data/hora de 99 pontos de dados. Baixe os dados resumidos exibidos nos gráficos e tabelas deste artigo como um arquivo ZIP contendo 8 arquivos CSV e um README.
Quer os dados granulares por trás disso? Assine o Premium
Registro de alterações
3 atualizaçõesSubstituído: o número de modelos sem ROC-AUC passou de 5 de 7 para 6 de 7.
Atualizada a disponibilidade de ROC-AUC para 6 de 7 modelos de base na seção de metodologia.
Adicionada uma seção "Rótulos rígidos, não probabilidades" sobre métodos de CPU sem saída de probabilidade.
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.