Premium
Services
Premium

Benchmark de classification de séries temporelles: Foundation Models contre méthodes classiques

Berk Kalelioğlu
Berk Kalelioğlu
mis à jour le 24 août 2026

Nous avons benchmarké 13 méthodes de classification de séries temporelles, des foundation models de séries temporelles préentraînés à une baseline de 22 caractéristiques de 2019, sur 33 datasets UCR/UEA sous un protocole figé unique. Cela représente 14 638 cellules méthode-dataset-resample enregistrées, dont 11 874 notées.

Résultats du benchmark TSC

Mean accuracy
*Mean accuracy over the 15 univariate datasets all 12 methods completed, 5 train/test splits each.
Mean accuracy
NameMean accuracy
RocketPFN0.9047
HIVE-COTE 20.8976
MultiRocket0.8897
Hydra0.8771
MiniRocket0.8755
MOMENT0.8529
Chronos-20.8348
TiRex0.8258
catch220.8059
Mantis-V20.7874
TiCT0.7759
DTW-1NN0.7563

Le graphique compare 12 méthodes sur les 15 datasets univariés que chacune a terminés, chaque dataset étant exécuté sur les mêmes 5 splits train/test. Les barres sont triées par précision moyenne. Le tableau ci-dessous inclut également le rang moyen, la position moyenne qu'une méthode occupe au sein d'un dataset, et il place les mêmes 12 dans un ordre différent.

Aucun gagnant unique. HIVE-COTE 2 se classe premier en rang moyen (2.400) et RocketPFN premier en précision moyenne (0.905). Lors d'un bootstrap de datasets à 5 000 tirages, la première place revient à HIVE-COTE 2 dans 46,6 % des tirages, à RocketPFN dans 45,5 % et à MultiRocket dans 7,9 %. Les deux classements divergent et le bootstrap se partage presque à parts égales, de sorte que nommer l'un ou l'autre serait un artefact de la métrique choisie.

Le groupe de tête est plus petit que ne le suggère le tableau. La clique de Wilcoxon-Holm est HIVE-COTE 2, RocketPFN, MultiRocket et Hydra. MiniRocket, six dixièmes de rang derrière Hydra à 4.700, n'en fait pas partie : l'appartenance provient des tests par paires corrigés, et non de l'endroit où tombent les rangs.

Sur ce panel, les transformées occupent les rangs 3, 4 et 5 et les models préentraînés les rangs 6, 7, 8 et 10. MOMENT, le model préentraîné le mieux classé à 6.633, se situe presque deux rangs entiers sous MiniRocket.

catch22, publié en 2019 avec 22 caractéristiques fixes, se situe dans la bande préentraînée à 8.700, devant Mantis-V2 (9.733) et derrière TiRex (8.433). À la profondeur complète de 30 resamples, il reste dans cette bande, à la fois sur le panel de 18 datasets ci-dessous à 7.222 et sur une variante de 27 datasets et huit méthodes qui exclut RocketPFN.

Le rang et la précision divergent également en bas du tableau. DTW-1NN a une précision moyenne moins bonne que TiCT (0.756 contre 0.776) et un meilleur rang moyen (9.900 contre 10.200). La métrique que vous rapportez modifie l'ordre dans les deux moitiés du tableau.

Seul le milieu du tableau est stable. La suppression de n'importe quel dataset modifie l'ordre dans 10 des 15 cas. Six de ces cas concernent l'échange entre HIVE-COTE 2 et RocketPFN ; Mantis-V2 et DTW-1NN échangent leurs places dans six, et DTW-1NN et TiCT dans deux. Les positions 3 à 9 ne bougent jamais.

La métrique de comparaison est la précision, car la métrique principale déclarée, ROC-AUC, est indisponible pour 6 des 7 foundation models de référence. Le panel est univarié uniquement : TiCT et RocketPFN n'ont pas de support multivarié natif, donc la règle des cas complets exclut les 10 datasets multivariés. Les lignes des foundation models mesurent ces models sous un protocole de transfert figé unique. TimEE ne porte aucun rang, pour la raison indiquée ci-dessous. La part de première place au bootstrap est la fréquence de classement premier à travers des collections de datasets rééchantillonnées, et rien de plus.

Ce classement reproduit le bake-off de 2024, qui a établi que HIVE-COTE 2 et la famille ROCKET dominent cette classe de problèmes et rapporte que HIVE-COTE 2 est beaucoup plus lent.1 La contribution ici est une mesure contrôlée indépendamment sur un effectif de 2026 sous un protocole commun unique, avec des séparations quantifiées après correction family-wise.

RocketPFN est constitué de caractéristiques ROCKET fournies à TabPFN,2 un tabular model in-context plutôt qu'un foundation model de séries temporelles préentraîné, donc sa position au-dessus des lignes préentraînées ne dit rien de cette classe.

À quelle fréquence chaque méthode se classe première

No method ranks first in most redraws
NameFirst-place share
HIVE-COTE 246.6
RocketPFN45.5
MultiRocket7.9

Chaque barre représente la part des 5 000 retirages aléatoires des 15 datasets, répétitions autorisées, dans laquelle une méthode se classe première. Neuf des 12 méthodes ne le font jamais et ne sont pas tracées. Les retirages utilisent la graine 1729. La première place change selon les datasets tirés, et ces parts ne disent rien de la distance entre les méthodes.

Un rating de Bradley-Terry modélise la chance de chaque méthode de battre une autre sur un dataset, et il ne peut pas fabriquer un gagnant que les tests de significativité n'ont pas trouvé. Il évalue HIVE-COTE 2 à 1384.6, RocketPFN à 1380.6 et MultiRocket à 1338.3, chacune se classant de la première à la troisième place à travers les retirages. L'ancrage 1000 est relatif à ces 15 datasets, et un rating modélise la probabilité de gagner un dataset, pas des points de précision.

Les tests de Wilcoxon-Holm figés, corrigés pour l'exécution simultanée de nombreuses comparaisons, ne détectent aucune différence entre HIVE-COTE 2, RocketPFN, MultiRocket et Hydra. Cela ne prouve pas qu'ils sont équivalents. Hydra se classe quatrième ou cinquième à travers les retirages, ce qui ne la sépare pas non plus des trois premiers. Ces positions summarize la stabilité, pas la significativité. Aucun gagnant unique n'est soutenu.

Quels écarts survivent à la correction

Pairwise contrasts: only 6 of 19 survive Holm
NameMean accuracy difference (A - B)Share of shared datasets won by AWins/lossesp (Holm)Shared datasetsStatus
hc2 vs rocketpfn-0.00710.42866/8115inconclusive
hc2 vs multirocket0.01190.666718/9128inconclusive
rocketpfn vs multirocket0.01310.647111/6118inconclusive
multirocket vs moment-probe0.04880.892925/30.00018828survives Holm
minirocket vs moment-probe0.03640.857124/40.0078828survives Holm
hydra vs moment-probe0.03320.785722/60.023928survives Holm
multirocket vs chronos-probe0.0517128/01.42e-0728survives Holm
multirocket vs tirex-probe0.0587128/01.42e-0728survives Holm
multirocket vs mantis-v20.07810.888924/30.00030127survives Holm
dtw1nn vs tict-0.02080.3818/13121inconclusive
dtw1nn vs moment-probe-0.05460.29638/190.22927inconclusive
dtw1nn vs chronos-probe-0.05140.29638/190.083927inconclusive
dtw1nn vs tirex-probe-0.04430.33339/180.16427inconclusive
dtw1nn vs mantis-v2-0.02350.423111/15126inconclusive
dtw1nn vs moment-probe (multivariate)0.01190.66/4110inconclusive
dtw1nn vs chronos-probe (multivariate)-0.00980.55/5110inconclusive
dtw1nn vs tirex-probe (multivariate)-0.00740.44/6110inconclusive
dtw1nn vs mantis-v2 (multivariate)-0.01830.33333/619inconclusive
multirocket vs moment-probe (multivariate)0.07220.99/10.16410inconclusive

Dix-neuf contrastes par paires ont été inspectés et six survivent à la correction de Holm. Chaque point porte son intervalle à 95 % et sa p-valeur ajustée de Holm dans l'infobulle ; ces intervalles sont des résumés de bootstrap de datasets et ne sont pas ajustés pour la multiplicité, de sorte que seules les p-valeurs portent la correction de Holm.

Chaque contraste survivant est une transformée convolutionnelle battant un model préentraîné.

MultiRocket balaye deux d'entre eux sans perdre un dataset. 28 victoires à 0 contre Chronos-2 et TiRex, à p = 1.4e-07.

Treize contrastes sont non concluants, ce qui ne prouve pas l'absence de différence. Rien de ce qui implique DTW-1NN ne survit à la correction, et rien sur le sous-ensemble multivarié non plus.

Chaque ligne est calculée sur les datasets que la paire partage, pas sur un panel commun, donc les lignes ne forment pas un classement de ligue et ne peuvent pas être comparées entre elles.

Les résultats des foundation models sont conditionnés à un protocole de transfert : mean pooling de la couche finale avec une sonde logistique, appliqué de manière identique à MOMENT, Chronos-2, TiRex et Mantis-V2 et figé avant toute cellule notée. Un bras post hoc rank-free a modifié l'extraction de couche de TiRex et a fait passer la précision moyenne de 0.793 à 0.805, soit 1.13 points de pourcentage, avec 23 des 30 datasets en amélioration et sept en détérioration. La plus grande perte, Heartbeat à 7.98 points, ne s'est améliorée sur aucun de ses 30 resamples, donc la moyenne masque un résultat qui s'inverse selon le dataset. Les détails figurent en annexe.

Six fois la profondeur de split

The order holds at six times the depth
NameMean accuracy
RocketPFN0.9164
MultiRocket0.9018
Hydra0.8917
MiniRocket0.8881
MOMENT0.8656
Chronos-20.8521
TiRex0.8424
catch220.8202
Mantis-V20.8037

Chaque tableau ci-dessus utilise 5 splits train/test, car HIVE-COTE 2 et DTW-1NN n'exécutent que ces cinq en vertu de l'exception figée des cellules coûteuses et la règle des resamples appariés ramène les autres au même niveau. Les barres montrent la précision moyenne sur les 30 splits, et le rang moyen donne le même ordre. Si l'on exclut ces deux-là, les neuf méthodes restantes exécutent tous les 30 resamples stratifiés ensemencés sur 18 datasets, la profondeur utilisée par le bake-off.

L'ordre tient. RocketPFN 1.694, MultiRocket 2.250, Hydra 2.889 et MiniRocket 3.833 occupent les quatre premières places, toutes quatre construites sur des caractéristiques convolutionnelles aléatoires. Ensuite MOMENT 5.889, Chronos-2 6.444 et TiRex 7.056, avec catch22 à 7.222 et Mantis-V2 à 7.722. Le chi-carré de Friedman est de 105.067 à p = 3.9e-19. Cinq splits ne l'ont pas fabriqué.

Les deux blocs se séparent nettement à cette profondeur. La plage de rang bootstrap à 95 % de MiniRocket atteint 4.278 et celle de MOMENT commence à 5.111, et sur l'ensemble des 5 000 tirages bootstrap aucun rang moyen de model préentraîné n'a pénétré dans la plage du bloc convolutionnel.

Dix des douze paires transformée-contre-préentraîné survivent ici à la correction de Holm. Les deux qui n'y survivent pas, MiniRocket contre MOMENT à p = 0.108 et Hydra contre MOMENT à p = 0.105, survivent toutes deux sur le panel principal. Holm couvre la propre famille de 36 paires de ce panel, de sorte que ce nombre et les six survivants du panel principal répondent à des questions différentes.

La première place n'est pas davantage tranchée. RocketPFN l'obtient dans 92,9 % des 5 000 tirages bootstrap de datasets, contre 46,6 % et 45,5 % sur le panel principal, mais HIVE-COTE 2, la méthode avec laquelle elle partage la première place là-bas, est absente ici. La clique de tête reste large de trois : RocketPFN, MultiRocket et Hydra. MiniRocket en tombe à nouveau, partageant une clique avec MOMENT.

Il s'agit d'un contrôle de profondeur, pas d'une réplication indépendante. Les 18 datasets contiennent les 15 du panel principal plus ElectricDevices, StarLightCurves et UWaveGestureLibraryAll, donc la fragilité en cas d'exclusion d'un dataset observée ci-dessus demeure. Il est univarié uniquement pour la même raison, RocketPFN étant présent. Ce qu'il exclut, c'est un classement dépendant de cinq splits particuliers.

La composition du batch modifie les prédictions de TimEE

TimEE agreement across two machines by metric and test-set size
Metric and test-set size n_test (the harness calls in batches of 512)CellsShare of cells with identical results
Accuracy270 / 2701
Accuracy >512146 / 3250.4492
ROC-AUC221 / 2700.8185
ROC-AUC >51212 / 3080.039

TimEE est un classifieur in-context dont le principal résultat publié est la première place en ROC-AUC sur le benchmark UCR.3 Nous l'avons exécuté sur deux machines et avons comparé les résultats au niveau des cellules.

La concordance se rompt exactement à la taille de batch du harnais de 512. La précision est identique sur 270 des 270 cellules où l'ensemble de test tient en un seul appel, et sur 146 des 325 cellules où ce n'est pas le cas. Pour ROC-AUC, la répartition est de 221 sur 270 contre 12 sur 308. Les deux machines diffèrent par le matériel dans les deux strates, de sorte qu'aucune strate seule ne prouve quoi que ce soit ; le contraste entre elles est la preuve.

TimEE cross-machine agreement against test-set size
NameSeriesTest-set size (log scale, call threshold 512)Share of resamples with identical resultsIdentical
ChinatownAccuracy343130 / 30
ChlorineConcentrationAccuracy38400.16675 / 30
ComputersAccuracy250130 / 30
ECG5000Accuracy45000.515 / 30
EOGHorizontalSignalAccuracy362130 / 30
EarthquakesAccuracy139130 / 30
ElectricDevicesAccuracy771100 / 2
EthanolLevelAccuracy500130 / 30
FordAAccuracy13200.26 / 30
FordBAccuracy8100.13334 / 30
GunPointAccuracy150130 / 30
HapticsAccuracy308130 / 30
InsectWingbeatSoundAccuracy19800.23337 / 30
ItalyPowerDemandAccuracy10290.933328 / 30
LargeKitchenAppliancesAccuracy375130 / 30
NonInvasiveFetalECGThorax1Accuracy19650.63 / 5
PhonemeAccuracy18960.44448 / 18
StarLightCurvesAccuracy82360.26 / 30
StrawberryAccuracy370130 / 30
TwoPatternsAccuracy40000.733322 / 30
UWaveGestureLibraryAllAccuracy35820.566717 / 30
WaferAccuracy61640.833325 / 30
ChinatownROC-AUC343130 / 30
ChlorineConcentrationROC-AUC384000 / 30
ComputersROC-AUC2500.966729 / 30
ECG5000ROC-AUC450000 / 30
EOGHorizontalSignalROC-AUC362130 / 30
EarthquakesROC-AUC1390.333310 / 30
ElectricDevicesROC-AUC771100 / 2
EthanolLevelROC-AUC5000.333310 / 30
FordAROC-AUC132000 / 30
FordBROC-AUC81000 / 30
GunPointROC-AUC150130 / 30
HapticsROC-AUC3080.933328 / 30
InsectWingbeatSoundROC-AUC198000 / 30
ItalyPowerDemandROC-AUC10290.06672 / 30
LargeKitchenAppliancesROC-AUC3750.927 / 30
NonInvasiveFetalECGThorax1ROC-AUC196500 / 5
PhonemeROC-AUC189600 / 1
StarLightCurvesROC-AUC823600 / 30
StrawberryROC-AUC3700.927 / 30
TwoPatternsROC-AUC400000 / 30
UWaveGestureLibraryAllROC-AUC358200 / 30
WaferROC-AUC61640.333310 / 30

Par dataset, la rupture est plus nette que ne le suggèrent les totaux par strate. Chaque dataset dont l'ensemble de test tient en un seul appel concorde en précision sur 30 des 30 resamples, et aucun dataset au-dessus du seuil n'atteint 30 sur 30. ROC-AUC est pire des deux côtés de la ligne, tombant sous la moitié sur deux datasets assez petits pour tenir.

Le mécanisme est dans le code source. La fonction d'embedding statistique z-score chaque caractéristique sur chaque ligne de l'appel d'inférence, lignes de support et de requête confondues, sans garde séparant les positions d'entraînement des positions d'évaluation. Trente lignes plus loin, le même fichier applique exactement une telle garde à une étape de normalisation différente. Un échange contrôlé de pairs le confirme : en maintenant fixe une requête ancre et en remplaçant les 511 autres requêtes de son appel, la probabilité prédite de l'ancre se déplace de 1.163e-04, contre un bruit de répétition exactement nul. TiCT et RocketPFN, testés à l'identique, sont bit-identiques sous le même échange.

Une prédiction de TimEE n'est donc pas une fonction de la série d'entrée seule. Ses scores sont reproductibles à composition de batch fixe, si bien qu'elle ne peut pas recevoir un rang comparable face aux classifieurs inductifs et ce benchmark la rapporte sans en donner. Cela nuance l'affirmation publiée sur ROC-AUC, puisque ROC-AUC est calculé exactement à partir des probabilités montrées comme dépendant de l'appel. Cela ne montre pas que les scores sont gonflés dans un sens ou l'autre, cela ne change pas le rang publié, qui a été obtenu sur un classement que nous ne détenons pas, et cela couvre la version que nous avons inspectée.

Trois des quatre voies de détection ne nécessitent pas d'accès au code source. Répétez une cellule deux fois, échangez les pairs de batch autour d'une ancre fixe, et comparez les résultats entre deux machines stratifiées par la frontière de batch. Des travaux publiés apparentés traitent l'inférence de réseaux préalablement ajustés par lots de requêtes de test groupées pour l'efficacité et ne rapportent pas de dépendance à la composition.4

Résultats du panel multivarié

Panel-specific mean ranks
NameEvaluation panelMean rank (lower is better)Mean accuracy
catch22Wide panel (N=24)6.850.7932
catch22UEA multivariate (N=9)5.670.7718
chronos-probeWide panel (N=24)7.10.8055
chronos-probeUEA multivariate (N=9)7.560.7566
dtw1nnWide panel (N=24)7.960.7542
dtw1nnUEA multivariate (N=9)7.330.7508
hc2Wide panel (N=24)1.730.8735
hc2UEA multivariate (N=9)1.670.8334
hydraWide panel (N=24)3.940.8454
hydraUEA multivariate (N=9)4.890.7925
mantis-v2Wide panel (N=24)7.210.7806
mantis-v2UEA multivariate (N=9)5.440.7691
minirocketWide panel (N=24)3.690.846
minirocketUEA multivariate (N=9)3.560.7967
moment-probeWide panel (N=24)6.730.8093
moment-probeUEA multivariate (N=9)8.670.7365
multirocketWide panel (N=24)2.480.858
multirocketUEA multivariate (N=9)30.8052
tirex-probeWide panel (N=24)7.310.7983
tirex-probeUEA multivariate (N=9)7.220.7524

Une liste restreinte construite sur le panel large ne se transfère pas aux données multivariées. MOMENT est dernier sur dix sur le panel multivarié de 9 datasets, alors qu'il est le model préentraîné le mieux classé sur le panel large de 24 datasets à 6.729. Mantis-V2 va dans l'autre sens : 5.444 sur le panel multivarié contre 7.208 sur le panel large.

Ce n'est pas un effet de modalité. Le panel large contient les datasets multivariés en tant que sous-ensemble, de sorte que le mouvement est un contraste entre deux effectifs de taille et de composition de tâches différentes, et non quelque chose mesuré à l'intérieur de chaque méthode. Avec N=9 et aucun contraste survivant à la correction, il faut y lire un avertissement contre le transfert d'une liste restreinte du panel large vers un déploiement multivarié, et non un résultat de sélection.

Résultats des splits groupés par sujet

SleepEDF: random splits report higher and far more stable accuracy
NameMean window accuracy across foldsFold-to-fold standard deviationFoldsSubject-macro meanSubject-macro SD
catch22 grouped0.73220.020250.72820.019
catch22 random0.79220.0022100.78810.0024
MiniRocket grouped0.79970.007950.79790.0077
MiniRocket random0.82990.000980.82710.0011

Les archives UCR et UEA fournissent des splits train/test fixes définis sur des séries individuelles, sans annotation de sujet ou de source sur laquelle découper,56 de sorte que le rééchantillonnage mélange des séries plutôt que des sujets. Sur le staging du sommeil SleepEDF, où un sujet contribue à de nombreuses fenêtres, nous avons également divisé par sujet. MiniRocket porte 8 des 10 folds aléatoires en raison de la date limite de gel.

La division aléatoire rapporte une précision plus élevée, de 0.060 pour catch22 et de 0.030 pour MiniRocket.

La compression de la variance est la moitié la plus transférable. La variabilité de fold à fold est environ sept à neuf fois plus faible sous la division aléatoire que sous le groupement par sujet, tant sur la précision par fenêtre que sur la précision macro par sujet. Un model sélectionné sur des splits aléatoires paraît meilleur et plus stable que le même model évalué comme il sera déployé, sur des sujets inédits.

Nous rapportons un écart associé au split, jamais une fuite. Les données ne peuvent pas dire si l'écart vient d'une fuite d'identité du sujet ou d'une variation réelle de la difficulté des sujets et du mélange des stades, et les splits aléatoires répartissent cette variation sur chaque ensemble de test, ce qui stabilise mécaniquement la précision. L'expérience qui permettrait de séparer les deux, à savoir des époques de test identiques sous des ensembles d'entraînement qui contiennent ou non les sujets de test, a été exécutée sur PTB-XL et abandonnée sur SleepEDF pour des raisons de calcul. PTB-XL lui-même conserve un chevauchement de mêmes sujets de 14,9 % sous division aléatoire, si bien qu'il sert de comparateur à faible chevauchement, pas de contrôle nul.

Données déséquilibrées : Earthquakes

Earthquakes: accuracy vs balanced accuracy
NameAccuracyBalanced accuracyN resamples
catch220.78350.499630
dtw1nn0.71940.54535
hydra0.77820.512230
minirocket0.76620.518730
multirocket0.78320.522930

La précision masque un classement proche du hasard. Chaque méthode du couloir CPU rapporte une précision de 0.72 à 0.78 sur Earthquakes, tandis que la précision équilibrée va de 0.4996 à 0.5453. Considérez 0.5 comme le hasard sur l'axe de précision équilibrée uniquement ; le hasard pour la précision ordinaire dépend de la prévalence des classes.

La méthode avec la précision la plus élevée a la précision équilibrée la plus basse. catch22 à 0.783 de précision obtient 0.4996 en précision équilibrée, juste en dessous de 0.5. On n'a pas mesuré si elle prédit littéralement la classe majoritaire ; le chiffre cité ne comporte aucune incertitude ni aucun test contre 0.5.

L'inversion est locale, pas une propriété de la méthode. Sur l'ensemble du panel, catch22 est clairement dernier en précision équilibrée, 0.726 contre 0.806 pour MultiRocket. La précision équilibrée est ici une métrique post hoc, calculée après le gel à partir des prédictions archivées. DTW-1NN porte 5 resamples contre 30 pour les quatre autres méthodes, de sorte que son point repose sur moins de preuves.

Étiquettes dures, pas de probabilités

Quatre des six méthodes du couloir CPU ne renvoient aucune probabilité. MiniRocket, MultiRocket, Hydra et DTW-1NN mettent 1 sur la classe prédite et 0 partout ailleurs, de sorte que leur log loss est la précision sous un autre nom. Cela équivaut au taux d'erreur multiplié par 36.0437 dans toutes les 2 465 cellules où le log loss a été enregistré, à moins de 7.1e-15 près. Cette constante est la pénalité que scikit-learn attribue à une probabilité nulle sur la vraie classe.

La recette se comporte comme documenté. Les trois classifieurs convolutionnels utilisent par défaut une tête ridge sans sortie de probabilité, et la bibliothèque comble le manque avec un vecteur one-hot ; DTW-1NN à un voisin a la même forme par construction.7

ROC-AUC calculé pour elles mesure donc l'étiquette, pas un classement. Sur les 27 datasets où les six disposent d'un ROC-AUC complet, catch22 enregistre 0.884 contre 0.866 pour MultiRocket tout en accusant un retard de 7.2 points de précision, 0.782 contre 0.854. Interprétez cela comme le fait que catch22 possède un score utilisable et que MultiRocket n'en a aucun, et non que catch22 ordonne mieux les cas.

Deux des six peuvent même être comparées sur les probabilités. Sur les 22 datasets avec log loss complet, HIVE-COTE 2 atteint en moyenne 0.344 contre catch22’s 0.527, avec des médianes de 0.265 et 0.371, et est inférieure sur 19 des 22. Ces deux chiffres décrivent la sortie archivée. Aucune expérience de calibration n'a été exécutée et aucun test figé ne les couvre.

Le tableau de précision ne bouge pas. Ce qu'il ne contient pas, c'est ceci : une charge de travail qui classe ou seuille des cas n'a rien à seuiller à partir de la recette par défaut de MiniRocket, MultiRocket, Hydra ou DTW-1NN. Une tête probabiliste sur les mêmes caractéristiques n'a pas été exécutée.

Calcul enregistré

CPU core-hours versus accuracy on matched cells
NameCPU core-hours for 140 matched cells (log scale)Mean accuracy on the same 140 cellsMatched cells
catch220.540.7654140
dtw1nn356.820.7155140
hc2694.230.8484140
hydra2.120.8219140
minirocket0.480.8213140
multirocket2.810.8365140

Le graphique trace les cellules appariées : chaque méthode du couloir CPU, restreinte aux 28 datasets que les six ont exécutés, aux resamples 0 à 4, soit 140 cellules chacune. Heures-cœur CPU enregistrées sur ces cellules : HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 et MiniRocket 0.48.

La restriction est ce qui rend un ratio significatif. Le calcul enregistré totalise 1 496.5 heures-cœur sur tout le couloir CPU, dont HIVE-COTE 2 représente 804.8 : 694.2 sur ses 140 cellules classées et le reste sur quatre cellules diagnostiques post hoc exclues de tous les tableaux. MultiRocket représente 26.2 sur 990 cellules classées. Ces deux totaux couvrent des quantités de travail différentes, de sorte qu'aucun ratio entre eux ne compare les méthodes.

Des cellules appariées en rendent un possible. Restreindre chaque méthode du couloir CPU aux 28 datasets que les six ont exécutés, aux resamples 0 à 4, donne 140 cellules chacune. Heures-cœur CPU enregistrées : HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 et MiniRocket 0.48.

Sur ces mêmes 28 datasets, HIVE-COTE 2 bat MultiRocket sur 18 et perd sur 9, un écart de précision moyenne de 0.012 qui ne survit pas à la correction de Holm. Cela représente 247 fois le temps CPU pour une différence que ce benchmark ne peut pas détecter. DTW-1NN, la baseline que le protocole de l'archive exige pour chaque résultat publié, coûte 747 fois MiniRocket sur les mêmes cellules.

Chaque méthode ici a été exécutée en monothread à n_jobs = 1, une cellule par processus, de sorte que le temps calendaire enregistré est du temps cœur. Deux limites s'appliquent toujours aux deux ratios. Les temps sont des débits sous la charge de ce que la machine exécutait par ailleurs, et non des latences en solo. Et HIVE-COTE 2 a tourné dans son propre couloir de configuration tandis que les cinq autres partageaient le même, donc son ratio couvre deux couloirs ; le ratio DTW-1NN sur MiniRocket est mesuré dans un seul couloir.

Aucune comparaison de coût entre les méthodes classiques et les foundation models n'est possible à partir de ce benchmark, et nous n'en faisons aucune. Les six méthodes du couloir GPU n'ont enregistré aucun temps calendaire. TimEE a un temps calendaire enregistré mais est exclu du graphique car il ne porte aucun rang.

Méthodes comparées

HIVE-COTE 2

Premier en rang moyen (2.400) sur le panel principal, non séparable de RocketPFN. A exécuté 140 cellules classées pour 694.2 heures-cœur enregistrées, la méthode la plus coûteuse du couloir CPU enregistré, et n'a pas terminé FaceDetection (144 canaux). Un méta-ensemble hétérogène sur des représentations shapelet, dictionnaire, intervalles et convolutionnelles.8

RocketPFN

Premier en précision moyenne (0.905), non séparable de HIVE-COTE 2. Bit-identique au test d'échange de pairs. Univarié uniquement, de sorte qu'il n'entre jamais dans le panel UEA. Combine des caractéristiques convolutionnelles de la famille ROCKET avec la classification in-context par le tabular foundation model TabPFN v2.5, de sorte qu'aucun model n'est ajusté sur le dataset cible ; son article rapporte une parité avec HIVE-COTE 2 à 0.900 de précision moyenne sur 92 datasets UCR.2

MultiRocket

Troisième en rang moyen (2.800) et le meilleur bilan par paires : les quatre contrastes inspectés contre des models préentraînés survivent à Holm, dont deux à 28 victoires pour 0. 26.2 heures-cœur enregistrées pour 990 cellules. Étend MiniRocket avec plusieurs opérateurs de pooling et des différences du premier ordre.9

Hydra

Rang moyen 4.100 ; sa victoire sur MOMENT (22/6) survit à la correction. Une méthode convolutionnelle de type dictionnaire : les noyaux rivalisent en groupes et les comptes des noyaux gagnants forment la représentation.10

MiniRocket

Rang moyen 4.700 à 4.9 heures-cœur enregistrées pour 990 cellules, la méthode forte la moins chère du couloir CPU enregistré ; sa victoire sur MOMENT (24/4) survit à la correction. Une transformée convolutionnelle à noyaux aléatoires quasi déterministe avec un classifieur linéaire.11

MOMENT

Model préentraîné le mieux classé sur le panel principal univarié (6.633) ; perd face aux trois transformées convolutionnelles avec des contrastes survivants. Un model basé sur T5 à 385M paramètres, préentraîné sur un corpus multi-domaine pour la prévision, la classification, la détection d'anomalies et l'imputation.12

Chronos-2

Rang moyen 7.967 ; perd contre MultiRocket 28/0. Un foundation model de prévision utilisé ici comme extracteur d'embedding figé, ce qui n'est pas sa tâche native.13

TiRex

Rang moyen 8.433 ; perd contre MultiRocket 28/0. Un model de prévision zero-shot basé sur xLSTM,14 également utilisé ici comme extracteur figé. Dans le bras de sensibilité post hoc, le passage de l'extraction de la couche finale à une concaténation de toutes les couches a augmenté la précision moyenne de 1.13 points de pourcentage sur son panel de 30 datasets : 23 datasets se sont améliorés et sept se sont dégradés, Heartbeat de 7.98 points sans qu'aucun de ses 30 resamples ne s'améliore. Le résultat figé de la couche finale et le rang restent primaires ; le bras de sensibilité ne porte aucun rang.

Mantis-V2

Rang moyen 9.733 en univarié et 5.444 sur le panel multivarié ; perd contre MultiRocket 24/3. N'a pas terminé FaceDetection : 144 canaux submergent sa tête de classification native. Un model de classification légèrement préentraîné de manière contrastive avec des données synthétiques et des stratégies de test ajoutées dans V2.15

TimEE

Rapporté sans rang ; voir le constat sur la composition du batch ci-dessus. Précision moyenne de 0.841 sur les 21 datasets de son panel rapporté, calculée à composition de batch fixe. Deux exclusions déclarées avant les résultats s'appliquent : NonInvasiveFetalECGThorax1 est partiel à 5 des 30 resamples, et Phoneme n'est rapporté qu'à son split d'archive. Un model à 4.5M paramètres méta-entraîné sur des tâches synthétiques qui classifie de bout en bout in-context, en une seule passe avant à partir d'un ensemble de support étiqueté.3

TiCT

Rang moyen 10.200. Univarié uniquement ; son exécuteur a été le seul à appliquer la règle de validité des classes rares sur Phoneme, contribuant une cellule valide là où d'autres couloirs ont exécuté 30. Bit-identique au test d'échange de pairs. Un transformer in-context préentraîné sur des données synthétiques avec un encodage d'étiquettes par bits pour des nombres de classes arbitraires.16

DTW-1NN

Rang moyen 9.900. N'a pas terminé StarLightCurves, un DNF déclaré pour coût à 95 heures pour une cellule non séparable. Un plus proche voisin sous la distance Dynamic Time Warping, la plus ancienne baseline du domaine.

catch22

Rang moyen 8.700 sur le panel principal. Vingt-deux caractéristiques récapitulatives fixes et interprétables alimentant un classifieur simple.17

Laissez notre équipe automatiser l'un de vos processus métier avec des agents IA, gratuitement.
Automatiser un processus

Quand choisir un foundation model plutôt qu'un classifieur classique

  • Beaucoup de données d'entraînement étiquetées : chaque contraste qui survit ici à la correction favorise une transformée convolutionnelle, et deux des trois, MultiRocket et Hydra, se trouvent dans la clique de tête aux côtés de HIVE-COTE 2 et RocketPFN.
  • Labels très limités ou déploiement à froid : les models in-context et zero-shot sont les candidats, et c'est le régime que notre benchmark ne mesure pas. Tous nos panels utilisent les splits d'entraînement complets de l'archive.
  • Données multivariées : vérifiez d'abord la couverture native. Deux des trois méthodes in-context de cet effectif sont univariées uniquement.
  • Précision maximale sans considération de calcul : HIVE-COTE 2 et RocketPFN ne sont pas séparables sur ces preuves. Ce benchmark ne sépare ni leur précision ni leur calcul, car RocketPFN n'a pas de temps enregistré.
    Un budget de calcul qui compte : sur les 140 cellules appariées ci-dessus, MultiRocket utilise 1/247 des heures-cœur CPU de HIVE-COTE 2 et aucune différence de précision entre eux ne survit à la correction sur ces datasets.
  • Exigences d'auditabilité : préférez les méthodes dont les prédictions sont reproductibles à partir de l'entrée seule. Le constat sur la composition du batch ci-dessus est le cas de mise en garde.

Qu'est-ce que la classification de séries temporelles

La classification de séries temporelles entraîne un model sur des séquences numériques ordonnées et étiquetées pour prédire une classe discrète pour une série inédite : diagnostic ECG, reconnaissance de l'activité humaine à partir de wearables, détection de pannes industrielles. Elle diffère de la prévision, qui produit des valeurs futures plutôt qu'une étiquette de classe. Les tabular models n'encodent pas l'ordre des valeurs comme biais inductif ; ils traitent chaque pas de temps comme une colonne indépendante.

Les méthodes classiques ajustent un nouveau model par dataset. Un time series foundation model est préentraîné une fois sur un grand corpus, puis appliqué à de nouveaux datasets en zero-shot, par l'intermédiaire d'une sonde légère, ou in-context à partir de quelques exemples étiquetés fournis au moment de l'inference. La question que ce benchmark mesure est de savoir si ce préentraînement apporte actuellement un gain de précision de classification sur les archives standard, sous un protocole contrôlé unique.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.
GoogleAjouter comme source préférée

Méthodologie du benchmark de classification de séries temporelles

Méthodes. Quatre familles : les foundation models préentraînés évalués via un protocole de transfert (MOMENT, Chronos-2, TiRex, Mantis-V2), les models in-context (TimEE, TiCT, RocketPFN), les transformées convolutionnelles (MiniRocket, MultiRocket, Hydra) et les références classiques (HIVE-COTE 2, DTW-1NN, catch22).

Données. 23 datasets UCR univariés et 10 datasets UEA multivariés,56 plus une couche non-IID séparée sur SleepEDF et PTB-XL. 14 638 cellules enregistrées, réparties dans le tableau de couverture ci-dessous.

Couverture. Les cellules notées ne sont pas réparties uniformément entre les méthodes, et les dénominateurs déterminent quelles comparaisons sont possibles tout court.

Chaque comparaison classée s'exécute sur l'intersection des cas complets des méthodes qu'elle nomme, jamais sur la couverture d'une seule méthode, ce qui permet aux 140 cellules de HIVE-COTE 2 et aux 2 760 de RocketPFN d'apparaître dans le même tableau. L'export complet contient 14 638 lignes : ces 11 874 cellules notées, le bras de reproduction du protocole de l'article de RocketPFN à 2 760 cellules, et 4 cellules diagnostiques post hoc de HIVE-COTE 2.

Rééchantillonnage. r0 est le split train/test d'archive ; r1 à r29 sont des mélanges stratifiés aux proportions de l'archive, ensemencés 1729+r. L'unité inférentielle est le dataset : les resamples sont moyennés au sein d'un dataset avant que les méthodes ne soient comparées. HIVE-COTE 2 et DTW-1NN exécutent 5 resamples parce que leur coût par cellule est supérieur d'un à deux ordres de grandeur, et le tableau principal restreint chaque méthode aux 5 mêmes resamples appariés. Le split d'archive r0 est systématiquement plus difficile que les resamples ensemencés sur 8 des 33 datasets, jusqu'à 0.218 de précision, de sorte que les cinq resamples appariés ne sont pas des tirages échangeables.

Protocole de transfert. Chaque foundation model de référence exécute le même pipeline : encodage par variable, couche finale de l'encodeur, mean-pool sur les tokens de contexte valides, normalisation L2 par variable, concaténation des canaux, standardisation sur l'entraînement uniquement, sonde de régression logistique. Figé le 2026-07-24, avant toute cellule notée.

Statistiques. Omnibus de Friedman, puis Wilcoxon signed-rank par paires avec correction de Holm sur l'ensemble des 19 contrastes inspectés, sur les moyennes au niveau des datasets, panels complets uniquement. L'omnibus soutient seulement que les rangs diffèrent quelque part ; chaque énoncé par paires provient des contrastes corrigés.

Gel. Les données ont gelé le 2026-07-29 à 03:00 UTC, avec des règles d'exclusion écrites avant que les résultats en suspens ne soient connus. Une cellule s'est terminée 22 minutes après la coupure et est exclue en vertu de la règle pré-écrite. La publication passe 120 vérifications d'assertion mécaniques, y compris la comparaison de hachage de chaque fichier d'entrée, la régénération du tableau principal à partir de l'export et l'application des exclusions déclarées derrière le chiffre publié de TimEE, tant dans l'article que dans les tableaux de publication.

Métriques. ROC-AUC était la métrique principale déclarée. Elle est indisponible pour 6 des 7 foundation models de référence, dont les exécutions archivent des scores de décision ou des prédictions de classe plutôt que des probabilités calibrées, de sorte que la précision est devenue la métrique de comparaison. TimEE est le seul des sept à porter ROC-AUC. Nous l'indiquons plutôt que de requalifier la précision comme pré-spécifiée. La précision équilibrée, le macro-F1 et le log-loss sont des analyses de sensibilité post hoc sur le sous-ensemble couvert.

Reproductibilité. Les prédictions par instance sont archivées pour toutes les 13 méthodes et les 12 du tableau principal ; chaque prédiction régénérée reproduit son scalaire figé avec une différence maximale de 0.000e+00 (4 260 cellules du couloir CPU revérifiées le 2026-08-02, zéro orphelin). Le tableau principal est entièrement recalculable à partir des prédictions publiées.

Méthodes absentes de ce benchmark

Des models pertinents pour la classification de séries temporelles publiés mais que nous n'avons pas évalués, listés afin que la frontière de l'effectif soit explicite. Aucun des énoncés ici ne constitue nos mesures. UniTS est un model multitâche unifié couvrant la classification, la prévision, l'imputation et la détection d'anomalies.18 TiViT convertit les séries en images et classifie avec des Vision Transformers préentraînés figés.19 UniShape est un foundation model sensible à la forme conçu pour la classification, avec un adaptateur sensible à la forme, accepté à AAAI 2026.20 GPT4TS, également publié sous le nom One Fits All, utilise une ossature GPT-2 dont les blocs d'auto-attention et feedforward restent figés tandis que les composants d'entrée, de normalisation et de sortie sont entraînés.21 TIC-FM est un classifieur zero-shot in-context prédisant toutes les instances de test en une seule passe avant ;22 lire sa conception à appel unique comme appartenant à la même classe d'exposition que le constat sur la composition du batch ci-dessus est notre inference à partir de la description publiée, pas un résultat testé.

Limites

  • Il n'existe aucun registre de chevauchement de préentraînement pour aucun model préentraîné : aucun ne publie une déclaration au niveau des datasets indiquant si des séries UCR/UEA apparaissent dans son corpus de préentraînement, de sorte que le transfert ne peut pas être séparé de l'exposition préalable. Traiter les défaites comme fiables repose sur une hypothèse qu'aucun registre au niveau des datasets ne peut tester : que l'exposition préalable, lorsqu'elle a eu lieu, a flatté ces models plutôt que de leur nuire. Sous cette hypothèse, ils restent derrière malgré l'avantage et les défaites tiennent ; toute victoire d'un model préentraîné, par la même logique, ne peut pas être proprement attribuée au transfert.
  • Les résultats des foundation models sont conditionnés au protocole de transfert figé unique. Le bras post hoc TiRex n'a modifié que l'extraction de couche et a augmenté la précision moyenne de 1.13 points de pourcentage tout en dégradant sept de ses 30 datasets, Heartbeat de 7.98 points avec 0 de ses 30 resamples en amélioration. Il a testé un seul model, ne porte aucun rang et n'établit pas l'effet pour les autres foundation models.
  • Tous les temps calendaires sont des débits en charge sous une concurrence variable sur une machine partagée. Six des 13 méthodes n'en portent aucun.
  • Les preuves ne couvrent que des problèmes de taille d'archive. Rien ici ne concerne la scalabilité.
  • Le benchmark inspecte une version de chaque méthode à sa date figée.

Pièges courants dans le benchmarking de la classification de séries temporelles

Chevauchement préentraînement-test. Un audit de 2025 a suivi 401 datasets à travers 22 time series foundation models publiés et a constaté que seulement 6 % n'étaient jamais apparus dans le corpus de préentraînement ou de fine-tuning d'aucun model.23 Aucun model de notre effectif ne publie de déclaration de chevauchement au niveau des datasets, ce qui explique pourquoi notre section sur les limites traite le transfert et l'exposition préalable comme inséparables.

Conception des splits. L'archive UCR standard fournit un split train/test fixe ; la pratique moderne rééchantillonne, et notre panel SleepEDF montre pourquoi la structure par sujet exige plus que du rééchantillonnage : la seule conception du split a déplacé la précision rapportée jusqu'à 0.060 et a compressé sa variance d'environ sept à neuf fois. Aucun chiffre unique ici n'est une propriété du dataset ; chacun est une propriété du dataset sous une conception de split donnée.

Multiplicité. Comparer de nombreux classifieurs sur de nombreux datasets sans correction fabrique des résultats. La machinerie standard est le Wilcoxon signed-rank pour les paires et la correction familywise de type Holm sur chaque contraste inspecté,2425 et la correction doit couvrir chaque contraste inspecté, pas seulement ceux rapportés. Dans ce benchmark, cette discipline a éliminé 13 des 19 contrastes.

Annexe : sensibilité de l'extraction de TiRex

Ce bras post hoc utilise les mêmes 30 datasets, 30 splits de resample, scaler et sonde logistique que le résultat figé de TiRex. Seule l'extraction des caractéristiques change, passant de la couche finale de l'encodeur à des représentations concaténées de l'ensemble des 12 couches. Ce bras est rank-free et ne modifie pas le benchmark figé.

La précision moyenne est passée de 0.793 à 0.805, soit un changement de 1.13 point de pourcentage, avec un intervalle bootstrap de datasets ensemencé de +0.15 à +2.06 points. Un test de Wilcoxon signed-rank apparié sur les 30 deltas de datasets donne un W bilatéral exact de 92.0 à p=0.003. Ce test est exploratoire : il a été exécuté après le gel, il se situe hors de la famille de Holm à 19 contrastes qui gouverne chaque affirmation corrigée ici, et il ne porte aucun rang.

Auer et al. classent TiRex premier parmi les foundation models de prévision en utilisant des caractéristiques concaténées de couches et une Random Forest, et leur propre ablation rapporte un effet de couche plus grand de 5 points.26 Les deux études diffèrent par les datasets, l'effectif de models, le classifieur et le filtrage des longueurs de séries, de sorte que 1.13 et 5 points sont des estimations de sensibilité spécifiques au protocole plutôt que des estimations concurrentes d'un même effet. Ce bras ne reproduit ni ne réfute leur classement, et n'identifie pas la cause de la différence de classement entre études. Il établit la sensibilité à la couche pour TiRex dans ce benchmark. Il ne généralise pas l'effet aux autres foundation models et n'identifie pas la meilleure performance de classification atteignable d'aucun model.

Citer cette recherche

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

Berk Kalelioğlu (2026) - "Benchmark de classification de séries temporelles: Foundation Models contre méthodes classiques". Publié en ligne sur AIMultiple.com. Consulté le 24 août 2026, à : https://aimultiple.com/time-series-classification [Ressource en ligne]

Kalelioğlu, B. (2026, 24 août). Benchmark de classification de séries temporelles: Foundation Models contre méthodes classiques. AIMultiple. https://aimultiple.com/time-series-classification

@misc{kalelioglu2026,
  author = {Kalelioğlu, Berk},
  title  = {{Benchmark de classification de séries temporelles: Foundation Models contre méthodes classiques}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/time-series-classification}},
  note   = {AIMultiple. Consulté le 24 août 2026}
}
Télécharger toutes les données

Résultats et horodatages de 99 points de données. Téléchargez les données de synthèse présentées dans les graphiques et les tableaux de cet article sous forme de fichier ZIP contenant 8 fichiers CSV et un README.

Dernière mise à jour : 29 octobre 2026
Télécharger

Vous voulez les données détaillées derrière ? Rejoindre Premium

Journal des modifications

3 mises à jour
  1. Remplacé : le nombre de modèles sans ROC-AUC est passé de 5 sur 7 à 6 sur 7.

  2. Disponibilité de l'AUC-ROC mise à jour à 6 modèles de fondation sur 7 dans la section méthodologie.

  3. Ajout d'une section « Étiquettes dures, pas de probabilités » sur les méthodes CPU sans sortie de probabilité.

Liens de référence

1.
Bake off redux: a review and experimental evaluation of recent time series classification algorithms | Data Mining and Knowledge Discovery | Springer Nature Link
Springer US
2.
RocketPFN: Accurate Time Series Classification via In-Context Learning
3.
TimEE: End-to-end Time Series Classification via In-Context Learning
4.
CRUMB: Efficient Prior Fitted Network Inference via Distributionally Matched Context Batching
5.
The UCR Time Series Archive
6.
The UEA multivariate time series classification archive, 2018
7.
aeon/aeon/classification/convolution_based/_minirocket.py at main · aeon-toolkit/aeon · GitHub
8.
HIVE-COTE 2.0: a new meta ensemble for time series classification | Machine Learning | Springer Nature Link
Springer US
9.
MultiRocket: Multiple pooling operators and transformations for fast and effective time series classification
10.
HYDRA: Competing convolutional kernels for fast and accurate time series classification
11.
MINIROCKET: A Very Fast (Almost) Deterministic Transform for Time Series Classification
12.
MOMENT: A Family of Open Time-series Foundation Models
13.
Chronos-2: From Univariate to Universal Forecasting
14.
TiRex: Zero-Shot Forecasting Across Long and Short Horizons with Enhanced In-Context Learning
15.
MantisV2: Closing the Zero-Shot Gap in Time Series Classification with Synthetic Data and Test-Time Strategies
16.
TiCT: A Synthetically Pre-Trained Foundation Model for Time Series Classification
17.
catch22: CAnonical Time-series CHaracteristics | Data Mining and Knowledge Discovery | Springer Nature Link
Springer US
18.
UniTS: A Unified Multi-Task Time Series Model
19.
Unlocking Pretrained Vision Transformers for Time Series Classification
20.
A Unified Shape-Aware Foundation Model for Time Series Classification
21.
One Fits All:Power General Time Series Analysis by Pretrained LM
22.
Rethinking Zero-Shot Time Series Classification: From Task-specific Classifiers to In-Context Inference
23.
Rethinking Evaluation in the Era of Time Series Foundation Models: (Un)known Information Leakage Challenges
24.
Statistical Comparisons of Classifiers over Multiple Data Sets
25.
An Extension on Statistical Comparisons of Classifiers over Multiple Data Sets for all Pairwise Comparisons
26.
Pre-trained Forecasting Models: Strong Zero-Shot Feature Extractors for Time Series Classification
Berk Kalelioğlu
Berk Kalelioğlu
Chercheur en IA
Berk est chercheur en IA au sein de l’équipe benchmark d’AIMultiple, se concentrant sur l’IA agentique, l’apprentissage automatique et les grands et petits modèles de langage (LLM et SLM).
Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

0/450