13 zaman serisi sınıflandırma yöntemini, önceden eğitilmiş zaman serisi foundation model'lerden 22 özellikli bir temel çizgiye kadar, 33 UCR/UEA dataset'i üzerinde tek bir dondurulmuş protokol altında kıyasladık. Bu, 14.638 kayıtlı yöntem-dataset-yeniden örnekleme hücresi; bunların 11.874 tanesi puanlanmıştır.
TSC benchmark sonuçları
| Name | Mean accuracy |
|---|---|
| RocketPFN | 0.9047 |
| HIVE-COTE 2 | 0.8976 |
| MultiRocket | 0.8897 |
| Hydra | 0.8771 |
| MiniRocket | 0.8755 |
| MOMENT | 0.8529 |
| Chronos-2 | 0.8348 |
| TiRex | 0.8258 |
| catch22 | 0.8059 |
| Mantis-V2 | 0.7874 |
| TiCT | 0.7759 |
| DTW-1NN | 0.7563 |
Grafik, her birinin tamamladığı 15 tek değişkenli dataset üzerinde 12 yöntemi karşılaştırır; her dataset aynı 5 eğitim/test bölmesinde çalıştırılmıştır. Çubuklar ortalama doğruluğa göre sıralanmıştır. Aşağıdaki tablo ayrıca ortalama sıralamayı, yani bir yöntemin bir dataset içinde aldığı ortalama konumu içerir ve aynı 12'yi farklı bir sıraya koyar.
Tek bir kazanan yok. HIVE-COTE 2 ortalama sıralamada ilk sırada (2.400) ve RocketPFN ortalama doğrulukta ilk sırada (0.905). 5.000 çekişli dataset bootstrap'i altında, ilk sıra %46,6 çekişte HIVE-COTE 2'ye, %45,5 çekişte RocketPFN'e ve %7,9 çekişte MultiRocket'a gider. İki sıralama birbiriyle çelişir ve bootstrap neredeyse eşit bölünür, dolayısıyla birini adlandırmak seçilen metriğin bir artefaktı olur.
Üst grup tablonun gösterdiğinden daha küçüktür. Wilcoxon-Holm kliği HIVE-COTE 2, RocketPFN, MultiRocket ve Hydra'dır. MiniRocket, Hydra'nın altı onda bir sıra gerisinde 4.700 ile, bunun içinde değildir: üyelik düzeltilmiş ikili testlerden gelir, sıralama sayılarının nereye düştüğünden değil.
Bu panelde dönüşümler 3, 4 ve 5. sıraları alır ve önceden eğitilmiş model'ler 6, 7, 8 ve 10. sırayı alır. MOMENT, 6.633 ile en yüksek sıradaki önceden eğitilmiş model, MiniRocket'in neredeyse iki tam sıra altında oturur.
catch22, 2019'da 22 sabit özellikle yayınlanmış, önceden eğitilmiş bant içinde 8.700 ile yer alır; Mantis-V2'nin (9.733) önünde ve TiRex'in (8.433) arkasında. Tam 30 yeniden örnekleme derinliğinde bu bantta kalır; hem aşağıdaki 18-dataset'lik panelde 7.222 ile hem de RocketPFN'i düşüren bir 27-dataset'lik, sekiz yöntemli varyantında.
Sıralama ve doğruluk altta da çelişir. DTW-1NN TiCT'den daha kötü ortalama doğruluğa sahiptir (0.756 karşı 0.776) ve daha iyi ortalama sıralamaya (9.900 karşı 10.200). Hangi metriği raporlarsanız tablonun her iki yarısında da sıralama değişir.
Yalnızca tablonun ortası istikrarlıdır. Herhangi bir tek dataset'i çıkarmak 15 durumun 10'unda sıralamayı değiştirir. Bunların altısı HIVE-COTE 2 ve RocketPFN yer değiştirmesidir; Mantis-V2 ve DTW-1NN altıda, DTW-1NN ve TiCT ikide yer değiştirir. 3 ile 9 arasındaki konumlar asla hareket etmez.
Karşılaştırma metriği doğruluktur çünkü ilan edilen birincil metrik olan ROC-AUC, 7 referans foundation modelin 6'sında mevcut değildir. Panel yalnızca tek değişkenlidir: TiCT ve RocketPFN'in yerel çok değişkenli desteği yoktur, bu nedenle tam durum kuralı tüm 10 çok değişkenli dataset'i kaldırır. Foundation-model satırları bu modelleri tek bir sabit transfer protokolü altında ölçer. TimEE, aşağıdaki nedenden dolayı sıralama taşımaz. Bir bootstrap birincilik payı, yeniden örneklenen dataset koleksiyonları boyunca birinci sıralanma sıklığıdır ve başka bir şey değildir.
Sıralamanın kendisi 2024 bake-off'unu tekrarlar; bu, HIVE-COTE 2 ve ROCKET ailesinin bu problem sınıfına öncülük ettiğini tespit etmiş ve HIVE-COTE 2'yi çok daha yavaş olarak raporlamıştır.1 Buradaki katkı, tek bir ortak protokol altında 2026 kadrosuna ilişkin bağımsız kontrollü bir ölçümdür; ayrımlar aile bazında düzeltmeden sonra nicelleştirilmiştir.
RocketPFN, ROCKET özelliklerinin TabPFN'e beslendiği,2 bağlam içi tabular model olup önceden eğitilmiş bir zaman serisi foundation model değildir; bu nedenle önceden eğitilmiş satırların üzerindeki konumu bu sınıf hakkında hiçbir şey söylemez.
Her yöntemin birinci sıralanma sıklığı
| Name | First-place share |
|---|---|
| HIVE-COTE 2 | 46.6 |
| RocketPFN | 45.5 |
| MultiRocket | 7.9 |
Her çubuk, 15 dataset'in, tekrarlara izin verilen 5.000 rastgele yeniden çekilişinde, bir yöntemin birinci sıralandığı paydır. 12 yöntemin dokuzu hiçbir zaman birinci olmaz ve çizilmez. Yeniden çekilişler 1729 tohumuyla çalışır. Birincilik hangi dataset'lerin çekildiğine bağlı olarak değişir ve paylar yöntemlerin birbirinden ne kadar uzak olduğu hakkında hiçbir şey söylemez.
Bir Bradley-Terry derecelendirmesi, her yöntemin bir dataset'te diğerini yenme şansını modeller ve anlamlılık testlerinin bulmadığı bir kazananı üretemez. HIVE-COTE 2'yi 1384.6, RocketPFN'i 1380.6 ve MultiRocket'ı 1338.3 olarak derecelendirir; her biri yeniden çekilişlerde birinciden üçüncüye kadardır. 1000 çapa bu 15 dataset'e göredir ve bir derecelendirme, doğruluk puanı değil, bir dataset kazanma olasılığı olarak modellenir.
Donmuş Wilcoxon-Holm testleri, aynı anda birçok karşılaştırma yapmaya göre düzeltilmiş olup, HIVE-COTE 2, RocketPFN, MultiRocket ve Hydra arasında fark tespit etmez. Bu, eşit performans gösterdiklerinin kanıtı değildir. Hydra yeniden çekilişlerde dördüncü veya beşinci sıradadır; bu da onu ilk üçten ayırmaz. Bu konumlar summarize istikrarı, anlamlılığı değil, özetler. Hiçbir benzersiz kazanan desteklenmez.
Hangi farklar düzeltmeden sağ çıkar
| Name | Mean accuracy difference (A - B) | Share of shared datasets won by A | Wins/losses | p (Holm) | Shared datasets | Status |
|---|---|---|---|---|---|---|
| hc2 vs rocketpfn | -0.0071 | 0.4286 | 6/8 | 1 | 15 | inconclusive |
| hc2 vs multirocket | 0.0119 | 0.6667 | 18/9 | 1 | 28 | inconclusive |
| rocketpfn vs multirocket | 0.0131 | 0.6471 | 11/6 | 1 | 18 | inconclusive |
| multirocket vs moment-probe | 0.0488 | 0.8929 | 25/3 | 0.000188 | 28 | survives Holm |
| minirocket vs moment-probe | 0.0364 | 0.8571 | 24/4 | 0.00788 | 28 | survives Holm |
| hydra vs moment-probe | 0.0332 | 0.7857 | 22/6 | 0.0239 | 28 | survives Holm |
| multirocket vs chronos-probe | 0.0517 | 1 | 28/0 | 1.42e-07 | 28 | survives Holm |
| multirocket vs tirex-probe | 0.0587 | 1 | 28/0 | 1.42e-07 | 28 | survives Holm |
| multirocket vs mantis-v2 | 0.0781 | 0.8889 | 24/3 | 0.000301 | 27 | survives Holm |
| dtw1nn vs tict | -0.0208 | 0.381 | 8/13 | 1 | 21 | inconclusive |
| dtw1nn vs moment-probe | -0.0546 | 0.2963 | 8/19 | 0.229 | 27 | inconclusive |
| dtw1nn vs chronos-probe | -0.0514 | 0.2963 | 8/19 | 0.0839 | 27 | inconclusive |
| dtw1nn vs tirex-probe | -0.0443 | 0.3333 | 9/18 | 0.164 | 27 | inconclusive |
| dtw1nn vs mantis-v2 | -0.0235 | 0.4231 | 11/15 | 1 | 26 | inconclusive |
| dtw1nn vs moment-probe (multivariate) | 0.0119 | 0.6 | 6/4 | 1 | 10 | inconclusive |
| dtw1nn vs chronos-probe (multivariate) | -0.0098 | 0.5 | 5/5 | 1 | 10 | inconclusive |
| dtw1nn vs tirex-probe (multivariate) | -0.0074 | 0.4 | 4/6 | 1 | 10 | inconclusive |
| dtw1nn vs mantis-v2 (multivariate) | -0.0183 | 0.3333 | 3/6 | 1 | 9 | inconclusive |
| multirocket vs moment-probe (multivariate) | 0.0722 | 0.9 | 9/1 | 0.164 | 10 | inconclusive |
On dokuz ikili karşıtlık incelendi ve altısı Holm düzeltmesinden sağ çıktı. Her nokta, araç ipucunda %95 aralığını ve Holm-düzeltilmiş p değerini taşır; bu aralıklar dataset-bootstrap özetleridir ve çokluk düzeltmesi yapılmamıştır, bu nedenle yalnızca p değerleri Holm taşır.
Sağ çıkan her karşıtlık, bir konvolüsyonel dönüşümün önceden eğitilmiş bir modeli yenmesidir.
MultiRocket ikisini de hiç dataset kaybetmeden süpürür. Hem Chronos-2 hem de TiRex'e karşı 28 galibiyet 0'a, p = 1.4e-07.
On üç karşıtlık sonuçsuzdur, bu fark olmadığının kanıtı değildir. DTW-1NN içeren hiçbir şey düzeltmeden sağ çıkmaz ve çok değişkenli alt kümede hiçbir şey sağ çıkmaz.
Her satır, çiftin paylaştığı dataset'ler üzerinde hesaplanır, ortak bir panelde değil; bu nedenle satırlar bir lig tablosu değildir ve birbirlerine karşı okunamaz.
Foundation-model sonuçları tek bir transfer protokolüne koşulludur: son katman ortalama havuzlama ile lojistik bir sonda, MOMENT, Chronos-2, TiRex ve Mantis-V2'ye aynı şekilde uygulanmış ve herhangi bir puanlanmış hücreden önce dondurulmuştur. Bir post hoc, sıralama-free kol TiRex'in katman çıkarımını değiştirdi ve ortalama doğruluğu 0.793'ten 0.805'e, 1.13 yüzde puanı yükseltti; 30 dataset'in 23'ü iyileşti ve yedisi kötüleşti. En büyük kayıp, Heartbeat 7.98 puanla, 30 yeniden örneğinin hiçbirinde iyileşmedi, bu nedenle ortalama dataset'e göre tersine dönen bir sonucu gizler. Ayrıntılar ekte.
Bölme derinliğinin altı katı
| Name | Mean accuracy |
|---|---|
| RocketPFN | 0.9164 |
| MultiRocket | 0.9018 |
| Hydra | 0.8917 |
| MiniRocket | 0.8881 |
| MOMENT | 0.8656 |
| Chronos-2 | 0.8521 |
| TiRex | 0.8424 |
| catch22 | 0.8202 |
| Mantis-V2 | 0.8037 |
Yukarıdaki her tablo 5 eğitim/test bölmesi çalıştırır, çünkü HIVE-COTE 2 ve DTW-1NN, dondurulmuş pahalı hücre istisnası altında yalnızca bu beşini çalıştırır ve eşleşen yeniden örnekleme kuralı geri kalanını eşleşmeye çeker. Çubuklar 30 bölme üzerinden ortalama doğruluğu gösterir ve ortalama sıralama aynı sırayı verir. Bu ikisini çıkarın ve kalan dokuz yöntem, 18 dataset üzerinde 30 tohumlanmış katmanlı yeniden örneğin tamamını çalıştırır; bu, bake-off'un kullandığı derinliktir.
Sıralama korunur. RocketPFN 1.694, MultiRocket 2.250, Hydra 2.889 ve MiniRocket 3.833 ilk dört sırayı alır; dördü de rastgele konvolüsyonel özellikler üzerine kuruludur. Ardından MOMENT 5.889, Chronos-2 6.444 ve TiRex 7.056 gelir; catch22 7.222 ve Mantis-V2 7.722 ile. Friedman ki-kare 105.067 p = 3.9e-19'dir. Beş bölme bunu üretmedi.
İki blok bu derinlikte temiz bir şekilde ayrılır. MiniRocket'in %95 bootstrap sıralama aralığı 4.278'e ulaşır ve MOMENT'inki 5.111'den başlar; 5.000 bootstrap çekişi boyunca hiçbir önceden eğitilmiş modelin ortalama sıralaması konvolüsyonel bloğun aralığına geçmedi.
On iki dönüşüm-önceden eğitilmiş çiftinin onu burada Holm düzeltmesinden sağ çıkar. Sağ çıkmayan ikisi, p = 0.108'de MiniRocket, MOMENT'e karşı ve p = 0.105'te Hydra, MOMENT'e karşı, her ikisi de birincil panelde sağ çıkar. Holm, bu panelin kendi 36 çiftlik ailesini kapsar; dolayısıyla bu sayı ile birincil panelin altı sağ çıkanı farklı sorulara yanıt verir.
Birincilik daha da belirsizdir. RocketPFN, 5.000 dataset-bootstrap çekişinin %92,9'unda birinci olur; birincil panelde ise %46,6 ve %45,5'e karşı, ancak orada birinciliği paylaştığı yöntem olan HIVE-COTE 2 burada yoktur. Üst klik hala üç genişliktedir: RocketPFN, MultiRocket ve Hydra. MiniRocket yine bunun dışına düşer ve MOMENT ile bir kliği paylaşır.
Bu bir derinlik kontrolüdür, bağımsız bir tekrar değildir. 18 dataset, birincil panelin tüm 15'ini artı ElectricDevices, StarLightCurves ve UWaveGestureLibraryAll'ı içerir; bu nedenle yukarıdaki tek-dataset-çıkarma kırılganlığı geçerlidir. Aynı nedenle yalnızca tek değişkenlidir; RocketPFN mevcuttur. Dışladığı şey, beş belirli bölmeye bağlı bir sıralamadır.
Batch bileşimi TimEE'nin tahminlerini değiştirir
| Metric and test-set size n_test (the harness calls in batches of 512) | Cells | Share of cells with identical results |
|---|---|---|
| Accuracy | 270 / 270 | 1 |
| Accuracy >512 | 146 / 325 | 0.4492 |
| ROC-AUC | 221 / 270 | 0.8185 |
| ROC-AUC >512 | 12 / 308 | 0.039 |
TimEE, yayınlanan başlığı UCR benchmark'ta ROC-AUC'de birincilik olan bağlam içi bir sınıflandırıcıdır.3 Onu iki makinede çalıştırdık ve hücre düzeyinde sonuçları karşılaştırdık.
Uyuşma tam olarak 512 harness batch boyutunda kırılır. Test setinin tek çağrıya sığdığı 270 hücrenin 270'inde doğruluk aynıdır ve sığmadığı 325 hücrenin 146'sında aynıdır. ROC-AUC için bölünme 270'in 221'ine karşı 308'in 12'sidir. İki makine her iki katmanda da donanım açısından farklıdır; bu nedenle tek başına hiçbir katman bir şey kanıtlamaz; aralarındaki karşıtlık kanıttır.
| Name | Series | Test-set size (log scale, call threshold 512) | Share of resamples with identical results | Identical |
|---|---|---|---|---|
| Chinatown | Accuracy | 343 | 1 | 30 / 30 |
| ChlorineConcentration | Accuracy | 3840 | 0.1667 | 5 / 30 |
| Computers | Accuracy | 250 | 1 | 30 / 30 |
| ECG5000 | Accuracy | 4500 | 0.5 | 15 / 30 |
| EOGHorizontalSignal | Accuracy | 362 | 1 | 30 / 30 |
| Earthquakes | Accuracy | 139 | 1 | 30 / 30 |
| ElectricDevices | Accuracy | 7711 | 0 | 0 / 2 |
| EthanolLevel | Accuracy | 500 | 1 | 30 / 30 |
| FordA | Accuracy | 1320 | 0.2 | 6 / 30 |
| FordB | Accuracy | 810 | 0.1333 | 4 / 30 |
| GunPoint | Accuracy | 150 | 1 | 30 / 30 |
| Haptics | Accuracy | 308 | 1 | 30 / 30 |
| InsectWingbeatSound | Accuracy | 1980 | 0.2333 | 7 / 30 |
| ItalyPowerDemand | Accuracy | 1029 | 0.9333 | 28 / 30 |
| LargeKitchenAppliances | Accuracy | 375 | 1 | 30 / 30 |
| NonInvasiveFetalECGThorax1 | Accuracy | 1965 | 0.6 | 3 / 5 |
| Phoneme | Accuracy | 1896 | 0.4444 | 8 / 18 |
| StarLightCurves | Accuracy | 8236 | 0.2 | 6 / 30 |
| Strawberry | Accuracy | 370 | 1 | 30 / 30 |
| TwoPatterns | Accuracy | 4000 | 0.7333 | 22 / 30 |
| UWaveGestureLibraryAll | Accuracy | 3582 | 0.5667 | 17 / 30 |
| Wafer | Accuracy | 6164 | 0.8333 | 25 / 30 |
| Chinatown | ROC-AUC | 343 | 1 | 30 / 30 |
| ChlorineConcentration | ROC-AUC | 3840 | 0 | 0 / 30 |
| Computers | ROC-AUC | 250 | 0.9667 | 29 / 30 |
| ECG5000 | ROC-AUC | 4500 | 0 | 0 / 30 |
| EOGHorizontalSignal | ROC-AUC | 362 | 1 | 30 / 30 |
| Earthquakes | ROC-AUC | 139 | 0.3333 | 10 / 30 |
| ElectricDevices | ROC-AUC | 7711 | 0 | 0 / 2 |
| EthanolLevel | ROC-AUC | 500 | 0.3333 | 10 / 30 |
| FordA | ROC-AUC | 1320 | 0 | 0 / 30 |
| FordB | ROC-AUC | 810 | 0 | 0 / 30 |
| GunPoint | ROC-AUC | 150 | 1 | 30 / 30 |
| Haptics | ROC-AUC | 308 | 0.9333 | 28 / 30 |
| InsectWingbeatSound | ROC-AUC | 1980 | 0 | 0 / 30 |
| ItalyPowerDemand | ROC-AUC | 1029 | 0.0667 | 2 / 30 |
| LargeKitchenAppliances | ROC-AUC | 375 | 0.9 | 27 / 30 |
| NonInvasiveFetalECGThorax1 | ROC-AUC | 1965 | 0 | 0 / 5 |
| Phoneme | ROC-AUC | 1896 | 0 | 0 / 1 |
| StarLightCurves | ROC-AUC | 8236 | 0 | 0 / 30 |
| Strawberry | ROC-AUC | 370 | 0.9 | 27 / 30 |
| TwoPatterns | ROC-AUC | 4000 | 0 | 0 / 30 |
| UWaveGestureLibraryAll | ROC-AUC | 3582 | 0 | 0 / 30 |
| Wafer | ROC-AUC | 6164 | 0.3333 | 10 / 30 |
Dataset başına kırılma, katman toplamlarının gösterdiğinden daha keskindir. Test seti tek çağrıya sığan her dataset, 30 yeniden örneğin 30'unda doğrulukta uyuşur ve eşiğin üzerindeki hiçbir dataset 30'un 30'una ulaşmaz. ROC-AUC her iki tarafta da daha kötüdür; sığacak kadar küçük iki dataset'te yarının altına düşer.
Mekanizma kaynaktadır. İstatistiksel embedding fonksiyonu, çıkarım çağrısındaki her satırda, destek ve sorgu satırları dahil olmak üzere, her özelliği z-skorlar; eğitim konumlarını değerlendirme konumlarından ayıran bir koruma yoktur. Otuz satır sonra aynı dosya, farklı bir normalleştirme adımına tam olarak böyle bir koruma uygular. Kontrollü bir eş değişimi bunu doğrular: bir çapa sorguyu sabit tutup çağrısındaki diğer 511 sorguyu değiştirmek, çapanın tahmin edilen olasılığını 1.163e-04 kaydırır; buna karşılık tekrar çalıştırma gürültüsü tam olarak sıfırdır. Aynı şekilde test edilen TiCT ve RocketPFN, aynı değişim altında bit-aynıdır.
Bir TimEE tahmini bu nedenle yalnızca girdi serisinin bir fonksiyonu değildir. Skorları sabit batch bileşiminde yeniden üretilebilir; bu nedenle tümevarımlı sınıflandırıcılara karşı eşdeğer bir sıralama alamaz ve bu benchmark onu bir sıralama olmadan raporlar. Bu, yayınlanan ROC-AUC iddiasını niteler, çünkü ROC-AUC tam olarak çağrıya bağlı olduğu gösterilen olasılıklardan hesaplanır. Skorların her iki yönde de şişirildiğini göstermez, yayınlanan sıralamayı değiştirmez (bu bir lider tablosunda kazanılmıştır ve bizde yoktur) ve incelediğimiz sürümü kapsar.
Dört tespit yolunun üçü kaynak erişimi gerektirmez. Bir hücreyi iki kez tekrarlayın, sabit bir çapa etrafında batch eşlerini değiştirin ve iki makine arasında batch sınırına göre katmanlanmış sonuçları karşılaştırın. İlgili yayınlanmış çalışma, verimlilik için kümeelenmiş test sorgularıyla önceden uydurulmuş ağ çıkarımını batch'ler ve bileşim bağımlılığı raporlamaz.4
Çok değişkenli panel sonuçları
| Name | Evaluation panel | Mean rank (lower is better) | Mean accuracy |
|---|---|---|---|
| catch22 | Wide panel (N=24) | 6.85 | 0.7932 |
| catch22 | UEA multivariate (N=9) | 5.67 | 0.7718 |
| chronos-probe | Wide panel (N=24) | 7.1 | 0.8055 |
| chronos-probe | UEA multivariate (N=9) | 7.56 | 0.7566 |
| dtw1nn | Wide panel (N=24) | 7.96 | 0.7542 |
| dtw1nn | UEA multivariate (N=9) | 7.33 | 0.7508 |
| hc2 | Wide panel (N=24) | 1.73 | 0.8735 |
| hc2 | UEA multivariate (N=9) | 1.67 | 0.8334 |
| hydra | Wide panel (N=24) | 3.94 | 0.8454 |
| hydra | UEA multivariate (N=9) | 4.89 | 0.7925 |
| mantis-v2 | Wide panel (N=24) | 7.21 | 0.7806 |
| mantis-v2 | UEA multivariate (N=9) | 5.44 | 0.7691 |
| minirocket | Wide panel (N=24) | 3.69 | 0.846 |
| minirocket | UEA multivariate (N=9) | 3.56 | 0.7967 |
| moment-probe | Wide panel (N=24) | 6.73 | 0.8093 |
| moment-probe | UEA multivariate (N=9) | 8.67 | 0.7365 |
| multirocket | Wide panel (N=24) | 2.48 | 0.858 |
| multirocket | UEA multivariate (N=9) | 3 | 0.8052 |
| tirex-probe | Wide panel (N=24) | 7.31 | 0.7983 |
| tirex-probe | UEA multivariate (N=9) | 7.22 | 0.7524 |
Geniş panelde oluşturulan kısa liste çok değişkenli veriye taşınmaz. MOMENT, 9 dataset'lik çok değişkenli panelde on üzerinden sonuncu iken, 24-dataset'lik geniş panelde 6.729 ile en yüksek sıralı önceden eğitilmiş modeldir. Mantis-V2 ters yönde çalışır: çok değişkenli panelde 5.444, geniş panelde 7.208.
Bu bir modalite etkisi değildir. Geniş panel çok değişkenli dataset'leri bir alt küme olarak içerir; dolayısıyla hareket, farklı boyut ve görev bileşimine sahip iki kadro arasındaki bir karşıtlıktır, her iki yöntemin içinde ölçülen bir şey değildir. N=9 ve düzeltmeden sağ çıkan hiçbir karşıtlık olmadan, bunu geniş panel kısa listesini çok değişkenli bir dağıtıma taşımaya karşı bir uyarı olarak okuyun, bir seçim sonucu olarak değil.
Özne gruplu bölme sonuçları
| Name | Mean window accuracy across folds | Fold-to-fold standard deviation | Folds | Subject-macro mean | Subject-macro SD |
|---|---|---|---|---|---|
| catch22 grouped | 0.7322 | 0.0202 | 5 | 0.7282 | 0.019 |
| catch22 random | 0.7922 | 0.0022 | 10 | 0.7881 | 0.0024 |
| MiniRocket grouped | 0.7997 | 0.0079 | 5 | 0.7979 | 0.0077 |
| MiniRocket random | 0.8299 | 0.0009 | 8 | 0.8271 | 0.0011 |
UCR ve UEA arşivleri, bireysel seriler üzerinde tanımlanmış sabit eğitim/test bölmeleri sağlar; bölme yapmak için özne veya kaynak açıklaması yoktur,56 bu nedenle onları yeniden örneklemek özneler yerine serileri karıştırır. Bir öznenin birçok pencere katkıda bulunduğu SleepEDF uyku evrelemesinde, ayrıca özneye göre böldük. MiniRocket, dondurma kesintisi nedeniyle 10 rastgele katlamanın 8'ini taşır.
Rastgele bölme daha yüksek doğruluk raporlar; catch22 için 0.060 ve MiniRocket için 0.030.
Varyans sıkışması daha aktarılabilir yarıdır. Katlamadan katlamaya değişkenlik, hem pencere doğruluğu hem de özne-makro doğruluğu üzerinde, rastgele bölmede özne gruplamaya göre yaklaşık yedi ila dokuz kat daha küçüktür. Rastgele bölmelerde seçilen bir model, dağıtılacağı şekilde, görülmemiş özneler üzerinde değerlendirilen aynı modelden daha iyi ve daha istikrarlı görünür.
Biz bölünmeye bağlı bir fark raporluyoruz, asla sızıntı değil. Veri, farkın özne kimliği sızıntısından mı yoksa özne zorluğu ve aşama karışımındaki gerçek değişimden mi kaynaklandığını söyleyemez ve rastgele bölmeler bu değişimi her test setine dağıtır, bu da doğruluğu mekanik olarak istikrara kavuşturur. İkisini ayıracak deney, aynı test dönemlerinin test öznelerini içeren ve içermeyen eğitim setleri altında, PTB-XL'de çalıştırıldı ve SleepEDF'ten hesaplama nedeniyle çıkarıldı. PTB-XL'nin kendisi rastgele bölmede %14,9 aynı-özne örtüşmesi taşır, bu nedenle düşük örtüşmeli bir karşılaştırıcıdır, boş bir kontrol değildir.
Dengesiz veri: Earthquakes
| Name | Accuracy | Balanced accuracy | N resamples |
|---|---|---|---|
| catch22 | 0.7835 | 0.4996 | 30 |
| dtw1nn | 0.7194 | 0.5453 | 5 |
| hydra | 0.7782 | 0.5122 | 30 |
| minirocket | 0.7662 | 0.5187 | 30 |
| multirocket | 0.7832 | 0.5229 | 30 |
Doğruluk, şansa yakın sıralamayı gizler. Her CPU-yolu yöntemi Earthquakes'te 0.72 ile 0.78 arasında doğruluk raporlarken, dengeli doğruluk 0.4996 ile 0.5453 arasında değişir. 0.5'i yalnızca dengeli doğruluk ekseninde şans olarak okuyun; normal doğruluk için şans sınıf yaygınlığına bağlıdır.
En yüksek doğruluğa sahip yöntem en düşük dengeli doğruluğa sahiptir. catch22 0.783 doğrulukla 0.4996 dengeli puan alır; sayısal olarak 0.5'in hemen altındadır. Kelimenin tam anlamıyla çoğunluk sınıfını tahmin edip etmediği ölçülmedi; alıntılanan rakam belirsizlik ve 0.5'e karşı test taşımaz.
Tersine dönme yereldir, yöntemin bir özelliği değildir. Tam panelde catch22 dengeli doğrulukta açıkça sonuncudur, 0.726 ile MultiRocket'in 0.806'ine karşı. Dengeli doğruluk burada post hoc bir metriktir; dondurmadan sonra arşivlenmiş tahminlerden hesaplanmıştır. DTW-1NN, diğer dört yöntemin 30'una karşı 5 yeniden örnek taşır, bu nedenle noktası daha az kanıta dayanır.
Sert etiketler, olasılıklar değil
Altı CPU-yolu yönteminin dördü olasılık döndürmez. MiniRocket, MultiRocket, Hydra ve DTW-1NN tahmin edilen sınıfa 1 ve başka her yere 0 koyar; bu nedenle onların log loss'u başka bir ad altında doğruluktur. Log loss'un kaydedildiği tüm 2.465 hücrede 36.0437 çarpı hata oranına eşittir, 7.1e-15 içinde. Bu sabit, scikit-learn'in gerçek sınıfta sıfır olasılığa atadığı cezadır.
Tarif belgelendiği gibi davranır. Üç konvolüsyonel sınıflandırıcı varsayılan olarak olasılık çıktısı olmayan bir ridge kafasına sahiptir ve kütüphane boşluğu one-hot vektörle doldurur; bir komşulu DTW-1NN yapısı gereği aynı şekle sahiptir.7
Onlar için hesaplanan ROC-AUC bu nedenle etiketi ölçer, bir sıralamayı değil. Altısının da tam ROC-AUC taşıdığı 27 dataset'te, catch22 0.884 puan alır, MultiRocket'in 0.866'ine karşı; oysa ondan 7.2 doğruluk puanı geridedir, 0.782'ye karşı 0.854. Bunu, catch22'nin kullanılabilir bir skora sahip olduğu ve MultiRocket'in hiçbir skora sahip olmadığı olarak okuyun; catch22'nin vakaları daha iyi sıraladığı olarak değil.
Altısından ikisi olasılıklarda hiç karşılaştırılabilir. Tam log loss'lu 22 dataset'te, HIVE-COTE 2 ortalama 0.344 puan alır, catch22'nin 0.527'sine karşı; medyanlar 0.265 ve 0.371'dir; ve 22 dataset'in 19'unda daha düşüktür. Her iki rakam da arşivlenmiş çıktıyı tanımlar. Kalibrasyon deneyi çalıştırılmadı ve dondurulmuş bir test onları kapsamaz.
Doğruluk tablosu hareket etmez. Taşımadığı şey şudur: vakaları sıralayan veya eşikleyen bir iş yükü, varsayılan MiniRocket, MultiRocket, Hydra veya DTW-1NN tarifinden eşikleyecek hiçbir şey alamaz. Aynı özellikler üzerinde olasılıksal bir kafa çalıştırılmadı.
Kaydedilen hesaplama
| Name | CPU core-hours for 140 matched cells (log scale) | Mean accuracy on the same 140 cells | Matched cells |
|---|---|---|---|
| catch22 | 0.54 | 0.7654 | 140 |
| dtw1nn | 356.82 | 0.7155 | 140 |
| hc2 | 694.23 | 0.8484 | 140 |
| hydra | 2.12 | 0.8219 | 140 |
| minirocket | 0.48 | 0.8213 | 140 |
| multirocket | 2.81 | 0.8365 | 140 |
Grafik eşleşen hücreleri çizer: altısının da çalıştırdığı 28 dataset'e kısıtlanmış her CPU-yolu yöntemi, 0 ila 4 yeniden örneklerinde, yani her biri 140 hücre. Bu hücrelerde kaydedilen CPU çekirdek-saati: HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 ve MiniRocket 0.48.
Kısıtlama, bir oranı anlamlı kılan şeydir. Kaydedilen hesaplama toplamları tüm CPU yolunda 1.496.5 çekirdek-saatidir; bunun 804.8'ini HIVE-COTE 2 oluşturur: 694.2 140 sıralamalı hücresi üzerinden ve geri kalanı her tablodan hariç tutulan dört post hoc tanı hücresi üzerinden. MultiRocket, 990 sıralamalı hücre üzerinden 26.2 oluşturur. Bu iki toplam farklı iş miktarlarını kapsar, bu nedenle aralarındaki hiçbir oran yöntemleri karşılaştırmaz.
Eşleşen hücreler bir oran mümkün kılar. Her CPU-yolu yöntemini, altısının da çalıştırdığı 28 dataset'e, 0 ila 4 yeniden örneklerinde kısıtlamak, her biri 140 hücre verir. Kaydedilen CPU çekirdek-saati: HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 ve MiniRocket 0.48.
Aynı 28 dataset'te HIVE-COTE 2, MultiRocket'i 18'inde yener ve 9'unda kaybeder; ortalama doğruluk farkı 0.012 olup Holm düzeltmesinden sağ çıkmaz. Bu, bu benchmark'ın tespit edemediği bir fark için 247 kat CPU süresidir. Arşiv protokolünün her yayınlanmış sonuç için gerektirdiği temel çizgi olan DTW-1NN, aynı hücrelerde MiniRocket'in 747 katı maliyete sahiptir.
Buradaki her yöntem n_jobs = 1 ile tek iş parçacıklı çalıştı, süreç başına bir hücre, bu nedenle kaydedilen duvar süresi çekirdek süresidir. Her iki orana da iki sınır hala uygulanır. Süreler, kutu başka ne çalıştırıyorsa onun altındaki verimdir, yalnız gecikme değil. Ve HIVE-COTE 2 kendi yapılandırma yolunda çalışırken diğer beşi bir yolu paylaştı; bu nedenle onun oranı iki yolu kapsar; DTW-1NN ile MiniRocket arasındaki oran tek bir yol içinde ölçülür.
Bu benchmark'tan klasik yöntemler ile foundation model'ler arasında hiçbir maliyet karşılaştırması mümkün değildir ve biz hiçbirini yapmıyoruz. Altı GPU-yolu yöntemi duvar süresi kaydetmedi. TimEE duvar süresi kaydetmiştir ancak sıralama taşımadığı için grafikten hariç tutulmuştur.
Karşılaştırılan yöntemler
HIVE-COTE 2
Birincil panelde ortalama sıralamada birinci (2.400), RocketPFN'den ayrılamaz. 140 sıralamalı hücreyi 694.2 kaydedilen çekirdek-saatle çalıştırdı; bu, kaydedilen CPU yolundaki en pahalı yöntemdir ve FaceDetection'ı (144 kanal) bitiremedi. Shapelet, sözlük, aralık ve konvolüsyonel temsiller üzerinde heterojen bir meta-topluluktur.8
RocketPFN
Ortalama doğrulukta birinci (0.905), HIVE-COTE 2'den ayrılamaz. Eş değişim testinde bit-aynıdır. Yalnızca tek değişkenlidir, bu nedenle UEA paneline asla girmez. ROCKET ailesi konvolüsyonel özellikleri, tabular foundation model TabPFN v2.5 tarafından bağlam içi sınıflandırmayla birleştirir; bu nedenle hedef dataset üzerinde hiçbir model uydurulmaz; makalesi 92 UCR dataset'inde 0.900 ortalama doğrulukla HIVE-COTE 2 ile eşitlik raporlar.2
MultiRocket
Ortalama sıralamada üçüncü (2.800) ve en güçlü ikili kayıt: önceden eğitilmiş modellere karşı incelenen dört karşıtlığının tümü Holm'dan sağ çıkar; ikisi 28 galibiyet 0'a. 990 hücre için 26.2 kaydedilen çekirdek-saat. MiniRocket'i çoklu havuzlama operatörleri ve birinci dereceden farklarla genişletir.9
Hydra
Ortalama sıralama 4.100; MOMENT'e karşı galibiyeti (22/6) düzeltmeden sağ çıkar. Sözlük tarzı bir konvolüsyonel yöntem: çekirdekler gruplar halinde yarışır ve kazanan çekirdeklerin sayıları temsili oluşturur.10
MiniRocket
Ortalama sıralama 4.700, 990 hücre için 4.9 kaydedilen çekirdek-saat ile; kaydedilen CPU yolundaki en ucuz güçlü yöntemdir; MOMENT'e karşı galibiyeti (24/4) düzeltmeden sağ çıkar. Neredeyse deterministik bir rastgele konvolüsyonel çekirdek dönüşümü ve doğrusal bir sınıflandırıcı.11
MOMENT
Tek değişkenli birincil panelde en yüksek sıralı önceden eğitilmiş model (6.633); sağ çıkan karşıtlıklarla üç konvolüsyonel dönüşümün tümüne kaybeder. 385M parametreli, tahmin, sınıflandırma, anomali tespiti ve atama için çok alanlı bir külliyat üzerinde önceden eğitilmiş T5 tabanlı bir modeldir.12
Chronos-2
Ortalama sıralama 7.967; MultiRocket'e 28/0 kaybeder. Burada dondurulmuş embedding çıkarıcı olarak kullanılan bir tahmin foundation modelidir; bu onun yerel görevi değildir.13
TiRex
Ortalama sıralama 8.433; MultiRocket'e 28/0 kaybeder. xLSTM tabanlı sıfır atışlı bir tahmin modelidir,14 ayrıca burada dondurulmuş çıkarıcı olarak kullanılır. Post hoc duyarlılık kolunda, son katman çıkarımının tüm katman birleştirmesine değiştirilmesi, 30 dataset'lik panelinde ortalama doğruluğu 1.13 yüzde puanı artırdı: 23 dataset iyileşti ve yedisi kötüleşti; Heartbeat 7.98 puanla ve 30 yeniden örneğinin hiçbiri iyileşmedi. Dondurulmuş son katman sonucu ve sıralama birincil kalır; duyarlılık kolu sıralama taşımaz.
Mantis-V2
Tek değişkenlide ortalama sıralama 9.733 ve çok değişkenli panelde 5.444; MultiRocket'e 24/3 kaybeder. FaceDetection'ı bitiremedi: 144 kanal yerel sınıflandırma kafasını boğar. Sentetik veri ve V2'de eklenen test zamanı stratejileriyle hafif, karşılaştırmalı önceden eğitilmiş bir sınıflandırma modelidir.15
TimEE
Sıralama olmadan raporlanır; yukarıdaki batch-bileşim bulgusuna bakın. Raporlanan panelindeki 21 dataset üzerinde ortalama doğruluk 0.841'dir; sabit batch bileşiminde hesaplanmıştır. Sonuçlardan önce ilan edilen iki hariç tutma geçerlidir: NonInvasiveFetalECGThorax1 30 yeniden örneğin 5'inde kısmidir ve Phoneme yalnızca arşiv bölmesinde raporlanır. Etiketli bir destek setinden tek bir ileri geçişte uçtan uca bağlam içi sınıflandıran, sentetik görevler üzerinde meta-eğitilmiş 4.5M parametreli bir modeldir.3
TiCT
Ortalama sıralama 10.200. Yalnızca tek değişkenlidir; çalıştırıcısı Phoneme üzerinde nadir sınıf geçerlilik kuralını uygulayan tek çalıştırıcıydı; diğer yollar 30 çalıştırırken bir geçerli hücre katkıda bulundu. Eş değişim testinde bit-aynıdır. Rastgele sınıf sayıları için bit tabanlı etiket kodlamasıyla sentetik veri üzerinde önceden eğitilmiş bağlam içi bir transformerdir.16
DTW-1NN
Ortalama sıralama 9.900. StarLightCurves'i bitirmedi; bu, bölünemez bir hücre için 95 saatte ilan edilmiş bir maliyet DNF'sidir. Dinamik Zaman Bükme mesafesi altında bir-en-yakın-komşu; alandaki en uzun süredir devam eden temel çizgidir.
catch22
Birincil panelde ortalama sıralama 8.700. Basit bir sınıflandırıcıyı besleyen yirmi iki sabit, yorumlanabilir özet özellik.17
Klasik bir sınıflandırıcı yerine ne zaman foundation model seçilmeli
- Bol miktarda etiketli eğitim verisi: burada düzeltmeden sağ çıkan her karşıtlık bir konvolüsyonel dönüşümü destekler ve üçünün ikisi, MultiRocket ve Hydra, HIVE-COTE 2 ve RocketPFN ile birlikte üst klikte oturur.
- Ciddi şekilde sınırlı etiketler veya soğuk başlangıç dağıtımı: bağlam içi ve sıfır atışlı modeller adaylardır ve bu rejim benchmark'ımızın ölçmediği rejimdir. Tüm panellerimiz tam arşiv eğitim bölmelerini kullanır.
- Çok değişkenli veri: önce yerel kapsamı kontrol edin. Bu kadrodaki üç bağlam içi yöntemin ikisi yalnızca tek değişkenlidir.
- Hesaplamadan bağımsız en yüksek doğruluk: HIVE-COTE 2 ve RocketPFN bu kanıtta ayrılamaz. Bu benchmark ne doğruluklarını ne de hesaplamalarını ayırır, çünkü RocketPFN'in kayıtlı zamanlaması yoktur.
Önemli olan bir hesaplama bütçesi: yukarıdaki 140 eşleşen hücrede, MultiRocket HIVE-COTE 2'nin CPU çekirdek-saatlerinin 1/247'ini kullanır ve o dataset'lerde aralarında hiçbir doğruluk farkı düzeltmeden sağ çıkmaz. - Denetlenebilirlik gereksinimleri: tahminleri yalnızca girdiden yeniden üretilebilir yöntemleri tercih edin. Yukarıdaki batch-bileşim bulgusu uyarıcı durumdur.
Zaman serisi sınıflandırma nedir
Zaman serisi sınıflandırma, görülmemiş bir seri için ayrık bir sınıf tahmin etmek üzere etiketli, sıralı sayısal diziler üzerinde bir model eğitir: EKG teşhisi, giyilebilir cihazlardan insan aktivitesi tanıma, endüstriyel arıza tespiti. Gelecek değerleri çıktı veren tahminden farklıdır, bir sınıf etiketi değil. Tabular model'ler değerlerin sıralamasını bir tümevarım önyargısı olarak kodlamaz; her zaman adımını bağımsız bir sütun olarak ele alır.
Klasik yöntemler, her dataset için yeni bir model uydurur. Bir zaman serisi foundation model büyük bir külliyat üzerinde bir kez önceden eğitilir, ardından yeni dataset'lere sıfır atışla, hafif bir sonda aracılığıyla veya çıkarım zamanında sağlanan bir avuç etiketli örnekten bağlam içi olarak uygulanır. Bu ön eğitimin standart arşivlerde sınıflandırma doğruluğu kazanıp kazanmadığı, tek bir kontrollü protokol altında, bu benchmark'ın ölçtüğü sorudur.
Zaman serisi sınıflandırma benchmark metodolojisi
Yöntemler. Dört aile: transfer protokolü aracılığıyla değerlendirilen önceden eğitilmiş foundation modeller (MOMENT, Chronos-2, TiRex, Mantis-V2), bağlam içi modeller (TimEE, TiCT, RocketPFN), konvolüsyonel dönüşümler (MiniRocket, MultiRocket, Hydra) ve klasik referanslar (HIVE-COTE 2, DTW-1NN, catch22).
Veri. 23 UCR tek değişkenli ve 10 UEA çok değişkenli dataset,56 artı SleepEDF ve PTB-XL üzerinde ayrı bir non-IID katman. 14.638 kayıtlı hücre, aşağıdaki kapsam tablosunda bölünmüştür.
Kapsam. Puanlanan hücreler yöntemler arasında eşit dağılmamıştır ve paydalar hangi karşılaştırmaların mümkün olduğuna karar verir.
Her sıralamalı karşılaştırma, adlandırdığı yöntemlerin tam durum kesişiminde çalışır, asla tek bir yöntemin kendi kapsamında değil; HIVE-COTE 2'nin 140 hücresinin ve RocketPFN'in 2.760 hücresinin aynı tabloda görünmesini sağlayan budur. Tam dışa aktarma 14.638 satır tutar: bu 11.874 puanlanan hücre, RocketPFN'in 2.760 hücrelik makale-protokolü yeniden üretim kolu ve 4 HIVE-COTE 2 post hoc tanı hücresi.
Yeniden örnekleme. r0 arşiv eğitim/test bölmesidir; r1 ila r29, arşiv oranlarında, 1729+r tohumlu katmanlı karıştırmalardır. Çıkarımsal birim dataset'tir: yeniden örnekler, yöntemler karşılaştırılmadan önce bir dataset içinde ortalanır. HIVE-COTE 2 ve DTW-1NN, hücre başına maliyetleri bir ila iki büyüklük sırası daha yüksek olduğu için 5 yeniden örnek çalıştırır ve birincil tablo her yöntemi aynı 5 eşleşen yeniden örneğe kısıtlar. Arşiv bölmesi r0, 33 dataset'in 8'inde tohumlanmış yeniden örneklerden sistematik olarak daha zordur; 0.218 doğruluğa kadar; bu nedenle beş eşleşen yeniden örnek değiştirilebilir çekişler değildir.
Transfer protokolü. Her referans foundation model aynı pipeline'ı çalıştırır: değişken başına kodlama, son kodlayıcı katmanı, geçerli bağlam token'ları üzerinden ortalama havuzlama, değişken başına L2 normalizasyonu, kanal birleştirme, yalnızca eğitim standardizasyonu, lojistik regresyon sondası. Herhangi bir puanlanmış hücreden önce 2026-07-24 tarihinde dondurulmuştur.
İstatistikler. Friedman omnibus, ardından tüm 19 incelenen karşıtlık üzerinde Holm düzeltmeli ikili Wilcoxon işaretli sıralama, dataset düzeyinde ortalamalar, yalnızca tam durum panelleri. Omnibus yalnızca sıralamaların bir yerde farklı olduğunu destekler; her ikili ifade düzeltilmiş karşıtlıklardan gelir.
Dondurma. Veriler 2026-07-29 03:00 UTC'de donduruldu; hariç tutma kuralları olağanüstü sonuçlar bilinmeden önce yazıldı. Bir hücre kesintiden 22 dakika sonra tamamlandı ve önceden yazılmış kural altında hariç tutuldu. Sürüm, her girdi dosyasının hash karşılaştırması, birincil tablonun dışa aktarmadan yeniden üretilmesi ve hem makalede hem de sürüm tablolarında yayınlanan TimEE rakamının arkasındaki ilan edilmiş hariç tutmaların uygulanması dahil 120 mekanik doğrulama kontrolünü geçer.
Metrikler. ROC-AUC ilan edilen birincil metrikti. 7 referans foundation modelin 6'sında mevcut değildir; bu modellerin çalıştırmaları kalibre edilmiş olasılıklar yerine karar skorları veya sınıf tahminleri arşivler, bu nedenle doğruluk karşılaştırma metriği haline gelmiştir. TimEE, yedisinden ROC-AUC taşıyan tek modeldir. Doğruluğu önceden belirlenmiş olarak yeniden etiketlemek yerine bunu belirtiyoruz. Dengeli doğruluk, makro-F1 ve log-loss, kapsanan alt kümede post hoc duyarlılık analizleridir.
Yeniden üretilebilirlik. Örnek başına tahminler, tüm 13 yöntem ve birincil tablonun tüm 12'si için arşivlenmiştir; yeniden üretilen her tahmin, dondurulmuş skalerini maksimum 0.000e+00 farkla yeniden üretir (CPU-yolu hücrelerinin 4.260'ı 2026-08-02'de yeniden doğrulandı, sıfır yetim). Birincil tablo, yayınlanan tahminlerden tamamen yeniden hesaplanabilir.
Bu benchmark'ta olmayan yöntemler
Değerlendirmediğimiz, yayınlanmış TSC-ilişkili modeller; kadronun sınırının açık olması için listelenmiştir. Buradaki ifadelerin hiçbiri bizim ölçümlerimiz değildir. UniTS, sınıflandırma, tahmin, atama ve anomali tespitini kapsayan birleşik bir çok görevli modeldir.18 TiViT serileri görüntülere dönüştürür ve dondurulmuş önceden eğitilmiş Vision Transformer'larla sınıflandırır.19 UniShape, AAAI 2026'da kabul edilmiş, şekil bilinçli bir adaptör ile sınıflandırma içinşa edilmiş şekil bilinçli bir foundation modeldir.20 One Fits All olarak da yayınlanan GPT4TS, bir GPT-2 omurgası kullanır; öz-dikkat ve ileri besleme blokları dondurulmuş kalırken girdi, normalizasyon ve çıktı bileşenleri eğitilir.21 TIC-FM, tüm test örneklerini tek bir ileri geçişte tahmin eden bağlam içi sıfır atışlı bir sınıflandırıcıdır;22 onun tek çağrılık tasarımını yukarıdaki batch-bileşim bulgusuyla aynı maruziyet sınıfı olarak okumak, yayınlanan açıklamadan bizim çıkarımımızdır, test edilmiş bir sonuç değildir.
Sınırlamalar
- Hiçbir önceden eğitilmiş model için ön eğitim örtüşme defteri mevcut değildir: hiçbiri, UCR/UEA serilerinin ön eğitim külliyatında görünüp görünmediğine dair dataset düzeyinde bir beyan yayınlamaz; bu nedenle transfer önceki maruziyetten ayrılamaz. Kayıpları güvenli olarak ele almak, hiçbir dataset düzeyi defterinin test edemeyeceği bir varsayıma dayanır: önceki maruziyetin, gerçekleştiği yerde, bu modelleri incitmekten ziyade pohpohladığı. Bu varsayım altında avantaja rağmen geride kalırlar ve kayıplar geçerli olur; aynı mantıkla, herhangi bir önceden eğitilmiş model zaferi, temiz bir şekilde transfere atfedilemez.
- Foundation-model sonuçları tek dondurulmuş transfer protokolüne koşulludur. Post hoc TiRex kolu yalnızca katman çıkarımını değiştirdi ve ortalama doğruluğu 1.13 yüzde puanı artırırken 30 dataset'inin yedisini kötüleştirdi; Heartbeat 7.98 puanla ve 30 yeniden örneğinin 0'ı iyileşti. Tek bir modeli test etti, sıralama taşımaz ve diğer foundation modeller için etkiyi tesis etmez.
- Tüm duvar süreleri, paylaşılan bir makinede değişen eşzamanlılık altında yüklü verimdir. 13 yöntemin altısı hiçbirini taşımaz.
- Kanıt yalnızca arşiv boyutlu sorunları kapsar. Burada hiçbir şey ölçeklenebilirliğe hitap etmez.
- Benchmark, her yöntemin dondurulmuş tarihindeki bir sürümünü inceler.
Zaman serisi sınıflandırmayı benchmark'larken karşılaşılan yaygın tuzaklar
Ön eğitim-test örtüşmesi. 2025 denetimi 22 yayınlanmış zaman serisi foundation model üzerinden 401 dataset'i izledi ve yalnızca %6'sının hiçbir modelin ön eğitim veya ince ayar külliyatında görünmediğini buldu.23 Kadromuzdaki hiçbir model dataset düzeyinde örtüşme beyanı yayınlamaz; bu nedenle sınırlamalar bölümümüz transfer ile önceki maruziyeti ayrılmaz olarak ele alır.
Bölme tasarımı. Standart UCR arşivi tek bir sabit eğitim/test bölmesi sağlar; modern uygulama yeniden örnekler ve SleepEDF panelimiz özne yapısının yeniden örneklemeden daha fazlasını gerektirdiğini gösterir: bölme tasarımı tek başına raporlanan doğruluğu 0.060'a kadar değiştirdi ve varyansını yaklaşık yedi ila dokuz kat sıkıştırdı. Buradaki hiçbir tek rakam dataset'in bir özelliği değildir; her biri belirtilen bir bölme tasarımı altındaki dataset'in bir özelliğidir.
Çokluk. Birçok sınıflandırıcıyı birçok dataset üzerinde düzeltmesiz karşılaştırmak bulgular üretir. Standart makine, çiftler için Wilcoxon işaretli sıralama ve incelenen her karşıtlık üzerinde Holm tarzı aile bazında düzeltmedir;2425 ve düzeltme, yalnızca raporlananları değil, incelenen her karşıtlığı kapsamalıdır. Bu benchmark'ta bu disiplin 19 karşıtlığın 13'ünü eledi.
Ek: TiRex çıkarım duyarlılığı
Bu post hoc kol, dondurulmuş TiRex sonucuyla aynı 30 dataset'i, 30 yeniden örnekleme bölmesini, ölçekleyiciyi ve lojistik sondayı kullanır. Yalnızca özellik çıkarımı değişir, son kodlayıcı katmanından tüm 12 katmandan birleştirilmiş temsillere. Kol sıralama-free'dir ve dondurulmuş benchmark'ı değiştirmez.
Ortalama doğruluk 0.793'ten 0.805'e taşındı, 1.13 yüzde puanı değişim; tohumlanmış dataset-bootstrap aralığı +0.15 ila +2.06 puandır. 30 dataset farkı üzerinde eşleştirilmiş Wilcoxon işaretli sıralama testi p=0.003'te tam iki taraflı W 92.0 verir. Bu test keşifseldir: dondurmadan sonra çalıştırıldı, buradaki her düzeltilmiş iddiayı yöneten 19-karşıtlık Holm ailesinin dışında oturur ve sıralama taşımaz.
Auer ve ark. TiRex'i, katman-birleştirilmiş özellikler ve Random Forest kullanarak tahmin foundation modelleri arasında birinci sıraya koyar; kendi ablasyonları daha büyük bir 5 puanlık katman etkisi raporlar.26 İki çalışma dataset'ler, model kadrosu, sınıflandırıcı ve seri uzunluğu filtrelemesi açısından farklılık gösterir; bu nedenle 1.13 ve 5 puan, tek bir etkinin rakip tahminleri değil, protokole özgü duyarlılık tahminleridir. Bu kol onların sıralamasını ne yeniden üretir ne de çürütür ve çalışmalar arası sıralama farkının nedenini belirlemez. Bu benchmark içinde TiRex için katman duyarlılığını tespit eder. Etkiyi diğer foundation modellere genellemez veya herhangi bir modelin elde edilebilir en iyi sınıflandırma performansını belirlemez.
Bu araştırmayı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk},
title = {{Zaman Serisi Sınıflandırma Benchmark: Foundation Model'ler ve Klasik Yöntemler}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/time-series-classification}},
note = {AIMultiple. Erişim tarihi: 24 Ağustos 2026}
}99 veri noktasının sonuçları ve zaman damgaları. Bu makaledeki grafik ve tablolarda gösterilen özet verileri, 8 CSV dosyası ve bir README içeren ZIP dosyası olarak indirin.
Arkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın
Değişiklik günlüğü
3 güncellemeDeğiştirildi: ROC-AUC'si olmayan model sayısı 7'de 5'ten 7'de 6'ya çıkarıldı.
Metodoloji bölümünde ROC-AUC kullanılabilirliği 7 temel modelden 6'sına güncellendi.
Olasılık çıktısı vermeyen CPU yöntemlerini ele alan "Sert etiketler, olasılık değil" bölümü eklendi.
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.