Zeitreihenklassifikations-Benchmark: Foundation-Modelle vs. klassische Methoden
Wir haben 13 Methoden zur Zeitreihenklassifikation verglichen – von vortrainierten Zeitreihen-Foundation-Modellen bis zu einer 22-Feature-Baseline aus dem Jahr 2019 – auf 33 UCR/UEA-Datensätzen unter einem eingefrorenen Protokoll. Das sind 14.638 erfasste Methode-Datensatz-Resample-Zellen, 11.874 davon bewertet.
TSC-Benchmark-Ergebnisse
| Name | Mean accuracy |
|---|---|
| RocketPFN | 0.9047 |
| HIVE-COTE 2 | 0.8976 |
| MultiRocket | 0.8897 |
| Hydra | 0.8771 |
| MiniRocket | 0.8755 |
| MOMENT | 0.8529 |
| Chronos-2 | 0.8348 |
| TiRex | 0.8258 |
| catch22 | 0.8059 |
| Mantis-V2 | 0.7874 |
| TiCT | 0.7759 |
| DTW-1NN | 0.7563 |
Das Diagramm vergleicht 12 Methoden auf den 15 univariaten Datensätzen, die alle von ihnen vollständig bearbeitet wurden, wobei jeder Datensatz mit denselben 5 Trainings-/Test-Splits ausgeführt wurde. Die Balken sind nach mittlerer Genauigkeit sortiert. Die Tabelle unten enthält zusätzlich den mittleren Rang, die durchschnittliche Position einer Methode innerhalb eines Datensatzes, und sie bringt dieselben 12 in eine andere Reihenfolge.
Kein eindeutiger Sieger. HIVE-COTE 2 liegt beim mittleren Rang vorn (2.400) und RocketPFN bei der mittleren Genauigkeit (0.905). Bei einem Datensatz-Bootstrap mit 5.000 Ziehungen geht der erste Platz in 46,6 % der Ziehungen an HIVE-COTE 2, in 45,5 % an RocketPFN und in 7,9 % an MultiRocket. Die beiden Ordnungen widersprechen sich, und der Bootstrap teilt sich fast gleichmäßig auf; einen der beiden zu nennen wäre daher ein Artefakt der gewählten Metrik.
Die Spitzengruppe ist kleiner, als die Tabelle vermuten lässt. Die Wilcoxon-Holm-Clique besteht aus HIVE-COTE 2, RocketPFN, MultiRocket und Hydra. MiniRocket, sechs Zehntel eines Rangs hinter Hydra bei 4.700, gehört nicht dazu: Die Mitgliedschaft ergibt sich aus den korrigierten paarweisen Tests, nicht aus der Position der Rangzahlen.
Auf diesem Panel belegen die Transforms die Ränge 3, 4 und 5, und die vortrainierten Modelle belegen 6, 7, 8 und 10. MOMENT, das höchstplatzierte vortrainierte Modell mit 6.633, liegt fast zwei volle Ränge unter MiniRocket.
catch22, 2019 mit 22 festen Features veröffentlicht, landet innerhalb des vortrainierten Bereichs bei 8.700, vor Mantis-V2 (9.733) und hinter TiRex (8.433). Bei voller 30-Resample-Tiefe bleibt es in diesem Bereich, sowohl auf dem 18-Datensatz-Panel unten bei 7.222 als auch auf einer 27-Datensatz-Variante davon mit acht Methoden, die RocketPFN weglässt.
Rang und Genauigkeit widersprechen sich auch unten. DTW-1NN hat eine schlechtere mittlere Genauigkeit als TiCT (0.756 gegenüber 0.776) und einen besseren mittleren Rang (9.900 gegenüber 10.200). Welche Metrik Sie berichten, verändert die Reihenfolge in beiden Hälften der Tabelle.
Nur die Mitte der Tabelle ist stabil. Das Entfernen eines einzelnen Datensatzes ändert die Reihenfolge in 10 von 15 Fällen. Sechs davon betreffen den Tausch von HIVE-COTE 2 und RocketPFN; Mantis-V2 und DTW-1NN tauschen in sechs Fällen die Plätze und DTW-1NN und TiCT in zweien. Die Positionen 3 bis 9 bewegen sich nie.
Die Vergleichsmetrik ist Genauigkeit, weil die deklarierte primäre Metrik ROC-AUC für 6 der 7 Referenz-Foundation-Modelle nicht verfügbar ist. Das Panel ist ausschließlich univariat: TiCT und RocketPFN haben keine native multivariate Unterstützung, daher entfernt die Complete-Case-Regel alle 10 multivariaten Datensätze. Die Zeilen der Foundation-Modelle messen diese Modelle unter einem festen Transferprotokoll. TimEE erhält keinen Rang, aus dem unten genannten Grund. Ein Bootstrap-Anteil für den ersten Platz ist die Häufigkeit, mit der eine Methode über neu gezogene Datensatzsammlungen hinweg auf Platz eins landet, und nichts weiter.
Die Reihenfolge selbst repliziert den 2024er Bake-off, der feststellte, dass HIVE-COTE 2 und die ROCKET-Familie diese Problemklasse anführen, und der HIVE-COTE 2 als deutlich langsamer ausweist.1 Der Beitrag hier ist eine unabhängig kontrollierte Messung an einem 2026er Kader unter einem gemeinsamen Protokoll, wobei die Abstände nach familienweiser Korrektur quantifiziert werden.
RocketPFN sind ROCKET-Features, die an TabPFN übergeben werden,2 ein In-Context-tabellarisches Modell und kein vortrainiertes Zeitreihen-Foundation-Modell; seine Position oberhalb der vortrainierten Zeilen sagt daher nichts über diese Klasse aus.
Wie oft jede Methode den ersten Rang belegt
| Name | First-place share |
|---|---|
| HIVE-COTE 2 | 46.6 |
| RocketPFN | 45.5 |
| MultiRocket | 7.9 |
Jeder Balken ist der Anteil der 5.000 zufälligen Neuauswahlen der 15 Datensätze, Wiederholungen erlaubt, in denen eine Methode den ersten Rang belegt. Neun der 12 Methoden tun dies nie und werden nicht eingezeichnet. Die Neuauswahlen laufen mit Seed 1729. Der erste Platz wandert je nachdem, welche Datensätze gezogen werden, und die Anteile sagen nichts darüber aus, wie weit die Methoden auseinanderliegen.
Ein Bradley-Terry-Rating modelliert die Chance jeder Methode, eine andere auf einem Datensatz zu schlagen, und es kann keinen Sieger erzeugen, den die Signifikanztests nicht gefunden haben. Es bewertet HIVE-COTE 2 mit 1384.6, RocketPFN mit 1380.6 und MultiRocket mit 1338.3, jeweils Erster bis Dritter über die Neuauswahlen hinweg. Der Anker 1000 ist relativ zu diesen 15 Datensätzen, und ein Rating ist die modellierte Gewinnwahrscheinlichkeit für einen Datensatz, keine Genauigkeitspunkte.
Die eingefrorenen Wilcoxon-Holm-Tests, korrigiert für das gleichzeitige Durchführen vieler Vergleiche, finden keinen Unterschied zwischen HIVE-COTE 2, RocketPFN, MultiRocket und Hydra. Das ist kein Beleg dafür, dass sie gleich gut sind. Hydra liegt über die Neuauswahlen hinweg auf Rang vier oder fünf, was es von den ersten drei ebenfalls nicht trennt. Diese Positionen fassen Stabilität zusammen, nicht Signifikanz. Ein eindeutiger Sieger wird nicht gestützt.
Welche Unterschiede die Korrektur überstehen
| Name | Mean accuracy difference (A - B) | Share of shared datasets won by A | Wins/losses | p (Holm) | Shared datasets | Status |
|---|---|---|---|---|---|---|
| hc2 vs rocketpfn | -0.0071 | 0.4286 | 6/8 | 1 | 15 | inconclusive |
| hc2 vs multirocket | 0.0119 | 0.6667 | 18/9 | 1 | 28 | inconclusive |
| rocketpfn vs multirocket | 0.0131 | 0.6471 | 11/6 | 1 | 18 | inconclusive |
| multirocket vs moment-probe | 0.0488 | 0.8929 | 25/3 | 0.000188 | 28 | survives Holm |
| minirocket vs moment-probe | 0.0364 | 0.8571 | 24/4 | 0.00788 | 28 | survives Holm |
| hydra vs moment-probe | 0.0332 | 0.7857 | 22/6 | 0.0239 | 28 | survives Holm |
| multirocket vs chronos-probe | 0.0517 | 1 | 28/0 | 1.42e-07 | 28 | survives Holm |
| multirocket vs tirex-probe | 0.0587 | 1 | 28/0 | 1.42e-07 | 28 | survives Holm |
| multirocket vs mantis-v2 | 0.0781 | 0.8889 | 24/3 | 0.000301 | 27 | survives Holm |
| dtw1nn vs tict | -0.0208 | 0.381 | 8/13 | 1 | 21 | inconclusive |
| dtw1nn vs moment-probe | -0.0546 | 0.2963 | 8/19 | 0.229 | 27 | inconclusive |
| dtw1nn vs chronos-probe | -0.0514 | 0.2963 | 8/19 | 0.0839 | 27 | inconclusive |
| dtw1nn vs tirex-probe | -0.0443 | 0.3333 | 9/18 | 0.164 | 27 | inconclusive |
| dtw1nn vs mantis-v2 | -0.0235 | 0.4231 | 11/15 | 1 | 26 | inconclusive |
| dtw1nn vs moment-probe (multivariate) | 0.0119 | 0.6 | 6/4 | 1 | 10 | inconclusive |
| dtw1nn vs chronos-probe (multivariate) | -0.0098 | 0.5 | 5/5 | 1 | 10 | inconclusive |
| dtw1nn vs tirex-probe (multivariate) | -0.0074 | 0.4 | 4/6 | 1 | 10 | inconclusive |
| dtw1nn vs mantis-v2 (multivariate) | -0.0183 | 0.3333 | 3/6 | 1 | 9 | inconclusive |
| multirocket vs moment-probe (multivariate) | 0.0722 | 0.9 | 9/1 | 0.164 | 10 | inconclusive |
Neunzehn paarweise Kontraste wurden geprüft, und sechs überstehen die Holm-Korrektur. Jeder Punkt trägt sein 95 %-Intervall und den Holm-adjustierten p-Wert im Tooltip; diese Intervalle sind Datensatz-Bootstrap-Zusammenfassungen und nicht multiplizitätsadjustiert, daher tragen nur die p-Werte Holm.
Jeder überlebende Kontrast ist ein Convolutional-Transform, der ein vortrainiertes Modell schlägt.
MultiRocket fegt zwei von ihnen ohne einen einzigen verlorenen Datensatz hinweg. 28 Siege zu 0 sowohl gegen Chronos-2 als auch gegen TiRex, bei p = 1.4e-07.
Dreizehn Kontraste sind ergebnislos, was kein Beleg für fehlende Unterschiede ist. Nichts mit DTW-1NN übersteht die Korrektur, und nichts auf der multivariaten Teilmenge tut dies.
Jede Zeile wird auf den Datensätzen berechnet, die sich das jeweilige Paar teilt, nicht auf einem gemeinsamen Panel. Die Zeilen sind daher keine Rangliste und können nicht gegeneinander gelesen werden.
Die Ergebnisse der Foundation-Modelle sind an ein Transferprotokoll gebunden: Mean-Pooling der letzten Schicht mit einer logistischen Sonde, identisch angewendet auf MOMENT, Chronos-2, TiRex und Mantis-V2 und eingefroren vor jeder bewerteten Zelle. Ein post-hoc-Arm ohne Rang kostenlos änderte die Schichtextraktion von TiRex und bewegte die mittlere Genauigkeit von 0.793 auf 0.805, also 1.13 Prozentpunkte, wobei sich 23 von 30 Datensätzen verbesserten und sieben verschlechterten. Der größte Verlust, Heartbeat mit 7.98 Punkten, verbesserte sich in keinem seiner 30 Resamples; der Mittelwert verdeckt also ein Ergebnis, das sich je nach Datensatz umkehrt. Details stehen im Anhang.
Sechsfache Split-Tiefe
| Name | Mean accuracy |
|---|---|
| RocketPFN | 0.9164 |
| MultiRocket | 0.9018 |
| Hydra | 0.8917 |
| MiniRocket | 0.8881 |
| MOMENT | 0.8656 |
| Chronos-2 | 0.8521 |
| TiRex | 0.8424 |
| catch22 | 0.8202 |
| Mantis-V2 | 0.8037 |
Jede Tabelle oben läuft mit 5 Trainings-/Test-Splits, weil HIVE-COTE 2 und DTW-1NN unter der eingefrorenen Ausnahme für teure Zellen nur diese fünf ausführen und die Matched-Resample-Regel den Rest auf denselben Stand herunterzieht. Die Balken zeigen die mittlere Genauigkeit über die 30 Splits, und der mittlere Rang ergibt dieselbe Reihenfolge. Lässt man diese beiden weg, laufen die verbleibenden neun Methoden auf 18 Datensätzen alle 30 geseedeten stratifizierten Resamples – die Tiefe, die der Bake-off verwendet.
Die Reihenfolge hält. RocketPFN 1.694, MultiRocket 2.250, Hydra 2.889 und MiniRocket 3.833 belegen die ersten vier Plätze, alle vier aufgebaut auf zufälligen Convolutional-Features. Dann MOMENT 5.889, Chronos-2 6.444 und TiRex 7.056, mit catch22 bei 7.222 und Mantis-V2 bei 7.722. Friedman-Chi-Quadrat ist 105.067 bei p = 3.9e-19. Die fünf Splits haben es nicht künstlich erzeugt.
Die beiden Blöcke trennen sich bei dieser Tiefe sauber. MiniRockets 95 %-Bootstrap-Rangbereich reicht bis 4.278, und MOMENTs beginnt bei 5.111; über alle 5.000 Bootstrap-Ziehungen hinweg gelangte kein mittlerer Rang eines vortrainierten Modells in den Bereich des Convolutional-Blocks.
Zehn der zwölf Transform-gegen-vortrainiert-Paare überstehen hier die Holm-Korrektur. Die beiden, die es nicht tun, MiniRocket gegen MOMENT bei p = 0.108 und Hydra gegen MOMENT bei p = 0.105, überstehen beide auf dem Primärpanel. Holm deckt die eigene Familie dieses Panels aus 36 Paaren ab; diese Zahl und die sechs Überlebenden des Primärpanels beantworten also unterschiedliche Fragen.
Der erste Platz ist keineswegs geklärter. RocketPFN holt ihn in 92,9 % der 5.000 Datensatz-Bootstrap-Ziehungen, gegenüber 46,6 % und 45,5 % auf dem Primärpanel, aber HIVE-COTE 2, die Methode, mit der es sich dort den ersten Platz teilt, fehlt hier. Die oberste Clique ist weiterhin drei breit: RocketPFN, MultiRocket und Hydra. MiniRocket fällt erneut heraus und teilt sich eine Clique mit MOMENT.
Dies ist ein Tiefencheck, keine unabhängige Replikation. Die 18 Datensätze enthalten alle 15 des Primärpanels plus ElectricDevices, StarLightCurves und UWaveGestureLibraryAll, sodass die oben beschriebene Fragilität beim Weglassen einzelner Datensätze bestehen bleibt. Es ist aus demselben Grund ausschließlich univariat, da RocketPFN enthalten ist. Was es ausschließt, ist eine Reihenfolge, die von fünf bestimmten Splits abhängt.
Batch-Zusammensetzung verändert TimEEs Vorhersagen
| Metric and test-set size n_test (the harness calls in batches of 512) | Cells | Share of cells with identical results |
|---|---|---|
| Accuracy | 270 / 270 | 1 |
| Accuracy >512 | 146 / 325 | 0.4492 |
| ROC-AUC | 221 / 270 | 0.8185 |
| ROC-AUC >512 | 12 / 308 | 0.039 |
TimEE ist ein In-Context-Klassifikator, dessen veröffentlichte Schlagzeile der erste Platz bei ROC-AUC auf dem UCR-Benchmark ist.3 Wir haben es auf zwei Maschinen ausgeführt und die Ergebnisse auf Zellebene verglichen.
Die Übereinstimmung bricht genau bei der Harness-Batchgröße von 512. Die Genauigkeit ist identisch in 270 von 270 Zellen, bei denen die Testmenge in einen Aufruf passt, und in 146 von 325 Zellen, bei denen das nicht der Fall ist. Für ROC-AUC ist die Aufteilung 221 von 270 gegenüber 12 von 308. Die beiden Maschinen unterscheiden sich in beiden Schichten in der Hardware; keine Schicht allein beweist daher etwas, der Kontrast zwischen ihnen ist der Beleg.
| Name | Series | Test-set size (log scale, call threshold 512) | Share of resamples with identical results | Identical |
|---|---|---|---|---|
| Chinatown | Accuracy | 343 | 1 | 30 / 30 |
| ChlorineConcentration | Accuracy | 3840 | 0.1667 | 5 / 30 |
| Computers | Accuracy | 250 | 1 | 30 / 30 |
| ECG5000 | Accuracy | 4500 | 0.5 | 15 / 30 |
| EOGHorizontalSignal | Accuracy | 362 | 1 | 30 / 30 |
| Earthquakes | Accuracy | 139 | 1 | 30 / 30 |
| ElectricDevices | Accuracy | 7711 | 0 | 0 / 2 |
| EthanolLevel | Accuracy | 500 | 1 | 30 / 30 |
| FordA | Accuracy | 1320 | 0.2 | 6 / 30 |
| FordB | Accuracy | 810 | 0.1333 | 4 / 30 |
| GunPoint | Accuracy | 150 | 1 | 30 / 30 |
| Haptics | Accuracy | 308 | 1 | 30 / 30 |
| InsectWingbeatSound | Accuracy | 1980 | 0.2333 | 7 / 30 |
| ItalyPowerDemand | Accuracy | 1029 | 0.9333 | 28 / 30 |
| LargeKitchenAppliances | Accuracy | 375 | 1 | 30 / 30 |
| NonInvasiveFetalECGThorax1 | Accuracy | 1965 | 0.6 | 3 / 5 |
| Phoneme | Accuracy | 1896 | 0.4444 | 8 / 18 |
| StarLightCurves | Accuracy | 8236 | 0.2 | 6 / 30 |
| Strawberry | Accuracy | 370 | 1 | 30 / 30 |
| TwoPatterns | Accuracy | 4000 | 0.7333 | 22 / 30 |
| UWaveGestureLibraryAll | Accuracy | 3582 | 0.5667 | 17 / 30 |
| Wafer | Accuracy | 6164 | 0.8333 | 25 / 30 |
| Chinatown | ROC-AUC | 343 | 1 | 30 / 30 |
| ChlorineConcentration | ROC-AUC | 3840 | 0 | 0 / 30 |
| Computers | ROC-AUC | 250 | 0.9667 | 29 / 30 |
| ECG5000 | ROC-AUC | 4500 | 0 | 0 / 30 |
| EOGHorizontalSignal | ROC-AUC | 362 | 1 | 30 / 30 |
| Earthquakes | ROC-AUC | 139 | 0.3333 | 10 / 30 |
| ElectricDevices | ROC-AUC | 7711 | 0 | 0 / 2 |
| EthanolLevel | ROC-AUC | 500 | 0.3333 | 10 / 30 |
| FordA | ROC-AUC | 1320 | 0 | 0 / 30 |
| FordB | ROC-AUC | 810 | 0 | 0 / 30 |
| GunPoint | ROC-AUC | 150 | 1 | 30 / 30 |
| Haptics | ROC-AUC | 308 | 0.9333 | 28 / 30 |
| InsectWingbeatSound | ROC-AUC | 1980 | 0 | 0 / 30 |
| ItalyPowerDemand | ROC-AUC | 1029 | 0.0667 | 2 / 30 |
| LargeKitchenAppliances | ROC-AUC | 375 | 0.9 | 27 / 30 |
| NonInvasiveFetalECGThorax1 | ROC-AUC | 1965 | 0 | 0 / 5 |
| Phoneme | ROC-AUC | 1896 | 0 | 0 / 1 |
| StarLightCurves | ROC-AUC | 8236 | 0 | 0 / 30 |
| Strawberry | ROC-AUC | 370 | 0.9 | 27 / 30 |
| TwoPatterns | ROC-AUC | 4000 | 0 | 0 / 30 |
| UWaveGestureLibraryAll | ROC-AUC | 3582 | 0 | 0 / 30 |
| Wafer | ROC-AUC | 6164 | 0.3333 | 10 / 30 |
Pro Datensatz ist der Bruch schärfer, als die Schicht-Summen vermuten lassen. Jeder Datensatz, dessen Testmenge in einen Aufruf passt, stimmt bei der Genauigkeit in 30 von 30 Resamples überein, und kein Datensatz oberhalb des Schwellenwerts erreicht 30 von 30. ROC-AUC ist auf beiden Seiten der Linie schlechter und fällt bei zwei Datensätzen, die klein genug sind, unter die Hälfte.
Der Mechanismus steht im Quellcode. Die statistische Embedding-Funktion z-standardisiert jedes Feature über jede Zeile im Inference-Aufruf, Support- und Query-Zeilen gleichermaßen, ohne eine Trennung zwischen Trainings- und Evaluationspositionen. Dreißig Zeilen später wendet dieselbe Datei genau eine solche Trennung auf einen anderen Normalisierungsschritt an. Ein kontrollierter Peer-Swap bestätigt es: Hält man eine Anker-Query fest und ersetzt die anderen 511 Queries in ihrem Aufruf, verschiebt sich die vorhergesagte Wahrscheinlichkeit des Ankers um 1.163e-04, gegenüber einem Wiederholungslauf-Rauschen von exakt null. TiCT und RocketPFN, identisch getestet, sind unter demselben Swap bit-identisch.
Eine TimEE-Vorhersage ist daher keine Funktion allein der Eingabeserie. Seine Scores sind bei fixer Batch-Zusammensetzung reproduzierbar, daher kann es keinen gleichartigen Rang gegenüber induktiven Klassifikatoren erhalten, und dieser Benchmark berichtet es ohne einen solchen. Dies schränkt die veröffentlichte ROC-AUC-Behauptung ein, da ROC-AUC genau aus den Wahrscheinlichkeiten berechnet wird, die nachweislich aufrufabhängig sind. Es zeigt nicht, dass die Scores in irgendeine Richtung überhöht sind, es ändert nicht den veröffentlichten Rang, der auf einer von uns nicht gehaltenen Bestenliste erzielt wurde, und es betrifft die von uns geprüfte Version.
Drei der vier Erkennungswege benötigen keinen Quellcodezugang. Wiederholt man eine Zelle zweimal, tauscht man Batch-Peers um einen festen Anker aus und vergleicht man die Ergebnisse über zwei Maschinen stratifiziert nach der Batchgrenze, erhält man den Befund. Verwandte veröffentlichte Arbeiten batchen die Inferenz von zuvor angepassten Netzwerken nach geclusterten Test-Queries aus Effizienzgründen und berichten keine Abhängigkeit von der Zusammensetzung.4
Ergebnisse des multivariaten Panels
| Name | Evaluation panel | Mean rank (lower is better) | Mean accuracy |
|---|---|---|---|
| catch22 | Wide panel (N=24) | 6.85 | 0.7932 |
| catch22 | UEA multivariate (N=9) | 5.67 | 0.7718 |
| chronos-probe | Wide panel (N=24) | 7.1 | 0.8055 |
| chronos-probe | UEA multivariate (N=9) | 7.56 | 0.7566 |
| dtw1nn | Wide panel (N=24) | 7.96 | 0.7542 |
| dtw1nn | UEA multivariate (N=9) | 7.33 | 0.7508 |
| hc2 | Wide panel (N=24) | 1.73 | 0.8735 |
| hc2 | UEA multivariate (N=9) | 1.67 | 0.8334 |
| hydra | Wide panel (N=24) | 3.94 | 0.8454 |
| hydra | UEA multivariate (N=9) | 4.89 | 0.7925 |
| mantis-v2 | Wide panel (N=24) | 7.21 | 0.7806 |
| mantis-v2 | UEA multivariate (N=9) | 5.44 | 0.7691 |
| minirocket | Wide panel (N=24) | 3.69 | 0.846 |
| minirocket | UEA multivariate (N=9) | 3.56 | 0.7967 |
| moment-probe | Wide panel (N=24) | 6.73 | 0.8093 |
| moment-probe | UEA multivariate (N=9) | 8.67 | 0.7365 |
| multirocket | Wide panel (N=24) | 2.48 | 0.858 |
| multirocket | UEA multivariate (N=9) | 3 | 0.8052 |
| tirex-probe | Wide panel (N=24) | 7.31 | 0.7983 |
| tirex-probe | UEA multivariate (N=9) | 7.22 | 0.7524 |
Eine auf dem breiten Panel aufgebaute Shortlist überträgt sich nicht auf multivariate Daten. MOMENT ist auf dem multivariaten Panel mit 9 Datensätzen Letzter von zehn, während es auf dem breiten Panel mit 24 Datensätzen das höchstplatzierte vortrainierte Modell mit 6.729 ist. Mantis-V2 läuft in die andere Richtung: 5.444 auf dem multivariaten Panel gegenüber 7.208 auf dem breiten.
Das ist kein Modalitätseffekt. Das breite Panel enthält die multivariaten Datensätze als Teilmenge; die Bewegung ist also ein Kontrast zwischen zwei Kader unterschiedlicher Größe und Aufgabenzusammensetzung, nicht etwas, das innerhalb einer Methode gemessen wurde. Bei N=9 und keinem Kontrast, der die Korrektur übersteht, ist es als Warnung davor zu lesen, eine Shortlist aus einem breiten Panel in einen multivariaten Einsatz zu übertragen, und nicht als Auswahlergebnis.
Ergebnisse bei nach Subjekt gruppierten Splits
| Name | Mean window accuracy across folds | Fold-to-fold standard deviation | Folds | Subject-macro mean | Subject-macro SD |
|---|---|---|---|---|---|
| catch22 grouped | 0.7322 | 0.0202 | 5 | 0.7282 | 0.019 |
| catch22 random | 0.7922 | 0.0022 | 10 | 0.7881 | 0.0024 |
| MiniRocket grouped | 0.7997 | 0.0079 | 5 | 0.7979 | 0.0077 |
| MiniRocket random | 0.8299 | 0.0009 | 8 | 0.8271 | 0.0011 |
Die UCR- und UEA-Archive liefern feste Trainings-/Test-Splits, die über einzelne Serien definiert sind, ohne Subjekt- oder Quellenannotation, anhand derer man aufteilen könnte,56 weshalb das Resampling Serien neu mischt statt Subjekte. Beim SleepEDF-Schlafstaging, wo ein Subjekt viele Fenster beisteuert, haben wir zusätzlich nach Subjekt aufgeteilt. MiniRocket trägt wegen des Freeze-Cutoffs 8 von 10 zufälligen Folds.
Zufälliges Aufteilen berichtet eine höhere Genauigkeit, um 0.060 für catch22 und 0.030 für MiniRocket.
Die Varianzkompression ist die übertragbarere Hälfte. Die Fold-zu-Fold-Variabilität ist unter zufälligem Aufteilen etwa sieben- bis neunmal kleiner als unter Subjektgruppierung, sowohl bei der Fenstergenauigkeit als auch bei der Subjekt-Makrogenauigkeit. Ein auf zufälligen Splits ausgewähltes Modell sieht besser und stabiler aus als dasselbe Modell, wenn es so evaluiert wird, wie es eingesetzt wird: auf ungesehenen Subjekten.
Wir berichten eine splitassoziierte Lücke, niemals Leakage. Die Daten können nicht sagen, ob die Lücke von Subjektidentitäts-Leakage oder von echter Variation in Subjektschwierigkeit und Stadienmischung stammt, und zufällige Splits verteilen diese Variation über jede Testmenge, was die Genauigkeit mechanisch stabilisiert. Das Experiment, das beides trennen würde – identische Testepochen unter Trainingsmengen, die Testsubjekte enthalten bzw. nicht enthalten – lief auf PTB-XL und wurde für SleepEDF aus Rechengründen fallengelassen. PTB-XL selbst behält unter zufälligem Aufteilen 14,9 % Same-Subject-Überlappung und ist daher ein Vergleich mit geringer Überlappung, keine Nullkontrolle.
Unausgeglichene Daten: Earthquakes
| Name | Accuracy | Balanced accuracy | N resamples |
|---|---|---|---|
| catch22 | 0.7835 | 0.4996 | 30 |
| dtw1nn | 0.7194 | 0.5453 | 5 |
| hydra | 0.7782 | 0.5122 | 30 |
| minirocket | 0.7662 | 0.5187 | 30 |
| multirocket | 0.7832 | 0.5229 | 30 |
Genauigkeit verschleiert eine Rangfolge nahe dem Zufall. Jede Methode der CPU-Lane berichtet auf Earthquakes eine Genauigkeit von 0.72 bis 0.78, während die balancierte Genauigkeit von 0.4996 bis 0.5453 reicht. Lesen Sie 0.5 nur auf der Achse der balancierten Genauigkeit als Zufall; der Zufall für die gewöhnliche Genauigkeit hängt von der Klassenprävalenz ab.
Die Methode mit der höchsten Genauigkeit hat die niedrigste balancierte Genauigkeit. catch22 erzielt bei 0.783 Genauigkeit eine balancierte Genauigkeit von 0.4996, numerisch knapp unter 0.5. Ob es buchstäblich die Mehrheitsklasse vorhersagt, wurde nicht gemessen; der zitierte Wert trägt keine Unsicherheit und keinen Test gegen 0.5.
Die Umkehrung ist lokal, keine Eigenschaft der Methode. Über das gesamte Panel ist catch22 bei der balancierten Genauigkeit klar Letzter, 0.726 gegenüber MultiRockets 0.806. Die balancierte Genauigkeit ist hier eine post-hoc-Metrik, berechnet nach dem Freeze aus archivierten Vorhersagen. DTW-1NN trägt 5 Resamples gegenüber 30 der anderen vier Methoden, sein Punkt beruht also auf weniger Evidenz.
Harte Labels, keine Wahrscheinlichkeiten
Vier der sechs Methoden der CPU-Lane liefern keine Wahrscheinlichkeit. MiniRocket, MultiRocket, Hydra und DTW-1NN setzen 1 auf die vorhergesagte Klasse und 0 überall sonst, ihr Log-Loss ist also Genauigkeit unter anderem Namen. Er entspricht der Fehlerrate mal 36.0437 in allen 2.465 Zellen, in denen Log-Loss erfasst wurde, bis auf 7.1e-15. Diese Konstante ist die Strafe, die scikit-learn einer Nullwahrscheinlichkeit auf der wahren Klasse zuweist.
Das Rezept verhält sich wie dokumentiert. Die drei Convolutional-Klassifikatoren verwenden standardmäßig einen Ridge-Kopf ohne Wahrscheinlichkeitsausgabe, und die Bibliothek füllt die Lücke mit einem One-Hot-Vektor; DTW-1NN hat bei einem Nachbarn konstruktionsbedingt dieselbe Form.7
Für sie berechnete ROC-AUC misst daher das Label, nicht eine Rangfolge. Auf den 27 Datensätzen, auf denen alle sechs vollständige ROC-AUC tragen, verzeichnet catch22 0.884 gegenüber MultiRockets 0.866, während es um 7.2 Genauigkeitspunkte zurückliegt, 0.782 gegenüber 0.854. Lesen Sie das so, dass catch22 einen brauchbaren Score hat und MultiRocket keinen, nicht so, dass catch22 Fälle besser ordnet.
Nur zwei der sechs können überhaupt anhand von Wahrscheinlichkeiten verglichen werden. Auf den 22 Datensätzen mit vollständigem Log-Loss erreicht HIVE-COTE 2 im Mittel 0.344 gegenüber catch22s 0.527, Mediane 0.265 und 0.371, und es ist auf 19 von 22 niedriger. Beide Werte beschreiben archivierte Ausgaben. Es lief kein Kalibrierungsexperiment, und kein eingefrorener Test deckt sie ab.
Die Genauigkeitstabelle bewegt sich nicht. Was sie nicht enthält, ist dies: Ein Workload, der Fälle einordnet oder Schwellenwerte anwendet, erhält aus dem Standardrezept von MiniRocket, MultiRocket, Hydra oder DTW-1NN nichts, worauf ein Schwellenwert angewendet werden kann. Ein probabilistischer Kopf auf denselben Features wurde nicht ausgeführt.
Erfasste Rechenressourcen
| Name | CPU core-hours for 140 matched cells (log scale) | Mean accuracy on the same 140 cells | Matched cells |
|---|---|---|---|
| catch22 | 0.54 | 0.7654 | 140 |
| dtw1nn | 356.82 | 0.7155 | 140 |
| hc2 | 694.23 | 0.8484 | 140 |
| hydra | 2.12 | 0.8219 | 140 |
| minirocket | 0.48 | 0.8213 | 140 |
| multirocket | 2.81 | 0.8365 | 140 |
Das Diagramm zeigt abgeglichene Zellen: jede Methode der CPU-Lane, eingeschränkt auf die 28 Datensätze, die alle sechs ausgeführt haben, bei Resamples 0 bis 4, also 140 Zellen pro Methode. Erfasste CPU-Kernstunden auf diesen Zellen: HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 und MiniRocket 0.48.
Die Einschränkung macht ein Verhältnis erst aussagekräftig. Die erfasste Rechenzeit beträgt insgesamt 1.496.5 Kernstunden über die gesamte CPU-Lane, davon entfallen auf HIVE-COTE 2 804.8: 694.2 über seine 140 gerankten Zellen und der Rest über vier post-hoc-Diagnosezellen, die aus jeder Tabelle ausgeschlossen sind. Auf MultiRocket entfallen 26.2 über 990 gerankte Zellen. Diese beiden Summen decken unterschiedliche Arbeitsmengen ab, daher vergleicht kein Verhältnis zwischen ihnen die Methoden.
Abgeglichene Zellen machen eines möglich. Schränkt man jede Methode der CPU-Lane auf die 28 Datensätze ein, die alle sechs ausgeführt haben, bei Resamples 0 bis 4, ergeben sich 140 Zellen pro Methode. Erfasste CPU-Kernstunden: HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 und MiniRocket 0.48.
Auf denselben 28 Datensätzen schlägt HIVE-COTE 2 MultiRocket auf 18 und verliert auf 9, eine mittlere Genauigkeitslücke von 0.012, die Holm-Korrektur nicht übersteht. Das ist das 247-fache der CPU-Zeit für einen Unterschied, den dieser Benchmark nicht erkennen kann. DTW-1NN, die Baseline, die das Archivprotokoll von jedem veröffentlichten Ergebnis verlangt, kostet das 747-fache von MiniRocket auf denselben Zellen.
Jede Methode hier lief single-threaded mit n_jobs = 1, eine Zelle pro Prozess, daher ist die erfasste Wandzeit Kernzeit. Für beide Verhältnisse gelten weiterhin zwei Grenzen. Die Zeiten sind Durchsatz unter dem, was sonst noch auf der Maschine lief, keine Solo-Latenz. Und HIVE-COTE 2 lief in einer eigenen Konfigurations-Lane, während die anderen fünf eine gemeinsame teilten, sein Verhältnis überspannt also zwei Lanes; das Verhältnis von DTW-1NN zu MiniRocket wird innerhalb einer einzigen Lane gemessen.
Aus diesem Benchmark ist kein Kostenvergleich zwischen klassischen Methoden und Foundation-Modellen möglich, und wir stellen keinen an. Die sechs Methoden der GPU-Lane erfassten keine Wandzeit. TimEE hat erfasste Wandzeit, ist aber aus dem Diagramm ausgeschlossen, weil es keinen Rang trägt.
Verglichene Methoden
HIVE-COTE 2
Erster beim mittleren Rang (2.400) auf dem Primärpanel, nicht trennbar von RocketPFN. Lief 140 gerankte Zellen für 694.2 erfasste Kernstunden, die teuerste Methode auf der erfassten CPU-Lane, und beendete FaceDetection (144 Kanäle) nicht. Ein heterogenes Meta-Ensemble aus Shapelet-, Dictionary-, Intervall- und Convolutional-Repräsentationen.8
RocketPFN
Erster bei der mittleren Genauigkeit (0.905), nicht trennbar von HIVE-COTE 2. Bit-identisch im Peer-Swap-Test. Ausschließlich univariat, geht daher nie in das UEA-Panel ein. Kombiniert ROCKET-Familien-Convolutional-Features mit In-Context-Klassifikation durch das tabellarische Foundation-Modell TabPFN v2.5; es wird also kein Modell auf dem Zieldatensatz angepasst. Das Paper berichtet Parität mit HIVE-COTE 2 bei 0.900 mittlerer Genauigkeit auf 92 UCR-Datensätzen.2
MultiRocket
Dritter beim mittleren Rang (2.800) und die stärkste paarweise Bilanz: Alle vier untersuchten Kontraste gegen vortrainierte Modelle überstehen Holm, zwei mit 28 Siegen zu 0. 26.2 erfasste Kernstunden für 990 Zellen. Erweitert MiniRocket mit mehreren Pooling-Operatoren und Differenzen erster Ordnung.9
Hydra
Mittlerer Rang 4.100; sein Sieg über MOMENT (22/6) übersteht die Korrektur. Eine dictionary-artige Convolutional-Methode: Kernel konkurrieren in Gruppen, und die Zählungen der gewinnenden Kernel bilden die Repräsentation.10
MiniRocket
Mittlerer Rang 4.700 bei 4.9 erfassten Kernstunden für 990 Zellen, die günstigste starke Methode auf der erfassten CPU-Lane; sein Sieg über MOMENT (24/4) übersteht die Korrektur. Ein nahezu deterministischer zufälliger Convolutional-Kernel-Transform mit linearem Klassifikator.11
MOMENT
Höchstplatziertes vortrainiertes Modell auf dem univariaten Primärpanel (6.633); verliert gegen alle drei Convolutional-Transforms mit überlebenden Kontrasten. Ein auf T5 basierendes Modell mit 385M Parametern, das auf einem Multidomänen-Korpus für Forecasting, Klassifikation, Anomalieerkennung und Imputation vortrainiert wurde.12
Chronos-2
Mittlerer Rang 7.967; verliert gegen MultiRocket 28/0. Ein Forecasting-Foundation-Modell, hier als eingefrorener Embedding-Extraktor verwendet, was nicht seine native Aufgabe ist.13
TiRex
Mittlerer Rang 8.433; verliert gegen MultiRocket 28/0. Ein xLSTM-basiertes Zero-Shot-Forecasting-Modell,14 hier ebenfalls als eingefrorener Extraktor verwendet. Im post-hoc-Sensitivitätsarm erhöhte die Umstellung von Extraktion der letzten Schicht auf Konkatenation aller Schichten die mittlere Genauigkeit um 1.13 Prozentpunkte über sein 30-Datensatz-Panel: 23 Datensätze verbesserten sich und sieben verschlechterten sich, Heartbeat um 7.98 Punkte, wobei sich keines seiner 30 Resamples verbesserte. Das eingefrorene Ergebnis der letzten Schicht und der Rang bleiben primär; der Sensitivitätsarm trägt keinen Rang.
Mantis-V2
Mittlerer Rang 9.733 auf univariat und 5.444 auf dem multivariaten Panel; verliert gegen MultiRocket 24/3. Beendete FaceDetection nicht: 144 Kanäle überfordern seinen nativen Klassifikationskopf. Ein leichtgewichtiges, kontrastiv vortrainiertes Klassifikationsmodell mit synthetischen Daten und in V2 ergänzten Testzeit-Strategien.15
TimEE
Berichtet ohne Rang; siehe den obigen Befund zur Batch-Zusammensetzung. Mittlere Genauigkeit 0.841 über die 21 Datensätze in seinem berichteten Panel, berechnet bei fixer Batch-Zusammensetzung. Zwei Ausschlüsse wurden vor den Ergebnissen deklariert: NonInvasiveFetalECGThorax1 ist partiell bei 5 von 30 Resamples, und Phoneme wird nur mit seinem Archiv-Split berichtet. Ein Modell mit 4.5M Parametern, das auf synthetischen Aufgaben meta-trainiert wurde und Ende-zu-Ende in-context klassifiziert, in einem einzigen Vorwärtspass aus einem gelabelten Support-Set.3
TiCT
Mittlerer Rang 10.200. Ausschließlich univariat; sein Runner war der einzige, der die Seltenheitsklassen-Validitätsregel auf Phoneme durchsetzte, und trug eine gültige Zelle bei, wo andere Lanes 30 liefen. Bit-identisch im Peer-Swap-Test. Ein In-Context-Transformer, vortrainiert auf synthetischen Daten mit bitbasierter Label-Kodierung für beliebige Klassenzahlen.16
DTW-1NN
Mittlerer Rang 9.900. Beendete StarLightCurves nicht, ein deklariertes Kosten-DNF bei 95 Stunden für eine nicht teilbare Zelle. Ein Nächster-Nachbar unter Dynamic-Time-Warping-Distanz, die am längsten bestehende Baseline des Feldes.
catch22
Mittlerer Rang 8.700 auf dem Primärpanel. Zweiundzwanzig feste, interpretierbare Summar-Features, die einen einfachen Klassifikator speisen.17
Wann ein Foundation-Modell einem klassischen Klassifikator vorzuziehen ist
- Viele gelabelte Trainingsdaten: Jeder Kontrast, der hier die Korrektur übersteht, begünstigt einen Convolutional-Transform, und zwei der drei, MultiRocket und Hydra, sitzen in der obersten Clique neben HIVE-COTE 2 und RocketPFN.
- Stark begrenzte Labels oder Kaltstart-Einsatz: In-Context- und Zero-Shot-Modelle sind die Kandidaten, und genau dieses Regime misst unser Benchmark nicht. Alle unsere Panels verwenden volle Archiv-Trainingssplits.
- Multivariate Daten: Zuerst native Abdeckung prüfen. Zwei der drei In-Context-Methoden in diesem Kader sind ausschließlich univariat.
- Höchste Genauigkeit unabhängig von Rechenaufwand: HIVE-COTE 2 und RocketPFN sind anhand dieser Evidenz nicht trennbar. Dieser Benchmark trennt weder ihre Genauigkeit noch ihren Rechenaufwand, weil RocketPFN keine erfasste Zeit hat.
Ein Rechenbudget, das zählt: Auf den 140 oben abgeglichenen Zellen verbraucht MultiRocket 1/247 der CPU-Kernstunden von HIVE-COTE 2, und auf diesen Datensätzen übersteht kein Genauigkeitsunterschied zwischen ihnen die Korrektur. - Anforderungen an Auditierbarkeit: Methoden bevorzugen, deren Vorhersagen allein aus der Eingabe reproduzierbar sind. Der obige Befund zur Batch-Zusammensetzung ist der warnende Fall.
Was ist Zeitreihenklassifikation?
Zeitreihenklassifikation trainiert ein Modell auf gelabelten, geordneten numerischen Sequenzen, um eine diskrete Klasse für eine ungesehene Serie vorherzusagen: EKG-Diagnose, Erkennung menschlicher Aktivität aus Wearables, industrielle Fehlererkennung. Sie unterscheidet sich vom Forecasting, das zukünftige Werte statt eines Klassenlabels ausgibt. Tabellarische Modelle kodieren die Ordnung der Werte nicht als induktiven Bias; sie behandeln jeden Zeitschritt als unabhängige Spalte.
Klassische Methoden passen pro Datensatz ein neues Modell an. Ein Zeitreihen-Foundation-Modell wird einmal auf einem großen Korpus vortrainiert und dann auf neue Datensätze angewendet – zero-shot, über eine leichtgewichtige Sonde oder in-context anhand einer Handvoll gelabelter Beispiele, die zur Inferenzzeit bereitgestellt werden. Ob dieses Vortraining derzeit unter einem kontrollierten Protokoll Klassifikationsgenauigkeit auf Standardarchiven erkauft, ist die Frage, die dieser Benchmark misst.
Methodik des Zeitreihenklassifikations-Benchmarks
Methoden. Vier Familien: vortrainierte Foundation-Modelle, evaluiert über ein Transferprotokoll (MOMENT, Chronos-2, TiRex, Mantis-V2), In-Context-Modelle (TimEE, TiCT, RocketPFN), Convolutional-Transforms (MiniRocket, MultiRocket, Hydra) und klassische Referenzen (HIVE-COTE 2, DTW-1NN, catch22).
Daten. 23 univariate UCR- und 10 multivariate UEA-Datensätze,56 plus eine separate Nicht-IID-Schicht auf SleepEDF und PTB-XL. 14.638 erfasste Zellen, aufgeschlüsselt in der Abdeckungstabelle unten.
Abdeckung. Bewertete Zellen sind nicht gleichmäßig über die Methoden verteilt, und die Nenner entscheiden, welche Vergleiche überhaupt möglich sind.
Jeder Rangvergleich läuft auf der Complete-Case-Schnittmenge der von ihm genannten Methoden, nie auf der eigenen Abdeckung einer einzelnen Methode; genau das erlaubt es, dass HIVE-COTE 2s 140 Zellen und RocketPFNs 2.760 in derselben Tabelle erscheinen. Der vollständige Export enthält 14.638 Zeilen: diese 11.874 bewerteten Zellen, RocketPFNs 2.760-Zellen-Reproduktionsarm nach Paper-Protokoll und 4 post-hoc-Diagnosezellen von HIVE-COTE 2.
Resampling. r0 ist der Archiv-Trainings-/Test-Split; r1 bis r29 sind stratifizierte Mischungen in den Archiv-Proportionen, geseedet mit 1729+r. Die inferenzielle Einheit ist der Datensatz: Resamples werden innerhalb eines Datensatzes gemittelt, bevor Methoden verglichen werden. HIVE-COTE 2 und DTW-1NN laufen 5 Resamples, weil ihre Kosten pro Zelle ein bis zwei Größenordnungen höher sind, und die Primärtabelle beschränkt jede Methode auf dieselben 5 abgeglichenen Resamples. Der Archiv-Split r0 ist auf 8 von 33 Datensätzen systematisch schwerer als geseedete Resamples, um bis zu 0.218 Genauigkeit, daher sind die fünf abgeglichenen Resamples keine austauschbaren Ziehungen.
Transferprotokoll. Jedes Referenz-Foundation-Modell durchläuft dieselbe Pipeline: Kodierung pro Variate, letzte Encoder-Schicht, Mean-Pooling über gültige Kontext-Tokens, L2-Normalisierung pro Variate, Kanal-Konkatenation, Standardisierung nur auf Trainingsdaten, logistische Regressionssonde. Eingefroren 2026-07-24, vor jeder bewerteten Zelle.
Statistik. Friedman-Omnibus, dann paarweise Wilcoxon-Vorzeichenrangtests mit Holm-Korrektur über alle 19 untersuchten Kontraste, auf Datensatzebenen-Mittelwerten, nur auf Complete-Case-Panels. Der Omnibus stützt nur, dass sich die Ränge irgendwo unterscheiden; jede paarweise Aussage stammt aus den korrigierten Kontrasten.
Freeze. Daten eingefroren 2026-07-29 03:00 UTC, mit Ausschlussregeln, die geschrieben wurden, bevor die ausstehenden Ergebnisse bekannt waren. Eine Zelle wurde 22 Minuten nach dem Cutoff fertig und ist gemäß der vorab festgelegten Regel ausgeschlossen. Das Release besteht 120 mechanische Assertion-Prüfungen, darunter Hash-Vergleich jeder Eingabedatei, Neuerzeugung der Primärtabelle aus dem Export und Durchsetzung der deklarierten Ausschlüsse hinter der veröffentlichten TimEE-Zahl sowohl im Artikel als auch in den Release-Tabellen.
Metriken. ROC-AUC war die deklarierte Primärmetrik. Sie ist für 6 der 7 Referenz-Foundation-Modelle nicht verfügbar, deren Läufe Entscheidungs-Scores oder Klassenvorhersagen statt kalibrierter Wahrscheinlichkeiten archivieren, daher wurde Genauigkeit zur Vergleichsmetrik. TimEE ist das einzige der sieben, das ROC-AUC trägt. Wir sagen dies, statt Genauigkeit als vorab spezifiziert umzubenennen. Balancierte Genauigkeit, Makro-F1 und Log-Loss sind post-hoc-Sensitivitätsanalysen auf der abgedeckten Teilmenge.
Reproduzierbarkeit. Pro-Instanz-Vorhersagen sind für alle 13 Methoden archiviert, und alle 12 der Primärtabelle; jede neu erzeugte Vorhersage reproduziert ihren eingefrorenen Skalar bei einer maximalen Abweichung von 0.000e+00 (4.260 Zellen der CPU-Lane erneut verifiziert 2026-08-02, null Waisen). Die Primärtabelle ist vollständig aus den veröffentlichten Vorhersagen neu berechenbar.
Methoden, die nicht in diesem Benchmark enthalten sind
Veröffentlichte, für TSC relevante Modelle, die wir nicht evaluiert haben, aufgelistet, damit die Grenze des Kaders explizit ist. Keine der Aussagen hier sind unsere Messungen. UniTS ist ein vereinheitlichtes Multitask-Modell für Klassifikation, Forecasting, Imputation und Anomalieerkennung.18 TiViT wandelt Serien in Bilder um und klassifiziert mit eingefrorenen vortrainierten Vision Transformers.19 UniShape ist ein shape-bewusstes Foundation-Modell für Klassifikation mit einem shape-bewussten Adapter, angenommen bei AAAI 2026.20 GPT4TS, auch als One Fits All veröffentlicht, nutzt ein GPT-2-Backbone, dessen Self-Attention- und Feedforward-Blöcke eingefroren bleiben, während Eingabe-, Normalisierungs- und Ausgabekomponenten trainiert werden.21 TIC-FM ist ein In-Context-Zero-Shot-Klassifikator, der alle Testinstanzen in einem einzigen Vorwärtspass vorhersagt;22 dessen Single-Call-Design als dieselbe Expositionsklasse wie der obige Befund zur Batch-Zusammensetzung zu lesen, ist unsere Schlussfolgerung aus der veröffentlichten Beschreibung, kein getestetes Ergebnis.
Limitationen
- Für kein vortrainiertes Modell existiert ein Pretraining-Überlappungs-Ledger: Keines veröffentlicht eine datensatzbezogene Aussage darüber, ob UCR/UEA-Serien in seinem Pretraining-Korpus erscheinen, daher lässt sich Transfer nicht von vorheriger Exposition trennen. Die Verluste als sicher zu behandeln, beruht auf einer Annahme, die kein Datensatz-Ledger testen kann: dass frühere Exposition, wo sie auftrat, diese Modelle begünstigt und nicht geschadet hat. Unter dieser Annahme liegen sie trotz des Vorteils zurück, und die Verluste bleiben bestehen; jeder Sieg eines vortrainierten Modells kann nach derselben Logik nicht sauber dem Transfer zugeschrieben werden.
- Die Ergebnisse der Foundation-Modelle sind an das einzelne eingefrorene Transferprotokoll gebunden. Der post-hoc-TiRex-Arm änderte nur die Schichtextraktion und erhöhte die mittlere Genauigkeit um 1.13 Prozentpunkte, während sich sieben seiner 30 Datensätze verschlechterten, Heartbeat um 7.98 Punkte, wobei sich 0 seiner 30 Resamples verbesserten. Er testete ein Modell, trägt keinen Rang und belegt den Effekt nicht für die anderen Foundation-Modelle.
- Alle Wandzeiten sind Durchsatz unter Last bei variierender Parallelität auf einer geteilten Maschine. Sechs von 13 Methoden tragen keine.
- Die Evidenz deckt nur Probleme in Archivgröße ab. Nichts hier spricht für Skalierbarkeit.
- Der Benchmark prüft eine Version jeder Methode zu ihrem eingefrorenen Datum.
Häufige Fallstricke beim Benchmarking von Zeitreihenklassifikation
Pretraining-Test-Überlappung. Ein Audit von 2025 verfolgte 401 Datensätze durch 22 veröffentlichte Zeitreihen-Foundation-Modelle und fand, dass nur 6 % nie im Pretraining- oder Fine-Tuning-Korpus eines Modells aufgetaucht waren.23 Kein Modell in unserem Kader veröffentlicht eine datensatzbezogene Überlappungserklärung, weshalb unser Abschnitt zu Limitationen Transfer und vorherige Exposition als untrennbar behandelt.
Split-Design. Das Standard-UCR-Archiv liefert einen festen Trainings-/Test-Split; moderne Praxis resamplet, und unser SleepEDF-Panel zeigt, warum Subjektstruktur mehr als Resampling erfordert: Allein das Split-Design bewegte die berichtete Genauigkeit um bis zu 0.060 und komprimierte ihre Varianz etwa um das Sieben- bis Neunfache. Kein einzelner Wert hier ist eine Eigenschaft des Datensatzes; jeder ist eine Eigenschaft des Datensatzes unter einem angegebenen Split-Design.
Multiplizität. Viele Klassifikatoren über viele Datensätze ohne Korrektur zu vergleichen, erzeugt Befunde. Das Standardwerkzeug sind Wilcoxon-Vorzeichenrangtests für Paare und Holm-artige familienweite Korrektur über jeden untersuchten Kontrast,2425 und die Korrektur muss jeden untersuchten Kontrast abdecken, nicht nur die berichteten. In diesem Benchmark eliminierte diese Disziplin 13 von 19 Kontrasten.
Anhang: TiRex-Extraktionssensitivität
Dieser post-hoc-Arm verwendet dieselben 30 Datensätze, 30 Resample-Splits, denselben Skalierer und dieselbe logistische Sonde wie das eingefrorene TiRex-Ergebnis. Nur die Feature-Extraktion ändert sich, von der letzten Encoder-Schicht zu konkatenierten Repräsentationen aus allen 12 Schichten. Der Arm ist rang-frei und verändert den eingefrorenen Benchmark nicht.
Die mittlere Genauigkeit bewegte sich von 0.793 auf 0.805, eine Änderung von 1.13 Prozentpunkten, mit einem geseedeten Datensatz-Bootstrap-Intervall von +0.15 bis +2.06 Punkten. Ein gepaarter Wilcoxon-Vorzeichenrangtest über die 30 Datensatz-Deltas ergibt ein exaktes zweiseitiges W von 92.0 bei p=0.003. Dieser Test ist explorativ: Er wurde nach dem Freeze ausgeführt, er liegt außerhalb der Holm-Familie aus 19 Kontrasten, die jede korrigierte Behauptung hier regiert, und er trägt keinen Rang.
Auer et al. platzieren TiRex unter Forecasting-Foundation-Modellen mit schichtkonkatenierten Features und einem Random Forest auf Rang eins, und ihre eigene Ablation berichtet einen größeren 5-Punkte-Schichteffekt.26 Die beiden Studien unterscheiden sich in Datensätzen, Modellkader, Klassifikator und Reihenlängenfilterung; 1.13 und 5 Punkte sind daher protokollspezifische Sensitivitätsschätzungen und keine konkurrierenden Schätzungen ein und desselben Effekts. Dieser Arm reproduziert oder widerlegt deren Rangfolge nicht und identifiziert nicht die Ursache des studienübergreifenden Rangunterschieds. Er belegt die Schichtsensitivität für TiRex innerhalb dieses Benchmarks. Er verallgemeinert den Effekt weder auf die anderen Foundation-Modelle noch identifiziert er die beste erreichbare Klassifikationsleistung eines Modells.
Diese Forschung zitieren
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{kalelioglu2026,
author = {Kalelioğlu, Berk},
title = {{Zeitreihenklassifikations-Benchmark: Foundation-Modelle vs. klassische Methoden}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/time-series-classification}},
note = {AIMultiple. Abgerufen am 24. August 2026}
}Ergebnisse und Zeitstempel von 99 Datenpunkten. Laden Sie die Zusammenfassungsdaten aus den Diagrammen und Tabellen dieses Artikels als ZIP-Datei herunter, die 8 CSV-Dateien und eine README enthält.
Möchten Sie die granularen Daten dahinter? Premium beitreten
Änderungsprotokoll
3 AktualisierungenErsetzt: die Anzahl der Modelle ohne ROC-AUC wurde von 5 von 7 auf 6 von 7 geändert.
ROC-AUC-Verfügbarkeit im Methodikabschnitt auf 6 von 7 Foundation-Modellen aktualisiert.
Hinzugefügt wurde ein Abschnitt „Harte Labels, keine Wahrscheinlichkeiten“ zu CPU-Methoden ohne Wahrscheinlichkeitsausgabe.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.