Zeitreihenklassifikations-Benchmark: Foundation Models vs. klassische Methoden

Wir haben 13 Methoden zur Zeitreihenklassifikation verglichen – von vortrainierten Time-Series-Foundation-Models bis zu einer 22-Feature-Baseline von 2019 – auf 33 UCR/UEA-Datensätzen unter einem eingefrorenen Protokoll. Das sind 14.638 erfasste Methoden-Datensatz-Resample-Zellen, von denen 11.874 bewertet wurden.

TSC-Benchmark-Ergebnisse

Die Grafik vergleicht 12 Methoden auf den 15 univariaten Datensätzen, die jede von ihnen vollständig bearbeitet hat; jeder Datensatz wurde mit denselben 5 Zug-/Test-Splits ausgeführt. Die Balken sind nach mittlerer Genauigkeit sortiert. Die nachfolgende Tabelle enthält außerdem den mittleren Rang, also die durchschnittliche Position, die eine Methode innerhalb eines Datensatzes einnimmt, und bringt dieselben 12 in eine andere Reihenfolge.

Kein einzelner Sieger. HIVE-COTE 2 liegt beim mittleren Rang vorn (2.400) und RocketPFN bei der mittleren Genauigkeit (0.905). Bei einem 5.000-Ziehungs-Datensatz-Bootstrap geht der erste Platz an HIVE-COTE 2 in 46.6 % der Ziehungen, an RocketPFN in 45.5 % und an MultiRocket in 7.9 %. Die beiden Ordnungen widersprechen sich, und der Bootstrap teilt sich nahezu gleichmäßig auf. Daher wäre die Nennung eines der beiden ein Artefakt der gewählten Metrik.

Die Spitzengruppe ist kleiner, als die Tabelle vermuten lässt. Die Wilcoxon-Holm-Clique besteht aus HIVE-COTE 2, RocketPFN, MultiRocket und Hydra. MiniRocket, sechs Zehntel eines Ranges hinter Hydra bei 4.700, gehört nicht dazu: Die Zugehörigkeit ergibt sich aus den korrigierten paarweisen Tests, nicht aus der Lage der Rangzahlen.

Auf diesem Panel belegen die Transformationsmethoden die Ränge 3, 4 und 5, und die vortrainierten Modelle die Ränge 6, 7, 8 und 10. MOMENT, das am höchsten platzierte vortrainierte Modell bei 6.633, liegt fast zwei volle Ränge hinter MiniRocket.

catch22, 2019 mit 22 festen Features veröffentlicht, landet innerhalb des vortrainierten Bereichs bei 8.700, vor Mantis-V2 (9.733) und hinter TiRex (8.433). Bei voller 30-Resample-Tiefe bleibt es in diesem Bereich, sowohl auf dem 18-Datensatz-Panel unten bei 7.222 als auch auf einer 27 Datensätze umfassenden Acht-Methoden-Variante davon, die RocketPFN weglässt.

Auch unten widersprechen sich Rang und Genauigkeit. DTW-1NN hat eine schlechtere mittlere Genauigkeit als TiCT (0.756 gegenüber 0.776) und einen besseren mittleren Rang (9.900 gegenüber 10.200). Welche Metrik man berichtet, verändert die Reihenfolge in beiden Hälften der Tabelle.

Nur die Mitte der Tabelle ist stabil. Das Entfernen eines einzelnen Datensatzes verändert die Reihenfolge in 10 von 15 Fällen. Sechs davon sind der Tausch zwischen HIVE-COTE 2 und RocketPFN; Mantis-V2 und DTW-1NN tauschen in sechs Fällen die Plätze und DTW-1NN und TiCT in zwei. Die Positionen 3 bis 9 bewegen sich nie.

Die Vergleichsmetrik ist Genauigkeit, weil die deklarierte primäre Metrik ROC-AUC für 6 der 7 Referenz-Foundation-Models nicht verfügbar ist. Das Panel ist ausschließlich univariat: TiCT und RocketPFN haben keine native multivariate Unterstützung, daher entfernt die Vollständigkeitsregel alle 10 multivariaten Datensätze. Die Zeilen der Foundation-Models messen diese Modelle unter einem festen Transferprotokoll. TimEE trägt aus dem unten genannten Grund keinen Rang. Ein Bootstrap-Erstplatz-Anteil ist die Häufigkeit, mit der eine Methode über neu zusammengestellte Datensatz-Sammlungen hinweg den ersten Rang belegt, und nichts weiter.

Die Reihenfolge selbst repliziert den Bake-off von 2024, der zeigte, dass HIVE-COTE 2 und die ROCKET-Familie diese Problemklasse anführen, und der HIVE-COTE 2 als deutlich langsamer ausweist.¹ Der Beitrag hier ist eine unabhängig kontrollierte Messung auf einem Kader von 2026 unter einem gemeinsamen Protokoll, wobei die Abstände nach familienweiser Korrektur quantifiziert werden.

RocketPFN sind ROCKET-Features, die an TabPFN übergeben werden,² also ein In-Context-Tabellenmodell und kein vortrainiertes Time-Series-Foundation-Model. Daher sagt seine Position über den vortrainierten Zeilen nichts über diese Klasse aus.

Wie oft jede Methode den ersten Rang belegt

Jeder Balken ist der Anteil von 5.000 zufälligen Neu-Ziehungen der 15 Datensätze – Wiederholungen erlaubt –, in denen eine Methode den ersten Rang belegt. Neun der 12 Methoden tun dies nie und werden nicht eingezeichnet. Die Neu-Ziehungen laufen mit Seed 1729. Der erste Platz hängt davon ab, welche Datensätze gezogen werden, und die Anteile sagen nichts darüber aus, wie weit die Methoden auseinanderliegen.

Ein Bradley-Terry-Rating modelliert die Chance jeder Methode, eine andere auf einem Datensatz zu schlagen, und es kann keinen Sieger erzeugen, den die Signifikanztests nicht gefunden haben. Es bewertet HIVE-COTE 2 mit 1384.6, RocketPFN mit 1380.6 und MultiRocket mit 1338.3 – jeweils Erster bis Dritter über die Neu-Ziehungen hinweg. Der Ankerwert 1000 ist relativ zu diesen 15 Datensätzen, und ein Rating ist die modellierte Gewinnchance für einen Datensatz, keine Genauigkeitspunkte.

Die eingefrorenen Wilcoxon-Holm-Tests, die für viele gleichzeitige Vergleiche korrigieren, erkennen keinen Unterschied zwischen HIVE-COTE 2, RocketPFN, MultiRocket und Hydra. Das ist kein Beleg für gleiche Leistung. Hydra liegt über die Neu-Ziehungen hinweg auf Rang vier oder fünf, was es ebenfalls nicht von den ersten drei trennt. Diese Positionen fassen Stabilität zusammen, nicht Signifikanz. Ein eindeutiger Sieger wird nicht gestützt.

Welche Abstände die Korrektur überstehen

Neunzehn paarweise Kontraste wurden untersucht, und sechs überstehen die Holm-Korrektur. Jeder Punkt trägt sein 95 %-Intervall und den Holm-adjustierten p-Wert im Tooltip; diese Intervalle sind Datensatz-Bootstrap-Zusammenfassungen und nicht multiplizitätsadjustiert, daher tragen nur die p-Werte Holm.

Jeder überlebende Kontrast ist eine konvolutionale Transformation, die ein vortrainiertes Modell schlägt.

MultiRocket gewinnt gegen zwei davon ohne einen einzigen verlorenen Datensatz. 28 Siege zu 0 gegen sowohl Chronos-2 als auch TiRex, bei p = 1.4e-07.

Dreizehn Kontraste sind nicht schlüssig, was kein Beleg für fehlende Unterschiede ist. Nichts mit DTW-1NN übersteht die Korrektur, und nichts auf der multivariaten Teilmenge tut dies.

Jede Zeile wird auf den Datensätzen berechnet, die das jeweilige Paar gemeinsam hat, nicht auf einem gemeinsamen Panel. Daher sind die Zeilen keine Liga-Tabelle und können nicht gegeneinander gelesen werden.

Die Ergebnisse der Foundation-Models sind an ein Transferprotokoll gebunden: Mean-Pooling der letzten Schicht mit einem logistischen Probe, identisch angewendet auf MOMENT, Chronos-2, TiRex und Mantis-V2 und vor jeder bewerteten Zelle eingefroren. Ein post hoc durchgeführter, rang-freier Arm änderte die Schichtextraktion von TiRex und verschob die mittlere Genauigkeit von 0.793 auf 0.805, also 1.13 Prozentpunkte, wobei sich 23 von 30 Datensätzen verbesserten und sieben verschlechterten. Der größte Verlust, Heartbeat mit 7.98 Punkten, verbesserte sich in keinem seiner 30 Resamples, verdeckt der Mittelwert also ein Ergebnis, das je nach Datensatz kippt. Details stehen im Anhang.

Sechsfache Split-Tiefe

Jede Tabelle oben läuft mit 5 Zug-/Test-Splits, weil HIVE-COTE 2 und DTW-1NN unter der eingefrorenen Ausnahme für teure Zellen nur diese fünf ausführen und die Regel für abgestimmte Resamples den Rest auf denselben Stand bringt. Die Balken zeigen die mittlere Genauigkeit über die 30 Splits, und der mittlere Rang ergibt dieselbe Reihenfolge. Lässt man diese beiden weg, laufen die verbleibenden neun Methoden alle 30 gesetzten stratifizierten Resamples auf 18 Datensätzen – jene Tiefe, die der Bake-off verwendet.

Die Reihenfolge bleibt bestehen. RocketPFN 1.694, MultiRocket 2.250, Hydra 2.889 und MiniRocket 3.833 belegen die ersten vier Plätze, alle vier auf zufälligen konvolutionalen Features aufgebaut. Danach MOMENT 5.889, Chronos-2 6.444 und TiRex 7.056, mit catch22 bei 7.222 und Mantis-V2 bei 7.722. Der Friedman-Chi-Quadrat-Wert beträgt 105.067 bei p = 3.9e-19. Die fünf Splits haben ihn nicht künstlich erzeugt.

Bei dieser Tiefe trennen sich die beiden Blöcke sauber. MiniRockets 95 %-Bootstrap-Rangspanne reicht bis 4.278, und MOMENTs beginnt bei 5.111. Über alle 5.000 Bootstrap-Ziehungen hinweg drang der mittlere Rang keines vortrainierten Modells in den Bereich des konvolutionalen Blocks ein.

Hier überstehen zehn der zwölf Paare aus Transformationsmethode gegen vortrainiertes Modell die Holm-Korrektur. Die beiden, die dies nicht tun – MiniRocket über MOMENT bei p = 0.108 und Hydra über MOMENT bei p = 0.105 – überstehen beide auf dem Primärpanel. Holm deckt die eigene Familie dieses Panels von 36 Paaren ab, daher beantworten diese Zahl und die sechs Überlebenden des Primärpanels unterschiedliche Fragen.

Der erste Platz ist damit nicht klarer. RocketPFN erreicht ihn in 92.9 % der 5.000 Datensatz-Bootstrap-Ziehungen, gegenüber 46.6 % und 45.5 % auf dem Primärpanel. Aber HIVE-COTE 2, die Methode, mit der es sich dort den ersten Platz teilt, fehlt hier. Die Spitzenclique ist weiterhin drei breit: RocketPFN, MultiRocket und Hydra. MiniRocket fällt erneut heraus und teilt eine Clique mit MOMENT.

Dies ist eine Tiefenprüfung, keine unabhängige Replikation. Die 18 Datensätze enthalten alle 15 des Primärpanels plus ElectricDevices, StarLightCurves und UWaveGestureLibraryAll; die oben genannte Fragilität beim Weglassen eines Datensatzes bleibt also bestehen. Es ist aus demselben Grund ausschließlich univariat, weil RocketPFN enthalten ist. Ausgeschlossen wird damit eine Reihenfolge, die von fünf bestimmten Splits abhängt.

Batch-Zusammensetzung verändert TimEEs Vorhersagen

TimEE ist ein In-Context-Klassifikator, dessen veröffentlichte Hauptaussage der erste Platz bei ROC-AUC auf dem UCR-Benchmark ist.³ Wir haben es auf zwei Maschinen ausgeführt und die Ergebnisse auf Zellebene verglichen.

Die Übereinstimmung bricht exakt bei der Harness-Batchgröße von 512. Die Genauigkeit ist auf 270 von 270 Zellen identisch, bei denen die Testmenge in einen Aufruf passt, und auf 146 von 325 Zellen, bei denen dies nicht der Fall ist. Für ROC-AUC lautet die Aufteilung 221 von 270 gegenüber 12 von 308. Die beiden Maschinen unterscheiden sich in beiden Schichten in der Hardware, daher beweist keine Schicht allein etwas; der Kontrast zwischen ihnen ist der Beleg.

Pro Datensatz ist der Bruch schärfer, als die Schichtsummen vermuten lassen. Jeder Datensatz, dessen Testmenge in einen Aufruf passt, stimmt bei der Genauigkeit in 30 von 30 Resamples überein, und kein Datensatz über dem Schwellenwert erreicht 30 von 30. ROC-AUC ist auf beiden Seiten der Linie schlechter und fällt auf zwei kleinen genug passenden Datensätzen unter die Hälfte.

Der Mechanismus steht im Quellcode. Die statistische Embedding-Funktion z-transformiert jedes Feature über jede Zeile im Inference-Aufruf hinweg, Support- und Abfragezeilen gleichermaßen, ohne einen Schutz, der Trainings- von Evaluationspositionen trennt. Dreißig Zeilen später wendet dieselbe Datei genau einen solchen Schutz auf einen anderen Normalisierungsschritt an. Ein kontrollierter Peer-Austausch bestätigt dies: Hält man eine Anker-Abfrage fest und ersetzt die anderen 511 Abfragen in ihrem Aufruf, verschiebt sich die vorhergesagte Wahrscheinlichkeit des Ankers um 1.163e-04, gegenüber einem Rauschen bei wiederholten Läufen von exakt null. TiCT und RocketPFN, identisch getestet, sind unter demselben Austausch bitidentisch.

Eine TimEE-Vorhersage ist daher keine Funktion der Eingabereihe allein. Ihre Scores sind bei fester Batch-Zusammensetzung reproduzierbar, daher kann sie keinen gleichartigen Rang gegenüber induktiven Klassifikatoren erhalten, und dieser Benchmark berichtet sie ohne einen solchen. Dies schränkt die veröffentlichte ROC-AUC-Behauptung ein, da ROC-AUC genau aus den Wahrscheinlichkeiten berechnet wird, die nachweislich aufrufsabhängig sind. Es zeigt nicht, dass die Scores in irgendeine Richtung überhöht sind, es ändert nicht den veröffentlichten Rang, der auf einem Leaderboard erzielt wurde, das wir nicht halten, und es betrifft die von uns geprüfte Version.

Drei der vier Erkennungswege benötigen keinen Quellzugriff. Wiederhole eine Zelle zweimal, tausche Batch-Peers um einen festen Anker und vergleiche die Ergebnisse über zwei Maschinen, stratifiziert nach der Batch-Grenze. Verwandte veröffentlichte Arbeiten stapeln die Inferenz vorher angepasster Netzwerke nach geclusterten Testabfragen aus Effizienzgründen und berichten keine Abhängigkeit von der Zusammensetzung.⁴

Ergebnisse des multivariaten Panels

Eine auf dem breiten Panel aufgebaute Auswahlliste überträgt sich nicht auf multivariate Daten. MOMENT ist Letzter von zehn auf dem multivariaten Panel mit 9 Datensätzen, während es auf dem breiten 24-Datensatz-Panel bei 6.729 das am höchsten platzierte vortrainierte Modell ist. Mantis-V2 läuft in die andere Richtung: 5.444 auf dem multivariaten Panel gegenüber 7.208 auf dem breiten.

Das ist kein Modalitätseffekt. Das breite Panel enthält die multivariaten Datensätze als Teilmenge, daher ist die Bewegung ein Kontrast zwischen zwei Kaderlisten unterschiedlicher Größe und Aufgabenzusammensetzung, nicht etwas, das innerhalb einer Methode gemessen wurde. Bei N=9 und keinem die Korrektur überstehenden Kontrast sollte man dies als Warnung lesen, eine Auswahlliste des breiten Panels nicht in einen multivariaten Einsatz zu übertragen, nicht als Auswahlergebnis.

Ergebnisse subjektgruppierter Splits

Die UCR- und UEA-Archive liefern feste Zug-/Test-Splits, die über einzelne Reihen definiert sind, ohne Subjekt- oder Quellenannotation, anhand derer man aufteilen könnte,⁵⁶ daher mischt das Resampling Reihen neu statt Subjekte. Beim SleepEDF-Schlaf-Staging, wo ein Subjekt viele Fenster beiträgt, haben wir zusätzlich nach Subjekt aufgeteilt. MiniRocket trägt wegen des Freeze-Cutoffs 8 von 10 zufälligen Folds.

Zufälliges Aufteilen meldet eine höhere Genauigkeit, um 0.060 für catch22 und 0.030 für MiniRocket.

Die Varianzkompression ist die übertragbarere Hälfte. Die Fold-zu-Fold-Variabilität ist unter zufälligem Aufteilen etwa sieben- bis neunmal kleiner als unter Subjektgruppierung, sowohl bei der Fenstergenauigkeit als auch bei der subjektmakro-gemittelten Genauigkeit. Ein auf zufälligen Splits ausgewähltes Modell sieht besser und stabiler aus als dasselbe Modell, wenn es so bewertet wird, wie es eingesetzt wird – auf ungesehenen Subjekten.

Wir berichten eine mit dem Split verbundene Lücke, niemals Leakage. Die Daten können nicht sagen, ob die Lücke aus Subjektidentitäts-Leakage oder aus echter Variation in Subjektschwierigkeit und Stadienmischung stammt; zufällige Splits verteilen diese Variation über jede Testmenge, was die Genauigkeit mechanisch stabilisiert. Das Experiment, das die beiden trennen würde – identische Testepochen unter Trainingsmengen, die Testsubjekte enthalten bzw. nicht enthalten – lief auf PTB-XL und wurde für SleepEDF aus Rechengründen gestrichen. PTB-XL selbst behält 14.9 % Überlappung gleicher Subjekte unter zufälligem Aufteilen und ist daher ein Vergleich mit geringer Überlappung, keine Nullkontrolle.

Unbalancierte Daten: Earthquakes

Genauigkeit verdeckt eine Rangfolge nahe der Zufallschance. Jede Methode der CPU-Spur meldet auf Earthquakes eine Genauigkeit von 0.72 bis 0.78, während die balancierte Genauigkeit von 0.4996 bis 0.5453 reicht. Lies 0.5 nur auf der Achse der balancierten Genauigkeit als Zufall; die Chance für die gewöhnliche Genauigkeit hängt von der Klassenprävalenz ab.

Die Methode mit der höchsten Genauigkeit hat die niedrigste balancierte Genauigkeit. catch22 erreicht bei 0.783 Genauigkeit eine balancierte Genauigkeit von 0.4996, numerisch knapp unter 0.5. Ob es buchstäblich die Majoritätsklasse vorhersagt, wurde nicht gemessen; der genannte Wert trägt keine Unsicherheit und keinen Test gegen 0.5.

Die Umkehrung ist lokal, keine Eigenschaft der Methode. Über das gesamte Panel ist catch22 bei der balancierten Genauigkeit klar Letzter, 0.726 gegenüber MultiRockets 0.806. Die balancierte Genauigkeit ist hier eine post hoc berechnete Metrik, nach dem Freeze aus archivierten Vorhersagen berechnet. DTW-1NN trägt 5 Resamples gegenüber den 30 der anderen vier Methoden, daher ruht sein Punkt auf weniger Evidenz.

Harte Labels, keine Wahrscheinlichkeiten

Vier der sechs Methoden der CPU-Spur geben keine Wahrscheinlichkeit zurück. MiniRocket, MultiRocket, Hydra und DTW-1NN setzen 1 auf die vorhergesagte Klasse und 0 überall sonst; ihr Log-Loss ist daher Genauigkeit unter anderem Namen. Er entspricht der Fehlerrate mal 36.0437 in allen 2.465 Zellen, in denen Log-Loss erfasst wurde, bis auf 7.1e-15. Diese Konstante ist die Strafe, die scikit-learn einer Nullwahrscheinlichkeit auf der wahren Klasse zuweist.

Das Rezept verhält sich wie dokumentiert. Die drei konvolutionalen Klassifikatoren verwenden standardmäßig einen Ridge-Kopf ohne Wahrscheinlichkeitsausgabe, und die Bibliothek füllt die Lücke mit einem One-Hot-Vektor; DTW-1NN hat bei einem Nachbarn konstruktionsbedingt dieselbe Form.⁷

Die für sie berechnete ROC-AUC misst daher das Label, keine Rangfolge. Auf den 27 Datensätzen, auf denen alle sechs vollständige ROC-AUC tragen, verzeichnet catch22 0.884 gegenüber MultiRockets 0.866, während es um 7.2 Genauigkeitspunkte zurückliegt, 0.782 gegenüber 0.854. Lies das so, dass catch22 einen brauchbaren Score hat und MultiRocket keinen, nicht so, dass catch22 Fälle besser ordnet.

Zwei der sechs können überhaupt anhand von Wahrscheinlichkeiten verglichen werden. Auf den 22 Datensätzen mit vollständigem Log-Loss erreicht HIVE-COTE 2 im Mittel 0.344 gegenüber catch22s 0.527, Mediane 0.265 und 0.371, und ist auf 19 von 22 niedriger. Beide Zahlen beschreiben archivierte Ausgaben. Es lief kein Kalibrierungsexperiment, und kein eingefrorener Test deckt sie ab.

Die Genauigkeitstabelle bewegt sich nicht. Was sie nicht enthält, ist Folgendes: Ein Workload, der Fälle reiht oder Schwellenwerte anwendet, erhält vom Standardrezept MiniRocket, MultiRocket, Hydra oder DTW-1NN nichts zum Schwellen. Ein probabilistischer Kopf auf denselben Features wurde nicht ausgeführt.

Erfasste Rechenzeit

Die Grafik zeigt abgestimmte Zellen: jede Methode der CPU-Spur, beschränkt auf die 28 Datensätze, die alle sechs ausgeführt haben, bei den Resamples 0 bis 4, also 140 Zellen pro Methode. Erfasste CPU-Kernstunden auf diesen Zellen: HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 und MiniRocket 0.48.

Die Beschränkung macht ein Verhältnis erst aussagekräftig. Die erfasste Rechenzeit summiert sich auf 1.496.5 Kernstunden über die gesamte CPU-Spur, wovon HIVE-COTE 2 804.8 ausmacht: 694.2 über seine 140 gerankten Zellen und der Rest über vier post hoc diagnostische Zellen, die aus jeder Tabelle ausgeschlossen sind. MultiRocket macht 26.2 über 990 gerankte Zellen aus. Diese beiden Summen decken unterschiedlich viel Arbeit ab, daher vergleicht kein Verhältnis zwischen ihnen die Methoden.

Abgestimmte Zellen machen ein solches Verhältnis möglich. Beschränkt man jede Methode der CPU-Spur auf die 28 Datensätze, die alle sechs ausgeführt haben, bei den Resamples 0 bis 4, ergeben sich 140 Zellen pro Methode. Erfasste CPU-Kernstunden: HIVE-COTE 2 694.23, DTW-1NN 356.82, MultiRocket 2.81, Hydra 2.12, catch22 0.54 und MiniRocket 0.48.

Auf denselben 28 Datensätzen schlägt HIVE-COTE 2 MultiRocket auf 18 und verliert auf 9, eine mittlere Genauigkeitslücke von 0.012, die Holm-Korrektur nicht übersteht. Das ist das 247-fache der CPU-Zeit für einen Unterschied, den dieser Benchmark nicht erkennen kann. DTW-1NN, die Baseline, die das Archivprotokoll von jedem veröffentlichten Ergebnis verlangt, kostet das 747-fache von MiniRocket auf denselben Zellen.

Jede Methode hier lief single-threaded mit n_jobs = 1, eine Zelle pro Prozess, daher ist die erfasste Wall-Clock-Zeit Kernzeit. Für beide Verhältnisse gelten weiterhin zwei Einschränkungen. Die Zeiten sind Durchsatz unter dem, was die Maschine sonst noch ausführte, nicht Solo-Latenz. Und HIVE-COTE 2 lief in einer eigenen Konfigurationsspur, während die anderen fünf eine teilten, daher überspannt sein Verhältnis zwei Spuren; das Verhältnis von DTW-1NN zu MiniRocket wird innerhalb einer einzigen Spur gemessen.

Aus diesem Benchmark ist kein Kostenvergleich zwischen klassischen Methoden und Foundation-Models möglich, und wir stellen keinen an. Die sechs Methoden der GPU-Spur erfassten keine Wall-Clock-Zeit. TimEE hat erfasste Wall-Clock-Zeit, ist aber aus der Grafik ausgeschlossen, weil es keinen Rang trägt.

Verglichene Methoden

HIVE-COTE 2

Erster beim mittleren Rang (2.400) auf dem Primärpanel, nicht trennbar von RocketPFN. Lief 140 gerankte Zellen in 694.2 erfassten Kernstunden, die teuerste Methode auf der erfassten CPU-Spur, und beendete FaceDetection (144 Kanäle) nicht. Ein heterogenes Meta-Ensemble über Shapelet-, Wörterbuch-, Intervall- und konvolutionale Repräsentationen.⁸

RocketPFN

Erster bei der mittleren Genauigkeit (0.905), nicht trennbar von HIVE-COTE 2. Unter dem Peer-Austausch-Test bitidentisch. Ausschließlich univariat, daher gelangt es nie in das UEA-Panel. Kombiniert konvolutionale Features der ROCKET-Familie mit In-Context-Klassifikation durch das tabellarische Foundation Model TabPFN v2.5; daher wird kein Modell auf dem Zieldatensatz angepasst. Sein Paper berichtet Gleichstand mit HIVE-COTE 2 bei 0.900 mittlerer Genauigkeit auf 92 UCR-Datensätzen.²

MultiRocket

Dritter beim mittleren Rang (2.800) und die stärkste paarweise Bilanz: Alle vier untersuchten Kontraste gegen vortrainierte Modelle überstehen Holm, zwei bei 28 Siegen zu 0. 26.2 erfasste Kernstunden für 990 Zellen. Erweitert MiniRocket um mehrere Pooling-Operatoren und Differenzen erster Ordnung.⁹

Hydra

Mittlerer Rang 4.100; sein Sieg über MOMENT (22/6) übersteht die Korrektur. Eine wörterbuchartige konvolutionale Methode: Kernel konkurrieren in Gruppen, und die Zählungen der gewinnenden Kernel bilden die Repräsentation.¹⁰

MiniRocket

Mittlerer Rang 4.700 bei 4.9 erfassten Kernstunden für 990 Zellen, die günstigste starke Methode auf der erfassten CPU-Spur; sein Sieg über MOMENT (24/4) übersteht die Korrektur. Eine nahezu deterministische zufällige konvolutionale Kernel-Transformation mit einem linearen Klassifikator.¹¹

MOMENT

Am höchsten platziertes vortrainiertes Modell auf dem univariaten Primärpanel (6.633); verliert gegen alle drei konvolutionalen Transformationen mit überlebenden Kontrasten. Ein auf T5 basierendes 385M-Parameter-Modell, das auf einem multidisziplinären Korpus für Forecasting, Klassifikation, Anomalieerkennung und Imputation vortrainiert wurde.¹²

Chronos-2

Mittlerer Rang 7.967; verliert gegen MultiRocket 28/0. Ein Forecasting-Foundation-Model, hier als eingefrorener Embedding-Extraktor verwendet, was nicht seine native Aufgabe ist.¹³

TiRex

Mittlerer Rang 8.433; verliert gegen MultiRocket 28/0. Ein xLSTM-basiertes Zero-Shot-Forecasting-Modell,¹⁴ das hier ebenfalls als eingefrorener Extraktor dient. Im post hoc Sensitivitätsarm erhöhte die Umstellung der Extraktion von der letzten Schicht auf eine Verkettung aller Schichten die mittlere Genauigkeit um 1.13 Prozentpunkte über sein 30-Datensatz-Panel: 23 Datensätze verbesserten sich und sieben verschlechterten sich, Heartbeat um 7.98 Punkte, ohne dass sich eines seiner 30 Resamples verbesserte. Das eingefrorene Ergebnis der letzten Schicht und der Rang bleiben primär; der Sensitivitätsarm trägt keinen Rang.

Mantis-V2

Mittlerer Rang 9.733 auf univariat und 5.444 auf dem multivariaten Panel; verliert gegen MultiRocket 24/3. Beendete FaceDetection nicht: 144 Kanäle überfordern seinen nativen Klassifikationskopf. Ein leichtgewichtiges kontrastiv vortrainiertes Klassifikationsmodell mit synthetischen Daten und in V2 ergänzten Testzeit-Strategien.¹⁵

TimEE

Wird ohne Rang berichtet; siehe den Befund zur Batch-Zusammensetzung oben. Mittlere Genauigkeit 0.841 über die 21 Datensätze in seinem berichteten Panel, berechnet bei fester Batch-Zusammensetzung. Zwei vor den Ergebnissen deklarierte Ausschlüsse gelten: NonInvasiveFetalECGThorax1 ist mit 5 von 30 Resamples unvollständig, und Phoneme wird nur mit seinem Archiv-Split berichtet. Ein 4.5M-Parameter-Modell, meta-trainiert auf synthetischen Aufgaben, das End-to-End in-context klassifiziert, in einem einzigen Vorwärtspass aus einer gelabelten Support-Menge.³

TiCT

Mittlerer Rang 10.200. Ausschließlich univariat; sein Runner war der einzige, der die Gültigkeitsregel für seltene Klassen auf Phoneme durchsetzte, und trug eine gültige Zelle bei, während andere Spuren 30 liefen. Unter dem Peer-Austausch-Test bitidentisch. Ein In-Context-Transformer, vortrainiert auf synthetischen Daten mit bitbasierter Label-Kodierung für beliebige Klassenzahlen.¹⁶

DTW-1NN

Mittlerer Rang 9.900. Beendete StarLightCurves nicht, ein deklarierter Kosten-DNF bei 95 Stunden für eine unteilbare Zelle. Ein-Nächster-Nachbar unter Dynamic-Time-Warping-Distanz, die am längsten bestehende Baseline des Feldes.

catch22

Mittlerer Rang 8.700 auf dem Primärpanel. Zweiundzwanzig feste, interpretierbare Zusammenfassungs-Features, die einen einfachen Klassifikator speisen.¹⁷

Wann man ein Foundation Model statt eines klassischen Klassifikators wählen sollte

• Reichlich gelabelte Trainingsdaten: Jeder Kontrast, der hier die Korrektur übersteht, begünstigt eine konvolutionale Transformation, und zwei der drei – MultiRocket und Hydra – sitzen in der Spitzenclique neben HIVE-COTE 2 und RocketPFN.
• Stark begrenzte Labels oder Cold-Start-Einsatz: In-Context- und Zero-Shot-Modelle sind die Kandidaten, und genau dieses Regime misst unser Benchmark nicht. Alle unsere Panels verwenden vollständige Archiv-Trainingssplits.
• Multivariate Daten: Prüfe zuerst die native Abdeckung. Zwei der drei In-Context-Methoden in diesem Kader sind ausschließlich univariat.
• Höchste Genauigkeit unabhängig von Rechenzeit: HIVE-COTE 2 und RocketPFN sind auf dieser Evidenz nicht trennbar. Dieser Benchmark trennt weder ihre Genauigkeit noch ihre Rechenzeit, da für RocketPFN keine Zeit erfasst wurde.
  Ein Rechenzeitbudget, das zählt: Auf den 140 abgestimmten Zellen oben verbraucht MultiRocket 1/247 der CPU-Kernstunden von HIVE-COTE 2, und kein Genauigkeitsunterschied zwischen ihnen übersteht auf diesen Datensätzen die Korrektur.
• Auditierbarkeitsanforderungen: Bevorzuge Methoden, deren Vorhersagen allein aus der Eingabe reproduzierbar sind. Der Befund zur Batch-Zusammensetzung oben ist der warnende Fall.

Was ist Zeitreihenklassifikation

Zeitreihenklassifikation trainiert ein Modell auf gelabelten, geordneten numerischen Sequenzen, um eine diskrete Klasse für eine ungesehene Reihe vorherzusagen: EKG-Diagnose, Aktivitätserkennung aus Wearables, industrielle Fehlererkennung. Sie unterscheidet sich vom Forecasting, das künftige Werte statt eines Klassenlabels ausgibt. Tabellarische Modelle kodieren die Reihenfolge der Werte nicht als induktiven Bias; sie behandeln jeden Zeitschritt als unabhängige Spalte.

Klassische Methoden passen pro Datensatz ein neues Modell an. Ein Time-Series-Foundation-Model wird einmal auf einem großen Korpus vortrainiert und dann auf neue Datensätze zero-shot, über einen leichtgewichtigen Probe oder in-context aus einer Handvoll gelabelter Beispiele angewendet, die zur Inferenzzeit bereitgestellt werden. Ob dieses Pretraining derzeit auf Standardarchiven unter einem kontrollierten Protokoll Klassifikationsgenauigkeit erkauft, ist die Frage, die dieser Benchmark misst.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Methodik des Zeitreihenklassifikations-Benchmarks

Methoden. Vier Familien: vortrainierte Foundation-Models, evaluiert über ein Transferprotokoll (MOMENT, Chronos-2, TiRex, Mantis-V2), In-Context-Modelle (TimEE, TiCT, RocketPFN), konvolutionale Transformationen (MiniRocket, MultiRocket, Hydra) und klassische Referenzen (HIVE-COTE 2, DTW-1NN, catch22).

Daten. 23 univariate UCR- und 10 multivariate UEA-Datensätze,⁵⁶ plus eine separate nicht-IID-Schicht auf SleepEDF und PTB-XL. 14.638 erfasste Zellen, aufgeteilt in der Abdeckungstabelle unten.

Abdeckung. Bewertete Zellen sind nicht gleichmäßig über Methoden verteilt, und die Nenner entscheiden, welche Vergleiche überhaupt möglich sind.

Jeder gerankte Vergleich läuft auf der vollständigen Fall-Schnittmenge der genannten Methoden, nie auf der eigenen Abdeckung einer einzelnen Methode. Genau das lässt HIVE-COTE 2s 140 Zellen und RocketPFNs 2.760 in derselben Tabelle erscheinen. Der vollständige Export enthält 14.638 Zeilen: diese 11.874 bewerteten Zellen, RocketPFNs 2.760-Zellen-Arm zur Reproduktion des Paper-Protokolls und 4 post hoc diagnostische Zellen von HIVE-COTE 2.

Resampling. r0 ist der Archiv-Zug-/Test-Split; r1 bis r29 sind stratifizierte Mischungen in den Archivproportionen, mit Seed 1729+r. Die Inferenzeinheit ist der Datensatz: Resamples werden innerhalb eines Datensatzes gemittelt, bevor Methoden verglichen werden. HIVE-COTE 2 und DTW-1NN laufen mit 5 Resamples, weil ihre Kosten pro Zelle ein bis zwei Größenordnungen höher sind, und die Primärtabelle beschränkt jede Methode auf dieselben 5 abgestimmten Resamples. Der Archiv-Split r0 ist auf 8 von 33 Datensätzen systematisch schwerer als geseedete Resamples, um bis zu 0.218 Genauigkeit; die fünf abgestimmten Resamples sind daher keine austauschbaren Ziehungen.

Transferprotokoll. Jedes Referenz-Foundation-Model durchläuft dieselbe Pipeline: Kodierung je Variable, letzte Encoder-Schicht, Mean-Pooling über gültige Kontext-Tokens, L2-Normalisierung je Variable, Kanalverkettung, Standardisierung nur am Training, logistische Regressions-Probe. Eingefroren am 2026-07-24, vor jeder bewerteten Zelle.

Statistik. Friedman-Omnibus, dann paarweiser Wilcoxon-Vorzeichenrang mit Holm-Korrektur über alle 19 untersuchten Kontraste, auf Datensatz-Mittelwerten, ausschließlich vollständige Fall-Panels. Der Omnibus stützt nur, dass sich Ränge irgendwo unterscheiden; jede paarweise Aussage stammt aus den korrigierten Kontrasten.

Freeze. Daten eingefroren am 2026-07-29 03:00 UTC, mit Ausschlussregeln, die geschrieben wurden, bevor die ausstehenden Ergebnisse bekannt waren. Eine Zelle wurde 22 Minuten nach dem Cutoff fertig und ist unter der vorab geschriebenen Regel ausgeschlossen. Die Veröffentlichung besteht 120 mechanische Assertion-Checks, einschließlich Hash-Vergleich jeder Eingabedatei, Neuberechnung der Primärtabelle aus dem Export und Durchsetzung der deklarierten Ausschlüsse hinter der veröffentlichten TimEE-Zahl sowohl im Artikel als auch in den Veröffentlichungstabellen.

Metriken. ROC-AUC war die deklarierte primäre Metrik. Sie ist für 6 der 7 Referenz-Foundation-Models nicht verfügbar, deren Läufe Entscheidungsscores oder Klassenvorhersagen statt kalibrierter Wahrscheinlichkeiten archivieren; daher wurde Genauigkeit zur Vergleichsmetrik. TimEE ist das einzige der sieben, das ROC-AUC trägt. Wir sagen dies, statt Genauigkeit nachträglich als vorab spezifiziert umzubenennen. Balancierte Genauigkeit, Makro-F1 und Log-Loss sind post hoc Sensitivitätsanalysen auf der abgedeckten Teilmenge.

Reproduzierbarkeit. Pro-Instanz-Vorhersagen sind für alle 13 Methoden und alle 12 der Primärtabelle archiviert; jede neu erzeugte Vorhersage reproduziert ihren eingefrorenen Skalar mit einer maximalen Differenz von 0.000e+00 (4.260 Zellen der CPU-Spur erneut verifiziert am 2026-08-02, null Waisen). Die Primärtabelle ist vollständig aus veröffentlichten Vorhersagen neu berechenbar.

Methoden, die in diesem Benchmark fehlen

Veröffentlichte TSC-relevante Modelle, die wir nicht evaluiert haben, aufgelistet, damit die Grenze des Kaders explizit ist. Keine der Aussagen hier sind unsere Messungen. UniTS ist ein vereinheitlichtes Multi-Task-Modell für Klassifikation, Forecasting, Imputation und Anomalieerkennung.¹⁸ TiViT wandelt Reihen in Bilder um und klassifiziert mit eingefrorenen vortrainierten Vision Transformers.¹⁹ UniShape ist ein formbewusstes Foundation-Model für Klassifikation mit einem formbewussten Adapter, akzeptiert bei AAAI 2026.²⁰ GPT4TS, auch als One Fits All veröffentlicht, nutzt ein GPT-2-Backbone, dessen Self-Attention- und Feedforward-Blöcke eingefroren bleiben, während Eingabe-, Normalisierungs- und Ausgabekomponenten trainiert werden.²¹ TIC-FM ist ein In-Context-Zero-Shot-Klassifikator, der alle Testinstanzen in einem einzigen Vorwärtspass vorhersagt;²² dessen Single-Call-Design als dieselbe Expositionsklasse wie der Befund zur Batch-Zusammensetzung oben zu lesen, ist unsere Schlussfolgerung aus der veröffentlichten Beschreibung, kein getestetes Ergebnis.

Einschränkungen

• Für kein vortrainiertes Modell existiert ein Pretraining-Überschneidungs-Ledger: Keines veröffentlicht eine datensatzbezogene Aussage darüber, ob UCR/UEA-Reihen in seinem Pretraining-Korpus vorkommen. Daher lässt sich Transfer nicht von früherer Exposition trennen. Die Verluste als sicher zu behandeln, beruht auf einer Annahme, die kein Datensatz-Ledger testen kann: dass frühere Exposition diese Modelle, wo sie auftrat, begünstigte statt ihnen zu schaden. Unter dieser Annahme liegen sie trotz des Vorteils zurück, und die Verluste bestehen; jeder Sieg eines vortrainierten Modells kann nach derselben Logik nicht sauber dem Transfer zugeschrieben werden.
• Die Ergebnisse der Foundation-Models sind an das einzige eingefrorene Transferprotokoll gebunden. Der post hoc TiRex-Arm änderte nur die Schichtextraktion und erhöhte die mittlere Genauigkeit um 1.13 Prozentpunkte, während sich sieben seiner 30 Datensätze verschlechterten, Heartbeat um 7.98 Punkte, wobei sich 0 seiner 30 Resamples verbesserten. Er testete ein Modell, trägt keinen Rang und belegt den Effekt für die anderen Foundation-Models nicht.
• Alle Wall-Clock-Zeiten sind Last-Durchsatz unter wechselnder Gleichzeitigkeit auf einer geteilten Maschine. Sechs von 13 Methoden tragen keine.
• Die Evidenz deckt nur archivgroße Probleme ab. Nichts hier spricht für Skalierbarkeit.
• Der Benchmark prüft eine Version jeder Methode zu ihrem eingefrorenen Datum.

Häufige Fallstricke beim Benchmarking von Zeitreihenklassifikation

Pretraining-Test-Überlappung. Ein Audit von 2025 verfolgte 401 Datensätze durch 22 veröffentlichte Time-Series-Foundation-Models und fand, dass nur 6 % nie im Pretraining- oder Fine-Tuning-Korpus eines Modells erschienen waren.²³ Kein Modell in unserem Kader veröffentlicht eine datensatzbezogene Überlappungserklärung; deshalb behandelt unser Abschnitt zu Einschränkungen Transfer und frühere Exposition als untrennbar.

Split-Design. Das Standard-UCR-Archiv liefert einen festen Zug-/Test-Split; die moderne Praxis resampelt, und unser SleepEDF-Panel zeigt, warum Subjektstruktur mehr als Resampling braucht: Allein das Split-Design bewegte die berichtete Genauigkeit um bis zu 0.060 und komprimierte ihre Varianz etwa um das Sieben- bis Neunfache. Keine einzelne Zahl hier ist eine Eigenschaft des Datensatzes; jede ist eine Eigenschaft des Datensatzes unter einem genannten Split-Design.

Multiplizität. Viele Klassifikatoren über viele Datensätze ohne Korrektur zu vergleichen, erzeugt Scheinergebnisse. Die Standardmaschinerie ist der Wilcoxon-Vorzeichenrang für Paare und eine familienweite Korrektur nach Holm-Art über jeden untersuchten Kontrast,²⁴²⁵ und die Korrektur muss jeden untersuchten Kontrast abdecken, nicht nur die berichteten. In diesem Benchmark eliminierte diese Disziplin 13 von 19 Kontrasten.

Anhang: TiRex-Extraktionssensitivität

Dieser post hoc Arm verwendet dieselben 30 Datensätze, 30 Resample-Splits, denselben Scaler und logistischen Probe wie das eingefrorene TiRex-Ergebnis. Nur die Feature-Extraktion ändert sich, von der letzten Encoder-Schicht zu verketteten Repräsentationen aus allen 12 Schichten. Der Arm ist rang-frei und verändert den eingefrorenen Benchmark nicht.

Die mittlere Genauigkeit bewegte sich von 0.793 auf 0.805, eine Änderung von 1.13 Prozentpunkten, mit einem geseedeten Datensatz-Bootstrap-Intervall von +0.15 bis +2.06 Punkten. Ein gepaarter Wilcoxon-Vorzeichenrang-Test über die 30 Datensatz-Deltas ergibt ein exaktes zweiseitiges W von 92.0 bei p=0.003. Dieser Test ist explorativ: Er wurde nach dem Freeze durchgeführt, liegt außerhalb der 19-Kontrast-Holm-Familie, die jede korrigierte Behauptung hier regelt, und trägt keinen Rang.

Auer et al. platzieren TiRex unter den Forecasting-Foundation-Models an erster Stelle, mit schichtverketteten Features und einem Random Forest, und ihre eigene Ablation berichtet einen größeren Schichteffekt von 5 Punkten.²⁶ Die beiden Studien unterscheiden sich in Datensätzen, Modellkader, Klassifikator und Reihenlängenfilterung; daher sind 1.13 und 5 Punkte protokollspezifische Sensitivitätsschätzungen und keine konkurrierenden Schätzungen eines einzigen Effekts. Dieser Arm reproduziert weder deren Rangfolge noch widerlegt er sie und identifiziert nicht die Ursache des studienübergreifenden Rangunterschieds. Er belegt Schichtsensitivität für TiRex innerhalb dieses Benchmarks. Er verallgemeinert den Effekt weder auf die anderen Foundation-Models noch identifiziert er die beste erreichbare Klassifikationsleistung eines Modells.

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{kalelioglu2026,
  author = {Kalelioğlu, Berk},
  title  = {{Zeitreihenklassifikations-Benchmark: Foundation Models vs. klassische Methoden}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/time-series-classification}},
  note   = {AIMultiple. Abgerufen am 24. August 2026}
}

Referenzlinks

1.

Client Challenge

2.

[2606.21786] RocketPFN: Accurate Time Series Classification via In-Context Learning

3.

[2607.07500] TimEE: End-to-end Time Series Classification via In-Context Learning

4.

[2606.11473] CRUMB: Efficient Prior Fitted Network Inference via Distributionally Matched Context Batching

5.

[1810.07758] The UCR Time Series Archive

6.

[1811.00075] The UEA multivariate time series classification archive, 2018

7.

aeon/aeon/classification/convolution_based/_minirocket.py at main · aeon-toolkit/aeon · GitHub

8.

Client Challenge

9.

[2102.00457] MultiRocket: Multiple pooling operators and transformations for fast and effective time series classification

10.

[2203.13652] HYDRA: Competing convolutional kernels for fast and accurate time series classification

11.

[2012.08791] MINIROCKET: A Very Fast (Almost) Deterministic Transform for Time Series Classification

12.

[2402.03885] MOMENT: A Family of Open Time-series Foundation Models

13.

[2510.15821] Chronos-2: From Univariate to Universal Forecasting

14.

[2505.23719] TiRex: Zero-Shot Forecasting Across Long and Short Horizons with Enhanced In-Context Learning

15.

[2602.17868] MantisV2: Closing the Zero-Shot Gap in Time Series Classification with Synthetic Data and Test-Time Strategies

16.

[2511.19694] TiCT: A Synthetically Pre-Trained Foundation Model for Time Series Classification

17.

Client Challenge

18.

[2403.00131] UniTS: A Unified Multi-Task Time Series Model

19.

[2506.08641] Time Series Representations for Classification Lie Hidden in Pretrained Vision Transformers

20.

[2601.06429] A Unified Shape-Aware Foundation Model for Time Series Classification

21.

[2302.11939] One Fits All:Power General Time Series Analysis by Pretrained LM

22.

[2602.00620] Rethinking Zero-Shot Time Series Classification: From Task-specific Classifiers to In-Context Inference

23.

[2510.13654] Rethinking Evaluation in the Era of Time Series Foundation Models: (Un)known Information Leakage Challenges

24.

Statistical Comparisons of Classifiers over Multiple Data Sets

25.

An Extension on Statistical Comparisons of Classifiers over Multiple Data Sets for all Pairwise Comparisons

26.

[2510.26777] Pre-trained Forecasting Models: Strong Zero-Shot Feature Extractors for Time Series Classification

Berk Kalelioğlu

KI-Forscher

Folgen auf

Berk ist KI-Forscher im AIMultiple-Benchmark-Team und konzentriert sich auf agentische KI, maschinelles Lernen sowie große und kleine Sprachmodelle (LLMs und SLMs).

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten