Grundlagenmodelle für Zeitreihen: Anwendungsfälle und Vorteile
Time Series Foundation Models (TSFMs) bauen auf Fortschritten in Basismodellen aus der Verarbeitung natürlicher Sprache und der Bildverarbeitung auf. Mithilfe von Transformer-basierten Architekturen und umfangreichen Trainingsdaten erreichen sie eine Zero-Shot-Performance und sind branchenübergreifend einsetzbar, beispielsweise in den Bereichen Finanzen, Einzelhandel, Energie und Gesundheitswesen.
Entdecken Sie die Architektur, Anwendungsfälle, die branchenspezifische Verbreitung, Vorteile, Herausforderungen und Vergleiche von Zeitreihen-Fundamentmodellen mit bestehenden Modellen:
Was sind Zeitreihen-Grundlagenmodelle?
Time series foundation models (TSFMs) sind groß angelegte, vortrainierte Modelle, die für die Verarbeitung von Zeitreihendaten in verschiedenen Domänen und Anwendungen entwickelt wurden.
Inspiriert vom Erfolg etablierter Modelle in der Verarbeitung natürlicher Sprache (NLP) und im Computer Vision erweitern TSFMs das Repräsentationsparadigma dieser Modelle auf Prognosen und sequentielle Analysen. Führende TSFMs sind:
Amazon Chronos-2 ist ein reiner Encoder, der auf der T5-Encoderarchitektur basiert und bei Hugging Face zig Millionen Downloads erreichte. 1
Salesforce Moirai-2 verwendet eine Transformer-Architektur, die ausschließlich aus Decodern besteht und auf dem LOTSA-Datensatz mit 27 Milliarden Beobachtungen trainiert wurde.
Sundial , entwickelt von Forschern der Tsinghua-Universität, erzielt marktführende Ergebnisse auf dem TimeBench-Datensatz.
TimesFM-2.5
TimesFM-2.5 ist das neueste Modell der TimesFM-Serie (Google). Es handelt sich um ein vortrainiertes Modell mit ca. 200 Millionen Parametern und einer Kontextlänge von 16.000, das anhand eines Korpus realer Zeitreihendaten trainiert wurde. 2 Im Vergleich zu großen Sprachmodellen ( LLMs ) zeichnet es sich durch eine kompakte Größe, schnelle Inferenz und die Fokussierung auf Zeitreihendaten aus.
Architektur und Ausbildung
TimesFM übernimmt die Decoder-only Transformer-Architektur von Sprachmodellen: Gestapelte Causal Self-Attention- und Feedforward-Schichten erzeugen die folgende Ausgabe, die ausschließlich auf dem vorherigen Kontext basiert.
Anders als bei Texten repräsentiert das Modell eine Sequenz als Abschnitte zusammenhängender Zeitpunkte. Jeder Abschnitt wird eingebettet (mittels eines MLP-Residualblocks und Positionskodierungen) und als Token behandelt. Eine zentrale Designentscheidung ist die Vorhersage einer längeren Ausgabeabschnittslänge als der Eingabeabschnittslänge. Dies reduziert die Anzahl der Iterationsschritte bei der Inferenz und begrenzt die Fehlerakkumulation über längere Zeiträume.
Für das Modelltraining mischt Google synthetische Daten (um die grundlegende temporale „Grammatik“ zu vermitteln) mit einem großen, vielfältigen Datensatz realer Zeitreihen (z. B. Google Trends und Wikipedia-Seitenaufrufe), um den Transfer zu verbessern. Der gesamte Umfang des Vortrainings liegt in der Größenordnung von 100 Milliarden Zeitpunkten.
Abbildung 1: Graph, der die Architektur von TimesFM zeigt. 3
Auswertung und Ergebnisse
Google evaluierte TimesFM im reinen Zero-Shot-Modus anhand öffentlicher Benchmarks. Auf dem Monash Forecasting Archive übertrifft TimesFM die meisten statistischen Modelle (z. B. ARIMA, ETS) und erreicht oder übertrifft mehrere Deep-Learning-Baselines, die auf der Zielreihe trainiert wurden.
Bei Aufgaben mit langem Zeithorizont (z. B. ETT-Datensätzen) erreicht TimesFM eine Genauigkeit im Zero-Shot-Verfahren, die mit überwachten Vergleichsmodellen (z. B. PatchTST, trainiert pro Datensatz) vergleichbar ist und promptbasierte LLM-Prognosemodelle übertrifft. Zu den Metriken gehören skalierte MAE- und geometrische Mittelwert-Zusammenfassungen über alle Datensätze hinweg. 4
Hauptmerkmale und Architektur von TSFMs
Die Transformer-Architektur von TSFMs nutzt Selbstaufmerksamkeit, Residualverbindungen und lineare Schichten, um Langzeitabhängigkeiten und Saisonalitätsmuster zu modellieren. Eingabe-Patches werden mittels eines mehrschichtigen Perzeptrons in Einbettungen transformiert, wobei Positionskodierungen die zeitliche Reihenfolge erhalten.
Im Vergleich zu anderen Basismodellen sind diese Architekturen eher für Prognoseaufgaben als für die Text- oder Bildverarbeitung geeignet.
Abbildung 2: Diagramm mit verschiedenen Anpassungstechniken. 5
Was sind die wichtigsten Anwendungsfälle?
Prognose
Prognosen beinhalten die Vorhersage zukünftiger Zeitpunkte in einer Zeitreihe anhand historischer Muster. TSFMs (Time-Sequence Forecasting Models) erreichen dies, indem sie je nach Anforderung Punktprognosen oder probabilistische Zeitreihenprognosen generieren.
Im Gegensatz zu univariaten Zeitreihenprognosemodellen oder statistischen Modellen integrieren sie mehrere Signale, darunter exogene Variablen wie Wetter oder Werbeaktionen. Diese Flexibilität macht sie geeignet für die Bedarfsplanung im Einzelhandel , die Prognose des Energiebedarfs und die Finanzmarktanalyse .
Einstufung
Ziel der Klassifizierung ist es, Muster innerhalb einer Datenreihe zu kennzeichnen oder zu kategorisieren. TSFMs (Teleconductor-Structured Models) verwenden transformatorbasierte Modelle, um charakteristische Strukturen wie Arrhythmien in medizinischen Daten oder ungewöhnliche Nachfragespitzen im Einzelhandel zu erkennen.
Imputation
Die Imputation füllt Lücken in fehlenden Sequenzen. TSFMs rekonstruieren fehlende Intervalle, indem sie Muster nutzen, die während des einheitlichen Trainings aus verschiedenen Datensätzen gelernt wurden.
Im Gegensatz zur einfachen Interpolation berücksichtigen sie Saisonalität und Trends. Anwendungsgebiete sind beispielsweise das Schließen von Lücken in Energieverbrauchsprotokollen oder medizinischen Überwachungsdaten, da fehlende Informationen nachfolgende Prognoseaufgaben beeinträchtigen können.
Anomaly Erkennung
TSFMs erkennen Abweichungen von erwarteten Mustern, indem sie aktuelle Signale mit ihrer gelernten Repräsentation des normalen Verhaltens vergleichen.
Ihre Fähigkeit zur Generalisierung über verschiedene Domänen hinweg verbessert die Zero-Shot-Performance, selbst bei seltenen Anomalien. Dies ist relevant für Betrugserkennung, vorausschauende Wartung und Cybersicherheitsüberwachung . Im Vergleich zu früheren Ansätzen in der Anomalieerkennung integrieren TSFMs Zeitreihenprognosen mit Klassifizierung und ermöglichen so eine kontextsensitive Erkennung.
Branchen, die TSFMs einsetzen
Einzelhandel
Einzelhändler verlassen sich bei der Bestandsverwaltung und Absatzplanung stark auf Prognosemodelle.
Herkömmliche statistische Modelle erfassen häufig keine externen Einflüsse wie Feiertage, Werbeaktionen oder wirtschaftliche Veränderungen. TSFMs integrieren exogene Variablen und passen sich durch wenige Anpassungen an.
Ein global tätiger Einzelhändler kann beispielsweise ein Modell anwenden, das mit einem vielfältigen Datensatz trainiert wurde, und so zuverlässige Vorhersagen über mehrere Regionen hinweg erzielen.
Finanzen
Finanzsysteme benötigen sowohl Prognosehorizonte als auch Anomalieerkennung. Regressionsmodelle oder Deep-Learning-Modelle, die auf spezifische Märkte zugeschnitten sind, haben oft Schwierigkeiten mit strukturellen Veränderungen.
TSFMs ermöglichen Zero-Shot-Prognosen für neue Instrumente und passen sich durch Transferlernen an die Volatilität an. Anwendungsfälle umfassen Aktienkursprognosen, Portfoliorisikomodellierung und Betrugserkennung.
Gesundheitspflege
Im Gesundheitswesen werden mithilfe von Überwachungsgeräten kontinuierlich Zeitreihendaten erzeugt. Herkömmliche Ansätze zur Anomalieerkennung in Vitalparametern basieren auf festen Schwellenwerten. Zeitreihenbasierte Funktionsmodelle (TSFMs) hingegen lernen sowohl aus klinischen als auch aus synthetischen Daten und ermöglichen so Frühwarnsysteme, die sich an patientenspezifische Ausgangswerte anpassen. Neben der Überwachung unterstützen sie die Wissensgewinnung in Arzneimittelstudien , indem sie subtile zeitliche Muster in großen Datensätzen identifizieren.
Energie
Energiesysteme generieren Zeitreihen aus Sensoren und Messgeräten. Im Gegensatz zu herkömmlichen Methoden, die von festen saisonalen Mustern ausgehen, berücksichtigen TSFMs variable Bedingungen wie die Erzeugung erneuerbarer Energien.
Sie kombinieren Verbrauchsdaten mit externen Variablen wie Temperatur und Windgeschwindigkeit und erstellen so probabilistische Zeitreihenprognosen für den Netzausgleich. Recheneffizienz ist hierbei wichtig, da kleine Zeitreihenprozessoren lokale Vorhersagen zu geringeren Kosten ermöglichen. Weitere Informationen finden Sie unter „Anwendungen von KI für Nachhaltigkeit“ .
Transport
Verkehrsnetze sind auf Prognosen für Verkehrsfluss und Logistik angewiesen. Frühere Modelle des maschinellen Lernens erforderten ein separates Training für jede Stadt oder Strecke. Verkehrsfluss- und Logistikmodelle (TSFMs), die mit verschiedenen Datensätzen trainiert wurden, lassen sich mit minimalen Anpassungen auf andere Regionen übertragen.
Beispiele aus der Praxis sind die Stauprognose in städtischen Gebieten und die Optimierung von Lieferrouten in der Logistik.
Herstellung
In der Fertigung ist die vorausschauende Instandhaltung ein zentraler Anwendungsfall. Herkömmliche Regressionsmodelle, die mit Daten einzelner Maschinen trainiert wurden, sind oft nicht übertragbar. TSFMs berücksichtigen hingegen langfristige Abhängigkeiten zwischen Sensoren und Produktionszyklen und verbessern so die Früherkennung von Fehlern.
Durch die Feinabstimmung mit anlagenspezifischen Daten wird eine verbesserte Leistung bei der Reduzierung von Ausfallzeiten und der Sicherstellung der Qualitätskontrolle erzielt.
Wetter und Klima
Die Wetter- und Klimamodellierung erfordert die Berücksichtigung mehrerer Vorhersagehorizonte, von Stunden bis zu Jahren. Statistische Modelle und traditionelle Methoden erfassen die Variabilität auf verschiedenen Skalen oft nicht.
TSFMs können dank ihrer Transformerarchitektur und Selbstaufmerksamkeitsmechanismen sowohl lokale als auch globale Abhängigkeiten modellieren. Beispiele hierfür sind kurzfristige Niederschlagsvorhersagen und Klimazyklusprognosen. Probabilistische Zeitreihenprognosen helfen, die Unsicherheit dieser Ergebnisse zu quantifizieren.
Urban Computing
Intelligente Städte benötigen Zeitreihendaten aus den Bereichen Verkehr, Versorgung und Infrastruktur. Bestehende Modelle sind derzeit aufgabenbezogen isoliert. TSFMs (Time-Side-Functioning Models) vereinen diese Daten in einem einzigen Modell, das domänenübergreifend eingesetzt werden kann und sich mit minimalem zusätzlichem Trainingsdatenaufwand anpasst.
Beispiele hierfür sind die Optimierung des Energieverbrauchs in Gebäuden, die Vorhersage von Verkehrsstaus und die Verwaltung von Wasserversorgungssystemen.
Vorteile von Zeitreihen-Fundamentmodellen
Zu den wichtigsten Vorteilen von TSFMs im Vergleich zu bestehenden Modellen gehören:
- Zero-Shot-Performance: Erzielung starker Ergebnisse auf unbekannten Datensätzen ohne feinabgestimmte Anpassung.
- Reduzierte Trainingskosten: Wiederverwendung eines Modells über verschiedene Domänen hinweg anstatt des Trainings separater Modelle.
- Domänengeneralisierung: Ein Modell passt sich mithilfe von Transferlernen und Few-Shot-Lernern an unterschiedliche Kontexte an.
- Recheneffizienz: Kleiner als große Basismodelle in der NLP bei gleichzeitig verbesserter Leistung.
- Vielseitigkeit: Umgang mit unterschiedlichen Prognosehorizonten, Granularitäten und Ausgabebereichslängen.
Herausforderungen
Technische Herausforderungen
Mangel an Trainingsdaten: Im Gegensatz zu Textdaten für Sprachmodelle sind die verfügbaren öffentlichen Datensätze für Zeitreihendaten kleiner. Mittlerweile gibt es jedoch Datensätze wie das Large-scale Open Time Series Archive (LOTSA) mit Milliarden von Beobachtungen aus verschiedenen Bereichen. 6
Fehlende universelle Struktur: Kein Äquivalent in Vokabular oder Grammatik.
Komplexe zeitliche Dynamik: Unterschiedliche Saisonalitätsmuster und -verläufe.
Domänenspezifik: Unterschiedliche Abtastraten und Verhaltensweisen in verschiedenen Branchen.
Praktische Herausforderungen
- Datenschutzbedenken bei der Erhebung diverser Datensätze.
- Hohe Anforderungen an die Recheneffizienz beim Modelltraining.
- Verbreitungsverschiebungen in sich verändernden Umgebungen.
- Interpretierbarkeit und Transparenz in realen Anwendungen.
- Integration in bestehende Systeme und zugehörige Arbeitsabläufe.
Grundlagenmodelle für Zeitreihen: Entwicklungs- und Gestaltungsfaktoren
Grundlagenmodelle für Zeitreihen: Ergebnisse und operative Faktoren
Unterschiede zu anderen Fundamentmodellen
TSFMs unterscheiden sich in mehrfacher Hinsicht von Sprachmodellen und Modellen der visuellen Grundlagenforschung:
- Datenmodalität: Sequenzielle numerische Daten anstelle von Text oder Bildern.
- Architektur: Angepasste, auf Transformatoren basierende Architekturen mit Patching und Normalisierung (z. B. reversible Instanznormalisierung).
- Trainingsansatz: Einbeziehung sowohl synthetischer Daten als auch realer Korpora, wie z. B. der Forschungsdatensätze Google.
- Maßstab: Kleiner als große Basismodelle, liefert aber dennoch qualitativ hochwertige Punktprognosen.
- Evaluierung: Bewertet anhand von Prognoseaufgaben, Anomalieerkennung und Imputation anstelle von Textverständnis.
Abschluss
Grundlagenmodelle für Zeitreihen stellen einen Paradigmenwechsel dar: weg von domänenspezifischen statistischen Modellen, Regressionsmodellen und überwachtem Deep Learning hin zu einem einheitlichen Modell für Zeitreihen. Durch die Anwendung transformatorbasierter Architekturen und die Nutzung vortrainierter Modelle bieten sie skalierbare Lösungen für Prognoseaufgaben, Anomalieerkennung und weitere branchenübergreifende Anwendungen.
Obwohl weiterhin Herausforderungen hinsichtlich der Verfügbarkeit, Interpretierbarkeit und Integration von Trainingsdaten in bestehende Arbeitsabläufe bestehen, positionieren die Vorteile von Zero-Shot-Prognosen, Transferlernen und domänenübergreifender Anpassungsfähigkeit TSFMs als wichtigen Schritt hin zu allgemeinen Prognoseverfahren. Mit fortschreitender Forschung und der Erweiterung von Open-Source-Grundlagenmodellen dürfte die Akzeptanz sowohl im akademischen Bereich als auch in der Praxis zunehmen.
Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.