Modèles de base des séries temporelles : cas d'utilisation et avantages
Les modèles de base pour séries temporelles (TSFM) s'appuient sur les avancées réalisées dans le domaine des modèles de base issus du traitement automatique du langage naturel et de la vision par ordinateur. Grâce à des architectures basées sur les transformeurs et à des données d'entraînement à grande échelle, ils atteignent des performances optimales dès le premier exemple et s'adaptent à différents secteurs tels que la finance, le commerce de détail, l'énergie et la santé.
Découvrez l'architecture, les cas d'utilisation, l'adoption dans les industries, les avantages, les défis et les comparaisons des modèles de base de séries temporelles avec les modèles existants :
Que sont les modèles de base des séries temporelles ?
Les modèles de base de séries temporelles (TSFM) sont des modèles pré-entraînés à grande échelle conçus pour traiter les données de séries temporelles dans divers domaines et applications.
S’inspirant du succès des modèles de base en traitement automatique du langage naturel (TALN) et en vision par ordinateur , les TSFM étendent le paradigme de représentation de ces modèles à la prévision et à l’analyse séquentielle. Les principaux TSFM sont :
Amazon Chronos-2 est un modèle d'encodeur uniquement dérivé de l'architecture d'encodeur T5 et a atteint des dizaines de millions de téléchargements de Hugging Face. 1
Salesforce Moirai-2 utilise une architecture de transformateur uniquement décodeur entraînée sur l'ensemble de données LOTSA de 27 milliards d'observations.
Le cadran solaire développé par des chercheurs de l'université Tsinghua affiche des résultats exceptionnels sur l'ensemble de données TimeBench.
TimesFM-2.5
TimesFM-2.5 est le dernier modèle de la série TimesFM développé par Google. Il s'agit d'un modèle pré-entraîné avec environ 200 millions de paramètres et une longueur de contexte de 16 000, entraîné sur un corpus de données de séries temporelles réelles. 2 Comparé aux grands modèles de langage ( LLM ), il offre une taille compacte, une inférence rapide et une focalisation sur les données de séries temporelles.
Architecture et formation
TimesFM emprunte l'architecture de transformateur à décodeur uniquement aux modèles de langage : des couches d'auto-attention causales empilées et des couches feedforward génèrent la sortie suivante conditionnée uniquement par le contexte passé.
Contrairement au texte, le modèle représente une séquence par blocs de points temporels contigus ; chaque bloc est intégré (via un bloc résiduel MLP et des encodages positionnels) et traité comme un jeton. Un choix de conception fondamental consiste à prédire une longueur de bloc de sortie supérieure à celle du bloc d’entrée, ce qui réduit le nombre d’itérations lors de l’inférence et limite l’accumulation d’erreurs sur le long terme.
Pour l'entraînement du modèle, Google combine des données synthétiques (pour enseigner une « grammaire » temporelle de base) avec un vaste ensemble de données diversifiées de séries réelles (par exemple, Google Trends et les pages vues de Wikipédia) afin d'améliorer le transfert. L'échelle totale du préentraînement est de l'ordre de 100 milliards de points temporels.
Figure 1 : Graphique illustrant l'architecture de TimesFM. 3
Évaluation et résultats
L'étude Google a évalué TimesFM en mode zéro-shot pur sur des jeux de données de référence publics. Sur les archives de prévisions de Monash, TimesFM surpasse la plupart des modèles statistiques (par exemple, ARIMA, ETS) et égale ou surpasse plusieurs modèles de référence d'apprentissage profond entraînés sur la série cible.
Pour les tâches à long terme (par exemple, les jeux de données ETT), la précision initiale de TimesFM rivalise avec les méthodes de référence supervisées (par exemple, PatchTST entraîné pour chaque jeu de données) et surpasse les modèles de prévision LLM basés sur des impulsions. Les indicateurs comprennent l'erreur absolue moyenne (MAE) normalisée et les moyennes géométriques des résultats sur l'ensemble des jeux de données. 4
Caractéristiques clés et architecture des TSFM
L'architecture de transformation de TSFM utilise l'auto-attention, les connexions résiduelles et des couches linéaires pour modéliser les dépendances à longue portée et les variations saisonnières. Les patchs d'entrée sont transformés en plongements via un perceptron multicouche, tandis que les encodages positionnels préservent l'ordre temporel.
Comparées à d'autres modèles de base, ces architectures sont adaptées aux tâches de prévision plutôt qu'au traitement de texte ou d'images.
Figure 2 : Diagramme illustrant différentes techniques d'adaptation. 5
Quels sont les principaux cas d'utilisation ?
Prévision
La prévision consiste à prédire les points futurs d'une série temporelle à partir des tendances historiques. Les modèles de prévision de séries temporelles (TSFM) y parviennent en générant des prévisions ponctuelles ou des prévisions probabilistes de séries temporelles, selon les besoins.
Contrairement aux modèles de prévision de séries temporelles univariées ou aux modèles statistiques, ils intègrent de multiples signaux, y compris des variables exogènes comme la météo ou les promotions. Cette flexibilité les rend adaptés à la planification de la demande au détail , à la prévision de la consommation d'énergie et à l'analyse des marchés financiers .
Classification
En classification, l'objectif est d'étiqueter ou de catégoriser les tendances au sein d'une série. Les TSFM utilisent des modèles à base de transformateurs pour reconnaître des structures caractéristiques telles que les arythmies dans les données médicales ou les pics de demande inhabituels dans le commerce de détail.
Imputation
L'imputation permet de combler les lacunes dans les séquences manquantes. Les TSFM reconstruisent les intervalles manquants en exploitant les modèles appris à partir de divers ensembles de données lors d'un entraînement unifié.
Contrairement à l'interpolation simple, elles préservent la cohérence avec la saisonnalité et les tendances. Elles permettent notamment de combler les lacunes dans les journaux de consommation énergétique ou les données de surveillance médicale, où les informations manquantes peuvent impacter les prévisions ultérieures.
Anomaly détection
Les TSFM identifient les écarts par rapport aux schémas attendus en comparant les signaux actuels à leur représentation apprise du comportement normal.
Leur capacité à généraliser à différents domaines améliore les performances initiales, même lorsque les anomalies sont rares. Ceci est pertinent pour la détection des fraudes, la maintenance prédictive et la surveillance de la cybersécurité . Par rapport aux travaux antérieurs sur la détection d'anomalies, les TSFM intègrent la prévision de séries temporelles à la classification, offrant ainsi une détection contextuelle.
Industries adoptant les TSFM
Vente au détail
Les détaillants s'appuient fortement sur des modèles de prévision pour la gestion des stocks et la planification des ventes .
Les modèles statistiques traditionnels peinent souvent à prendre en compte les influences externes telles que les jours fériés, les promotions ou les fluctuations économiques. Les modèles TSFM intègrent des variables exogènes et s'adaptent grâce à des ajustements ponctuels.
Par exemple, un détaillant mondial peut appliquer un seul modèle entraîné sur un ensemble de données diversifié et obtenir des prédictions fiables dans plusieurs régions.
Finance
Les systèmes financiers nécessitent à la fois des projections à horizon prévisionnel et la détection d'anomalies. Les modèles de régression ou les modèles d'apprentissage profond adaptés à des marchés spécifiques ont souvent du mal à appréhender les changements structurels.
Les modèles TSFM permettent de réaliser des prévisions sans expérience préalable pour les nouveaux instruments et s'adaptent à la volatilité grâce à l'apprentissage par transfert. Parmi leurs applications, on peut citer la prévision des cours boursiers, la modélisation des risques de portefeuille et la détection des fraudes.
Soins de santé
Le secteur de la santé génère des données de séries temporelles continues à partir des dispositifs de surveillance. Les méthodes traditionnelles de détection d'anomalies des paramètres vitaux reposent sur des seuils fixes. Les modèles de séries temporelles (TSFM), quant à eux, apprennent à partir de données cliniques et synthétiques , permettant ainsi la mise en place de systèmes d'alerte précoce qui s'adaptent aux valeurs de référence spécifiques à chaque patient. Au-delà de la surveillance, ils contribuent à la découverte de connaissances dans les essais cliniques en identifiant des tendances temporelles subtiles au sein de vastes ensembles de données.
Énergie
Les systèmes énergétiques génèrent des séries temporelles à partir de capteurs et de compteurs. Contrairement aux méthodes traditionnelles qui supposent des variations saisonnières fixes, les modèles TSFM prennent en compte les conditions variables telles que la production d'énergie renouvelable.
Ces systèmes combinent les historiques de consommation avec des variables exogènes telles que la température et la vitesse du vent, produisant ainsi des prévisions probabilistes de séries temporelles pour l'équilibrage du réseau. L'efficacité de calcul est ici primordiale, car des mélangeurs temporels de petite taille permettent d'obtenir des prévisions localisées à moindre coût. Pour en savoir plus, consultez la section consacrée aux applications de l'IA en matière de développement durable .
Transport
Les réseaux de transport dépendent de la prévision du trafic et de la logistique . Les anciens modèles d'apprentissage automatique nécessitaient un entraînement spécifique pour chaque ville ou itinéraire. Les modèles TSFM, entraînés sur des ensembles de données variés, peuvent être transférés d'une région à l'autre avec un minimum d'adaptation.
Parmi les exemples concrets, citons la prévision des embouteillages dans les zones urbaines et l'optimisation des itinéraires de livraison en logistique.
Fabrication
Dans le secteur manufacturier , la maintenance prédictive est un cas d'usage essentiel. Les modèles de régression traditionnels, entraînés sur des données issues d'une seule machine, manquent souvent de transférabilité. Les modèles TSFM prennent en compte les dépendances à long terme entre les capteurs et les cycles de production, améliorant ainsi la détection précoce des pannes.
Une fois optimisées grâce à des données spécifiques à l'installation, elles permettent d'améliorer les performances en réduisant les temps d'arrêt et en garantissant le contrôle qualité.
Météo et climat
La modélisation météorologique et climatique exige la gestion de multiples horizons de prévision, allant de quelques heures à plusieurs années. Les modèles statistiques et les méthodes traditionnelles peinent souvent à saisir la variabilité multi-échelle.
Les modèles de séries temporelles (TSFM), grâce à leur architecture de transformateurs et à leurs mécanismes d'auto-attention, peuvent modéliser les dépendances locales et globales. On peut citer comme exemples les prévisions de précipitations à court terme et les prévisions des cycles climatiques. La prévision probabiliste de séries temporelles permet de quantifier l'incertitude de ces résultats.
Informatique urbaine
Les villes intelligentes s'appuient sur des données de séries temporelles issues des transports, des services publics et des infrastructures. Les modèles existants sont actuellement cloisonnés par tâche. Les TSFM (Transportation-Streaming Models) les unifient au sein d'un modèle unique déployable dans différents domaines et adaptable avec un minimum de données d'apprentissage supplémentaires.
On peut citer comme exemples l'optimisation de la consommation d'énergie dans les bâtiments, la prévision des embouteillages et la gestion des systèmes d'approvisionnement en eau.
Avantages des modèles de base de séries temporelles
Les principaux avantages des TSFM par rapport aux modèles existants sont les suivants :
- Performances sans exemple préalable : obtenir d’excellents résultats sur des ensembles de données inédits sans adaptation fine.
- Réduction des coûts de formation : réutilisation d’un seul modèle dans différents domaines au lieu de la formation de modèles distincts.
- Généralisation du domaine : un modèle s’adapte à des contextes variés grâce à l’apprentissage par transfert et aux apprenants à partir de quelques exemples.
- Efficacité de calcul : Plus compact que les grands modèles de base en NLP tout en offrant des performances améliorées.
- Polyvalence : Gestion de divers horizons de prévision, granularités et longueurs de patchs de sortie.
Défis
Défis techniques
Pénurie de données d'entraînement : contrairement aux données textuelles pour les modèles de langage, les jeux de données publics disponibles pour les séries temporelles sont plus restreints. Cependant, il existe désormais des jeux de données comme LOTSA (Large-scale Open Time Series Archive) qui contiennent des milliards d'observations dans de multiples domaines. 6
Absence de structure universelle : aucun équivalent de vocabulaire ou de grammaire.
Dynamiques temporelles complexes : Diversité des schémas et des histoires de saisonnalité.
Spécificité du domaine : Différents taux d’échantillonnage et comportements selon les secteurs d’activité.
Défis pratiques
- Problèmes de confidentialité liés à la collecte de données diversifiées.
- Exigences élevées en matière d'efficacité de calcul pour l'entraînement des modèles.
- Changement de répartition dans les environnements en évolution.
- Interprétabilité et transparence dans les applications concrètes.
- Intégration aux systèmes existants et aux flux de travail associés.
Modèles de base de séries temporelles : facteurs de développement et de conception
Modèles de base de séries temporelles : résultats et facteurs opérationnels
Différences par rapport aux autres modèles de fondation
Les TSFM divergent des modèles de langage et des modèles de vision fondamentaux de plusieurs manières :
- Modalité des données : Données numériques séquentielles plutôt que du texte ou des images.
- Architecture : Architectures adaptées basées sur des transformateurs avec correction et normalisation (par exemple, normalisation d'instance réversible).
- Approche de formation : Incorporer à la fois des données synthétiques et des corpus du monde réel, comme les ensembles de données de recherche Google.
- Échelle : Plus petite que les grands modèles de base, elle fournit néanmoins des prévisions ponctuelles de haute qualité.
- Évaluation : Évaluation comparative sur les tâches de prévision, la détection d'anomalies et l'imputation plutôt que sur la compréhension de texte.
Conclusion
Les modèles de base pour les séries temporelles marquent une rupture avec les modèles statistiques spécifiques à un domaine, les modèles de régression et l'apprentissage profond supervisé, au profit d'un modèle unifié pour les séries temporelles. Grâce à l'application d'architectures basées sur les transformeurs et à l'utilisation de modèles pré-entraînés, ils offrent des solutions évolutives pour les prévisions, la détection d'anomalies et d'autres applications dans divers secteurs.
Bien que des défis subsistent concernant la disponibilité, l'interprétabilité et l'intégration des données d'entraînement aux flux de travail existants, les avantages des modèles de base à partir d'exemples initiaux (TSFM) en matière de prévision sans exemple, d'apprentissage par transfert et d'adaptabilité interdomaines en font une étape clé vers la prévision à usage général. À mesure que la recherche progresse et que les modèles de base open source se développent, leur adoption devrait croître tant dans le milieu universitaire que dans le monde professionnel.
Liens de référence
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires.