Modelli di base per le serie temporali: casi d'uso e vantaggi
I modelli di base per serie temporali (TSFM) si basano sui progressi compiuti nei modelli di base dell'elaborazione del linguaggio naturale e della visione artificiale. Utilizzando architetture basate su transformer e grandi quantità di dati di addestramento, raggiungono prestazioni ottimali e si adattano a diversi settori, come finanza, commercio al dettaglio, energia e sanità.
Scopri l'architettura, i casi d'uso, l'adozione nei vari settori, i vantaggi, le sfide e i confronti dei modelli di base per le serie temporali con i modelli esistenti:
Che cosa sono i modelli di base delle serie temporali?
I modelli di base per serie temporali (TSFM) sono modelli pre-addestrati su larga scala progettati per gestire dati di serie temporali in diversi ambiti e applicazioni.
Ispirati dal successo dei modelli di base nell'elaborazione del linguaggio naturale (NLP) e nella visione artificiale , i TSFM estendono il paradigma di rappresentazione dei modelli di base alla previsione e all'analisi sequenziale. I principali TSFM sono:
Amazon Chronos-2 è un modello esclusivamente encoder derivato dall'architettura dell'encoder T5 e ha raggiunto decine di milioni di download di Hugging Face. 1
Salesforce Moirai-2 utilizza un'architettura transformer solo decoder addestrata sul dataset LOTSA di 27 miliardi di osservazioni.
La meridiana sviluppata dai ricercatori dell'Università di Tsinghua ha ottenuto risultati leader di mercato sul dataset TimeBench.
TimesFM-2.5
TimesFM-2.5 è l'ultimo modello di Google nella serie TimesFM. Si tratta di un modello pre-addestrato con circa 200 milioni di parametri e una lunghezza del contesto di 16.000, addestrato su un corpus di punti dati di serie temporali reali. 2 Rispetto ai modelli linguistici di grandi dimensioni ( LLM ), offre dimensioni compatte, inferenza rapida e focalizzazione sui dati delle serie temporali.
Architettura e formazione
TimesFM prende in prestito l'architettura transformer con solo decodificatore dai modelli linguistici: strati di autoattenzione causale e feedforward sovrapposti generano il seguente output condizionato solo dal contesto passato.
A differenza del testo, il modello rappresenta una sequenza come patch di punti temporali contigui; ogni patch è incorporata (tramite un blocco residuo MLP più codifiche posizionali) e trattata come un token. Una scelta progettuale fondamentale è quella di prevedere una lunghezza della patch di output maggiore rispetto alla patch di input, il che riduce i passaggi iterativi in fase di inferenza e limita l'accumulo di errori su orizzonti temporali lunghi.
Per l'addestramento del modello, Google combina dati sintetici (per insegnare la "grammatica" temporale di base) con un ampio e diversificato set di dati di serie reali (ad esempio, Google Trends e visualizzazioni di pagina di Wikipedia) per migliorare il trasferimento. La scala totale di pre-addestramento è dell'ordine di 100 miliardi di punti temporali.
Figura 1: Grafico che mostra l'architettura di TimesFM. 3
Valutazione e risultati
Google ha valutato TimesFM in modalità zero-shot pura su benchmark pubblici. Sul Monash Forecasting Archive, TimesFM supera la maggior parte dei modelli statistici (ad esempio, ARIMA, ETS) e eguaglia o supera diverse basiline di deep learning addestrate sulla serie target.
Su compiti a lungo termine (ad esempio, dataset ETT), l'accuratezza zero-shot di TimesFM è paragonabile ai modelli di riferimento supervisionati (ad esempio, PatchTST addestrato per dataset) e supera i previsori LLM basati su prompt. Le metriche includono MAE scalato e riepiloghi della media geometrica su tutti i dataset. 4
Caratteristiche principali e architettura dei TSFM
L'architettura transformer dei TSFM utilizza l'autoattenzione, le connessioni residue e gli strati lineari per modellare le dipendenze a lungo raggio e i modelli di stagionalità. Le patch di input vengono trasformate tramite un percettrone multistrato in embedding, mentre le codifiche posizionali preservano l'ordine temporale.
Rispetto ad altri modelli di base, queste architetture sono adattate per attività di previsione, piuttosto che per l'elaborazione di testo o immagini.
Figura 2: Diagramma che illustra diverse tecniche di adattamento. 5
Quali sono i principali casi d'uso?
Previsioni
La previsione consiste nel prevedere punti futuri in una serie temporale a partire da modelli storici. I modelli di previsione temporale (TSFM) affrontano questo problema generando previsioni puntuali o output di previsione probabilistica di serie temporali, a seconda delle esigenze.
A differenza dei modelli di previsione di serie temporali univariate o dei modelli statistici, integrano segnali multipli, incluse variabili esogene come le condizioni meteorologiche o le promozioni. Questa flessibilità li rende adatti alla pianificazione della domanda al dettaglio , alla previsione del carico energetico e all'analisi dei mercati finanziari .
Classificazione
Nella classificazione, l'obiettivo è etichettare o categorizzare i modelli all'interno di una serie di dati. I modelli TSFM utilizzano modelli basati su trasformatori per riconoscere strutture caratteristiche come le aritmie nei dati medici o picchi di domanda insoliti nel settore della vendita al dettaglio.
Imputazione
L'imputazione colma le lacune nelle sequenze mancanti. I TSFM ricostruiscono gli intervalli mancanti sfruttando i modelli appresi da diversi set di dati durante l'addestramento unificato.
A differenza della semplice interpolazione, mantengono la coerenza con la stagionalità e le tendenze. Le applicazioni includono il riempimento delle lacune nei registri di consumo energetico o nei dati di monitoraggio medico, dove le informazioni mancanti possono influenzare le successive attività di previsione.
Anomaly rilevamento
I TSFM identificano le deviazioni dai modelli previsti confrontando i segnali attuali con la loro rappresentazione appresa del comportamento normale.
La loro capacità di generalizzare tra diversi domini migliora le prestazioni zero-shot, anche nei casi in cui le anomalie sono rare. Ciò è rilevante nel rilevamento delle frodi, nella manutenzione predittiva e nel monitoraggio della sicurezza informatica . Rispetto ai lavori precedenti sul rilevamento delle anomalie, i TSFM integrano la previsione delle serie temporali con la classificazione, fornendo un rilevamento sensibile al contesto.
Settori industriali che adottano i TSFM
Vedere al dettaglio
I rivenditori si affidano in larga misura ai modelli previsionali per la gestione delle scorte e la pianificazione delle vendite .
I modelli statistici tradizionali spesso non riescono a cogliere influenze esterne come festività, promozioni o cambiamenti economici. I modelli TSFM incorporano variabili esogene e si adattano tramite aggiustamenti a pochi passaggi.
Ad esempio, un rivenditore globale può applicare un modello addestrato su un set di dati eterogeneo e ottenere previsioni affidabili in diverse regioni.
Finanza
I sistemi finanziari richiedono sia proiezioni a lungo termine che il rilevamento delle anomalie. I modelli di regressione o i modelli di apprendimento profondo ottimizzati per mercati specifici spesso faticano a gestire i cambiamenti strutturali.
I modelli TSFM forniscono previsioni zero-shot per nuovi strumenti e si adattano alla volatilità tramite apprendimento per trasferimento. I casi d'uso includono la previsione dei prezzi azionari, la modellazione del rischio di portafoglio e il rilevamento delle frodi.
Assistenza sanitaria
Il settore sanitario produce dati continui in serie temporali provenienti da dispositivi di monitoraggio. Gli approcci tradizionali per il rilevamento di anomalie nei parametri vitali si basano su soglie fisse. I modelli di serie temporali (TSFM), invece, apprendono sia da dati clinici che sintetici , consentendo la creazione di sistemi di allerta precoce che si adattano ai parametri di riferimento specifici del paziente. Oltre al monitoraggio, supportano la scoperta di nuove conoscenze nelle sperimentazioni farmacologiche , identificando sottili modelli temporali in grandi insiemi di dati.
Energia
I sistemi energetici generano serie temporali a partire da dati provenienti da sensori e contatori. A differenza dei metodi tradizionali che presuppongono modelli stagionali fissi, i modelli TSFM gestiscono condizioni variabili come la produzione da fonti rinnovabili.
Questi sistemi combinano i dati storici di consumo con variabili esogene come la temperatura e la velocità del vento, producendo previsioni probabilistiche di serie temporali per il bilanciamento della rete elettrica. L'efficienza computazionale è fondamentale in questo contesto, poiché i piccoli miscelatori temporali forniscono previsioni localizzate a costi inferiori. Per ulteriori informazioni, esplora le applicazioni dell'IA per la sostenibilità .
Trasporti
Le reti di trasporto dipendono dalle previsioni per il flusso del traffico e la logistica . I modelli di apprendimento automatico precedenti richiedevano un addestramento separato per ogni città o percorso. I modelli TSFM addestrati su diversi set di dati possono essere trasferiti tra regioni con adattamenti minimi.
Tra gli esempi concreti si annoverano la previsione della congestione nelle aree urbane e l'ottimizzazione dei percorsi di consegna nella logistica.
Produzione
Nel settore manifatturiero , la manutenzione predittiva è un caso d'uso fondamentale. I modelli di regressione tradizionali, addestrati su dati provenienti da una singola macchina, spesso mancano di trasferibilità. I modelli TSFM gestiscono le dipendenze a lungo raggio tra sensori e cicli di produzione, migliorando l'individuazione precoce dei guasti.
Se ottimizzati con dati specifici dell'impianto, questi sistemi consentono di ottenere prestazioni migliori in termini di riduzione dei tempi di inattività e garanzia del controllo qualità.
Tempo atmosferico e clima
La modellazione meteorologica e climatica richiede la gestione di molteplici orizzonti di previsione, da ore ad anni. I modelli statistici e i metodi tradizionali spesso non riescono a cogliere la variabilità su scale multiple.
I modelli TSFM, grazie alla loro architettura a trasformatore e ai meccanismi di auto-attenzione, possono modellare dipendenze sia locali che globali. Esempi includono le previsioni a breve termine delle precipitazioni e le previsioni dei cicli climatici. La previsione probabilistica delle serie temporali aiuta a quantificare l'incertezza in questi risultati.
Informatica urbana
Le città intelligenti si basano su dati di serie temporali provenienti da trasporti, servizi pubblici e infrastrutture. I modelli esistenti sono attualmente suddivisi in compartimenti stagni per singola attività. I modelli TSFM li unificano in un unico modello che può essere implementato in diversi ambiti, adattandosi con una quantità minima di dati di addestramento aggiuntivi.
Tra gli esempi si possono citare l'ottimizzazione del consumo energetico negli edifici, la previsione della congestione del traffico e la gestione dei sistemi di approvvigionamento idrico.
Vantaggi dei modelli di base per le serie temporali
I principali vantaggi dei TSFM rispetto ai modelli esistenti includono:
- Prestazioni zero-shot: Ottenere risultati eccellenti su set di dati mai visti prima, senza necessità di adattamenti specifici.
- Riduzione dei costi di formazione: riutilizzo di un unico modello in diversi ambiti anziché addestrare modelli separati.
- Generalizzazione del dominio: un modello si adatta a contesti diversi grazie all'apprendimento per trasferimento e agli algoritmi di apprendimento con pochi esempi.
- Efficienza computazionale: modelli di base più piccoli rispetto a quelli di grandi dimensioni nell'ambito dell'elaborazione del linguaggio naturale, pur offrendo prestazioni migliori.
- Versatilità: Gestione di orizzonti di previsione, granularità e lunghezze delle patch di output differenti.
Sfide
Sfide tecniche
Scarsità di dati di addestramento: a differenza del testo per i modelli linguistici, i dataset pubblici disponibili per le serie temporali sono più piccoli. Tuttavia, ora esistono dataset come il Large-scale Open Time Series Archive (LOTSA) con miliardi di osservazioni in diversi ambiti. 6
Assenza di una struttura universale: non esiste un equivalente di vocabolario o grammatica.
Dinamiche temporali complesse: diversi modelli e andamenti della stagionalità.
Specificità del dominio: tassi di campionamento e comportamenti differenti a seconda del settore.
Sfide pratiche
- Preoccupazioni relative alla privacy nella raccolta di set di dati eterogenei.
- Requisiti di elevata efficienza computazionale per l'addestramento dei modelli.
- Cambiamenti nella distribuzione in ambienti in evoluzione.
- Interpretazione e trasparenza nelle applicazioni concrete.
- Integrazione nei sistemi legacy e nei relativi flussi di lavoro.
Modelli di base per le serie temporali: fattori di sviluppo e progettazione
Modelli di base per le serie temporali: risultati e fattori operativi
Differenze rispetto ad altri modelli di fondazione
I TSFM si discostano dai modelli linguistici e dai modelli fondazionali della visione in diversi modi:
- Modalità dei dati: dati numerici sequenziali anziché testo o immagini.
- Architettura: Architetture basate su trasformatori adattate con patching e normalizzazione (ad esempio, normalizzazione reversibile dell'istanza).
- Approccio di addestramento: incorporazione di dati sintetici e corpus reali, come i dataset di ricerca Google.
- Scala: Di dimensioni inferiori rispetto ai modelli di base più grandi, ma in grado di fornire previsioni puntuali di alta qualità.
- Valutazione: Il benchmark si basa su attività di previsione, rilevamento di anomalie e imputazione, anziché sulla comprensione del testo.
Conclusione
I modelli di base per le serie temporali rappresentano un passaggio dai modelli statistici specifici per dominio, dai modelli di regressione e dall'apprendimento profondo supervisionato verso un modello unificato per le serie temporali. Applicando architetture basate su transformer e sfruttando modelli pre-addestrati, offrono soluzioni scalabili per attività di previsione, rilevamento di anomalie e altre applicazioni in diversi settori.
Sebbene permangano delle sfide in termini di disponibilità, interpretabilità e integrazione dei dati di addestramento nei flussi di lavoro esistenti, i vantaggi offerti dalle previsioni zero-shot, dal transfer learning e dall'adattabilità tra domini diversi posizionano i TSFM come un passo fondamentale verso le previsioni di carattere generale. Con il progredire della ricerca e l'espansione dei modelli open source, è probabile che l'adozione cresca sia in ambito accademico che nel mondo reale.
Collegamenti di riferimento
Sii il primo a commentare
Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori.