Modelos Fundamentais de Séries Temporais: Casos de Uso e Benefícios
Os modelos fundamentais de séries temporais (TSFMs, na sigla em inglês) baseiam-se em avanços em modelos fundamentais de processamento de linguagem natural e visão computacional. Utilizando arquiteturas baseadas em transformadores e dados de treinamento em larga escala, eles alcançam desempenho zero-shot e se adaptam a diversos setores, como finanças, varejo, energia e saúde.
Descubra a arquitetura, os casos de uso, a adoção em diferentes setores, os benefícios, os desafios e as comparações dos modelos de fundamentos de séries temporais com os modelos existentes:
O que são modelos de fundamentos de séries temporais?
Os modelos de base de séries temporais (TSFMs, na sigla em inglês) são modelos pré-treinados de grande escala, projetados para lidar com dados de séries temporais em diversos domínios e aplicações.
Inspirados pelo sucesso dos modelos fundamentais em processamento de linguagem natural (PLN) e visão computacional , os TSFMs estendem o paradigma de representação dos modelos fundamentais para previsão e análise sequencial. Os principais TSFMs são:
O Amazon Chronos-2 é um modelo que utiliza apenas o codificador, derivado da arquitetura do codificador T5, e alcançou dezenas de milhões de downloads no site da Hugging Face. 1
Salesforce O Moirai-2 usa uma arquitetura Transformer somente com decodificador, treinada no conjunto de dados LOTSA, que possui 27 bilhões de observações.
O Sundial , desenvolvido por pesquisadores da Universidade de Tsinghua, apresenta resultados líderes de mercado no conjunto de dados TimeBench.
TimesFM-2.5
O TimesFM-2.5 é o modelo mais recente da série TimesFM, criado por Google. Trata-se de um modelo pré-treinado com aproximadamente 200 milhões de parâmetros e 16 mil contextos, treinado em um conjunto de dados de séries temporais do mundo real. 2 Comparado com grandes modelos de linguagem ( LLMs ), ele oferece tamanho compacto, inferência rápida e foco em dados de séries temporais.
Arquitetura e formação
O TimesFM adota a arquitetura de transformador com decodificador exclusivo dos modelos de linguagem: camadas empilhadas de autoatenção causal e feedforward geram a seguinte saída condicionada apenas ao contexto passado.
Diferentemente do texto, o modelo representa uma sequência como trechos contíguos de pontos no tempo; cada trecho é incorporado (por meio de um bloco residual MLP mais codificações posicionais) e tratado como um token. Uma escolha fundamental de projeto é prever um trecho de saída com comprimento maior que o trecho de entrada, o que reduz as etapas iterativas na inferência e limita o acúmulo de erros em horizontes temporais longos.
Para o treinamento do modelo, o projeto Google combina dados sintéticos (para ensinar a “gramática” temporal básica) com um conjunto de dados amplo e diversificado de séries temporais reais (por exemplo, Tendências Google e visualizações de páginas da Wikipédia) para melhorar a transferência. A escala total do pré-treinamento é da ordem de 100 bilhões de pontos temporais.
Figura 1: Gráfico mostrando a arquitetura do TimesFM. 3
Avaliação e resultados
Google avaliou o TimesFM em modo zero-shot puro em benchmarks públicos. No Monash Forecasting Archive, o TimesFM supera a maioria dos modelos estatísticos (por exemplo, ARIMA, ETS) e iguala ou supera diversas linhas de base de aprendizado profundo treinadas na série alvo.
Em tarefas de longo prazo (por exemplo, conjuntos de dados ETT), a precisão zero-shot do TimesFM rivaliza com as linhas de base supervisionadas (por exemplo, PatchTST treinado por conjunto de dados) e supera os preditores LLM baseados em prompts. As métricas incluem MAE escalonado e resumos da média geométrica em todos os conjuntos de dados. 4
Principais características e arquitetura dos TSFMs
A arquitetura Transformer dos TSFMs utiliza autoatenção, conexões residuais e camadas lineares para modelar dependências de longo alcance e padrões de sazonalidade. Os patches de entrada são transformados em embeddings por meio de um perceptron multicamadas, enquanto as codificações posicionais preservam a ordem temporal.
Em comparação com outros modelos de fundação, essas arquiteturas são adaptadas para tarefas de previsão, em vez de processamento de texto ou imagem.
Figura 2: Diagrama mostrando diferentes técnicas de adaptação. 5
Quais são os principais casos de uso?
Previsão
A previsão envolve a predição de pontos futuros em uma série temporal com base em padrões históricos. Os TSFMs abordam isso gerando previsões pontuais ou previsões probabilísticas de séries temporais, dependendo da necessidade.
Ao contrário dos modelos de previsão de séries temporais univariadas ou dos modelos estatísticos, eles integram múltiplos sinais, incluindo variáveis exógenas como clima ou promoções. Essa flexibilidade os torna adequados para o planejamento da demanda no varejo , a previsão de carga de energia e a análise do mercado financeiro .
Classificação
Em classificação, o objetivo é rotular ou categorizar padrões dentro de uma série temporal. Os TSFMs (Modelos de Transformação de Séries Terrestres) utilizam modelos baseados em transformadores para reconhecer estruturas características, como arritmias em dados médicos ou picos de demanda incomuns no varejo.
Imputação
A imputação preenche lacunas em sequências faltantes. Os TSFMs reconstroem intervalos faltantes aproveitando padrões aprendidos a partir de diversos conjuntos de dados durante um treinamento unificado.
Ao contrário da simples interpolação, elas mantêm a consistência com a sazonalidade e as tendências. As aplicações incluem o preenchimento de lacunas em registros de consumo de energia ou dados de monitoramento médico, onde a falta de informações pode afetar as tarefas de previsão subsequentes.
Anomaly detecção
Os TSFMs identificam desvios dos padrões esperados comparando os sinais atuais com sua representação aprendida do comportamento normal.
A capacidade de generalização entre domínios melhora o desempenho de detecção de erros (zero-shot), mesmo em casos onde anomalias são raras. Isso é relevante na detecção de fraudes, manutenção preditiva e monitoramento de segurança cibernética . Comparados a trabalhos anteriores em detecção de anomalias, os TSFMs integram a previsão de séries temporais com a classificação, proporcionando detecção contextualizada.
Indústrias que adotam TSFMs
Varejo
Os varejistas dependem muito de modelos de previsão para o gerenciamento de estoque e o planejamento de vendas .
Os modelos estatísticos tradicionais muitas vezes não conseguem captar influências externas, como feriados, promoções ou oscilações econômicas. Os TSFMs incorporam variáveis exógenas e se adaptam por meio de ajustes pontuais.
Por exemplo, uma empresa varejista global pode aplicar um modelo treinado em um conjunto de dados diversificado e obter previsões confiáveis em várias regiões.
Financiar
Os sistemas financeiros exigem tanto projeções de longo prazo quanto detecção de anomalias. Modelos de regressão ou modelos de aprendizado profundo ajustados para mercados específicos geralmente têm dificuldades com mudanças estruturais.
Os TSFMs (Modelos de Previsão de Transição de Valores) fornecem previsões instantâneas para novos instrumentos e se adaptam à volatilidade por meio de aprendizado por transferência. Os casos de uso incluem previsão de preços de ações, modelagem de risco de portfólio e detecção de fraudes.
Assistência médica
Na área da saúde, são gerados dados contínuos de séries temporais a partir de dispositivos de monitoramento. As abordagens tradicionais para detecção de anomalias em sinais vitais baseiam-se em limiares fixos. Os Modelos de Fluxo de Dados Temporais (TSFMs, na sigla em inglês), por sua vez, aprendem com dados clínicos e sintéticos , possibilitando sistemas de alerta precoce que se adaptam às linhas de base específicas de cada paciente. Além do monitoramento, eles auxiliam na descoberta de conhecimento em ensaios clínicos de medicamentos , identificando padrões temporais sutis em grandes conjuntos de dados.
Energia
Os sistemas de energia geram séries temporais a partir de sensores e medidores. Ao contrário dos métodos tradicionais que assumem padrões sazonais fixos, os TSFMs (Séries Temporais de Medição) lidam com condições variáveis, como a geração de energia renovável.
Eles combinam históricos de consumo com variáveis exógenas, como temperatura e velocidade do vento, produzindo previsões probabilísticas de séries temporais para o balanceamento da rede elétrica. A eficiência computacional é relevante aqui, já que pequenos misturadores temporais fornecem previsões localizadas a um custo menor. Explore as aplicações de IA para sustentabilidade para obter mais informações.
Transporte
As redes de transporte dependem da previsão do fluxo de tráfego e da logística . Os modelos de aprendizado de máquina anteriores exigiam treinamento separado para cada cidade ou rota. Os TSFMs (Modelos de Previsão de Fluxo de Tráfego) treinados em diversos conjuntos de dados podem ser transferidos entre regiões com ajustes mínimos.
Exemplos práticos incluem a previsão de congestionamentos em áreas urbanas e a otimização de rotas de entrega na logística.
Fabricação
Na indústria , a manutenção preditiva é uma aplicação fundamental. Os modelos de regressão tradicionais, treinados com dados de máquinas individuais, muitas vezes carecem de aplicabilidade em larga escala. Os TSFMs (Modelos de Fluxo de Falhas de Sensores) lidam com dependências de longo alcance entre sensores e ciclos de produção, aprimorando a detecção precoce de falhas.
Quando ajustados com dados específicos da instalação, eles alcançam um desempenho aprimorado na redução do tempo de inatividade e na garantia do controle de qualidade.
Tempo e clima
A modelagem climática e meteorológica exige o gerenciamento de múltiplos horizontes de previsão, que variam de horas a anos. Modelos estatísticos e métodos tradicionais frequentemente falham em capturar a variabilidade multiescalar.
Os TSFMs, por meio de sua arquitetura de transformadores e mecanismos de autoatenção, podem modelar dependências tanto locais quanto globais. Exemplos incluem a previsão de precipitação a curto prazo e as previsões do ciclo climático. A previsão probabilística de séries temporais ajuda a quantificar a incerteza nesses resultados.
Computação urbana
Cidades inteligentes dependem de dados de séries temporais de transporte, serviços públicos e infraestrutura. Os modelos existentes estão atualmente isolados por tarefa. Os TSFMs unificam esses dados em um único modelo que pode ser implementado em diversos domínios, adaptando-se com o mínimo de dados de treinamento adicionais.
Exemplos incluem a otimização do uso de energia em edifícios, a previsão de congestionamentos de tráfego e a gestão de sistemas de abastecimento de água.
Benefícios dos modelos de fundação de séries temporais
As principais vantagens dos TSFMs em comparação com os modelos existentes incluem:
- Desempenho zero-shot: Oferecendo resultados sólidos em conjuntos de dados nunca vistos antes, sem necessidade de ajustes finos.
- Redução dos custos de treinamento: Reutilização de um único modelo em diferentes domínios, em vez de treinar modelos separados.
- Generalização de domínio: Um modelo se adapta a contextos variados com aprendizado por transferência e aprendizado com poucos exemplos.
- Eficiência computacional: Menor que os grandes modelos de base em PNL, oferecendo ainda assim um desempenho aprimorado.
- Versatilidade: Capacidade de lidar com diversos horizontes de previsão, granularidades e extensões de dados gerados.
Desafios
Desafios técnicos
Escassez de dados de treinamento: Ao contrário do texto para modelos de linguagem, os conjuntos de dados públicos disponíveis para séries temporais são menores. No entanto, agora existem conjuntos de dados como o Large-scale Open Time Series Archive (LOTSA), com bilhões de observações em múltiplos domínios. 6
Ausência de estrutura universal: Não há equivalentes de vocabulário ou gramática.
Dinâmica temporal complexa: diversos padrões e histórias de sazonalidade.
Especificidade de domínio: diferentes taxas e comportamentos de amostragem em diversos setores.
Desafios práticos
- Preocupações com a privacidade na coleta de conjuntos de dados diversos.
- Requisitos de alta eficiência computacional para o treinamento do modelo.
- Mudança na distribuição em ambientes em evolução.
- Interpretabilidade e transparência em aplicações do mundo real.
- Integração em sistemas legados e fluxos de trabalho relacionados.
Modelos fundamentais de séries temporais: fatores de desenvolvimento e projeto
Modelos fundamentais de séries temporais: Resultados e fatores operacionais
Diferenças em relação a outros modelos de fundação
Os TSFMs divergem dos modelos de linguagem e dos modelos fundamentais de visão de diversas maneiras:
- Modalidade dos dados: Dados numéricos sequenciais em vez de texto ou imagens.
- Arquitetura: Arquiteturas adaptadas baseadas em transformadores com aplicação de patches e normalização (por exemplo, normalização reversível de instâncias).
- Abordagem de treinamento: Incorporando dados sintéticos e corpora do mundo real, como os conjuntos de dados de pesquisa Google.
- Escala: De tamanho menor que os grandes modelos de fundação, mas oferecendo previsões pontuais de alta qualidade.
- Avaliação: Comparado em tarefas de previsão, detecção de anomalias e imputação, em vez de compreensão de texto.
Conclusão
Os modelos fundamentais de séries temporais representam uma mudança em relação aos modelos estatísticos específicos de domínio, modelos de regressão e aprendizado profundo supervisionado, em direção a um modelo unificado para séries temporais. Ao aplicar arquiteturas baseadas em transformadores e aproveitar modelos pré-treinados, eles oferecem soluções escaláveis para tarefas de previsão, detecção de anomalias e outras aplicações em diversos setores.
Embora ainda existam desafios relacionados à disponibilidade, interpretabilidade e integração de dados de treinamento em fluxos de trabalho existentes, as vantagens em previsão zero-shot, aprendizado por transferência e adaptabilidade entre domínios posicionam os TSFMs como um passo fundamental rumo à previsão de propósito geral. À medida que a pesquisa avança e os modelos de código aberto se expandem, a adoção provavelmente crescerá tanto em ambientes acadêmicos quanto no mundo real.
Links de referência
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios.