Modelos básicos de series temporales: casos de uso y beneficios
Los modelos fundamentales de series temporales (TSFM, por sus siglas en inglés) se basan en los avances de los modelos fundamentales del procesamiento del lenguaje natural y la visión artificial. Mediante arquitecturas basadas en transformadores y grandes conjuntos de datos de entrenamiento, logran un rendimiento óptimo sin necesidad de ejemplos previos y se adaptan a diversos sectores como las finanzas, el comercio minorista, la energía y la sanidad.
Descubra la arquitectura, los casos de uso, la adopción en las industrias, los beneficios, los desafíos y las comparaciones de los modelos básicos de series temporales con los modelos existentes:
¿Qué son los modelos fundamentales de series temporales?
Los modelos fundamentales de series temporales (TSFM, por sus siglas en inglés) son modelos preentrenados a gran escala diseñados para manejar datos de series temporales en diversos dominios y aplicaciones.
Inspirados por el éxito de los modelos fundamentales en el procesamiento del lenguaje natural (PLN) y la visión por computadora , los TSFM extienden el paradigma de representación de los modelos fundamentales a la predicción y el análisis secuencial. Los TSFM más destacados son:
Amazon Chronos-2 es un modelo que solo incluye un codificador, derivado de la arquitectura del codificador T5, y alcanzó decenas de millones de descargas de Hugging Face. 1
Salesforce Moirai-2 utiliza una arquitectura transformadora solo con decodificador entrenada en el conjunto de datos LOTSA de 27 mil millones de observaciones.
El reloj de sol desarrollado por investigadores de la Universidad de Tsinghua ha obtenido resultados líderes en el mercado con el conjunto de datos TimeBench.
TimesFM-2.5
TimesFM-2.5 es el modelo más reciente de Google en la serie TimesFM. Es un modelo preentrenado con aproximadamente 200 millones de parámetros y una longitud de contexto de 16k, entrenado con un corpus de datos de series temporales del mundo real. 2 En comparación con los grandes modelos de lenguaje ( LLM ), ofrece un tamaño compacto, una inferencia rápida y se centra en datos de series temporales.
Arquitectura y formación
TimesFM toma prestada la arquitectura de transformador solo decodificador de los modelos de lenguaje: capas apiladas de autoatención causal y de retroalimentación generan la siguiente salida condicionada únicamente al contexto pasado.
A diferencia del texto, el modelo representa una secuencia como parches de puntos temporales contiguos; cada parche se integra (mediante un bloque residual MLP y codificaciones posicionales) y se trata como un token. Una decisión clave de diseño es predecir una longitud de parche de salida mayor que la del parche de entrada, lo que reduce los pasos iterativos en la inferencia y limita la acumulación de errores en horizontes temporales largos.
Para el entrenamiento del modelo, Google combina datos sintéticos (para enseñar la “gramática” temporal básica) con un conjunto de datos amplio y diverso de series reales (por ejemplo, Google Tendencias y visitas a páginas de Wikipedia) para mejorar la transferencia. La escala total de preentrenamiento es del orden de 100 mil millones de puntos temporales.
Figura 1: Gráfico que muestra la arquitectura de TimesFM. 3
Evaluación y resultados
Google evaluó TimesFM en modo de entrenamiento sin entrenamiento previo en conjuntos de datos públicos. En el Archivo de Pronósticos de Monash, TimesFM supera a la mayoría de los modelos estadísticos (por ejemplo, ARIMA, ETS) e iguala o supera a varios modelos de referencia de aprendizaje profundo entrenados con la serie objetivo.
En tareas de largo plazo (por ejemplo, conjuntos de datos ETT), la precisión de TimesFM sin entrenamiento previo rivaliza con las líneas base supervisadas (por ejemplo, PatchTST entrenado por conjunto de datos) y supera a los pronosticadores LLM basados en datos instantáneos. Las métricas incluyen el MAE escalado y resúmenes de la media geométrica en todos los conjuntos de datos. 4
Características clave y arquitectura de los TSFM
La arquitectura Transformer de TSFM utiliza autoatención, conexiones residuales y capas lineales para modelar dependencias de largo alcance y patrones estacionales. Los parches de entrada se transforman en incrustaciones mediante un perceptrón multicapa, mientras que las codificaciones posicionales preservan el orden temporal.
En comparación con otros modelos básicos, estas arquitecturas están adaptadas para tareas de predicción, en lugar de para el procesamiento de texto o imágenes.
Figura 2: Diagrama que muestra diferentes técnicas de adaptación. 5
¿Cuáles son los principales casos de uso?
Pronóstico
La previsión implica predecir puntos futuros en una serie temporal a partir de patrones históricos. Los modelos TSFM abordan esto generando pronósticos puntuales o resultados de pronósticos de series temporales probabilísticas, según los requisitos.
A diferencia de los modelos de pronóstico de series temporales univariadas o los modelos estadísticos, integran múltiples señales, incluidas variables exógenas como el clima o las promociones. Esta flexibilidad los hace idóneos para la planificación de la demanda minorista , el pronóstico de la carga energética y el análisis de los mercados financieros .
Clasificación
En la clasificación, el objetivo es etiquetar o categorizar patrones dentro de una base de serie. Los TSFM utilizan modelos basados en transformadores para reconocer estructuras características, como arritmias en datos médicos o picos de demanda inusuales en el sector minorista.
Imputación
La imputación rellena los huecos en las secuencias faltantes. Los modelos TSFM reconstruyen los intervalos faltantes aprovechando los patrones aprendidos de diversos conjuntos de datos durante el entrenamiento unificado.
A diferencia de la interpolación simple, conservan la coherencia con la estacionalidad y las tendencias. Entre sus aplicaciones se incluye la cumplimentación de lagunas en los registros de consumo energético o en los datos de monitorización médica, donde la información faltante puede afectar a las tareas de previsión posteriores.
detección Anomaly
Los TSFM identifican las desviaciones de los patrones esperados comparando las señales actuales con su representación aprendida del comportamiento normal.
Su capacidad de generalización entre dominios mejora el rendimiento en pruebas de aprendizaje automático, incluso en casos donde las anomalías son poco frecuentes. Esto es relevante en la detección de fraudes, el mantenimiento predictivo y la monitorización de la ciberseguridad . En comparación con trabajos anteriores sobre detección de anomalías, los modelos TSFM integran la predicción de series temporales con la clasificación, lo que proporciona una detección sensible al contexto.
Industrias que adoptan TSFM
Minorista
Los minoristas dependen en gran medida de los modelos de previsión para la gestión de inventarios y la planificación de ventas .
Los modelos estadísticos tradicionales a menudo no logran capturar influencias externas como días festivos, ascensos o cambios económicos. Los modelos TSFM incorporan variables exógenas y se adaptan mediante ajustes de pocos datos.
Por ejemplo, un minorista global puede aplicar un modelo entrenado con un conjunto de datos diverso y obtener predicciones fiables en múltiples regiones.
Finanzas
Los sistemas financieros requieren tanto proyecciones a futuro como detección de anomalías. Los modelos de regresión o los modelos de aprendizaje profundo ajustados para mercados específicos suelen tener dificultades con los cambios estructurales.
Los modelos TSFM proporcionan pronósticos de ejecución inmediata para nuevos instrumentos y se adaptan a la volatilidad mediante el aprendizaje por transferencia. Entre sus aplicaciones se incluyen la previsión de precios de acciones, la modelización del riesgo de cartera y la detección de fraudes.
Cuidado de la salud
El sector sanitario genera datos continuos de series temporales a partir de dispositivos de monitorización. Los métodos tradicionales de detección de anomalías en constantes vitales se basan en umbrales fijos. En cambio, los modelos de series temporales aprenden tanto de datos clínicos como sintéticos , lo que permite crear sistemas de alerta temprana que se adaptan a los valores basales específicos de cada paciente. Además de la monitorización, facilitan el descubrimiento de conocimiento en ensayos clínicos de fármacos al identificar patrones temporales sutiles en grandes conjuntos de datos.
Energía
Los sistemas energéticos generan series temporales a partir de sensores y medidores. A diferencia de los métodos tradicionales que asumen patrones estacionales fijos, los sistemas de medición de series temporales (TSFM) manejan condiciones variables, como la generación de energía renovable.
Combinan historiales de consumo con variables exógenas como la temperatura y la velocidad del viento, generando pronósticos probabilísticos de series temporales para el equilibrio de la red eléctrica. La eficiencia computacional es fundamental, ya que los mezcladores temporales de pequeño tamaño proporcionan predicciones localizadas a menor coste. Explore las aplicaciones de IA para la sostenibilidad para obtener más información.
Transporte
Las redes de transporte dependen de la previsión del flujo de tráfico y la logística . Los modelos de aprendizaje automático anteriores requerían un entrenamiento independiente para cada ciudad o ruta. Los modelos TSFM entrenados con diversos conjuntos de datos pueden transferirse entre regiones con una mínima adaptación.
Algunos ejemplos reales incluyen la previsión de la congestión en zonas urbanas y la optimización de las rutas de reparto en logística.
Fabricación
En la fabricación , el mantenimiento predictivo es un caso de uso fundamental. Los modelos de regresión tradicionales, entrenados con datos de una sola máquina, suelen carecer de transferibilidad. Los modelos TSFM gestionan las dependencias a largo plazo entre sensores y ciclos de producción, mejorando la detección temprana de fallos.
Cuando se ajustan con precisión utilizando datos específicos de las instalaciones, logran un rendimiento mejorado al reducir el tiempo de inactividad y garantizar el control de calidad.
Tiempo y clima
La modelización meteorológica y climática requiere gestionar múltiples horizontes de pronóstico, desde horas hasta años. Los modelos estadísticos y los métodos tradicionales a menudo no logran capturar la variabilidad a múltiples escalas.
Los modelos TSFM, gracias a su arquitectura de transformadores y mecanismos de autoatención, pueden modelar dependencias tanto locales como globales. Algunos ejemplos incluyen la predicción de precipitaciones a corto plazo y las predicciones del ciclo climático. La predicción probabilística de series temporales ayuda a cuantificar la incertidumbre en estos resultados.
computación urbana
Las ciudades inteligentes dependen de datos de series temporales de transporte, servicios públicos e infraestructura. Los modelos existentes están actualmente aislados por tareas. Los modelos de series temporales (TSFM) los unifican bajo un único modelo que puede implementarse en diferentes ámbitos, adaptándose con un mínimo de datos de entrenamiento adicionales.
Algunos ejemplos son la optimización del consumo energético en edificios, la predicción de la congestión del tráfico y la gestión de los sistemas de suministro de agua.
Beneficios de los modelos fundamentales de series temporales
Las principales ventajas de los TSFM en comparación con los modelos existentes incluyen:
- Rendimiento sin necesidad de entrenamiento previo: Ofrece resultados sólidos en conjuntos de datos no vistos sin una adaptación finamente ajustada.
- Costes de formación reducidos: Reutilización de un mismo modelo en diferentes dominios en lugar de entrenar modelos separados.
- Generalización de dominio: Un modelo se adapta a diversos contextos mediante el aprendizaje por transferencia y el uso de algoritmos de aprendizaje con pocos ejemplos.
- Eficiencia computacional: Más pequeño que los grandes modelos base en PLN, a la vez que ofrece un rendimiento mejorado.
- Versatilidad: Permite gestionar diversos horizontes de previsión, niveles de granularidad y longitudes de parches de salida.
Desafíos
Desafíos técnicos
Escasez de datos de entrenamiento: A diferencia del texto para modelos de lenguaje, los conjuntos de datos públicos disponibles para series temporales son más reducidos. Sin embargo, actualmente existen conjuntos de datos como Large-scale Open Time Series Archive (LOTSA) con miles de millones de observaciones en múltiples dominios. 6
Falta de estructura universal: No existe un equivalente en vocabulario o gramática.
Dinámicas temporales complejas: diversos patrones e historias de estacionalidad.
Especificidad del dominio: Diferentes tasas de muestreo y comportamientos en distintos sectores.
Desafíos prácticos
- Preocupaciones sobre la privacidad en la recopilación de conjuntos de datos diversos.
- Requisitos de alta eficiencia computacional para el entrenamiento de modelos.
- Cambios en la distribución en entornos cambiantes.
- Interpretabilidad y transparencia en aplicaciones del mundo real.
- Integración en sistemas heredados y flujos de trabajo relacionados.
Modelos fundamentales de series temporales: factores de desarrollo y diseño
Modelos fundamentales de series temporales: resultados y factores operativos
Diferencias con otros modelos de fundación
Los TSFM divergen de los modelos de lenguaje y de los modelos fundamentales de visión en varios aspectos:
- Modalidad de datos: Datos numéricos secuenciales en lugar de texto o imágenes.
- Arquitectura: Arquitecturas adaptadas basadas en transformadores con parcheo y normalización (por ejemplo, normalización de instancias reversible).
- Enfoque de entrenamiento: Incorporar tanto datos sintéticos como corpus del mundo real, como los conjuntos de datos de investigación Google.
- Escala: De menor tamaño que los grandes modelos de base, pero que ofrece pronósticos puntuales de alta calidad.
- Evaluación: Se comparó su rendimiento con tareas de predicción, detección de anomalías e imputación, en lugar de con la comprensión de texto.
Conclusión
Los modelos fundamentales para series temporales representan un cambio con respecto a los modelos estadísticos específicos de dominio, los modelos de regresión y el aprendizaje profundo supervisado, hacia un modelo unificado para series temporales. Mediante la aplicación de arquitecturas basadas en transformadores y el aprovechamiento de modelos preentrenados, ofrecen soluciones escalables para tareas de pronóstico, detección de anomalías y otras aplicaciones en diversos sectores.
Si bien persisten desafíos en cuanto a la disponibilidad, la interpretabilidad y la integración de los datos de entrenamiento en los flujos de trabajo existentes, las ventajas de la predicción sin datos de entrenamiento, el aprendizaje por transferencia y la adaptabilidad entre dominios posicionan a los modelos TSFM como un paso clave hacia la predicción de propósito general. A medida que avanza la investigación y se expanden los modelos de código abierto, es probable que su adopción crezca tanto en el ámbito académico como en el mundo real.
Enlaces de referencia
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios.