Unleashing The Power of Pre-Trained Language Models for Irregularly Sampled Time Series
원문 초록
Pre-trained Language Models (PLMs), such as ChatGPT, have significantly advanced the field of natural language processing. This progress has inspired a series of innovative studies that explore the adaptation of PLMs to time series analysis, intending to create a unified foundation model that addresses various time series analytical tasks. However, these efforts predominantly focus on Regularly Sampled Time Series (RSTS), neglecting the unique challenges posed by Irregularly Sampled Time Series (ISTS), which are characterized by uneven sampling intervals and prevalent missing data. To bridge this gap, this work takes the first step in exploring the potential of PLMs for ISTS analysis. We begin by investigating the effect of various methods for representing ISTS, aiming to maximize the efficacy of PLMs in the analysis. Furthermore, we propose a unified PLM-based framework, named ISTS-PLM, to address diverse ISTS analytical tasks. It integrates novel time-aware and variable-aware PLMs tailored to tackle the intractable intra- and inter-time series modeling in ISTS. Finally, extensive experiments on a comprehensive benchmark demonstrate that the ISTS-PLM, utilizing a structured and effective series-based representation for ISTS, consistently achieves state-of-the-art performance across various analytical tasks, such as classification, interpolation, extrapolation, few-shot and zero-shot learning scenarios, spanning scientific domains like healthcare, biomechanics, and climate science.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
평가 선택이 예측 리더보드를 결정한다: 실제 운영 마켓플레이스 패널로부터의 증거
Evaluation Choices Decide the Forecasting Leaderboard: Evidence from a Production Marketplace Panel
예측 벤치마크는 어떤 방법이 이겼는지를 보고한다. 우리는 그 답이 모델을 학습하기도 전에 평가자의 선택에 의해 정해진다는 점을 보인다. 우리는 2025년대의 시계열 파운데이션 모델(time series foundation model) 6종을 포함한 24가지 예측 방법과 교과서적 기준 방법 하나를, 67개월에 걸친 1,887개 기업 고객으로 구성된 실제 운영 마켓플레이스 패널에서 벤치마크한다. 데이터, 예측 구간(horizon), 기간은 고정하고 평가 설계만 변화시킨다. 세 가지 선택은 각각 핵심 결론을 뒤집거나 무효화한다. 분석 단위를 시장 전체에서 개별 고객으로 바꾸면, 우리의 운영 기준선(baseline)은 19개 중 2위이며 어떤 방법에도 지지 않던 상태에서 25개 중 23위로 이동한다. 이 경우 24개 도전 방법 중 19개가 기준선을 능가한다. 오차를 얼마나 풀링(pooling)하는지에 따라 Diebold-Mariano 검정이 무언가를 발견하는지 여부 자체가 달라진다. 점 예측 대신 예측 구간을 평가하면 순위가 거의 완전히 뒤바뀌며, 간헐적 수요(intermittent demand)에서 순위 상관은 0.02이다. 이어서 실제 배포된 시스템이 이로부터 무엇을 얻는지 측정한다. 이 시스템의 선택 규칙은 아무것도 하지 않는 경우와 사후적 이점(hindsight)을 활용해 선택하는 경우 사이의 거리 중 55%를 확보한다. 이러한 순위 역전은 우리 데이터만의 특이한 현상이 아니다. 우리는 공개된 프로토콜을 수정 없이 공개 M5 소매 패널에서 실행했다. 동일한 형태의 기준선은 시장 전체 수준에서는 1위, 시계열별 수준에서는 모든 방법에 뒤지는 꼴찌를 기록하며, 재현 실행한 선택 규칙은 그곳에서 동일한 하한-상한 간 거리의 64.7%를 메운다. 그 후보군에 제로샷(zero-shot) 파운데이션 모델 5종을 추가하면 전체 수준의 우승자는 바뀌지만 이러한 양상은 바뀌지 않는다. 예측 구간의 사각지대 역시 그대로 나타나, 컨포멀(conformal) 구간은 가장 변동이 심한 품목에서 커버리지가 가장 크게 부족하다. 우리 패널을 점점 더 작은 그룹으로 나누면 이 대비는 하나의 곡선이 되며, 세분화 수준이 높아질 때마다 기준선의 순위는 악화된다. 우리는 평가 프로토콜을 공개하며, 발견하기 전까지 결과를 뒤집어 놓았던 우리 자신의 오류도 함께 보고한다.
A Better Alternative to Piecewise Linear Time Series Segmentation
HARN: 이벤트 기반 다중 시간대 예측을 위한 계층적 연상 공명 네트워크
HARN: Hierarchical Associative Resonance Network for Event-Driven Multi-Timeframe Forecasting
학습 가능한 분해 및 다양체 역학을 활용한 쌍곡 시계열 예측
Hyperbolic Time Series Forecasting with Learnable Decomposition and Manifold Dynamics
다중 스케일(multiscale) 구조는 시계열 예측의 핵심입니다. 시간 신호는 천천히 변화하는 트렌드, 중간 수준의 계절적 패턴, 그리고 고주파수 잔차를 포함합니다. 기존 예측 모델은 이러한 다중 스케일 구조를 유클리드 공간에서 모델링하여, 구성 요소들 사이에 유도되는 순서를 표현하지 못합니다. 본 연구에서는 종속 분해(cascaded decomposition)가 구성 요소들을 고유 주파수에 따라 정렬하여 자연스러운 주파수 계층을 형성함을 확인했습니다. 이 계층 구조는 반경에 따라 표현 용량이 증가하고 중첩된 계층 구조를 자연스럽게 수용하는 쌍곡 공간(hyperbolic space)의 지수적 부피 증가 특성과 잘 부합합니다. 이에 따라 본 연구에서는 쌍곡 공간에서 작동하는 최초의 장기 시계열 예측(LTSF) 프레임워크인 HyperForecast를 제안합니다. HyperForecast는 원점 근처의 저주파수 성분부터 경계 근처의 고주파수 성분에 이르기까지 반지름 거리가 이러한 중첩 구조를 포착하도록, 분해된 시간 구간을 푸앵카레 공(Poincaré ball) 위에 임베딩합니다. 또한 측지선 속도(geodesic velocity)를 두 가지 다양체 역학(manifold dynamics) 변형을 통해 모델링합니다: (a) 푸앵카레 잔차 역학을 통한 자기회귀 예측, (b) 모든 미래 구간을 병렬로 예측하는 비자기회귀 예측입니다. HyperForecast는 11개 장기 예측 벤치마크 중 9개에서 기존 및 최고 수준(SOTA)의 베이스라인 모델을 일관되게 능가하며, 긴 예측 구간에서 평균 제곱 오차(MSE)를 최대 58%까지 낮췄습니다. 추가 분석을 통해 학습된 반경 임베딩이 주파수 계층을 성공적으로 복원하며, 쌍곡 기하학이 예측 성능에 실질적으로 기여함을 밝혔습니다.
하나가 다른 하나로 이어진다: 시계열 인과 발견의 핵심 요소
One Thing Leads to Another: The Essentials of Time Series Causal Discovery
시계열 인과 발견(time series causal discovery) --- 시계열들 간의 인과관계를 탐지하는 과정 --- 은 반세기도 더 전의 신호 처리(signal processing) 연구에 그 뿌리를 두고 있다. 이후 이 분야는 활발하고 폭넓은 관심을 받아왔으며, 통계학, 동역학계(dynamical systems), 머신러닝 등 여러 분야에서 서로 다른 형태로 발전해왔다. 이처럼 파편화되어 끊임없이 변화하는 연구 지형에 처음 발을 들이는 것은 부담스러울 수 있다. 본 튜토리얼은 여러 연구 공동체에 걸친 시계열 인과 발견에 대한 통합적인 개요를 제공한다. 우리는 현대의 발견 방법들이 기반으로 삼는 핵심 원리들을 소개하고, 그 한계와 가정들을 논의한다. 또한 발견 방법들이 어떻게 평가, 벤치마크, 파인튜닝(fine-tuning)되는지도 논의한다. 더 나아가 시계열에 대한 인과 발견이 농업 및 지구과학, 헬스케어, 그리고 인공지능 시스템에서의 다운스트림 작업(downstream task)에 어떻게 점점 더 중요해지고 있는지를 논의한다. 우리는 본 튜토리얼이 최근 쏟아지는 인과성(causality) 연구들을 탐색하는 데 유용한 자료가 될 뿐만 아니라, 신호 처리 분야의 독자들이 인과 문제에 기여하도록 초대하는 역할을 할 것이라고 믿는다. 독자들에게 추가적인 도움을 주기 위해, 우리는 유용한 코드 패키지와 자료들을 연결해주는 동반 저장소(companion repository)를 https://github.com/CHAI-UK/Awesome-Time-Series-Causal-Discovery 에서 운영하고 있다.
공변량 기반 시계열 파운데이션 모델에서의 캘린더 특성 인코딩에 관하여
On the Encoding of Calendar Features in Covariate-Informed Time Series Foundation Models
시계열 파운데이션 모델(TSFM)은 점점 더 공변량 지원을 제공하고 있으며, 캘린더 정보는 모든 시점에서 이용 가능하다는 점에서 실제로 가장 흔한 유형의 범주형 공변량이다. 그러나 이러한 특성이 어떻게 인코딩되는지는 사전학습된 모델이 추론 시점에 남겨둔 몇 가지 설계 선택 중 하나임에도 불구하고, 연구 대상이 아니라 구현상의 세부사항으로 취급되는 경우가 많다. 본 연구에서는 정보가 모델에 전달되는 방식이 TSFM의 예측 정확도에 상당한 영향을 미친다는 것을 보인다. 이를 위해 우리는 세 가지 전통적인 타겟 비의존적(target-agnostic) 표현(순서형, 원-핫, 주기형)과 네 가지 타겟 인코딩을 포함한 일곱 가지 캘린더 인코딩을, 여러 도메인의 9개 데이터셋에 대해 네 가지 최신 TSFM을 대상으로 제로샷 롤링 평가에서 체계적으로 비교한다. 이 9개 데이터셋은 주말과 공휴일과 같은 사회적 활동의 영향을 받으므로, 캘린더 정보가 예측에 특히 중요하다. 우리는 인코딩 선택이 모든 모델에서 예측 정확도에 영향을 미치며, 단일 모델 내에서 비공휴일에는 최대 9.9%, 공휴일에는 최대 83%의 MASE 차이가 발생함을 확인했다. 효과와 활용도는 모델 간에 상당히 다르다. 개선은 주로 공휴일 주변에 집중되는데, 이는 캘린더 정보가 타겟 이력(target history)으로부터는 얻을 수 없는 신호를 제공하기 때문이며, 일부 모델-인코딩 조합은 비공휴일 예측도 개선시킨다. SHAP 기반 기여도 분석은 자기회귀 성분에 대한 공변량의 기여를 규명하고, 일부 모델-인코딩 조합이 성능을 저하시키는 이유를 설명한다. 우리의 연구 결과는 공변량 기반 TSFM을 위한 현재의 벤치마크가 고정된 인코딩 전략을 강제함으로써 모델 비교를 왜곡할 수 있음을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.