arXiv:2305.00624

Diffusion Models for Time Series Applications: A Survey

Lequan Lin, Zhengkun Li, Ruikun Li, Xuliang Li, Junbin Gao

제출 2023-05-01

원문 초록

Diffusion models, a family of generative models based on deep learning, have become increasingly prominent in cutting-edge machine learning research. With a distinguished performance in generating samples that resemble the observed data, diffusion models are widely used in image, video, and text synthesis nowadays. In recent years, the concept of diffusion has been extended to time series applications, and many powerful models have been developed. Considering the deficiency of a methodical summary and discourse on these models, we provide this survey as an elementary resource for new researchers in this area and also an inspiration to motivate future research. For better understanding, we include an introduction about the basics of diffusion models. Except for this, we primarily focus on diffusion-based methods for time series forecasting, imputation, and generation, and present them respectively in three individual sections. We also compare different methods for the same application and highlight their connections if applicable. Lastly, we conclude the common limitation of diffusion-based methods and highlight potential future research directions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22548v1cs.AI공통 태그 Time Series, Time Series Forecasting, Imputation

SeT-Diff: HPC 텔레메트리 및 시계열을 위한 의미 기반 파운데이션 모델

SeT-Diff: Towards Semantic Foundation Models for HPC Telemetry and Time-Series

데이터센터와 그 컴퓨트 노드는 워크로드, 환경 매개변수, 물리적 지표 간의 복잡한 상호작용을 모델링할 수 있는 정확하고 유연한 디지털 트윈이 필요하다. 현재 HPC 및 그 텔레메트리를 위한 머신러닝 접근법은 일반적으로 단일 작업에 맞춰진 익명의 고정 위치 센서 변수의 정적 부분집합에 의존한다. 결과적으로, 목표 작업이 변경되거나 센서 지표가 달라지면 이러한 모델은 더 이상 유효하지 않게 된다. 우리는 컴퓨트 노드 텔레메트리 및 시계열을 위한 최초의 파운데이션 모델인 SeT-Diff를 제안한다. 경직된 아키텍처와 달리, 우리의 확산(diffusion) 기반 접근법은 각 센서의 의미적 설명에 생성 과정을 조건화하여 시스템 역학을 데이터셋의 구조로부터 분리한다. 실제 슈퍼컴퓨터 데이터셋에 대한 실험은 재구성 작업에서 평균 절대 오차(MAE) 0.0470을 보여준다. SeT-Diff는 제로샷(zero-shot) 순열 안정성을 보이며, 센서 순서가 섞여도 정확도를 미미한 저하만으로 유지한다. 단일 사전학습 모델이 데이터 보간(imputation), 예측(forecasting), 가상 센싱(virtual sensing)을 효과적으로 수행하며 — 열 추론에서 0.033 MAE를 달성 — SeT-Diff를 HPC 시스템을 위한 효과적인 데이터 기반 디지털 트윈으로 만든다.

arXiv:2607.21200v1stat.ML공통 태그 Time Series, Time Series Forecasting, Imputation

수문 시계열 확률적 보간 및 예측을 위한 트랜스포머 기반 확산 모델

Transformer-based Diffusion models for Hydrological Time Series Probabilistic Imputation and Forecasting

관측이 제한된 수문기상 시계열 모델링은 수계 시스템 및 수자원 모니터링, 또한 홍수나 가뭄 위험 평가에서 핵심 과제이다. 기본 프로세스의 높은 변동성과 가용 측정값의 희소성으로 인해, 전통적인 통계적 접근법은 종종 그 역학을 정확히 표현하는 데 어려움을 겪는다. 이러한 맥락에서, 심층 학습의 최근 발전은 여러 관측 지점에서 샘플링된 복잡한 시간적 프로세스의 표현과 생성을 개선할 유망한 방향을 제공한다. 본 연구는 수문학적 시계열의 시뮬레이션 및 재구성에 트랜스포머 기반 확산 모델의 적용을 조사한다. 제안된 프레임워크는 북동부 프랑스의 석회암 고원에 위치하며 숲과 경작지로 덮인 세 인접 상류 유역에 분포한 여섯 지점에서 수량과 수질의 공동 모델링에 적용된다. 해당 모델은 15년 이상 LNE 계량학 전문성과 Andra의 월별 품질 관리 협력을 통해 품질 관리되었고 센서 드리프트 및 고장이 보정된 가용 관측 데이터를 사용하여 보정 및 검증된다. 그 성능은 시계열 모델링에 일반적으로 사용되는 여러 확립된 기준선 접근법과 비교된다. 정량적 평가 지표를 사용하여 두 가지 설정—불완전한 시계열의 보간(imputation)과 향후 수문학적 조건의 예측(forecasting)—에서 제안 방법이 관측 신호의 핵심 시간적 특성을 재현하는 능력을 평가한다. 결과는 트랜스포머 기반 접근법의 효과를 뒷받침하며 수문학적 데이터에 존재하는 복잡한 패턴을 포착하고 시뮬레이션하는 능력을 강조한다. 특히 결과는 확산 모델이 예측과 보간 모두에서 가변적인 결측 데이터를 갖는 관측 설정 하에서 현실적인 시계열 분포를 효율적으로 샘플링할 수 있음을 나타낸다.

arXiv:2607.20545v1cs.AI공통 태그 Time Series, Time Series Forecasting, Imputation

StrideDiffusion: 시계열 생성을 위한 확산 모델 가속

StrideDiffusion: Accelerating Diffusion Models for Time-series Generation

확산 모델은 시계열 생성에서 경쟁력 있는 생성기가 되었지만, 추론 시 필요한 순차적 디노이징 단계가 많아 실용적 사용이 제한된다. 기존의 빠른 샘pler는 보통 고정되거나 일반적인 타임스텝 일정을 사용하며, 시계열 확산의 독특한 특성을 간과한다: 역과정 동안 서로 다른 스펙트럴 대역이 서로 다른 속도로 진화한다는 점이다. 우리는 StrideDiffusion을 제안한다. 이는 학습 없이 스펙트럴을 인식하는 샘pler로, 대역 수준 활동에 따라 디노이징 stride를 적응적으로 선택한다. 각 단계에서 StrideDiffusion은 상대적 대역 에너지, 로그 파워 drift, 위상 속도를 모니터링하여 고주파 역학이 여전히 활성인지, 아니면 궤적이 안정적인 저주파 구조에 의해 지배되는지 판별한다. 그런 다음 빠르게 변하는 대역이 활성일 때는 세밀한 단계를, 거친 성분만 남았을 때는 더 큰 점프를 취한다. 대역별 안정성 분석은 비활성 주파수 대역이 결정론적 아핀 역 업데이트 하에서 점프 크기에 대해 선형적으로만 변함을 보여주며, 단계 크기 지표로서의 스펙트럴 활동에 대한 국소적 정당화를 제공한다. 6개의 무조건적 시계열 생성 벤치마크에서 StrideDiffusion은 500/1000 디노이징 단계 대신 14-66회의 함수 평가만 사용하여, 생성 품질을 유지하거나 개선하면서 최대 18.9배의 실측 시간 가속을 달성한다. 조건부 보간(imputation) 및 예측(forecasting)에서도 비교 가능한 예측 정확도로 5-14배의 평균 가속을 추가로 제공한다. 이러한 결과는 스펙트럴 진화가 빠른 시계열 확산 샘플링을 위한 실용적이고 원칙적인 신호를 제공함을 보여준다. 코드는 https://anonymous.4open.science/r/stridediff-ts 에서 이용 가능하다.

arXiv:2609.26822v2cs.LG공통 태그 Time Series, Time Series Forecasting

HARN: 이벤트 기반 다중 시간대 예측을 위한 계층적 연상 공명 네트워크

HARN: Hierarchical Associative Resonance Network for Event-Driven Multi-Timeframe Forecasting

실시간 금융 예측은 오래되었거나 사용할 수 없는 정보를 사용하지 않으면서 시간 프레임 간 비동기적인 봉 완성을 동기화해야 한다. 우리는 HARN(Hierarchical Associative Resonance Network)을 소개한다. 이는 각 이벤트를 설정된 가장 세밀한 시간 프레임에 고정하고, 시간 수준 전반에 걸쳐 지속적 상태와 행렬 값 연상 메모리를 유지하는 이벤트 기반 아키텍처이다. 타임스탬프 마스킹 전이는 완성된 봉의 타임스탬프가 현재 앵커와 일치할 때만 해당 수준을 갱신하여, 비활성 표현을 보존한다. HARN은 인과적 다중 스케일 인코딩, 잔차 기반 게이트 연상 쓰기, 전수 교차 수준 공명, 순서화된 상향식 증거 집계를 통합하여 각 시간 수준에서 예측을 생성한다. 예측은 베이시스 포인트 변화로 표현되며 평가를 위해 가격 스케일로 복원된다. 우리는 주식, 외환, 금에 걸친 네 가지 자산(AAPL, EURUSD, USDCHF, XAUUSD)에서 시간순 70/15/15 분할, 32봉 룩백, 1단계 예측 구간, 세 개의 랜덤 시드를 사용하여 HARN을 평가한다. HARN은 네 자산 모두에서 평가된 단일 시간 프레임 PatchTST 및 TimeXer 기준선보다 낮은 앵커 시간 프레임 테스트 평균 절대 오차(MAE)를 얻는다. HARN의 MAE는 각각 0.508, 0.000306, 0.000263, 2.552이며, PatchTST는 2.074, 0.000759, 0.000638, 9.563, TimeXer는 2.882, 0.010838, 0.014144, 15.297을 기록한다. 이러한 기술적 비교는 입력, 목표 정식화 또는 학습 절차의 차이로부터 아키텍처의 효과를 분리하지 못한다. AAPL과 EURUSD에 대한 단일 실행 구성요소 절제 실험은 작고 비단조적인 차이를 보인다. 이 결과는 비동기 다중 시간 프레임 예측에 대한 HARN의 실현 가능성을 보여주는 한편, 상대적 이점과 구성요소 기여를 규명하기 위한 통제된 비교와 더 폭넓은 절제 실험의 필요성을 시사한다.

arXiv:2610.15760v1cs.LG공통 태그 Time Series, Time Series Forecasting

학습 가능한 분해 및 다양체 역학을 활용한 쌍곡 시계열 예측

Hyperbolic Time Series Forecasting with Learnable Decomposition and Manifold Dynamics

다중 스케일(multiscale) 구조는 시계열 예측의 핵심입니다. 시간 신호는 천천히 변화하는 트렌드, 중간 수준의 계절적 패턴, 그리고 고주파수 잔차를 포함합니다. 기존 예측 모델은 이러한 다중 스케일 구조를 유클리드 공간에서 모델링하여, 구성 요소들 사이에 유도되는 순서를 표현하지 못합니다. 본 연구에서는 종속 분해(cascaded decomposition)가 구성 요소들을 고유 주파수에 따라 정렬하여 자연스러운 주파수 계층을 형성함을 확인했습니다. 이 계층 구조는 반경에 따라 표현 용량이 증가하고 중첩된 계층 구조를 자연스럽게 수용하는 쌍곡 공간(hyperbolic space)의 지수적 부피 증가 특성과 잘 부합합니다. 이에 따라 본 연구에서는 쌍곡 공간에서 작동하는 최초의 장기 시계열 예측(LTSF) 프레임워크인 HyperForecast를 제안합니다. HyperForecast는 원점 근처의 저주파수 성분부터 경계 근처의 고주파수 성분에 이르기까지 반지름 거리가 이러한 중첩 구조를 포착하도록, 분해된 시간 구간을 푸앵카레 공(Poincaré ball) 위에 임베딩합니다. 또한 측지선 속도(geodesic velocity)를 두 가지 다양체 역학(manifold dynamics) 변형을 통해 모델링합니다: (a) 푸앵카레 잔차 역학을 통한 자기회귀 예측, (b) 모든 미래 구간을 병렬로 예측하는 비자기회귀 예측입니다. HyperForecast는 11개 장기 예측 벤치마크 중 9개에서 기존 및 최고 수준(SOTA)의 베이스라인 모델을 일관되게 능가하며, 긴 예측 구간에서 평균 제곱 오차(MSE)를 최대 58%까지 낮췄습니다. 추가 분석을 통해 학습된 반경 임베딩이 주파수 계층을 성공적으로 복원하며, 쌍곡 기하학이 예측 성능에 실질적으로 기여함을 밝혔습니다.

arXiv:2610.10697v1quant-ph공통 태그 Time Series, Time Series Forecasting

양자 혼돈 역학을 위한 머신러닝에서의 선형성 또는 비선형성에 대하여

On linearity or non-linearity in machine learning for quantum chaotic dynamics

시간 진화 동안 엔탱글먼트(entanglement, 양자 얽힘)가 급격히 축적되고 공간적으로 확산되기 때문에, 혼돈 양자 다체 역학(chaotic quantum many-body dynamics)을 정확하게 시뮬레이션하는 것은 고전적 계산 방식에 여전히 주요한 난제로 남아 있습니다. 이는 머신러닝이 양자 역학을 예측하기 위한 효과적인 대안을 제공할 수 있는지에 대한 의문을 제기합니다. 본 연구에서는 리드버그 원자 배열(Rydberg-atom arrays)로 구현 가능한 소수 큐비트 PXP 체인을 벤치마크로 사용하여, 양자 역학을 시계열 예측 문제로 정식화함으로써 이 질문을 다룹니다. 초기 상태를 변화시킴으로써 시스템은 에르고딕(ergodic) 거동부터 양자 다체 흉터 형성(quantum many-body scarring)에 이르는 동역학적 영역을 포괄하며, 질적으로 서로 다른 동역학 전반에 걸쳐 예측 모델을 테스트할 수 있는 제어된 환경을 제공합니다. 저자들은 표현력이 풍부한 비선형 트랜스포머(Transformer)와 단순 선형 예측 모델인 DLinear라는 대조적인 두 아키텍처를 비교합니다. 트랜스포머는 보다 에르고딕한 영역에서 역학을 정확하게 예측하지만, 초기 상태가 흉터 한계(scarred limit)에 가까워질수록 성능이 점진적으로 저하됩니다. 반면 DLinear는 전체 초기 상태 계열 전반에서 높은 정확도를 유지하며, 주요 편차는 전체 예측 오차에 거의 영향을 미치지 않는 작은 고주파 진동으로만 구성됩니다. 놀랍게도 이러한 결과는 복잡한 양자 다체 역학에 의해 생성된 관측 가능량을 과거 관측값에서 미래 관측값으로의 단순한 선형 매핑만으로도 높은 정확도로 예측할 수 있음을 보여줍니다. 이는 기저에 있는 양자 진화의 복잡성이 반드시 동일하게 복잡한 예측 문제로 귀결될 필요는 없음을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.