존재가 값에 앞선다: 시계열 예측에서 관측 존재와 진화하는 상태의 공동 모델링
Existence Precedes Value: Joint Modeling of Observational Existence and Evolving States in Time Series Forecasting
한국어 초록
실제 시계열 데이터는 센서 비활성, 전송 지연, 이벤트 기반 샘플링으로 인해 종종 매우 불완전하고 불규칙하여, 신뢰할 수 있는 예측을 근본적으로 어렵게 만듭니다. 기존 방법들은 결측치 대체 후 예측(impute-then-forecast) 파이프라인에서 Neural ODE 및 연속 시간 그래프 네트워크와 같은 연속 시간 모델로 발전해 왔습니다. 이러한 접근 방식들은 과거 불규칙성 모델링을 개선하지만, 추론(inference) 시간에 여전히 암묵적인 오라클(oracle) 가정에 의존합니다. 즉, 미래의 유효한 관측값에 대한 타임스탬프가 미리 알려져 있다고 가정합니다. 이 가정은 실용성을 제한합니다. 많은 실제 시스템에서 더 근본적인 질문은 미래 값이 무엇인지뿐만 아니라 유효한 관측이 발생할 것인지 여부이기 때문입니다. 본 논문에서는 예측을 미래 관측 가능성(observability) 추론과 값 추정의 공동 문제로 재정의하는 통합 프레임워크인 Timeflies를 제안합니다. 관측 동역학과 상태 진화 간의 상호작용을 명시적으로 모델링하기 위해, Timeflies는 관측 스트림과 값 스트림을 채택하며, 이는 신뢰도 인식 임베딩(embedding), 관측 안내 의존성 모델링, 공동 예측을 위한 세 가지 전용 모듈을 통해 결합됩니다. 또한 공용 데이터셋(dataset)의 자연스러운 결측과 실제 산업 데이터를 결합한 벤치마크인 Shadow를 구성하고, 이러한 결합된 예측 가능성을 포괄적으로 평가하기 위해 관측-값 결합 엔트로피(OVJE) 지표를 도입합니다. 광범위한 실험 결과 Timeflies가 기존 방법들보다 일관되게 우수한 성능을 보임을 확인하였으며, 이는 결측값이 있는 시계열 예측에서 미래 관측 가능성을 명시적으로 모델링하는 것의 중요성을 강조합니다. 코드와 데이터셋은 https://github.com/ant-intl/Timeflies에서 확인할 수 있습니다.
원문 초록
Real-world time series are often highly incomplete and irregular due to sensor dormancy, transmission delays, and event-driven sampling, making reliable forecasting fundamentally challenging. Existing methods have evolved from impute-then-forecast pipelines to continuous-time models such as Neural ODEs and continuous-time graph networks. While these approaches improve the modeling of historical irregularity, they still rely on an implicit oracle assumption at inference time: the timestamps of future valid observations are presumed to be known in advance. This assumption limits practical relevance, since in many real systems the more fundamental question is not only what the future value will be, but also whether a valid observation will occur at all. In this paper, we propose Timeflies, a unified framework that reformulates forecasting as a joint problem of future observability inference and value estimation. To explicitly model the interaction between observation dynamics and state evolution, Timeflies adopts an observation stream and a value stream, coupled through three dedicated modules for reliability-aware embedding, observation-guided dependency modeling, and joint prediction. We further construct Shadow, a benchmark that combines natural missingness from public datasets with real-world industrial data, and introduce the Observation-Value Joint Entropy (OVJE) metric to comprehensively evaluate this coupled predictability. Extensive experiments show that Timeflies consistently outperforms existing methods, highlighting the importance of explicitly modeling future observability in time series forecasting with missing values. Code and dataset are available in https://github.com/ant-intl/Timeflies.
요약
실제 시계열(time series) 데이터의 불완전성과 불규칙성 문제를 해결하기 위해, 미래 관측 가능성(observability)과 값 추정을 공동으로 수행하는 통합 프레임워크인 Timeflies를 제안합니다. 관측 동역학과 상태 진화 간의 상호작용을 명시적으로 모델링하는 이 방법은 기존 접근법보다 우수한 성능을 보입니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13571v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
미국 건물 계량기 데이터 기반 AI 수요 예측을 위한 검증된 데이터 온보딩: 설계, 통제 평가, 그리고 수정된 네거티브 결과
Validated Data Onboarding for AI Demand Forecasting on U.S. Building Meter Data: Design, Controlled Evaluation, and a Corrected Negative Result
전력 유틸리티(electric utility)와 그리드 운영자(grid operator)는 다음날 수요를 예측하기 위해 머신러닝 모델에 점점 더 의존하고 있으며, 이러한 모델은 일상적으로 결함이 있는 계량기 데이터로부터 학습한다: 측정값이 누락되거나, 센서가 멈추거나(freeze), 건물이 수 시간 동안 0으로 기록되거나, 단위가 100배 차이로 바뀌는 경우가 있다. 이 보고서는 모델을 학습시키기 전에 이러한 결함을 탐지하고 복구하는 데이터 온보딩(data-onboarding) 파이프라인을, 예측 시점에 실제로 사용 가능한 정보만을 이용해 제시하며, 이 파이프라인이 24시간 선행 예측(24-hour-ahead forecast)을 보호하는지를 측정하는 통제 실험(controlled experiment)을 함께 제시한다. 공개된 Building Data Genome 2 데이터셋(210,528행, 2016-2017년)에서 추출한 미국 12개 건물의 시간별 전력 데이터에서, 학습 기간의 0.10%에 영향을 미치는 시드(seeded) 처리되고 해시 로그(hash-logged)된 결함은 그래디언트 부스팅(gradient-boosting) 예측기의 오차를 86% 증가시켰다; 탐지 및 과거 데이터만을 이용한 복구(past-only repair) 이후 오차는 정상 데이터 수준으로 돌아왔다(평균 절대 스케일 오차(mean absolute scaled error) 정상 0.760, 오염 1.415, 복구 0.729이며, 학습 타깃의 93%가 보존됨). 공개된 현장 연구(field study)에 맞춰 보정된 결함 발생률(학습 행의 1.6%)에서는, 보호되지 않은 예측기의 오차가 계절성 단순(seasonal-naive) 규칙의 4.4배에 달했으며, 복구된 예측기는 다시 정상 기준선(clean baseline)과 일치했다. 동일한 패턴이 릿지 회귀(ridge regression)와 랜덤 포레스트(random forest)에서도, 그리고 1시간부터 24시간까지의 예측 구간(horizon)에서도 유지되었다. 파이프라인의 초기 버전은 자연 발생 데이터(natural data)를 과도하게 정제(over-clean)하여 예측을 25% 악화시켰다; 이 결과는 그대로 유지되며, 그 원인은 공개된 아티팩트(artifact)에서 추적되고, 이를 수정하는 건물별(per-building) 보정은 날짜가 기록된 수정안(dated amendment)으로 문서화되어 있다. 모든 수치는 고정된(pinned) 공개 입력 데이터로부터 SHA-256 검증, 84개의 자동화된 테스트, 지속적 통합(continuous integration)을 통해 재현 가능하다.
SeT-Diff: HPC 텔레메트리 및 시계열을 위한 의미 기반 파운데이션 모델
SeT-Diff: Towards Semantic Foundation Models for HPC Telemetry and Time-Series
데이터센터와 그 컴퓨트 노드는 워크로드, 환경 매개변수, 물리적 지표 간의 복잡한 상호작용을 모델링할 수 있는 정확하고 유연한 디지털 트윈이 필요하다. 현재 HPC 및 그 텔레메트리를 위한 머신러닝 접근법은 일반적으로 단일 작업에 맞춰진 익명의 고정 위치 센서 변수의 정적 부분집합에 의존한다. 결과적으로, 목표 작업이 변경되거나 센서 지표가 달라지면 이러한 모델은 더 이상 유효하지 않게 된다. 우리는 컴퓨트 노드 텔레메트리 및 시계열을 위한 최초의 파운데이션 모델인 SeT-Diff를 제안한다. 경직된 아키텍처와 달리, 우리의 확산(diffusion) 기반 접근법은 각 센서의 의미적 설명에 생성 과정을 조건화하여 시스템 역학을 데이터셋의 구조로부터 분리한다. 실제 슈퍼컴퓨터 데이터셋에 대한 실험은 재구성 작업에서 평균 절대 오차(MAE) 0.0470을 보여준다. SeT-Diff는 제로샷(zero-shot) 순열 안정성을 보이며, 센서 순서가 섞여도 정확도를 미미한 저하만으로 유지한다. 단일 사전학습 모델이 데이터 보간(imputation), 예측(forecasting), 가상 센싱(virtual sensing)을 효과적으로 수행하며 — 열 추론에서 0.033 MAE를 달성 — SeT-Diff를 HPC 시스템을 위한 효과적인 데이터 기반 디지털 트윈으로 만든다.
MissHyper: 결측 안내 하이퍼그래프 예측에서 임상 동기성 복원
MissHyper: Restoring Clinical Synchronicity in Missingness-Guided Hypergraph Forecasting
임상 불규칙 다변량 시계열은 생리학적 역학뿐 아니라 언제 무엇을 관측할지를 결정하는 측정 과정에 의해서도 형성된다. 그러나 이벤트 중심 모델에서는 동일 타임스탬프 구조가 너무 이른 시점에 평탄화될 수 있다. 같은 타임스탬프에 획득된 측정값이 고립된 노드로 임베딩되면, 이후 메시지 전달(message-passing) 계층에 이르기까지 지역적 환자 상태 문맥을 사용할 수 없게 된다. 우리는 이러한 전파 전(pre-propagation) 표현 병목을 연구하고, 메시지 전달이 시작되기 전에 동일 타임스탬프 문맥을 복원함으로써 이를 해결한다. 전파 전 동기성 복원을 갖춘 결측 안내 하이퍼그래프 예측 모델인 MissHyper를 제안한다. MissHyper는 각 이벤트에 지역적 지원 밀도(support-density) 단서를 보강하고, 동일 타임스탬프 기록을 집계하여 환자 상태 문맥을 복구하며, 결측 안내 게이트를 사용해 노드별 증거와 복구된 문맥을 적응적으로 융합한다. PhysioNet 2012, MIMIC-III, MIMIC-IV에서 MissHyper는 다단계 예측에서 일관된 성능 향상을 달성하고 강력한 하이퍼그래프 기준선을 능가한다. 이 결과는 이벤트 초기화를 개선하는 것이 하류 전파 아키텍처를 재설계하지 않고도 희소 임상 예측에 도움이 될 수 있음을 시사한다. 어블레이션(ablation)은 스냅샷 복원, 적응적 융합, 지원 밀도 인코딩이 모두 기여함을 보여주며, 희소 임상 예측에서 이벤트 초기화가 핵심 설계 축임을 가리킨다.
수문 시계열 확률적 보간 및 예측을 위한 트랜스포머 기반 확산 모델
Transformer-based Diffusion models for Hydrological Time Series Probabilistic Imputation and Forecasting
관측이 제한된 수문기상 시계열 모델링은 수계 시스템 및 수자원 모니터링, 또한 홍수나 가뭄 위험 평가에서 핵심 과제이다. 기본 프로세스의 높은 변동성과 가용 측정값의 희소성으로 인해, 전통적인 통계적 접근법은 종종 그 역학을 정확히 표현하는 데 어려움을 겪는다. 이러한 맥락에서, 심층 학습의 최근 발전은 여러 관측 지점에서 샘플링된 복잡한 시간적 프로세스의 표현과 생성을 개선할 유망한 방향을 제공한다. 본 연구는 수문학적 시계열의 시뮬레이션 및 재구성에 트랜스포머 기반 확산 모델의 적용을 조사한다. 제안된 프레임워크는 북동부 프랑스의 석회암 고원에 위치하며 숲과 경작지로 덮인 세 인접 상류 유역에 분포한 여섯 지점에서 수량과 수질의 공동 모델링에 적용된다. 해당 모델은 15년 이상 LNE 계량학 전문성과 Andra의 월별 품질 관리 협력을 통해 품질 관리되었고 센서 드리프트 및 고장이 보정된 가용 관측 데이터를 사용하여 보정 및 검증된다. 그 성능은 시계열 모델링에 일반적으로 사용되는 여러 확립된 기준선 접근법과 비교된다. 정량적 평가 지표를 사용하여 두 가지 설정—불완전한 시계열의 보간(imputation)과 향후 수문학적 조건의 예측(forecasting)—에서 제안 방법이 관측 신호의 핵심 시간적 특성을 재현하는 능력을 평가한다. 결과는 트랜스포머 기반 접근법의 효과를 뒷받침하며 수문학적 데이터에 존재하는 복잡한 패턴을 포착하고 시뮬레이션하는 능력을 강조한다. 특히 결과는 확산 모델이 예측과 보간 모두에서 가변적인 결측 데이터를 갖는 관측 설정 하에서 현실적인 시계열 분포를 효율적으로 샘플링할 수 있음을 나타낸다.
StrideDiffusion: 시계열 생성을 위한 확산 모델 가속
StrideDiffusion: Accelerating Diffusion Models for Time-series Generation
확산 모델은 시계열 생성에서 경쟁력 있는 생성기가 되었지만, 추론 시 필요한 순차적 디노이징 단계가 많아 실용적 사용이 제한된다. 기존의 빠른 샘pler는 보통 고정되거나 일반적인 타임스텝 일정을 사용하며, 시계열 확산의 독특한 특성을 간과한다: 역과정 동안 서로 다른 스펙트럴 대역이 서로 다른 속도로 진화한다는 점이다. 우리는 StrideDiffusion을 제안한다. 이는 학습 없이 스펙트럴을 인식하는 샘pler로, 대역 수준 활동에 따라 디노이징 stride를 적응적으로 선택한다. 각 단계에서 StrideDiffusion은 상대적 대역 에너지, 로그 파워 drift, 위상 속도를 모니터링하여 고주파 역학이 여전히 활성인지, 아니면 궤적이 안정적인 저주파 구조에 의해 지배되는지 판별한다. 그런 다음 빠르게 변하는 대역이 활성일 때는 세밀한 단계를, 거친 성분만 남았을 때는 더 큰 점프를 취한다. 대역별 안정성 분석은 비활성 주파수 대역이 결정론적 아핀 역 업데이트 하에서 점프 크기에 대해 선형적으로만 변함을 보여주며, 단계 크기 지표로서의 스펙트럴 활동에 대한 국소적 정당화를 제공한다. 6개의 무조건적 시계열 생성 벤치마크에서 StrideDiffusion은 500/1000 디노이징 단계 대신 14-66회의 함수 평가만 사용하여, 생성 품질을 유지하거나 개선하면서 최대 18.9배의 실측 시간 가속을 달성한다. 조건부 보간(imputation) 및 예측(forecasting)에서도 비교 가능한 예측 정확도로 5-14배의 평균 가속을 추가로 제공한다. 이러한 결과는 스펙트럴 진화가 빠른 시계열 확산 샘플링을 위한 실용적이고 원칙적인 신호를 제공함을 보여준다. 코드는 https://anonymous.4open.science/r/stridediff-ts 에서 이용 가능하다.
사후 및 모델 내 불확실성을 반영한 학습 기반 확률적 부하 예측
Learning-based Probabilistic Load Forecasting with Post-hoc and In-model Uncertainty
스마트 빌딩 부하 예측기는 종종 조밀한 다변량 고빈도 데이터로 오프라인 학습되지만, 배포 시에는 시간당 단위의 특징이 제한된 입력만 제공될 수 있다. 누락된 특징은 재구성해야 하며, 그 오류는 모델을 통해 전파될 수 있다. 이 입력 불확실성이 반영되지 않으면 예측 구간이 부정확하게 보정되어 수요 반응(demand-response) 스케줄링에 영향을 미칠 수 있다. 본 연구는 추론 입력이 재구성된 이후 불확실성을 어디에 배치해야 하는지를 검토한다. 우리는 시간 해상도를 맞추고, 사용할 수 없는 입력을 재구성하며, 인과적 특징을 도출하는 통합 1일 선행 확률 예측 프레임워크를 개발하고, 모듈식 사후 잔차 분위수 방식과 통합 모델 내 분위수 학습 방식을 비교한다. 비교에는 세 가지 중규모 심층 학습(DL) 백본—순환형, 하이브리드 순환형, 어텐션 기반 시간 융합 트랜스포머(Temporal Fusion Transformer, TFT) 모델—이 동일한 입력, 예측 시계, 전처리 규칙, 학습 예산 하에서 사용된다. 결과는 불확실성 배치가 백본에 따라 달라짐을 보여준다. 통합 분위수 학습은 TFT에서 가장 신뢰할 만하며, 라벨이 있는 테스트 기간에서 2.2-3.6% MAPE와 28-83W RMSE를 달성하고, 명목 커버리지 수준에 가장 근접한 수준에서 모듈식 구간보다 약 5배 좁은 구간을 생성한다. Diebold-Mariano 검정은 TFT 순위와 순환형 백본의 혼합적 동작을 뒷받침한다. 재구성 민감도 테스트는 재구성된 입력이 분위수 점수(QS)를 106% 증가시키지만 구간 폭은 거의 변하지 않음을 보여주며, 이는 모델이 재구성으로 인한 불확실성을 자동으로 흡수하지 않음을 나타낸다. 비DL 기준선 및 계절별 홀드아웃 주차에 대한 견고성 검증은 이 순위를 뒷받침한다. 본 연구 결과는 추론이 재구성된 입력에 의존할 때 사후 잔차 분위수의 한계를 드러낸다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.