시계열 예측을 위한 극단값 적응형 트랜스포머
Extreme Adaptive Transformer for Time Series Forecasting
한국어 초록
기반 데이터에 희귀하지만 중요한 극단적 사건(extreme event)이 포함된 경우 시계열 예측은 여전히 어려운 문제로 남아 있다. 이 문제는 수문학적 예측(hydrologic forecasting)에서 특히 중요한데, 유량(streamflow) 분포가 크게 치우쳐 있는 경우가 많고 극단적 피크값이 홍수 모니터링, 수자원 관리, 조기 경보 시스템에 상당한 영향을 미칠 수 있기 때문이다. 트랜스포머 기반 예측 모델은 장거리 시간적 의존성을 모델링하여 우수한 성능을 달성하였으나, 일반적으로 모든 시간 지점을 균일하게 처리하여 희귀한 극단적 패턴을 충분히 표현하지 못할 수 있다. 본 논문에서는 정상적인 사건과 극단적인 사건 모두를 포함하는 시간적 의존성을 명시적으로 모델링하도록 설계된 예측 프레임워크인 Extreme-Adaptive Transformer(Exformer)를 제안한다. Exformer는 Local, Stride, Extreme의 세 가지 희소(sparse) 구성 요소로 이루어진 극단값 적응형 어텐션 메커니즘을 도입한다. Local 및 Stride 구성 요소는 각각 단기 및 주기적 시간적 의존성을 포착하며, Extreme 구성 요소는 정상 유량 패턴과 극단 유량 패턴 사이의 사건 인식(event-aware) 의존성을 선택적으로 모델링한다. 네 개의 실제 수문학적 유량 데이터셋에 대한 실험에서 Exformer는 최신 기준 모델 대비 우수한 3일 예측 성능을 달성함을 보여준다. 본 연구의 결과는 극단값 인식 어텐션을 명시적으로 통합하면 희귀하지만 결과가 중대한 사건을 포함하는 불균형 시계열에서 트랜스포머 모델의 예측 능력이 향상됨을 보여준다.
원문 초록
Time series forecasting remains challenging when the underlying data contain rare but critical extreme events. This issue is particularly important in hydrologic forecasting, where streamflow distributions are often highly skewed and extreme peaks can have substantial impacts on flood monitoring, water resource management, and early warning systems. Although Transformer-based forecasting models have achieved strong performance by modeling long-range temporal dependencies, they typically treat all time points uniformly and may therefore underrepresent rare extreme patterns. In this paper, we propose the Extreme-Adaptive Transformer (Exformer), a forecasting framework designed to explicitly model temporal dependencies involving both normal and extreme events. Exformer introduces an extreme-adaptive attention mechanism composed of three sparse components: Local, Stride, and Extreme. The Local and Stride components capture short-term and periodic temporal dependencies, respectively, while the Extreme component selectively models event-aware dependencies between normal and extreme streamflow patterns. Experiments on four real-world hydrologic streamflow datasets show that Exformer achieves superior 3-day forecasting performance compared with state-of-the-art baselines. Our findings demonstrate that explicitly incorporating extreme-aware attention improves the forecasting capacity of Transformer models on imbalanced time series with rare but consequential events.
요약
희귀하지만 중요한 극단적 사건(extreme event)을 포함하는 수문학적 시계열 예측의 불균형 문제를 해결하기 위해, Local·Stride·Extreme 세 가지 희소 어텐션 구성 요소로 이루어진 극단값 적응형 어텐션 메커니즘을 갖춘 Exformer를 제안한다. 네 개의 실제 유량 데이터셋에서 3일 예측 기준 최신 베이스라인 대비 우수한 성능을 달성하며, 극단-정상 토큰 간 사건 인식 의존성을 명시적으로 모델링하는 것이 불균형 시계열에서 트랜스포머의 예측 능력을 향상시킴을 보인다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.02437v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
평가 선택이 예측 리더보드를 결정한다: 실제 운영 마켓플레이스 패널로부터의 증거
Evaluation Choices Decide the Forecasting Leaderboard: Evidence from a Production Marketplace Panel
예측 벤치마크는 어떤 방법이 이겼는지를 보고한다. 우리는 그 답이 모델을 학습하기도 전에 평가자의 선택에 의해 정해진다는 점을 보인다. 우리는 2025년대의 시계열 파운데이션 모델(time series foundation model) 6종을 포함한 24가지 예측 방법과 교과서적 기준 방법 하나를, 67개월에 걸친 1,887개 기업 고객으로 구성된 실제 운영 마켓플레이스 패널에서 벤치마크한다. 데이터, 예측 구간(horizon), 기간은 고정하고 평가 설계만 변화시킨다. 세 가지 선택은 각각 핵심 결론을 뒤집거나 무효화한다. 분석 단위를 시장 전체에서 개별 고객으로 바꾸면, 우리의 운영 기준선(baseline)은 19개 중 2위이며 어떤 방법에도 지지 않던 상태에서 25개 중 23위로 이동한다. 이 경우 24개 도전 방법 중 19개가 기준선을 능가한다. 오차를 얼마나 풀링(pooling)하는지에 따라 Diebold-Mariano 검정이 무언가를 발견하는지 여부 자체가 달라진다. 점 예측 대신 예측 구간을 평가하면 순위가 거의 완전히 뒤바뀌며, 간헐적 수요(intermittent demand)에서 순위 상관은 0.02이다. 이어서 실제 배포된 시스템이 이로부터 무엇을 얻는지 측정한다. 이 시스템의 선택 규칙은 아무것도 하지 않는 경우와 사후적 이점(hindsight)을 활용해 선택하는 경우 사이의 거리 중 55%를 확보한다. 이러한 순위 역전은 우리 데이터만의 특이한 현상이 아니다. 우리는 공개된 프로토콜을 수정 없이 공개 M5 소매 패널에서 실행했다. 동일한 형태의 기준선은 시장 전체 수준에서는 1위, 시계열별 수준에서는 모든 방법에 뒤지는 꼴찌를 기록하며, 재현 실행한 선택 규칙은 그곳에서 동일한 하한-상한 간 거리의 64.7%를 메운다. 그 후보군에 제로샷(zero-shot) 파운데이션 모델 5종을 추가하면 전체 수준의 우승자는 바뀌지만 이러한 양상은 바뀌지 않는다. 예측 구간의 사각지대 역시 그대로 나타나, 컨포멀(conformal) 구간은 가장 변동이 심한 품목에서 커버리지가 가장 크게 부족하다. 우리 패널을 점점 더 작은 그룹으로 나누면 이 대비는 하나의 곡선이 되며, 세분화 수준이 높아질 때마다 기준선의 순위는 악화된다. 우리는 평가 프로토콜을 공개하며, 발견하기 전까지 결과를 뒤집어 놓았던 우리 자신의 오류도 함께 보고한다.
혼돈 역학에서 극한 사건의 예측 지평에 걸친 잡음 유발 예측가능성 재분배
Noise-Induced Predictability Redistribution Across Forecast Horizons of Extreme Events in Chaotic Dynamics
혼돈 역학에서 극한 사건(EE)은 드물게 나타나는 넓은 이탈 excursion이며, 동역학적 잡음에 의해 그 예측 가능성이 달라질 수 있다. 우리는 3차 자율 혼돈 유동에서 잡음이 예측 지평에 걸쳐 EE 발생과 예측 성능을 어떻게 바꾸는지 조사한다. 모든 realization에 대해 단일 clean-data 임계값을 고정하고, broad event는 excursion당 하나의 maximum으로 정의하며, 시간순 데이터 분리를 적용한 HistGradientBoosting으로 15 time unit 이력으로부터 미래 윈도우 W=15를 예측한다. 관측 이력과 미래 사건 윈도우 사이의 예측 간격 G가 커질수록 clean Matthews correlation coefficient(MCC)는 G=0에서 0.641에서 G=15에서 0.165로 감소한다. 잡음 의존성은 8개 진폭에서 10개의 paired realization으로 평가한다. 평균 단기 지평 점수는 clean data에서 0.456에서 sigma=0.007에서 0.546으로 증가하며, paired gain은 0.0895(95% CI 0.0494-0.1295; Holm-adjusted p=0.0234)이다. 잡음은 EE 발생을 크게 증가시키는 반면 사건 amplitude와 width는 비교적 안정적으로 유지된다. 잡음 수준별 양성 학습(training) 샘플 수를 균등화하면 단기 지평 이득이 상당히 약해지고, 강한 잡음은 중기 지평 예측 성능을 낮춘다. 우리는 예측 성능의 이러한 지평 의존적·비균일한 변화를 잡음 유발 예측가능성 재분배(noise-induced predictability redistribution, NIPR)라고 부른다.
PISCES: 우주 날씨 이상 탐지 및 조기 경보를 위한 물리 정보 기반 태양풍 합성곱 오토인코더
PISCES: Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather Anomaly Detection and Early Warning
우주 날씨 조기 경보는 태양풍 과도현상(transients)이 지구에 도달하기 전 제1 태양-지구 라그랑주 점(L1)의 현장(in-situ) 측정치에서 이를 감지하는 데 의존합니다. 고정된 임계값은 복합적인 자기장 및 플라즈마 구조를 놓칠 수 있으며, 많은 학습 방법은 단일 이상 점수만을 제공합니다. 본 논문에서는 물리적 제약 조건 하에서 카탈로그 레이블 없이 OMNI 태양풍 측정 데이터를 학습한 합성곱 오토인코더인 PISCES(Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather)를 제시합니다. 본 모델의 손실(loss)에는 자기장 일관성, 온도와 속도 간의 경험적 관계, 파커 스파이럴(Parker spiral) 각도, 그리고 재구성 결과로부터 계산된 유도 물리량들에서 연속된 1분 단위 샘플 간의 변화에 대한 페널티가 포함됩니다. 추론(inference) 시 PISCES는 이상 점수를 자기장 및 플라즈마 재구성 오차, 물리적 관계, 잔차 보정값으로 분리하여 각 기여도의 크기를 보고합니다. 검증(validation) 데이터를 통해 선택된 스킵 연결(skip connection)의 감쇠는 학습된 모델의 평균 정밀도(precision)를 향상시키는 반면, 학습되지 않은 점수는 거의 동일하게 유지됩니다. 또한 학습된 모델은 이러한 물리적 기여도 간의 보다 일관된 순위를 제공합니다. 후행 중앙값(trailing median)으로 스무딩을 거친 후 경보는 양의 급변 임펄스(positive sudden impulses)를 포함하여 독립적으로 관측된 급성 시작(sudden commencements)보다 앞서 발생할 수 있습니다.
추세 예측 기반 복합 교통 네트워크 보안 회복탄력성 복구 방법
A Resilience Recovery Method for Complex Traffic Network Security Based on Trend Forecasting
정보 기술의 급속한 발전으로 항공, 항우주, 차량, 선박, 전력, 산업 등 다양한 분야에 걸쳐 거대하고 복잡한 교통 네트워크가 구축되었다. 그러나 구조의 복잡성과 다양성으로 인해 복합 교통 네트워크는 공격에 취약하며 심각한 보안 과제에 직면한다. 따라서 본 논문은 회복탄력성 추세 예측에 기반한 교통 네트워크 회복탄력성 복구 방법을 혁신적으로 제안한다. 본 논문에서는 네트워크 장애 전파 과정 분석에 위험값을 도입하고, Susceptible, Infectious, Recovered, Dead-Risk(SIRD-R) 장애 전파 모델을 구축한다. 네트워크 회복탄력성 지지 능력과 회복탄력성 복구 능력을 통합하여 실시간 회복탄력성과 전체 회복탄력성을 포괄하는 교통 네트워크 회복탄력성 모델을 구성한다. 이어서 장단기 메모리(LSTM) 네트워크를 이용해 복합 교통 네트워크의 회복탄력성을 예측하고, 예측에 기반한 복합 교통 네트워크 회복탄력성 복구 전략을 제안한다. 마지막으로 다양한 복합 교통 네트워크에 대한 실험 분석을 통해 제안 방법의 효과성과 확장성을 입증하고, 실제 시나리오에서의 적용 가능성을 확인한다.
이벤트 시그니처 전이: 과거 이벤트로부터 모델에 무관한 예측 시나리오 구성
Event Signature Transfer: Model-Agnostic Forecast Scenario Construction from Historical Events
예측자들은 종종 어떤 이벤트가 임박했는지는 알지만, 그 영향의 형태·규모·시점은 알지 못하는 경우가 많다. 본 논문은 완료된 과거 이벤트를 명시적인 예측 시나리오로 바꾸는, 학습이 필요 없고 모델에 무관한 연산자인 이벤트 시그니처 전이(Event Signature Transfer, EST)를 제안한다. EST는 소스 이벤트 고유의 추세와 계절성을 제거한 뒤, 남은 이벤트 시그니처를 스케일 조정·시간 재배치하여 기본(native) 예측 위에 얹으며, 예측의 연계 구조를 보존하고 강도가 0일 때는 그 예측과 정확히 일치한다. 출력 분위(quantile)만 사용하므로 전이 시점에 학습이나 모델 내부 접근 없이 임의의 분위 예측 모델에 적용할 수 있다. Chronos-2, TimesFM-2.5, Toto-2.0에서 열두 건의 실제 에피소드와 열 가지 합성 시나리오에 대해, 수동 설정 EST는 실제 에피소드의 표본 내(in-sample) WQL을 21.7–90% 감소시켰다. Chronos-2에서는 공변량 조건화, 활성화 편집, 원시 재현(raw replay)과의 열두 번 짝 맞춤 비교 중 열한 번에서 우수했다. 이 연산자는 시나리오를 구성할 뿐, 그 가능도는 추정하지 않는다.
LibCity: An Open Library for Traffic Prediction
토론
이 논문과 연결된 포럼 글이 아직 없습니다.