전염병 예측을 통한 시계열 파운데이션 모델의 주요 특징 이해
Understanding Key Features of Time Series Foundation Models from Epidemic Forecasting
한국어 초록
계절성 인플루엔자는 매년 미국에서 수백만 명을 감염시키고 상당한 발병률과 사망률을 유발하므로, 정확한 단기 예측은 핵심 공중 보건 요구 사항입니다. 전염병 시계열에 대한 신뢰할 수 있는 예측은 예방 접종 시기, 병원 인력 배치 및 자원 할당에 정보를 제공할 수 있지만, 전염병 감시 데이터에 대한 현대적 예측 아키텍처의 비교 행동은 아직 충분히 규명되지 않았습니다. 우리는 1~4주 앞선 예측을 위해 시간 및 공간 일반화 설정 하에서 인플루엔자 유사 질환(ILI) 감시 및 인플루엔자 관련 입원 시계열을 사용한 지역별 인플루엔자 예측의 체계적인 평가를 통해 이러한 격차를 해결합니다. 우리는 고전적인 신경망 아키텍처, 수치 기반 트랜스포머 모델, 사전 학습된 시계열 파운데이션 모델, 그리고 LLM 기반 예측 접근 방식을 비교합니다. 모든 작업에 걸쳐, 우리는 여러 사전 학습된 예측기를 융합하는 전문가 혼합(MoE) 모델이 가장 강력한 전반적인 성능을 달성함을 보여주며, 이는 이질적인 사전 학습 표현이 상호 보완적인 예측 정보를 제공함을 나타냅니다. 우리의 결과는 수치 기반 트랜스포머 모델이 신뢰할 수 있는 예측을 생성함을 추가로 보여주며, 사전 학습은 더 긴 예측 기간에서 가장 큰 이득을 제공하며, 특히 사전 학습 도메인이 인플루엔자 역학과 기전적으로 정렬될 때 그렇습니다. 대조적으로, 이 설정에서 LLM 기반 시계열 방법은 수치적 예측기에 비해 성능이 떨어집니다. 마지막으로, 우리는 입원 정보를 보조 공변량(auxiliary covariate)과 사전 학습 소스로 모두 고찰합니다. 입원 신호는 선택된 설정에서 상호 보완적인 개선을 제공하며, 추가적인 감시 스트림이 다중 시계 예측의 견고성을 향상시키는 시기를 명확히 합니다. 이러한 발견은 인플루엔자 대비를 위한 모델 선택, 사전 학습 전략 및 보조 신호 사용에 관한 실행 가능한 지침을 제공합니다.
원문 초록
Seasonal influenza infects millions of people and causes substantial morbidity and mortality in the United States each year, making accurate short-term forecasting a core public-health need. Reliable forecasts of epidemic time series can inform vaccination timing, hospital staffing, and resource allocation, yet the comparative behavior of modern forecasting architectures on infectious-disease surveillance data remains insufficiently characterized. We address this gap through a systematic evaluation of regional influenza forecasting using influenza-like illness surveillance and influenza-associated hospitalization time series under both temporal and spatial generalization settings for 1-4-week-ahead prediction. We compare classical neural network architectures, numerical transformer-based models, pretrained time series foundation models, and LLM-based forecasting approaches. Across tasks, we demonstrate that a mixture-of-experts model that fuses multiple pretrained forecasters achieves the strongest overall performance, indicating that heterogeneous pretrained representations provide complementary predictive information. Our results further show that numerical transformer-based models produce reliable forecasts, while pretraining provides the largest gains at longer horizons, particularly when the pretraining domain is mechanistically aligned with influenza dynamics. In contrast, LLM-based time series methods underperform relative to numerical forecasters in this setting. Finally, we examine hospitalization information as both an auxiliary covariate and a pretraining source. Hospitalization signals provide complementary improvements in selected settings and clarify when additional surveillance streams enhance the robustness of multi-horizon forecasting. These findings provide actionable guidance on model selection, pretraining strategy, and auxiliary-signal use for influenza preparedness.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19560v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
OpenTSLM TeeMoE: 시계열 예측, 문맥 조건부 예측 및 추론을 위한 통합 시계열 언어 모델
OpenTSLM TeeMoE: A Unified Time-Series Language Model for Forecasting, Contextual Prediction, and Reasoning
실제 환경의 시계열 애플리케이션에서는 시계열 예측, 문맥 조건부 예측, 그리고 언어 기반의 시간적 추론을 모두 처리할 수 있는 모델이 점점 더 많이 요구되고 있습니다. 그러나 현재의 시계열 파운데이션 모델들은 이러한 역량 전반에 걸쳐 여전히 파편화되어 있습니다. 수치 특화 모델은 흔히 가장 강력한 예측 성능을 제공하는 반면, 언어 기반 모델은 더 넓은 문맥 이해와 분석 기능을 제공합니다. 핵심 과제는 이러한 이종의 역량들을 각각의 성능 저하 없이 하나로 통합하는 것입니다. 본 논문에서는 관측된 시계열로부터 직접 예측을 수행하고, 텍스트 문맥과 시간적 패턴에 걸쳐 추론하며, 외부 수치 예측 전문 모델들의 예측값을 종합 및 정제할 수 있는 범용 시계열 언어 모델인 OpenTSLM TeeMoE를 소개합니다. 우리는 공유 백본 상에서 예측 종합, 자체 예측, 시간적 분석을 위한 세 개의 저순위(low-rank) 전문가를 독립적으로 학습합니다. 그런 다음 학습된 LoRA 전문가 혼합(MoE) 컨트롤러가 각 요청에 대해 고정된 이들의 매개변수 업데이트에 가중치를 부여합니다. 제안된 모델은 시계열 예측, 문맥 조건부 예측, 언어 기반 시간적 추론 분야의 널리 사용되는 벤치마크에서 우수한 성능을 달성하여, 평균 MASE 순위 기준 GIFT-Eval, RCRPS 기준 Context is Key, 정확도 기준 TimeSeriesExam에서 상위 3위 이내에 올랐습니다.
시계열 예측 벤치마크에는 시나리오 기반 스트레스 테스트가 필요하다
Time Series Forecasting Benchmarks Need Scenario-Grounded Stress Testing
시계열 예측(Time Series Forecasting, TSF)은 교통, 에너지, 금융, 헬스케어, 인프라 전반의 의사결정을 점점 더 주도하고 있으나, 현재의 평가는 지나치게 협소한 상태에 머물러 있습니다. 표준 벤치마크는 낮은 홀드아웃(held-out) 오차에 보상을 부여하는 반면, 강건성 연구는 일반적으로 실패를 가우시안 노이즈, 무작위 마스킹, 또는 제한된 적대적 섭동으로 단순화합니다. 이는 배포된 예측 시스템의 실제 실패 모드를 가립니다. 입력 측 이상치는 단순히 더 노이즈가 많은 입력에 그치지 않으며, 시계열 역학을 바꾸고, 변수 간 의존성을 깨뜨리며, 체제 변화(regime shift)를 유발하거나 결함이 있는 센서에서 다운스트림 의사결정으로 전파되는 구조화된 이벤트를 반영하는 경우가 많습니다. 이러한 시맨틱, 인과적, 시스템 수준의 실패는 독립동일분포(i.i.d.) 섭동만으로는 충실하게 포착될 수 없습니다. 감사가 불가능한 사전학습 말뭉치로 인해 홀드아웃 일반화의 신뢰성이 점차 떨어지면서, TSF 파운데이션 모델의 등장은 이러한 평가 격차를 더욱 시급한 문제로 만듭니다. 따라서 우리는 시나리오 기반 스트레스 테스트를 제안합니다. 각 테스트 인스턴스는 과거 입력과 미래 타깃뿐만 아니라 시맨틱 시나리오, 명시적인 실패 연산자, 측정 가능한 난이도를 포함해야 합니다. 이러한 변화는 평가를 해석 가능하고, 원인 규명이 가능하며, 배포에 적합하고 친화적으로 만들어, 커뮤니티가 어떤 모델이 정확한지뿐만 아니라 어떤 조건에서 왜 실패하는지까지 질문할 수 있도록 합니다.
파운데이션 모델과 미세조정: 시계열 예측을 위한 차세대 모델
Foundation Models and Fine-Tuning: Toward a New Generation of Models for Time Series Forecasting
자연어 처리(NLP) 분야의 대규모 언어 모델(LLM) 최근 돌파구에서 영감을 받아, 파운데이션 모델은 제로샷 시계열 예측을 위한 유망한 패러다임으로 등장했으며, 사전학습 중 한 번도 접하지 않은 데이터셋에서도 정확한 예측을 가능하게 한다. 수천만에서 수억 개에 이르는 파라미터 규모의 이러한 모델은 방대하고 다양한 시계열 컬렉션에 대해 사전학습되어, 점 예측과 확률적 예측을 모두 지원하는 일반화 가능한 표현을 학습한다. 이 접근법은 데이터셋별 모델 설계와 수동 튜닝의 필요성을 줄여, 다양한 예측 문제에 대한 통합 솔루션을 제공한다. 본 연구에서는 이러한 모델의 기반이 되는 주요 아키텍처, 사전학습 전략, 최적화 방법을 검토한다. 또한 특정 데이터셋에서의 성능 향상을 위해 선정된 파운데이션 모델의 사전학습 후 미세조정을 조사한다. 실증 결과는 이 단계가 제로샷 기준선 대비 예측 정확도를 일관되게 향상시킴을 보여준다.
국면 조건부 변동성 예측을 위한 Susceptible Reservoir 아키텍처
Susceptible Reservoir Architectures for Regime-Conditional Volatility Forecasting
변동성 예측은 지속성(persistence)과 측정 노이즈(measurement noise)에 의해 지배되어, 비선형 모델이 활용할 수 있는 잔차 구조가 제한적이다. 본 연구에서는 변동성 예측을 위한 reservoir 설계 원칙인 Susceptible Architectures(SUSA)와, 복소값 개방 사슬(open-chain) 및 주기적 reservoir와 국면 조건 전문가(regime-conditioned experts)에 기반한 두 가지 구체적 구현을 제안한다. 이는 평온(calm), 발현(onset), 회복(recovery), 지속적 스트레스(persistent-stress) 상태에 걸친 reservoir 특징을 해석한다. 또한 공통 AR-Ridge 앵커와 QLIKE 하에서 학습된 경계가 있는 잔차 보정을 유지하면서 Qiskit에서 개방계(open-system) $q$-qubit 대응 모델도 구현한다. 16개의 미국 주식 및 상장지수펀드(ETF) 시계열에 대해, 서로 겹치지 않는 세 개의 시간순 학습, 검증, 테스트 폴드, 12관측 입력 윈도우, 5관측 예측 구간(forecast horizon)을 사용하여 모델을 평가한다. 제안 모델은 GARCH와 경쟁력 있는 성능을 보이며, 특정 자산(IWM, XLP)에서 통계적으로 유의한 QLIKE 개선을 달성한다. 또한 모델의 예측은 HARQ 스타일 예측을 보완한다. 스택드 앙상블(stacked ensemble)은 가장 강한 구성 요소 대비 평균 QLIKE를 0.0116만큼 개선하며, 테스트 시나리오의 75%에서 우수한 성능을 보인다.
지속 가능한 도시를 위한 기후 회복력 전기차 충전 인프라: 예방 정비와 저탄소 이동성을 위한 해석 가능한 인과-앙상블 프레임워크
Climate-resilient electric vehicle charging infrastructure for sustainable cities: An interpretable causal-ensemble framework for preventive maintenance and low-carbon mobility
신뢰할 수 있는 전기차(EV) 충전 인프라는 지속 가능한 저탄소 도시의 핵심 요소이지만, 극한 고온, 집중 강수, 습도와 같은 도시 기후 스트레스가 장비 고장 위험을 점점 더 높이고 도시 에너지 및 이동 서비스의 회복력을 약화시키고 있다. 수동적 수리에서 예방 정비로 운영을 전환하려면 정확하고 전향적인 고장 위험 예측이 필수적이며, 이는 물리적·행동적·맥락적·과거 신호의 이질적 시간 척도와 다주(多週) 수준의 예측으로 인해 복잡해진다. 우리는 기후 회복력 충전 자산 관리를 위한 해석 가능한 의사결정 지원 시스템을 구성하는 특징 기반 동적 스태킹 앙상블(FGDSE)을 개발한다. 이는 이질적 신호를 네 가지 특징 계열로 분할하고, 각각을 데이터와 귀납적 바이어스가 맞는 도메인 전문가에 배정하며, 단기 펄스와 장기 열화를 위한 두 개의 심층 시간 전문가를 추가한다. 이후 예측 기간별 게이팅 메커니즘이 1~30일에 걸친 일별 고장 위험을 예측하기 위해 적응적 가중치를 학습한다. SHAP 기여도 분석과 X-learner는 확률적 출력을 충전소(post) 수준 처치 효과를 갖는 인과적 의사결정 지원으로 확장한다. 13개 충전소의 25개월 데이터에서 FGDSE는 10일을 넘는 예측 기간에서 12개 베이스라인을 능가하며, 30일에서 약 85%의 매크로 재현율을 유지하고 AUC 감소는 3.2포인트에 불과하며, 지배 요인이 고장 이력에서 기후 스트레스로 이동함을 보여준다. 극한 고온을 시간이 지남에 따라 인과 효과가 증폭되는 유일한 노출 요인으로 식별하고, 약 30%의 충전소를 고온 민감으로 표시하며, 도시 이동 회복력을 강화하고 저탄소 이동을 지속하는 기후 적응형 정비를 위한 정량적 임계값을 도출한다.
FM$^2$: 이질적 다중 모달 의료 영상을 위한 통합 연합 파운데이션 모델
FM$^2$: Unified Federated Foundation Models for Heterogeneous Multimodal Medical Imaging
의료 영상용 파운데이션 모델 구축은 여러 기관 간 데이터 풀링(pooling)을 요구하지만, 프라이버시 규정으로 인해 중앙 집중식 집계가 금지된다. 기존 연합 파운데이션 모델은 자연 이미지 모델을 파인튜닝하여 의료 도메인 전이 성능이 낮거나, 단일 모달리티 내에서 처음부터 학습하여 작업을 통합할 유연성이 부족하다. 우리는 영상 모달리티 이질성(Imaging Modality Heterogeneity)이라는 미개척 과제를 식별한다. 여기서 클라이언트는 두 가지 구조적 체제에서 동작한다: 겹침(Overlapped, 공유 모달리티와 이질적 레이블 분포)과 비겹침(Non-overlapped, 클라이언트마다 완전히 분리된 모달리티). 우리는 FM$^2$를 제안한다. 이는 핵심 백본을 처음부터 학습하여 의료 도메인 충실도를 보존하면서, 선택적으로 생의학 사전학습 인코더를 비전-언어 정렬에 통합하는 통합 프레임워크이다. FM$^2$는 각 클라이언트에 이중 전문가 혼합(MoE) 모듈(개인화된 범주 지식을 위한 클래스별 MoE와 공유 교차 모달리티 표현을 위한 도메인별 MoE)을 장착하고, 모달리티별 전문가 파라미터를 명시적으로 정렬하는 이질적 모달리티 정렬(HMA) 정규화를 결합한다. 이를 통해 증명 가능한 $O(1/\sqrt{T})$ 수렴 및 일반화 보장을 제공한다. FM$^2$는 또한 캡션 강화 학습(CEL)을 포함한다. 여기서 로컬에 보관된 GPT-4o 생성 캡션이 텍스트 의미적 다리로 작용하여 분리된 모달리티를 가진 클라이언트 간 표현 전이를 가능하게 하며, 연합 의료 VQA로의 확장성을 보여준다. 우리의 MIMH 벤치마크(분류 및 CEL)와 실제 의료 VQA 데이터셋에 대한 실험은 세 가지 작업 모두에서 최신 연합 기준선 대비 일관된 우수성과 강한 모달리티 외 일반화를 확인한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.