다단계 시계열 예측 모델 학습을 위한 이차 형식 직접 예측
Quadratic Direct Forecast for Training Multi-Step Time-Series Forecast Models
한국어 초록
학습 목표(learning objective)의 설계는 시계열 예측 모델을 학습(training)시키는 데 핵심적인 역할을 합니다. 평균 제곱 오차(mean squared error)와 같은 기존의 학습 목표는 대개 미래의 각 시점을 독립적이고 동일한 가중치를 갖는 작업으로 취급하며, 이는 다음과 같은 두 가지 문제를 야기합니다. (1) 미래 시점 간의 레이블 자기상관(label autocorrelation) 효과를 간과하여 편향된 학습 목표로 이어집니다. (2) 서로 다른 미래 시점에 대응하는 예측 작업별로 이종의 작업 가중치를 설정하지 못해 예측 성능을 제한합니다. 이러한 공백을 해소하기 위해, 본 논문에서는 두 문제를 동시에 해결하는 새로운 이차 형식 가중치 기반 학습 목표를 제안합니다. 구체적으로, 가중치 행렬의 비대각 원소는 레이블 자기상관 효과를 반영하는 반면, 균일하지 않은 대각 원소는 다양한 미래 시점을 갖는 예측 작업의 선호 가중치와 일치하도록 유도됩니다. 이를 기반으로 적응적으로 업데이트되는 이차 형식 가중치 행렬을 사용해 예측 모델을 학습시키는 QDF(Quadratic Direct Forecast) 학습 알고리즘을 제안합니다. 실험 결과에 따르면 QDF는 다양한 예측 모델의 성능을 효과적으로 향상시켜 SOTA(state-of-the-art) 결과를 달성합니다. 코드는 https://github.com/Master-PLC/QDF 에서 확인할 수 있습니다.
원문 초록
The design of learning objectives is central to training time-series forecasting models. Existing learning objectives such as mean squared error mostly treat each future step as an independent, equally weighted task, which leads to the following two challenges: (1) they overlook the label autocorrelation effect among future steps, leading to biased learning objectives; (2) they fail to set heterogeneous task weights for different forecasting tasks corresponding to varying future steps, limiting the forecasting performance. To fill this gap, we propose a novel quadratic-form weighted learning objective, addressing both issues simultaneously. Specifically, the off-diagonal elements of the weighting matrix account for the label autocorrelation effect, whereas the non-uniform diagonals are expected to match the preferred weights of the forecasting tasks with varying future steps. On this basis, we propose a Quadratic Direct Forecast (QDF) learning algorithm, which trains the forecast model using the adaptively updated quadratic-form weighting matrix. Experiments show that our QDF effectively improves the performance of various forecast models, achieving state-of-the-art results. Code is available at https://github.com/Master-PLC/QDF.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PhenoBench: 심층 표현형 분석 코호트가 밝혀낼 수 있는 정보의 지도화
PhenoBench: Mapping What a Deeply Phenotyped Human Cohort Can Tell Us
심층 표현형 분석(deeply phenotyped) 코호트는 수초에서 수년에 이르는 시간 척도 전반에 걸쳐 임상, 영상, 분자 및 웨어러블 관측 데이터를 통합하지만, 이질적인 분석 결과들을 직접 비교하기는 어렵습니다. 본 논문에서는 심층 표현형 측정값을 명시적인 질문으로 변환하고 정보 출처 및 예측 모델 간의 제어된 비교를 수행하는 실행 가능한 벤치마크인 PhenoBench를 제시합니다. 이는 초기 방문 시점 기준 13,000명 이상의 참가자를 보유한 Human Phenotype Project를 기반으로 구축되었습니다. 각 질문은 목표, 대상 집단, 시점, 허용된 정보를 고정하며, 평가 계약(evaluation contract)은 분할(split), 지표(metric), 기준선(baseline), 주장 경계를 명시합니다. PhenoBench는 15개 도메인과 26개 입력 모달리티에 걸쳐 임상에 기반한 90개 태스크를 정의합니다. 52개 태스크에 걸친 160건의 매칭된 회귀 비교 전반에서, 제한된 튜닝을 적용한 고정 단일 추정기 프로토콜 하에 6개의 사전학습(pre-training)된 정형(tabular) 모델이 XGBoost 및 CatBoost를 포함하여 평가된 태스크별 기준선을 상회하는 순위를 기록했습니다. 각 태스크에 동일한 가중치(weight)를 부여했을 때, 릿지(ridge) 대비 이들의 평균 이점은 0.0103 $R^2$(95% 태스크 부트스트랩 구간, 0.0071-0.0136)였습니다. 또한 표현형 복구, 분류(classification), 후속 예측, 참가자 순위 지정을 아우르는 40개 태스크를 종합적으로 포괄하는 14개의 언어 모델을 평가했습니다. 코호트별 적합(fitting) 없이 언어 모델은 일부 태스크에서 유의미한 예측을 산출했으나 태스크별 역량 격차와 스케일(scale)에 따른 공통된 실패를 보였으며, 동일한 입력 필드에 적합된 태스크별 릿지 또는 로지스틱 회귀 모델을 능가하는 경우는 드물었습니다. PhenoBench는 기존 비교를 재정의하지 않고도 새로운 질문, 측정값, 모델을 추가할 수 있는 버전 관리 및 감사 가능한 평가 시스템을 제공합니다.
어디를 볼지 학습하기: 시계열 예측과 PPG 기반 생체 신호 재구성을 위한 공유 상대 정렬 모듈
Learning Where to Look: A Shared Relative-Alignment Module for Time-Series Forecasting and PPG-to-Vital-Sign Reconstruction
PPG 기반 생체 신호 재구성(PPG-to-vital-sign reconstruction)은 손목 착용형 광혈류측정기(PPG) 신호를 심전도(ECG)와 같은 임상 파형으로 변환합니다. 장기 다변량 시계열 예측(long-horizon multivariate time-series forecasting)은 에너지, 날씨, 교통 분야의 계획 수립을 뒷받침합니다. 두 작업 모두 조건 시퀀스로부터 타깃 시퀀스를 생성하지만, 기존 모델들은 각 타깃 위치가 조건 시퀀스를 어디서 읽어올지 동일 위치 복사 또는 계절적 재발과 같이 하드코딩하므로 작업 간 전이가 불가능합니다. 본 논문에서는 이러한 대응 관계를 학습하여 생체 신호 재구성과 시계열 예측을 모두 처리하는 단일 조건화 모듈인 ROOSTER를 제안합니다. 이 모듈의 핵심은 타깃-조건 오프셋에 대한 주기적 빗(periodic-comb) 바이어스로, 그 중심, 주기, 첨도(sharpness)가 헤드별로 학습되므로 하나의 모듈이 항등 정렬(identity alignment)이나 계절적 시차로 수렴하고 발견된 결과를 보고할 수 있습니다. PPG 기반 생체 신호 재구성에서 ROOSTER는 4개의 심박수 및 호흡수 벤치마크에서 기존에 발표된 베이스라인들을 능가했습니다. 다변량 시계열 예측에서는 4개의 벤치마크에서 최적의 예측 기간 평균 MSE를 달성했으며, 일치된 3개 시드 학습 하에 24개의 데이터셋-예측 기간 설정 중 20개에서 자신이 확장한 예측 모델보다 우수한 성능을 보였습니다. 절제 연구(ablation study)에 따르면 콘텐츠 매칭이 아닌 상대적 바이어스가 정렬을 주도한 것으로 나타났습니다.
Hapi: 대륙 규모 중기 수문 예측을 위한 다변량 지표면 트랜스포머
Hapi: A Multivariable Land-Surface Transformer for Medium-Range Hydrological Forecasting at Continental Scale
수 일 전의 정확한 홍수 예보는 홍수 방재, 수자원 관리, 비상 대응에 필수적이다. 대륙 규모에서 고해상도로 이를 만들려면 유역에서 동규모 기상 시스템에 이르는 공간적 맥락과 함께 국지적 수문학적 세부 정보가 필요하다. 우리는 미국 본토 전역에서 유량, 지표 유출, 적설수량(snow water equivalent), 토양 습도를 예측하기 위해 세밀한 3차원 패치와 계층적 shifted-window 어텐션(attention)을 사용하는 U-Net Swin 트랜스포머 Hapi를 개발했다. 이 모델은 $0.05^{\circ}$ 해상도에서 24--72시간 예보를 생성하며, 학습된 Laplacian 태스크 가중치가 학습(training)에서 각 변수의 기여도를 조절한다. ERA5-Land에서 재구성된 기상 및 지표면 입력을 사용한 2024년 테스트 데이터에서 Hapi는 홍수 탐지에서 운영 중인 물리 기반 모델과 최신(state-of-the-art) AI 모델을 능가했다. 미국 지질조사국(U.S. Geological Survey) 3,881개 관측 게이지에 대한 독립 검증(validation)과 허리케인 헬렌(Hurricane Helene) 사례 연구는 일별 유량 재현에서 물리 기반 모델 대비 Hapi의 우위를 뒷받침했다. 통제 실험은 학습된 태스크 가중치가 강수 입력 변화에 특히 민감한 희귀 홍수 탐지를 강화함을 보였다. Hapi는 단일 A100 GPU에서 평균 추론(inference) 시간 0.11초로 미국 본토 전역에 걸친 4변수 72시간 예보를 생성했다.
CAPT: 칼슘 군집 역학의 데이터셋 간·종 간 전이를 가능하게 하는 다중 과제 연속 자기회귀 트랜스포머
CAPT: A Multi-task Continuous Autoregressive Transformer enabling Cross-dataset and Cross-species Transfer for Calcium Population Dynamics
대규모 칼슘 이미징은 신경 군집 역학을 위한 파운데이션 스타일 모델을 구축할 기회를 만들었지만, 한 가지 핵심 질문은 여전히 해결되지 않았다: \textbf{한 기록 모음으로 사전학습한 모델이 새로운 데이터셋, 실험 패러다임, 심지어 종까지 일반화할 수 있는지 여부이다.} 기존 접근법은 종종 특정 과제에 맞춰 설계되고 단일 데이터셋에서 평가되어, 학습된 표현이 새로운 칼슘 trace 데이터셋에 재사용 가능한지 불분명하다. 이 공백을 해소하기 위해, 칼슘 군집 역학을 위한 \textbf{C}ontinuous \textbf{A}utoregressive \textbf{P}opulation \textbf{T}ransformer인 \textbf{CAPT}를 제안한다. CAPT는 연속 패치 토큰화 전략을 통해 연속 칼슘 trace를 직접 모델링하며 자기회귀적으로 학습되어, 엔드투엔드 사전학습과 다양한 다운스트림 과제에의 적응을 가능하게 한다. 먼저 대규모 마우스 칼슘 이미징 데이터셋에서 CAPT를 사전학습하고, 서로 다른 연구실에서 수집한 독립적인 마우스, 유충기 제브라피시, \textit{C. elegans} 데이터셋에 걸친 전이 가능성을 평가한다. 이러한 전이 설정에서, 사전학습된 백본은 고정하고 적응 모듈만 업데이트한다. 신경 군집 예측 및 행동 디코딩 과제 전반에 걸쳐, CAPT는 특화 및 범용 베이스라인을 일관되게 능가한다. 예측 성능과 함께, \textit{C. elegans} 데이터셋의 NeuroPAL 주석을 이용한 다중모달 분석은 CAPT 임베딩이 데이터셋 간 공유 기능 공간을 형성하고 해부학적 세포 동일성 관련 구조를 포착함을 보여준다. 이 결과는 연속 자기회귀 모델링이 데이터셋, 실험 패러다임, 종에 걸쳐 일반화할 수 있는 칼슘 이미징용 범용 신경 파운데이션 모델을 향한 단순한 경로의 가능성을 열어준다는 것을 시사한다.
Monkey King Bang: 통합 과학 멀티모달 파운데이션 모델
Monkey King Bang: A Unified Scientific Multimodal Foundation Model
과학적 발견은 점점 고립된 학문 분야에서 다중 도메인 추론으로 이동하고 있으며, 과학을 위한 AI도 유사한 전환에 직면하고 있다. 기존 시스템은 개별 도메인에 특화되어 있거나, 주로 텍스트 토큰화(tokenization)와 프롬프트 기반 인터페이스를 통해 과학 데이터를 통합함으로써, 다양한 과학 입력을 처리하고, 모달리티 고유(modality-native) 출력을 생성하며, 과학 도메인 전반에 걸친 공동 이해, 추론, 생성을 지원하는 능력을 제한한다. 우리는 이해와 생성 모두를 위한 통합 과학 멀티모달 모델인 MKB를 소개한다. MKB는 공유 트랜스포머 백본과 모달리티 맞춤형(modality-tailored) 인코더, 어댑터, 디코더를 중심으로 구축되었다. MKB는 DNA, RNA, 단백질, 소분자, 지구과학, 의료 영상을 포함한 6개 과학 분야를 다루며, 생물학적 서열, 분자 문자열, 기상장(meteorological fields), 분할 마스크(segmentation masks)와 같은 고유 출력을 지원한다. 학습은 2단계 모달리티-후-언어 커리큘럼을 따른다: 1단계에서는 모달리티별 구성 요소를 고정된 백본과 정렬하고, 2단계에서는 혼합된 과학 및 일반 코퍼스를 사용하여 언어 백본과 통합한다. 실험 결과, MKB는 생물학 및 분자 벤치마크(benchmark) 전반에서 경쟁력 있는 과학적 이해를 달성하고, 날씨 예측, 생물학적 생성, 의료 영상 분할(image segmentation)에 대해 고충실도(high-fidelity) 고유 출력을 생성하며, Qwen3-VL 백본의 일반 역량을 대체로 유지한다. 이 결과는 제안된 패러다임의 타당성을 보여주며, 모달리티 맞춤형 구성 요소를 갖춘 공유 백본 모델이 향후 교차 도메인 과학 멀티모달 탐험(exploration)을 위한 유망한 기반을 제공할 수 있음을 시사한다. 모델과 코드는 https://github.com/Shanghai-Academy-of-AI-For-Science/MKB 및 https://huggingface.co/sais-org/MKB에서 공개적으로 이용할 수 있다.
BattVAE-GP: 불확실성 정량화를 통한 장기간 배터리 열화 생성 모델링
BattVAE-GP: Generative Modeling of Long-Horizon Battery Degradation with Uncertainty Quantification
장기간 배터리 열화에 대한 물리 기반 시뮬레이션은 기작적 통찰을 제공하지만 계산 비용이 높아, 장기 수명 동안 운전 조건을 촘촘히 탐험하는 데 활용이 제한된다. 여기서 우리는 보지 못한 충전 속도에서 리튬이온 배터리 열화 궤적의 대리 모델링을 위한 하이브리드 물리-확률적 학습 프레임워크를 제안한다. PyBaMM의 DFN/P2D 전기화학 모델로 생성된 사이클별 열화 데이터를 먼저 용량 정렬 전압 및 도함수 특징으로 변환한 뒤, 변분 오토인코더(VAE)를 사용해 인코딩한다. 그 결과 얻어진 2차원 잠재 공간은 사이클 진행과 충전 프로토콜 모두에 따라 열화 궤적을 정리한다. 그런 다음 희소 다중과제 가우시안 프로세스(GP)를 사이클 수와 C-rate를 입력 변수로 사용해 이 잠재 공간에서 학습하여, 잠재 열화 역학의 연속적 보간과 함께 사후 불확실성 추정치를 제공한다. 프로토콜 수준 홀드아웃 평가에서, 잠재 공간 GP는 보지 못한 C-rate 궤적을 정확히 복원하며 학습 데이터의 지지(support)와 일치하는 불확실성 거동을 보인다. 보지 못한 내부 C-rate에서 질의할 때, 모델은 인접한 시뮬레이션 프로토콜 사이에 일관되게 위치한 잠재 궤적을 생성한다. 고정된 VAE 디코더를 통해 GP가 예측한 잠재 상태를 디코딩하면 매끄러운 전압-용량 변화가 얻어지며, GP 잠재 사후를 보조 잠재→State of Health(SOH) 예측기에 몬테카를로 전파하면 불확실성을 반영한 SOH 추정치를 제공한다. 따라서 제안된 BattVAE-GP 프레임워크는 장기간 열화 모델링을 위한 계산적으로 효율적이고 불확실성을 반영한 대리 모델을 제공하며, 더 풍부한 운전 조건과 향후 시뮬레이션-실험 융합을 향한 배터리 건강 예측 확장을 위한 체계적 기반을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted by ICLR 2026