Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations
원문 초록
Imputation of missing data is a task that plays a vital role in a number of engineering and science applications. Often such missing data arise in experimental observations from limitations of sensors or post-processing transformation errors. Other times they arise from numerical and algorithmic constraints in computer simulations. One such instance and the application emphasis of this paper are numerical simulations of storm surge. The simulation data corresponds to time-series surge predictions over a number of save points within the geographic domain of interest, creating a spatio-temporal imputation problem where the surge points are heavily correlated spatially and temporally, and the missing values regions are structurally distributed at random. Very recently, machine learning techniques such as neural network methods have been developed and employed for missing data imputation tasks. Generative Adversarial Nets (GANs) and GAN-based techniques have particularly attracted attention as unsupervised machine learning methods. In this study, the Generative Adversarial Imputation Nets (GAIN) performance is improved by applying convolutional neural networks instead of fully connected layers to better capture the correlation of data and promote learning from the adjacent surge points. Another adjustment to the method needed specifically for the studied data is to consider the coordinates of the points as additional features to provide the model more information through the convolutional layers. We name our proposed method as Convolutional Generative Adversarial Imputation Nets (Conv-GAIN). The proposed method's performance by considering the improvements and adaptations required for the storm surge data is assessed and compared to the original GAIN and a few other techniques. The results show that Conv-GAIN has better performance than the alternative methods on the studied data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Mind the gap: an experimental evaluation of imputation of missing values techniques in time series
조건부 텐서 확산: 분포적 반사실 학습 및 추론
Conditional Tensor Diffusion: Distributional Counterfactual Learning and Inference
인과 추론은 운영 및 관리 의사결정을 이끌지만, 고차원 패널 또는 텐서 설정에서는 여전히 어렵고, 이때 의사결정은 누락된 통제(control) 결과의 결합 조건부 분포에 의존할 수 있다. 본 연구는 처리(treatment) 마스크와 잠재 Tucker 구조를 조건부 확산에 통합하여, 관측된 통제 결과가 주어졌을 때 저차원 코어에서의 효율적인 비선형 score 학습을 통해 이 분포를 복구하는 Counterfactual Tucker Diffusion(CFTDiff)를 제안한다. 마스킹된 Tucker score는 텐서 모드 간 의존성을 유지하면서, 비선형 score 학습의 차원을 모드 차원의 곱에서 Tucker rank의 곱이라는 훨씬 작은 규모로 줄인다. Tucker rank, 최대 모드 차원, 요인 강도(factor-strength)로 조정된 누락 결과 수에 의존하는 조건부 score 추정의 고확률(high-probability) 오차 상계를 확립하고, 이 상계가 누락된 통제 결과의 조건부 분포 복구 보장으로 어떻게 이어지는지 보인다. 다양한 누락률에서의 시뮬레이션은 일반적인 인과 패널 및 행렬/텐서 completion 방법보다 더 정확한 점(point) 복구를 보여 주며, 중첩 확산 명세와의 비교는 마스킹 조건화와 Tucker 차원 축소의 이득을 추가로 뒷받침한다. 노르웨이 iFlex 실험에서 CFTDiff는 경쟁 방법보다 누락 결과를 더 정확하게 복구한다. 인과 분석에 적용하면 추정된 조건부 분포로부터 반사실(counterfactual) 예측 구간과 목표 달성 확률을 얻을 수 있어, 가격 개입을 수요 감소 규모와 신뢰성(reliability) 측면에서 평가할 수 있다.
플라즈마 진단 모델의 센서 견고성 벤치마킹: TokaMark에서의 체계적 평가
Benchmarking Sensor Robustness in Plasma Diagnostic Models: A Systematic Evaluation on TokaMark
토카막 융합 장치용 플라즈마 진단 모델은 거의 전적으로 깨끗하고 완전한 센서 데이터로 평가된다. 실제로는 융합 진단이 정기적으로 실패한다: 취득 시스템이 늦게 시작되고, 개별 센서가 고장 나며, 신호 드롭아웃이 플라즈마 붕괴가 임박할 때 정확히 집중된다. 우리는 11,573개의 MAST 샷으로 구성된 TokaMark 데이터셋을 사용하여, 물리적으로 근거 있는 여섯 가지 실패 시나리오와 세 가지 대치(imputation) 전략에 걸쳐 XGBoost, LSTM, 트랜스포머, TokaMark CNN 기준선을 평가함으로써 플라즈마 진단 ML의 최초 체계적 견고성 벤치마크를 제시한다. 아키텍처 간 표준화된 비교를 위해 견고성 점수(Robustness Score, RS)를 도입한다. 핵심 발견은 붕괴 근접 센서 실패(최종 윈도우 타임스텝에 주입된 손상)가 시퀀스 모델 성능을 붕괴시키는 반면(LSTM +212% NRMSE), 통계적 특징 모델은 비교적 안정적으로 유지된다(XGBoost +37%)는 것이다. 순방향 채움(forward-fill) 대치는 시퀀스 모델의 무작위 드롭아웃으로 인한 성능 저하를 거의 모두 제거하지만(LSTM +57%에서 ~0%로), 윈도우 끝이 손상된 경우에는 거의 도움이 되지 않는다. 실제 붕괴 타임스탬프를 이용한 샷 단위 알람 평가는 근접 센서 실패에서 LSTM 알람 탐지가 TPR=0.00으로 붕괴하는 반면, 평균 채움(mean-fill) 대치가 이를 TPR=1.00으로 복구함을 보여주며, 이는 NRMSE에서 관측된 패턴과 반대이다. 플라즈마 전류는 모든 아키텍처에서 제거 시(+73%에서 +140%) 가장 중요한 단일 진단량으로 부상한다. 코드, 데이터, 학습된 체크포인트는 https://github.com/Neerav-Gupta/tokamark-robustness 에서 이용 가능하다.
사후 및 모델 내 불확실성을 반영한 학습 기반 확률적 부하 예측
Learning-based Probabilistic Load Forecasting with Post-hoc and In-model Uncertainty
스마트 빌딩 부하 예측기는 종종 조밀한 다변량 고빈도 데이터로 오프라인 학습되지만, 배포 시에는 시간당 단위의 특징이 제한된 입력만 제공될 수 있다. 누락된 특징은 재구성해야 하며, 그 오류는 모델을 통해 전파될 수 있다. 이 입력 불확실성이 반영되지 않으면 예측 구간이 부정확하게 보정되어 수요 반응(demand-response) 스케줄링에 영향을 미칠 수 있다. 본 연구는 추론 입력이 재구성된 이후 불확실성을 어디에 배치해야 하는지를 검토한다. 우리는 시간 해상도를 맞추고, 사용할 수 없는 입력을 재구성하며, 인과적 특징을 도출하는 통합 1일 선행 확률 예측 프레임워크를 개발하고, 모듈식 사후 잔차 분위수 방식과 통합 모델 내 분위수 학습 방식을 비교한다. 비교에는 세 가지 중규모 심층 학습(DL) 백본—순환형, 하이브리드 순환형, 어텐션 기반 시간 융합 트랜스포머(Temporal Fusion Transformer, TFT) 모델—이 동일한 입력, 예측 시계, 전처리 규칙, 학습 예산 하에서 사용된다. 결과는 불확실성 배치가 백본에 따라 달라짐을 보여준다. 통합 분위수 학습은 TFT에서 가장 신뢰할 만하며, 라벨이 있는 테스트 기간에서 2.2-3.6% MAPE와 28-83W RMSE를 달성하고, 명목 커버리지 수준에 가장 근접한 수준에서 모듈식 구간보다 약 5배 좁은 구간을 생성한다. Diebold-Mariano 검정은 TFT 순위와 순환형 백본의 혼합적 동작을 뒷받침한다. 재구성 민감도 테스트는 재구성된 입력이 분위수 점수(QS)를 106% 증가시키지만 구간 폭은 거의 변하지 않음을 보여주며, 이는 모델이 재구성으로 인한 불확실성을 자동으로 흡수하지 않음을 나타낸다. 비DL 기준선 및 계절별 홀드아웃 주차에 대한 견고성 검증은 이 순위를 뒷받침한다. 본 연구 결과는 추론이 재구성된 입력에 의존할 때 사후 잔차 분위수의 한계를 드러낸다.
외생 드롭아웃: 공변량을 활용한 손상 강건 시계열 예측을 위한 단순하고 강력한 기준선
Exogenous Dropout: A Simple, Strong Baseline for Corruption-Robust Time Series Forecasting with Covariates
외생 공변량(exogenous covariates)을 활용하는 시계열 예측 모델은 배포 환경에서 취약한 모습을 보인다. 해당 공변량에 노이즈가 추가되거나, 시간적으로 정렬이 어긋나거나, 누락될 경우, 강력한 외생 융합(exogenous-fusion) 및 외생 적응형(exogenous-adapted) 모델의 성능이 내생(endogenous) 전용 하한선보다 훨씬 크게 저하될 수 있다. 본 연구에서는 이러한 강건성(robustness)을 얻기 위해 특수한 아키텍처가 필요한지, 아니면 단순한 학습 개입만으로 달성 가능한지를 탐구한다. 우리는 학습 중 외생 채널 전체를 무작위로 영(zero)으로 만드는 모델 비종속적(model-agnostic) 방법인 외생 드롭아웃(exogenous dropout)을 제안한다. 전력 가격 예측, 저수지 수문학, 기상학 영역에 걸쳐, 외생 드롭아웃은 가우시안 노이즈, 시간적 정렬 불일치, 완전한 채널 누락 상황에서 강건성을 크게 향상시키면서도 정상 입력에 대한 정확도를 유지한다. 이중 상관 네트워크(dual-correlation network)에 적용했을 때, 학습 가능한 게이트, 내생 백본으로의 폴백 잔차(fallback residual), 채널별 외생 FiLM 변조(modulation)를 결합한 의도적으로 강력한 유계 아키텍처 비교 모델인 BoundEx를 능가하는, 실험 내 가장 강건한 모델을 산출한다. 아키텍처별 드롭아웃 절제 실험(ablation), 게이트 동작 진단, 표현 수준의 경계 분석을 통해, 이러한 강건성을 위해 명시적인 아키텍처 유계성(architectural boundedness)이 필요하지 않음을 보인다. 즉, 외생 드롭아웃으로 학습된 비유계(unbounded) 모델이 모든 도메인에서 유계 모델보다 더 강건하다. 우리는 손상 강건성 벤치마크를 공개하며, 공변량을 활용한 시계열 예측에 관한 향후 연구를 위한 단순하고 강력한 기준선으로 외생 드롭아웃을 권장한다.
결측을 신호로: 임상 시계열 예측을 위한 채널 독립 스펙트로그램 학습
Missingness as Signal: Channel-Independent Spectrogram Learning for Clinical Time Series Prediction
집중치료실에서의 임상 시계열 예측은 이질적인 생리학적 변수와 정보적 결측(informative missingness)으로 인해 여전히 어려운 과제이다. 측정값의 존재 또는 부재는 임상적 의사결정과 환자 중증도를 반영할 수 있으며, 따라서 결측은 단순한 데이터 아티팩트가 아닌 예측 신호로 기능할 수 있다. 본 연구는 임상 다변량 시계열 예측을 위한 결측 스트림을 갖춘 채널 독립 스펙트로그램 프레임워크인 CISM을 제안한다. CISM은 각 임상 변수를 변수별 시간-주파수 스펙트로그램으로 변환하고, 변수 정렬 인코딩(variable-aligned encoding)을 통해 변수 정체성을 보존하며, 명시적 결측 스트림을 스펙트로그램 표현과 정렬한다. MIMIC-IV에서 도출된 원내 사망률 태스크에 대한 실험 결과, CISM은 비교 대상인 시계열, 결측 인식, 비전, 시간-주파수 기반선 중 가장 높은 평균 AUROC(0.7225), AUPRC(0.3308), F1(0.3808)을 달성하였다. ablation 연구에서는 관측 패턴이 의미 있는 정보 신호를 제공함을 추가로 보여준다. 픽셀 수준 마스크 주입(pixel-level mask injection)은 일반 스펙트로그램 입력 대비 성능을 향상시키며 이러한 예측 가치의 상당 부분을 회복한다. 정렬된 결측 스트림은 AUROC와 AUPRC 모두에서 추가적이고 보완적인 성능 향상에 기여한다. 이러한 결과는 임상 시계열 예측에서 관측 패턴을 구조화된 신호로 모델링하는 것의 중요성을 부각한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.