arXiv:2104.08556

Recursive input and state estimation: A general framework for learning from time series with missing data

Alberto García-Durán, Robert West

제출 2021-04-17

원문 초록

Time series with missing data are signals encountered in important settings for machine learning. Some of the most successful prior approaches for modeling such time series are based on recurrent neural networks that transform the input and previous state to account for the missing observations, and then treat the transformed signal in a standard manner. In this paper, we introduce a single unifying framework, Recursive Input and State Estimation (RISE), for this general approach and reformulate existing models as specific instances of this framework. We then explore additional novel variations within the RISE framework to improve the performance of any instance. We exploit representation learning techniques to learn latent representations of the signals used by RISE instances. We discuss and develop various encoding techniques to learn latent signal representations. We benchmark instances of the framework with various encoding functions on three data imputation datasets, observing that RISE instances always benefit from encoders that learn representations for numerical values from the digits into which they can be decomposed.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10850v2cs.LG공통 태그 Representation Learning, Time Series Analysis

유사한 예측 적합도와 상이한 잠재 동역학: 뇌 질환 맞춤형 모델에서 학습된 동역학적 구조 특성화

Similar Predictive Fit but Different Latent Dynamics: Characterizing Learned Dynamical Structure in Personalized Models of Brain Disorders

AI 모델이 임상 의사결정 및 맞춤형 치료로 나아감에 따라, 모델이 무엇을 학습하는지 이해하는 것은 단순한 예측 정확도를 넘어 매우 중요합니다. 본 연구에서는 예측 적합도가 유사하더라도 개인화된 잠재 동역학(latent dynamics)이 임상적으로 연관된 차이를 드러내는지 조사합니다. Temple University EEG Corpus(TUEG)로 사전학습된 경량 CNN-트랜스포머(Transformer) 뇌파(EEG) 파운데이션 모델을 사용하여 세그먼트 수준의 표현을 추출합니다. Temple University Epilepsy Corpus(TUEP)를 활용하여 표현들을 공유 잠재 상태 공간으로 매핑하고, 각 피험자에게 독립적으로 희소 다항 로지스틱 전이 분포(mLTD)를 적합하여 개인화된 전이 의존성 그래프 $W_n$을 얻습니다. 분석 대상은 $n{=}198$명의 피험자(뇌전증 99명 / 비뇌전증 99명)입니다. $k{=}4$에서 뇌전증 피험자는 훨씬 더 조밀한 학습된 의존성 구조를 나타내며($p{=}1.1\times10^{-7}$), $k{=}6$에서도 동일한 패턴을 보입니다(19.90 대 13.46; $p{=}5.2\times10^{-5}$). 그래프 유래 특징들은 5-겹 피험자별 교차 검증(cross-validation) 하에서 중간 수준의 집단 구별 능력을 제공합니다($k{=}4$에서 AUROC 0.68; $k{=}6$에서 0.65). 대조적으로, 홀드아웃 로그 가능도(log-likelihood)는 $k{=}4$에서 두 집단 간에 거의 동일하며($-0.992$ 대 $-0.991$; $p{=}0.95$), 다음 상태 예측 역시 유사하게 일치합니다(AUROC 0.855 대 0.861; $p{=}0.54$). 따라서 유사한 예측 적합도가 유사한 학습 동역학을 의미하지는 않습니다. 즉, 개인화된 모델이 학습한 내부 동역학 구조에는 상당한 차이가 있더라도, 두 집단은 대등한 수준으로 예측 가능할 수 있습니다. 이러한 차이는 개인화된 임상 모델에서 예측 성능과 함께 학습된 구조를 평가해야 할 필요성을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.