Learning Dynamical Systems from Multiple Sparse Datasets: A Hierarchical Bayesian Modeling Approach
원문 초록
Estimating parameters of dynamical systems from sparse, noisy, and irregularly sampled data is often severely ill-conditioned. When multiple related datasets are available, they provide additional information if the shared structure and variability are properly modeled. We propose a hierarchical Bayesian framework for probabilistic meta-learning in dynamical systems, modeling dataset-specific parameters as draws from a shared population distribution. A numerical ODE solver is embedded within gradient-based MCMC to enable efficient posterior inference of the shared population and dataset-specific parameter distribution. Experiments show improved predictive performance over unpooled methods, highlighting the potential for data-efficient system identification in settings with sparse data.
요약
희소하고 불규칙하게 샘플링된 복수의 데이터셋에서 동역학 시스템(dynamical systems) 파라미터를 추정하는 문제를 다루며, 데이터셋별 파라미터를 공유 모집단 분포에서의 샘플로 모델링하는 계층적 베이지안(Hierarchical Bayesian) 메타학습 프레임워크를 제안한다. 미분방정식(ODE) 수치 솔버를 그래디언트 기반 MCMC(No-U-Turn Sampler)에 내장하여 효율적인 사후 추론을 가능하게 하였으며, Lotka-Volterra 벤치마크 실험에서 비풀링(unpooled) 방법 대비 예측 성능이 크게 향상됨을 보였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.24966v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
시스템 식별을 위한 문맥 내 학습: 확률적 정식화, 긴 시퀀스 처리 및 벤치마크 검증
In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation
전통적인 시스템 식별(system identification)은 일반적으로 두 단계로 이루어집니다. 먼저 학습(training) 데이터를 처리하여 관심 대상 시스템의 모델을 추정하고, 그 후 해당 모델을 사용하여 새로운 입력 쿼리에 대한 출력을 예측합니다. 이와 대조적으로, 최근의 문맥 내 학습(ICL) 접근 방식은 명시적인 모델 추정을 거치지 않고, 제로샷(zero-shot) 방식으로 학습 데이터와 쿼리 입력으로부터 직접 출력으로 매핑하는 메타 모델을 학습합니다. 이 방식은 대규모 합성 생성 데이터셋에서 오프라인으로 학습된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모사합니다. 본 연구에서는 시스템 식별을 위한 이러한 메타학습(meta-learning) 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머(Transformer) 기반 인코더-디코더와 긴 학습 시퀀스 처리에 특화된 메커니즘을 결합하여 긴 시계(horizon)에 걸쳐 보정된(calibrated) 예측을 가능하게 하는 통합 확률적 메타 식별 아키텍처를 개발합니다. 둘째, 사전학습된 메타 모델이 고전적 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기 역할을 수행하여, 실제 데이터가 부족할 때 매개변수 모델(parametric model)을 정규화하는 태스크 맞춤형 데이터를 제공할 수 있음을 보여줍니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 도전적인 OOD(out-of-distribution) 시나리오에서 프레임워크를 체계적으로 평가하여, SOTA(state-of-the-art) 방법들과 견줄 만한 정확도 및 강력한 일반화 성능을 입증하며, 여기에는 입력 전용 적응만으로도 상당한 분포 변화를 처리하기에 충분한 사례들도 포함됩니다.
FREESIA: 표현력 있고 확장 가능한 데이터 동화를 위한 공분산 인식 사후 수송
FREESIA: Covariance-Aware Posterior Transport for Expressive and Scalable Data Assimilation
데이터 동화(Data assimilation)는 관측 데이터를 기반으로 복잡한 동적 시스템의 상태를 추론(inference)하는 것을 목표로 합니다. 그러나 고차원 및 희소 관측 조건에서는 비선형 또는 비단사(non-injective) 관측 연산자로 인해 유도되는 다봉(multimodal) 사후확률을 정확하게 추론하는 것이 여전히 주요한 과제로 남아 있습니다. 앙상블(ensemble) 필터는 고차원으로 확장 가능하지만 제한적인 분포 가정에 얽매여 있으며, 무학습(training-free) 생성형 필터(예: EnSF, EnFF)는 이러한 한계를 완화하지만 희소 관측 상황에서 구조적 오류를 유발하고 정보 전파를 저해할 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 무학습 방식의 점근적으로 정확한 사후 수송(posterior transport) 방법을 제안합니다. 먼저, 예측 교차 공분산(cross-covariance)을 흐름 기반(flow-based) 수송에 임베딩하여 비가우시안(non-Gaussian) 사후 구조를 보존하면서 관측되지 않은 상태를 정확하게 복원하는 공분산 인식(covariance-aware) 사후 수송 체계를 설계합니다. 나아가, 이 방법은 다루기 쉬운 관측 적응형 제안 분포와 사후 보정을 결합하여 비선형 사후 분포의 정확한 근사를 보장합니다. 마지막으로, 우리는 해당 사후 흐름 이론을 정립하고, 이를 통해 유한 앙상블 대리 모델 대비 제안된 방법의 점근적 정확성과 바서슈타인(Wasserstein) 오차 한계를 도출합니다. Double-Well, Lorenz-96, 그리고 Kolmogorov 흐름에 대한 실험은 제안된 방법이 복잡한 사후 구조를 포착하고 희소, 비선형, 비단사 관측 조건에서도 정확성을 유지함을 보여줍니다. 특히 희소 비단사 설정에서는 최고 성능의 기준선(baseline) 대비 RMSE를 56% 감소시킵니다.
연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
검색-증강 해석 가능 학습: 헬스케어 분야의 태스크별 제로샷 모델을 향하여
Retrieval-Augmented Interpretable Learning: Towards Task-Specific Zero-Shot Models in Healthcare
본 논문에서는 자연어 태스크 설명과 이전에 학습된 태스크별 예측기 메모리로부터 계수 공간 구조를 합성하여 태스크별 해석 가능 모델을 제로샷(zero-shot)으로 생성하는 확률론적 메타러닝 프레임워크인 검색-증강 해석 가능 학습(Retrieval-Augmented Interpretable Learning, RAIL)을 소개합니다. RAIL은 관련된 소스 태스크를 검색하고, 계수 공간을 통해 구조를 전이하며, 원래의 진단 특징(feature) 공간에서 새로운 예측기를 생성함으로써 특징 수준의 설명과 함께 제로샷 및 퓨샷(few-shot) 임상 시술 예측을 가능하게 합니다. 이러한 확률론적 정식화는 검색, 모델 계수, 예측 전반에 걸친 불확실성을 제공하여 불확실성을 인식하는 배포를 지원합니다. 즉, 불확실한 예측이나 불안정한 설명은 자동 결정으로 처리되는 대신 추가적인 임상 검토를 거치도록 플래그를 지정할 수 있습니다. 이는 예측 태스크가 심각하게 롱테일(long-tailed) 특성을 띠고, 새로운 임상 목표가 빈번하게 발생하며, 모델이 검토 가능하고 불확실성을 인지하며 인간의 감독과 호환되어야 하는 헬스케어 환경에 RAIL을 특히 적합하게 만듭니다. 롱테일 임상 시술 예측 태스크 전반에 걸쳐 RAIL은 데이터가 부족한 환경에서의 모델 생성을 개선하고, 임상 정보를 반영한 태스크 표현의 이점을 활용하며, 모델 동작을 더욱 투명하게 만드는 검색, 불확실성, 계수 수준의 진단을 제공합니다. 이러한 결과는 해석 가능성과 신뢰성을 유지하면서 새로운 태스크에 적응할 수 있는 확장 가능한 임상 예측 시스템을 향한 방향을 제시합니다.
증거 학습 기반 변이형 오토인코더에 관한 이론적 연구
Theoretical Study on the Evidential Learning-based Variational Autoencoder
정규-역감마(Normal-Inverse-Gamma, NIG) 잠재 계층 구조는 네 개의 매개변수를 가지지만, 이로 인해 유도된 잠재 법칙은 이 네 개를 모두 식별하지는 못한다. $\sigma^2\sim\mathrm{InvGamma}(\alpha,\beta)$, $\mu\mid\sigma^2\sim\mathcal{N}(\gamma,\sigma^2/\nu)$, 그리고 $z\mid\mu,\sigma^2\sim\mathcal{N}(\mu,\sigma^2)$에 대해, $z$의 주변 법칙(marginal law)은 $c=\beta(1+1/\nu)$를 통해서만 $(\nu,\beta)$에 의존한다. 따라서 재구성 관점에서 가시적인 매개변수 공간은 1차원 파이버 자유도를 갖는 3차원 몫 공간 $(\gamma,\alpha,c)$이다. 고정된 계층적 변분 목적식에 대해 완전한 NIG 사전분포로의 순방향 KL 발산(divergence)을 정확하게 부분 최소화하면 각 파이버에서 사전분포에 상대적인 고유한 대표값을 선택하게 되며, 이는 4개 좌표 목적식과 동일한 최적값을 갖는 정확한 3개 좌표 축소를 산출한다. $\rho_0=2\beta_0/\nu_0$ 및 $T=c/\{\alpha[(\gamma-\gamma_0)^2+\rho_0]\}$로 표기할 때, 역 표준 할당(inverse canonical allocation) $1/\nu_{\rm can}$이 $T$의 명시적인 강단조 증가 함수임을 보인다. 따라서 $\alpha>1$인 경우 비율 $u_{\rm epi}/u_{\rm var}=1/\nu_{\rm can}$은 몫 상태와 사전분포에 의해 결정되며, 공통 보정(calibration) 하에서 순위만을 사용하는 경우 $T$는 좌표별로 동일한 서열 정보를 포함한다. 잔여 사전분포 게이지는 제거되기보다는 특성화된다. 즉, $(\gamma_0,\rho_0)$는 서열 의존성을 지배하고, $(\nu_0,\alpha_0)$는 수치적 보정과 $1/\nu_{\rm can}$의 해석적 상한을 결정한다.
PR-Smoother: 데이터 동화를 위한 시뮬레이터 보존 비가우시안 스무딩
PR-Smoother: Simulator-Preserving Non-Gaussian Smoothing for Data Assimilation
많은 물리적 데이터 동화(DA) 워크플로는 물리 상태 변수에 대한 비가우시안 사후분포를 표현하고, 고차원 시뮬레이터로 확장 가능하며, 관측 구간만으로 학습하고, 주어진 시뮬레이터 보정과 호환되는 스무딩 방법을 요구한다. 본 논문은 이러한 주어진-시뮬레이터 DA 체계를 위해 설계된 시뮬레이터 보존 상환(amortized) 스무더인 PR-Smoother를 제안한다. 핵심 설계 원칙은 증거 하한(evidence lower bound)과 변분(variational) 계열 모두에서 주어진 시뮬레이터를 명시적으로 유지하는 것이다. 대체 역학이나 학습된 궤적 사전(prior)을 학습하는 대신, PR-Smoother는 주어진 롤아웃 주변에서 미래 조건(future-conditioned) 보정만을 학습한다. 이를 통해 물리 궤적에 대한 명시적 비가우시안 스무딩 분포를 얻으며, 관측만으로 상태, 매개변수, 센서 바이어스의 공동 학습을 지원한다. 변분 계열은 결정론적 한계와 선형-가우시안 한계에서 정확한 스무더를 포함한다. 실험적으로 PR-Smoother는 4차원 Lorenz-96에서 다중모드 사후분포를 포착하고, 40차원 Lorenz-96에서 모호한 비선형 관측과 과정 노이즈(process noise) 하에서도 정확도를 유지하며, 16,384차원 Kolmogorov flow에서 상태-매개변수-바이어스 공동 추론으로 확장된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.