arXiv:2601.21860v3 math.OC

Pathwise Learning of Stochastic Dynamical Systems with Partial Observations

Nicole Tianjiao Yang

제출 2026-01-29

원문 초록

The reconstruction and inference of stochastic dynamical systems from data is a fundamental task in inverse problems and statistical learning. While surrogate modeling advances computational methods to approximate these dynamics, standard approaches typically require high-fidelity training data. In many practical settings, however, the data are indirectly observed through noisy and nonlinear measurements. The challenge lies not only in approximating the coefficients of the SDEs, but in simultaneously inferring the posterior updates given the observations. In this work, we present an amortized path generation method to address these challenges and solve nonlinear stochastic filtering from noisy observations. We first derive a variational inference formulation that solves filtering distribution for a given noisy observation path. This leads to a controlled SDE representation in which the feedback control is identified through the score structure of a pathwise Zakai equation. Motivated by this representation, we construct a conditional generative model that learns, in an amortized manner over observation paths, to transport a prior latent path measure toward the corresponding posterior path measure. We demonstrate the method on nonlinear stochastic systems with multimodal posterior structure, chaotic dynamics, and sparse observations, showing that the learned conditional path generator enables uncertainty quantification for both filtering marginals and trajectory-dependent functionals.

요약

노이즈가 있는 비선형 관측으로만 간접 관측되는 확률적 동역학 시스템(SDE)에서 계수 추정과 관측에 따른 사후 갱신을 함께 다루기 위해, pathwise Zakai equation의 score 구조를 이용한 제어 SDE 표현과 변분 추론을 결합한 상각화(amortized) 경로 생성 방법을 제안한다. 다중모드 사후, 혼돈 동역학, 희소 관측을 갖는 비선형 시스템 실험에서 학습된 조건부 경로 생성기가 필터링 주변분포와 궤적 의존 함수량의 불확실성 정량화를 가능하게 함을 보였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.21860v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20521v1cs.LG공통 태그 Bayesian Inference, Uncertainty Quantification, Variational Inference, State Estimation

상태 추정을 위한 생성형 베이지안 필터링

Generative Bayesian Filtering for State Estimation

동적 시스템의 상태는 시간에 따라 진화하며, 관측 가능한 행동을 지배하는 여러 잠재 모드 사이를 전환한다. 필터링 방법은 관측으로부터 잠재 상태를 추론한다. 칼만 필터(Kalman filter)를 포함한 고전적 필터링 접근법은 일반적으로 선형-가우스(linear-Gaussian) 모델과 같은 단순한 관측 모델에 의존하며, 이는 고차원 센서 신호에서 점점 더 비선형적이고 이질적인(heterogeneous) 패턴을 특성화하는 데 한계가 있다. 이 도전에 대응하기 위해, 우리는 제한적인 관측 모델을 조건부 변분 오토인코더(CVAE)로 매개변수화된 사전학습(pre-trained) 조건부 생성 모델로 대체하는 필터링 프레임워크인 생성형 베이지안 필터링(Generative Bayesian Filtering, GBF)을 제안한다. 온라인 추론(inference)을 위해 GBF는 베이지안 예측-갱신 재귀를 수행하며, 여기서 측정 갱신(measurement update)은 동역학적 사전(dynamical prior)과 CVAE 유도 가능도(likelihood)를 결합하는 사후 샘플링 문제로 공식화된다. 그 결과 필터링 문제는 스코어 기반(score-based) 샘플링 문제로 변환되며, 이는 생성 모델의 유연성과 앙상블(ensembling)의 불확실성 정량화(uncertainty quantification) 능력을 자연스럽게 계승한다. 합성 데이터셋(dataset)과 제조 시스템 모니터링 및 부정맥 진단(arrhythmia diagnosis)을 포함한 실세계 응용에 대한 실험은 GBF가 기준선(baseline) 접근법 대비 상태 추정 정확도와 견고성(robustness)을 향상시킴을 보여준다.

arXiv:2610.13764v1stat.ML공통 태그 Bayesian Inference, Uncertainty Quantification, amortized inference

사전 데이터 적합 네트워크는 베이지안 추론을 얼마나 잘 상각하는가?

How Well Do Prior-Data Fitted Networks Amortize Bayesian Inference?

사전 데이터 적합 네트워크(PFN)는 합성 사전 분포의 베이지안 사후 예측 분포(PPD)를 근사하도록 학습되지만, 근사 품질에 대한 연구 결과는 놀라울 정도로 부족합니다. 경험적 위험 최소화 관점을 취하여, 본 연구는 PFN의 배포 오차를 사전 분포 오차, 컨텍스트 오차, 상각 오차로 분해하고, 현실적인 사전 분포 하에서 기준 PPD와 비교하여 상각 오차를 측정합니다. 실험 결과, PFN은 대체로 목표 PPD를 매우 잘 복원하는 것으로 나타났습니다. 그럼에도 불구하고, 사전 사전학습 분포 하의 희귀한 설정에서는 모델 크기를 스케일링할 때조차 잔여 상각 오차의 일부가 지속됨을 발견했습니다. 이는 독립적으로 사전학습된 PFN 간의 불일치로 나타나며, 추론 시 예측기에 대한 불확실성을 남깁니다. 이에 대한 해결책으로 여러 유형의 베이지안 모델 평균을 연구하였으며, 이를 통해 이러한 불확실성을 일관되게 줄이고 풀사이즈 TabICLv2 모델에 이르기까지 예측을 개선할 수 있음을 확인했습니다.

arXiv:2608.05995v3cs.LG공통 태그 Bayesian Inference, Uncertainty Quantification, Variational Inference

사후 위험을 활용한 불확실성 분리를 위한 정답 프레임워크

A Ground-Truth Framework for Uncertainty Disentanglement with Posterior Risk

안전성이 중요한 응용 분야에서는 신뢰할 수 있는 불확실성 추정이 필수적이다. 이러한 추정치가 실제로 유용하려면 모델의 불확실성을 유발하는 근본적인 원인을 이해해야 하며, 이는 전체 불확실성을 인식론적 불확실성(epistemic uncertainty)과 우발적 불확실성(aleatoric uncertainty)으로 분리(disentanglement)하도록 유도한다. 기존의 불확실성 개념들은 포착하는 원인이 서로 다르며, 그에 따라 우발적 불확실성과 인식론적 불확실성에 대한 정의도 달라 보편적으로 받아들여지는 정의가 존재하지 않는다. 본 논문에서는 관측된 표본이 주어졌을 때 타당한 정답 함수들의 분포 하에서 예측기의 기대 손실로 정의되는 표본 조건부 점별 사후 위험(sample-conditional pointwise posterior risk)을 통해 불확실성을 정의한다. 이 정의는 확률론적 불확실성 개념과 위험 기반 불확실성 개념을 통합한다. 최신 불확실성 분리 방법들을 평가하기 위해, 주로 사후 위험으로 정의된 정답 불확실성 및 흔히 사용되는 대안적 불확실성 정의들과 추정치를 직접 비교하는 프레임워크를 개발한다. 실험 결과, Spectral-normalized Neural Gaussian Processes와 Variational Latent Gaussian Processes가 정답 불확실성을 가장 근접하게 복원하는 반면, 대부분의 방법은 사후 위험보다 사후 분산을 더 밀접하게 추적하여 예측기의 바이어스를 놓치는 것으로 나타났다. 방법론의 순위 비교를 넘어, 추정된 우발적 불확실성과 인식론적 불확실성이 얼마나 강하게 얽혀 있는지, 그리고 불확실성의 품질이 모델링 선택에 얼마나 민감한지 조사하여 불확실성 분리를 위한 실용적인 지침을 제시한다. 추가적인 방법 개발 및 검증을 지원하기 위해, 사후 분포가 알려져 있어 정답 불확실성 계산이 가능한 13개의 준합성(semi-synthetic) UCI/OpenML 데이터셋을 공개한다. 코드와 데이터는 논문 채택 시 공개될 예정이다.

arXiv:2609.27853v1stat.ML공통 태그 Bayesian Inference, Uncertainty Quantification, Variational Inference

증거 학습 기반 변이형 오토인코더에 관한 이론적 연구

Theoretical Study on the Evidential Learning-based Variational Autoencoder

정규-역감마(Normal-Inverse-Gamma, NIG) 잠재 계층 구조는 네 개의 매개변수를 가지지만, 이로 인해 유도된 잠재 법칙은 이 네 개를 모두 식별하지는 못한다. $\sigma^2\sim\mathrm{InvGamma}(\alpha,\beta)$, $\mu\mid\sigma^2\sim\mathcal{N}(\gamma,\sigma^2/\nu)$, 그리고 $z\mid\mu,\sigma^2\sim\mathcal{N}(\mu,\sigma^2)$에 대해, $z$의 주변 법칙(marginal law)은 $c=\beta(1+1/\nu)$를 통해서만 $(\nu,\beta)$에 의존한다. 따라서 재구성 관점에서 가시적인 매개변수 공간은 1차원 파이버 자유도를 갖는 3차원 몫 공간 $(\gamma,\alpha,c)$이다. 고정된 계층적 변분 목적식에 대해 완전한 NIG 사전분포로의 순방향 KL 발산(divergence)을 정확하게 부분 최소화하면 각 파이버에서 사전분포에 상대적인 고유한 대표값을 선택하게 되며, 이는 4개 좌표 목적식과 동일한 최적값을 갖는 정확한 3개 좌표 축소를 산출한다. $\rho_0=2\beta_0/\nu_0$ 및 $T=c/\{\alpha[(\gamma-\gamma_0)^2+\rho_0]\}$로 표기할 때, 역 표준 할당(inverse canonical allocation) $1/\nu_{\rm can}$이 $T$의 명시적인 강단조 증가 함수임을 보인다. 따라서 $\alpha>1$인 경우 비율 $u_{\rm epi}/u_{\rm var}=1/\nu_{\rm can}$은 몫 상태와 사전분포에 의해 결정되며, 공통 보정(calibration) 하에서 순위만을 사용하는 경우 $T$는 좌표별로 동일한 서열 정보를 포함한다. 잔여 사전분포 게이지는 제거되기보다는 특성화된다. 즉, $(\gamma_0,\rho_0)$는 서열 의존성을 지배하고, $(\nu_0,\alpha_0)$는 수치적 보정과 $1/\nu_{\rm can}$의 해석적 상한을 결정한다.

arXiv:2609.26890v1cs.LG공통 태그 Bayesian Inference, Uncertainty Quantification, Variational Inference

PR-Smoother: 데이터 동화를 위한 시뮬레이터 보존 비가우시안 스무딩

PR-Smoother: Simulator-Preserving Non-Gaussian Smoothing for Data Assimilation

많은 물리적 데이터 동화(DA) 워크플로는 물리 상태 변수에 대한 비가우시안 사후분포를 표현하고, 고차원 시뮬레이터로 확장 가능하며, 관측 구간만으로 학습하고, 주어진 시뮬레이터 보정과 호환되는 스무딩 방법을 요구한다. 본 논문은 이러한 주어진-시뮬레이터 DA 체계를 위해 설계된 시뮬레이터 보존 상환(amortized) 스무더인 PR-Smoother를 제안한다. 핵심 설계 원칙은 증거 하한(evidence lower bound)과 변분(variational) 계열 모두에서 주어진 시뮬레이터를 명시적으로 유지하는 것이다. 대체 역학이나 학습된 궤적 사전(prior)을 학습하는 대신, PR-Smoother는 주어진 롤아웃 주변에서 미래 조건(future-conditioned) 보정만을 학습한다. 이를 통해 물리 궤적에 대한 명시적 비가우시안 스무딩 분포를 얻으며, 관측만으로 상태, 매개변수, 센서 바이어스의 공동 학습을 지원한다. 변분 계열은 결정론적 한계와 선형-가우시안 한계에서 정확한 스무더를 포함한다. 실험적으로 PR-Smoother는 4차원 Lorenz-96에서 다중모드 사후분포를 포착하고, 40차원 Lorenz-96에서 모호한 비선형 관측과 과정 노이즈(process noise) 하에서도 정확도를 유지하며, 16,384차원 Kolmogorov flow에서 상태-매개변수-바이어스 공동 추론으로 확장된다.

arXiv:2609.28425v1quant-ph공통 태그 Bayesian Inference, Uncertainty Quantification, State Estimation

머신러닝을 활용한 재귀적 상태 추정에서 근사 솔버의 수리 가능성

Repairability of Inexact Solvers in Recursive State Estimation with Machine Learning

재귀적 상태 추정은 종종 피드백 루프 안에서 근사적인 수치 해를 실행하며, 국소적으로 매우 정확한 단계가 전체적으로 더 나은 결과를 보장하지는 않는다. 고정된 선형 Kalman 모델에 대해, 규정된 부분공간과 노름 예산 내 보정이 국소 허용 가능성 허용 오차를 충족할 수 있는 조건을 특성화하고, 실제로 실행된 결함이 유한 구간 공분산 응답에 미치는 영향을 분석한다. 구현된 공분산에 대한 정확한 이득(gain)을 중심으로 각 결함을 두면 현재 솔브 오류와 상속된 이득 드리프트를 분리할 수 있다. 정확한 잔차-드리프트 항등식을 전개하면 2차 응답을 넘어 상반되는 4차 기여가 드러난다. 혁신(innovation) 공분산 팽창은 양의 방향으로, 국소 이득 재최적화는 음의 방향으로 작용한다. 일치하는 초기화 하에서, 고정 구간에서 유계 결함 열에 대해 균일한 절대 6차 나머지 상한은 2차 과소 또는 과대 예측에 대한 충분 조건을 제공한다. 머신러닝은 유계 보정을 제안하고, 학습기에 독립적인 잔차 증명서(residual certificate)와 검증된 폴백(fallback)이 기준 추정기를 바꾸지 않은 채 고전 및 양자 후보의 실행을 관장한다. 전력망 허용 오차 연구에서, 학습된 보정은 동일한 잔차 증명서 하에서 보정되지 않은 솔브에 비해 폴백 없이 배포할 때 최소 �共轭梯度(conjugate-gradient) 반복 횟수를 낮춘다. 변분 양자 선형 솔버와 어닐링 기반 이진 인코딩으로 재구성된 이득은 초전도 하드웨어上的 소규모 단말 측정과 양자 어닐러(quantum annealer)上的 샘pling을 거쳐 동일한 인터페이스로 실행된다. 국소 수리 가능성을 비선형 오류 전파와 연결함으로써, 이 프레임워크는 독립적 인증과 유한 구간 응답을 통해 근사 솔버와 학습된 보정을 평가하며, 하이브리드 양자-고전 계산 연구를 위한 실용적 토대를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.