arXiv:2606.26592v1 cs.CE

대리 가능도 가이던스를 갖는 PDE 역문제를 위한 잠재 확산 사후 샘플링

Latent Diffusion Posterior Sampling with Surrogate Likelihood Guidance for PDE Inverse Problems

Yuanzhe Wang, Alexandre M. Tartakovsky

제출 2026-06-25

한국어 초록

우리는 부분 미분 방정식(PDE)에 의해 지배되는 고차원 역문제를 위한 근사 베이즈 프레임워크인 잠재 공간 확산 사후 샘플링(L-DPS)을 제안한다. 이 방법은 PDE 제약 역문제에서 다음 세 가지 과제를 다룬다: 계산 가능한 밀도를 갖지 않은 암시적 표본 기반 사전분포, 고차원 공간 분포 매개변수, 사후 샘플링 중 반복적인 순방향 모델 평가의 높은 비용. L-DPS는 변분 오토인코더(VAE), 무조건 잠재 확산 모델, 확산 사후 샘플링(DPS), 그리고 미분 가능한 신경망 대리(surrogate) 모델을 결합한다. VAE는 매개변수 필드를 더 낮은 차원의 잠재 공간으로 매핑하고, 확산 모델은 이 잠재 공간에서 암시적 사전 점수를 학습하며, DPS는 이 학습된 사전분포와 가능도 기반 가이던스를 결합한다. 가능도 그래디언트는 디코더-대리 모델 조합을 통해 평가되어, 전체 수치 PDE 솔버를 반복적으로 호출하는 것을 피한다. 우리는 희소하고 노이즈가 있는 압력 관측값으로부터 미지의 공간 분포 투과도 필드를 추론하는 역 Darcy 유동 문제에서 이 방법을 평가한다. L-DPS는 정확하고 견고한 역해를 생성하며, 전체 공간 DPS 대비 추론 비용을 줄이고, 희소하고 노이즈가 많은 영역에서 조건부 잠재 확산 및 역 FNO와 같은 상각화(amortized) 역문제 기준선을 능가한다. 우리는 또한 L-DPS를 KLE-MAP 기준선과 비교하고, 혼합 사전분포 일반화와 대리 순방향 모델 오류에 대한 역문제 정확도의 민감도를 연구한다.

원문 초록

We propose latent-space diffusion posterior sampling (L-DPS), an approximate Bayesian framework for high-dimensional inverse problems governed by partial differential equations (PDEs). The method addresses three challenges in PDE-constrained inversion: implicit sample-based priors without tractable densities, high-dimensional spatially distributed parameters, and the high cost of repeated forward-model evaluations during posterior sampling. L-DPS combines a variational autoencoder, an unconditional latent diffusion model, diffusion posterior sampling, and a differentiable neural surrogate. The VAE maps the parameter field to a lower-dimensional latent space, the diffusion model learns an implicit prior score in this latent space, and DPS combines this learned prior with likelihood-based guidance. The likelihood gradient is evaluated through the decoder-surrogate composition, avoiding repeated calls to the full numerical PDE solver. We evaluate the method on an inverse Darcy flow problem with an unknown spatially distributed permeability field inferred from sparse and noisy pressure observations. L-DPS produces accurate and robust inverse solutions, reduces inference cost relative to full-space DPS, and outperforms amortized inverse baselines such as conditional latent diffusion and inverse FNO in sparse and noisy regimes. We further compare L-DPS with a KLE-MAP baseline and study mixed-prior generalization and the sensitivity of inversion accuracy to surrogate forward-model error.

요약

PDE 제약 고차원 역문제를 위해 VAE, 무조건 잠재 확산 모델, 확산 사후 샘플링(DPS), 미분 가능 신경망 대리(surrogate) 모델을 결합한 잠재 공간 확산 사후 샘플링(L-DPS)을 제안하며, 디코더-대리 모델 조합으로 가능도 그래디언트를 계산해 반복적 수치 PDE 솔버 호출을 줄인다. 역 Darcy 유동 문제에서 희소·노이즈 압력 관측으로 투과도 필드를 추론할 때 정확하고 견고한 역해를 제공하고, 전체 공간 DPS 대비 추론 비용을 낮추며 희소·노이즈 환경에서 조건부 잠재 확산 및 역 FNO 같은 상각화(amortized) 기준선을 능가한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.26592v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25145v1stat.ML공통 태그 Bayesian Inference, Uncertainty Quantification, Variational Inference, inverse problems

역문제에서 상환 베이지안 추론을 위한 변분 목적함수: 사후 조건화의 역할

Variational objectives for amortized Bayesian inference in inverse problems: The role of posterior conditioning

변분 오토인코더(VAE)는 역문제에 대한 상환 베이지안 추론(inference)을 효율적으로 수행하는 접근을 제공하지만, 역문제에 약하게 식별되는 매개변수 방향이 포함될 때 특히 사후 정확도는 변분 정규화(regularization) 선택에 크게 의존할 수 있다. 본 연구는 세 가지 목적함수를 조사한다: 역 Kullback–Leibler 형식(VAE-KL), 비대칭 Jensen–Shannon 형식(VAE-JS), 그리고 역 Kullback–Leibler 정규화항을 제곱 2-Wasserstein 거리로 대체하면서 순방향 Kullback–Leibler 사후 지도는 유지하는 Jensen–Shannon–Wasserstein 형식(VAE-JSWA). 상환 사후 추론에는 full-covariance 가우시안 인코더와 사전학습된 물리 기반 서로게이트(surrogate)를 사용한다. 일반화 Fisher 기저에서의 국소 선형–가우시안 분석을 개발하여 세 목적함수의 분산 의존 기울기를 특성화한다. 이 형식들은 먼저 알려진 사후 해가 있는 선형–가우시안 벤치마크로 평가한 뒤, 선형 ODE에 의해 지배되는 역문제 하나와 PDE 제약 역문제 두 개를 포함한 비선형 물리 기반 역문제에서 검증한다. 세 접근 모두 유사한 사후 근사를 내놓는 잘 조건화(well-conditioned)된 벤치마크에서는 VAE-KL이 다른 형식들보다 약간 더 나은 성능을 보이는 반면, 강하게 ill-conditioned된 벤치마크에서는 VAE-JSWA가 사후 오차를 현저히 더 낮춘다. 비선형 물리 기반 문제에서도 유사한 조건화 의존 경향이 나타나며, 사후 ill-conditioning이 커질수록 JS 기반 형식이 더 큰 이득을 제공한다. 이러한 결과는 사후 조건화(posterior conditioning)가 변분 목적함수 선택에 중요한 요인임을 시사하며, 베이지안 역문제를 위한 기하학 적응형 변분 추론을 동기 부여한다.

arXiv:2608.05995v3cs.LG공통 태그 Bayesian Inference, Uncertainty Quantification, Variational Inference

사후 위험을 활용한 불확실성 분리를 위한 정답 프레임워크

A Ground-Truth Framework for Uncertainty Disentanglement with Posterior Risk

안전성이 중요한 응용 분야에서는 신뢰할 수 있는 불확실성 추정이 필수적이다. 이러한 추정치가 실제로 유용하려면 모델의 불확실성을 유발하는 근본적인 원인을 이해해야 하며, 이는 전체 불확실성을 인식론적 불확실성(epistemic uncertainty)과 우발적 불확실성(aleatoric uncertainty)으로 분리(disentanglement)하도록 유도한다. 기존의 불확실성 개념들은 포착하는 원인이 서로 다르며, 그에 따라 우발적 불확실성과 인식론적 불확실성에 대한 정의도 달라 보편적으로 받아들여지는 정의가 존재하지 않는다. 본 논문에서는 관측된 표본이 주어졌을 때 타당한 정답 함수들의 분포 하에서 예측기의 기대 손실로 정의되는 표본 조건부 점별 사후 위험(sample-conditional pointwise posterior risk)을 통해 불확실성을 정의한다. 이 정의는 확률론적 불확실성 개념과 위험 기반 불확실성 개념을 통합한다. 최신 불확실성 분리 방법들을 평가하기 위해, 주로 사후 위험으로 정의된 정답 불확실성 및 흔히 사용되는 대안적 불확실성 정의들과 추정치를 직접 비교하는 프레임워크를 개발한다. 실험 결과, Spectral-normalized Neural Gaussian Processes와 Variational Latent Gaussian Processes가 정답 불확실성을 가장 근접하게 복원하는 반면, 대부분의 방법은 사후 위험보다 사후 분산을 더 밀접하게 추적하여 예측기의 바이어스를 놓치는 것으로 나타났다. 방법론의 순위 비교를 넘어, 추정된 우발적 불확실성과 인식론적 불확실성이 얼마나 강하게 얽혀 있는지, 그리고 불확실성의 품질이 모델링 선택에 얼마나 민감한지 조사하여 불확실성 분리를 위한 실용적인 지침을 제시한다. 추가적인 방법 개발 및 검증을 지원하기 위해, 사후 분포가 알려져 있어 정답 불확실성 계산이 가능한 13개의 준합성(semi-synthetic) UCI/OpenML 데이터셋을 공개한다. 코드와 데이터는 논문 채택 시 공개될 예정이다.

arXiv:2609.27853v1stat.ML공통 태그 Bayesian Inference, Uncertainty Quantification, Variational Inference

증거 학습 기반 변이형 오토인코더에 관한 이론적 연구

Theoretical Study on the Evidential Learning-based Variational Autoencoder

정규-역감마(Normal-Inverse-Gamma, NIG) 잠재 계층 구조는 네 개의 매개변수를 가지지만, 이로 인해 유도된 잠재 법칙은 이 네 개를 모두 식별하지는 못한다. $\sigma^2\sim\mathrm{InvGamma}(\alpha,\beta)$, $\mu\mid\sigma^2\sim\mathcal{N}(\gamma,\sigma^2/\nu)$, 그리고 $z\mid\mu,\sigma^2\sim\mathcal{N}(\mu,\sigma^2)$에 대해, $z$의 주변 법칙(marginal law)은 $c=\beta(1+1/\nu)$를 통해서만 $(\nu,\beta)$에 의존한다. 따라서 재구성 관점에서 가시적인 매개변수 공간은 1차원 파이버 자유도를 갖는 3차원 몫 공간 $(\gamma,\alpha,c)$이다. 고정된 계층적 변분 목적식에 대해 완전한 NIG 사전분포로의 순방향 KL 발산(divergence)을 정확하게 부분 최소화하면 각 파이버에서 사전분포에 상대적인 고유한 대표값을 선택하게 되며, 이는 4개 좌표 목적식과 동일한 최적값을 갖는 정확한 3개 좌표 축소를 산출한다. $\rho_0=2\beta_0/\nu_0$ 및 $T=c/\{\alpha[(\gamma-\gamma_0)^2+\rho_0]\}$로 표기할 때, 역 표준 할당(inverse canonical allocation) $1/\nu_{\rm can}$이 $T$의 명시적인 강단조 증가 함수임을 보인다. 따라서 $\alpha>1$인 경우 비율 $u_{\rm epi}/u_{\rm var}=1/\nu_{\rm can}$은 몫 상태와 사전분포에 의해 결정되며, 공통 보정(calibration) 하에서 순위만을 사용하는 경우 $T$는 좌표별로 동일한 서열 정보를 포함한다. 잔여 사전분포 게이지는 제거되기보다는 특성화된다. 즉, $(\gamma_0,\rho_0)$는 서열 의존성을 지배하고, $(\nu_0,\alpha_0)$는 수치적 보정과 $1/\nu_{\rm can}$의 해석적 상한을 결정한다.

arXiv:2609.26890v1cs.LG공통 태그 Bayesian Inference, Uncertainty Quantification, Variational Inference

PR-Smoother: 데이터 동화를 위한 시뮬레이터 보존 비가우시안 스무딩

PR-Smoother: Simulator-Preserving Non-Gaussian Smoothing for Data Assimilation

많은 물리적 데이터 동화(DA) 워크플로는 물리 상태 변수에 대한 비가우시안 사후분포를 표현하고, 고차원 시뮬레이터로 확장 가능하며, 관측 구간만으로 학습하고, 주어진 시뮬레이터 보정과 호환되는 스무딩 방법을 요구한다. 본 논문은 이러한 주어진-시뮬레이터 DA 체계를 위해 설계된 시뮬레이터 보존 상환(amortized) 스무더인 PR-Smoother를 제안한다. 핵심 설계 원칙은 증거 하한(evidence lower bound)과 변분(variational) 계열 모두에서 주어진 시뮬레이터를 명시적으로 유지하는 것이다. 대체 역학이나 학습된 궤적 사전(prior)을 학습하는 대신, PR-Smoother는 주어진 롤아웃 주변에서 미래 조건(future-conditioned) 보정만을 학습한다. 이를 통해 물리 궤적에 대한 명시적 비가우시안 스무딩 분포를 얻으며, 관측만으로 상태, 매개변수, 센서 바이어스의 공동 학습을 지원한다. 변분 계열은 결정론적 한계와 선형-가우시안 한계에서 정확한 스무더를 포함한다. 실험적으로 PR-Smoother는 4차원 Lorenz-96에서 다중모드 사후분포를 포착하고, 40차원 Lorenz-96에서 모호한 비선형 관측과 과정 노이즈(process noise) 하에서도 정확도를 유지하며, 16,384차원 Kolmogorov flow에서 상태-매개변수-바이어스 공동 추론으로 확장된다.

arXiv:2607.21671v1cs.LG공통 태그 Bayesian Inference, Uncertainty Quantification, Variational Inference

신경 특징 거버넌스: Atom Prevalence 확장

Neural Feature Governance: Extending Atom Prevalence

신경망 압축과 해석 가능성은 현대 딥러닝에서 여전히 남아 있는 과제이며, 수십억 개의 매개변수를 갖는 아키텍처는 인상적인 정확도를 제공하지만 그 대가로 투명성, 계산 효율성, 신뢰할 수 있는 불확실성 정량화를 희생한다. 본 논문은 순전파 신경망에서 구조화된 노드 수준 모델 선택을 위한 원칙적인 베이지안 프레임워크인 Neural Atom Prevalence(NAP)를 제안한다. NAP는 신경 원자(activation unit)를 도입하며, 4단계 파이프라인을 통해 작동하는 하이브리드 방법이다: Iterative Magnitude Pruning(IMP)을 통한 Bayesian Lottery Ticket(BLT) 식별, Spike and Slab Independent Gaussian(SS-IG) 모델의 소프트 변분 학습, Poisson-Binomial(PB) 최적 층 크기 선택, 그리고 희소하고 안정적이며 해석 가능하고 정확한 모델을 생성하기 위한 베이지안 미세조정. 시뮬레이션된 비선형 회귀, 두 개의 UCI 벤치마크 데이터셋(Concrete, YearPredictionMSD), MNIST 이미지 분류 과제에 걸친 광범위한 실증 검증은 NAP가 최첨단 구조적 희소성을 달성함을 보여주며, MNIST에서는 활성 노드를 원래 밀집 아키텍처의 8%까지 줄이면서 확률적으로 잘 보정된다. 알레아토릭-인식론적(aleatoric-epistemic) 불확실성 분해는 모든 실험에서 모델 무지(model ignorance)가 총 예측 분산의 3~4%만을 차지함을 밝히고, 회귀 신뢰성 다이어그램은 거의 명목적인 예측 구간 커버리지(95% 목표 대비 93.4% 관측)를 확인한다. 이러한 결과는 NAP를 베이지안 신경망에서 희소성, 정확도, 해석 가능성, 불확실성 정량화를 동시에 추구하는 문제에 대한 신뢰할 수 있고 이론적으로 정당화되며 계산적으로 다루기 쉬운 해법으로 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.