사후 위험을 활용한 불확실성 분리를 위한 정답 프레임워크
A Ground-Truth Framework for Uncertainty Disentanglement with Posterior Risk
한국어 초록
안전성이 중요한 응용 분야에서는 신뢰할 수 있는 불확실성 추정이 필수적이다. 이러한 추정치가 실제로 유용하려면 모델의 불확실성을 유발하는 근본적인 원인을 이해해야 하며, 이는 전체 불확실성을 인식론적 불확실성(epistemic uncertainty)과 우발적 불확실성(aleatoric uncertainty)으로 분리(disentanglement)하도록 유도한다. 기존의 불확실성 개념들은 포착하는 원인이 서로 다르며, 그에 따라 우발적 불확실성과 인식론적 불확실성에 대한 정의도 달라 보편적으로 받아들여지는 정의가 존재하지 않는다. 본 논문에서는 관측된 표본이 주어졌을 때 타당한 정답 함수들의 분포 하에서 예측기의 기대 손실로 정의되는 표본 조건부 점별 사후 위험(sample-conditional pointwise posterior risk)을 통해 불확실성을 정의한다. 이 정의는 확률론적 불확실성 개념과 위험 기반 불확실성 개념을 통합한다. 최신 불확실성 분리 방법들을 평가하기 위해, 주로 사후 위험으로 정의된 정답 불확실성 및 흔히 사용되는 대안적 불확실성 정의들과 추정치를 직접 비교하는 프레임워크를 개발한다. 실험 결과, Spectral-normalized Neural Gaussian Processes와 Variational Latent Gaussian Processes가 정답 불확실성을 가장 근접하게 복원하는 반면, 대부분의 방법은 사후 위험보다 사후 분산을 더 밀접하게 추적하여 예측기의 바이어스를 놓치는 것으로 나타났다. 방법론의 순위 비교를 넘어, 추정된 우발적 불확실성과 인식론적 불확실성이 얼마나 강하게 얽혀 있는지, 그리고 불확실성의 품질이 모델링 선택에 얼마나 민감한지 조사하여 불확실성 분리를 위한 실용적인 지침을 제시한다. 추가적인 방법 개발 및 검증을 지원하기 위해, 사후 분포가 알려져 있어 정답 불확실성 계산이 가능한 13개의 준합성(semi-synthetic) UCI/OpenML 데이터셋을 공개한다. 코드와 데이터는 논문 채택 시 공개될 예정이다.
원문 초록
Reliable uncertainty estimates are critical in safety-sensitive applications. For such estimates to be useful in practice, it is crucial to understand the sources underlying a model's uncertainty, motivating the disentanglement of total uncertainty into epistemic and aleatoric uncertainty. Existing notions of uncertainty differ in the sources they capture and, consequently, in their definitions of aleatoric and epistemic uncertainty, with no universally accepted definition. We define uncertainty through sample-conditional pointwise posterior risk, which is the expected loss of a predictor under the distribution of plausible ground-truth functions given the observed sample. This definition unifies probabilistic and risk-based concepts of uncertainty. To assess state-of-the-art uncertainty disentanglement methods, we develop a framework that directly compares their estimates against ground-truth uncertainty defined primarily by posterior risk, alongside commonly used alternative uncertainty definitions. We find that Spectral-normalized Neural Gaussian Processes and Variational Latent Gaussian Processes most closely recover the ground-truth uncertainty, while most methods track posterior variance more closely than posterior risk, missing the predictors' bias. Beyond method rankings, we investigate how strongly estimated aleatoric and epistemic uncertainty are entangled and how sensitive uncertainty quality is to modeling choices, yielding practical guidance for uncertainty disentanglement. To support further method development and validation, we release 13 semi-synthetic UCI/OpenML datasets with known posteriors, enabling the computation of ground-truth uncertainty. Code and data will be made publicly available upon acceptance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.05995v3
- arXiv:2608.05995v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비가우시안 공간 장을 위한 확장 가능한 희소 자기회귀 변분 추론
Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
잠재 장 모델(Latent field model)은 공간 통계학에서 필수적이지만, 가우시안 프로세스(GP) 사전을 사용하더라도 가능도(likelihood)가 비가우시안(non-Gaussian)일 때마다 잠재 장의 사후 분포는 해석적으로 다루기 어렵습니다. 기존의 근사 기법들은 대규모 비가우시안 데이터셋에 적용하기에 너무 느리거나 지나치게 제약적입니다. 본 논문에서는 변분 족(variational family) 내에서 사전 분포의 희소 최근접 이웃 자기회귀 구조를 반영하고, 표현력을 위해 정규화 흐름(normalizing flow) 조건부 분포를 사용하며, 단일 공유 신경 조건화기(neural conditioner)를 통해 모든 변분 파라미터를 상각(amortize)하는 확장 가능한 변분 추론(variational inference) 프레임워크를 제안합니다. 축소된 조상 집합을 활용한 이중 확률적 최적화(doubly stochastic optimization)를 통해 반복(iteration)당 다항 로그 복잡도를 달성합니다.
공간 및 네트워크 객체를 활용한 덧셈 비모수적 회귀
Additive Nonparametric Regression with Spatial and Network Objects
본 논문은 구조적 MRI(s-MRI)의 대뇌 피질 지표와 휴지기 fMRI(rs-fMRI)의 뇌 연결성 데이터를 활용하여 과제 기반 fMRI(t-fMRI)로부터 과제 수행 기반 뇌 활성화 맵을 예측하는 청소년 뇌 인지 발달(ABCD) 연구의 영상 애플리케이션에서 동기를 얻었습니다. 계층적 베이지안 모델링은 다양한 영상 데이터를 통합하고 예측 불확실성을 정량화하는 데 매우 적합합니다. 그러나 다양한 영상 양식(modality) 간의 구조와 상호 연결성을 포착하는 결합 사전분포(joint prior) 설계의 난점과 더불어, 계산 복잡성 및 이론적 보장의 부재로 인해 이 분야의 발전은 제한적이었습니다. 이러한 과제를 해결하기 위해, 본 논문은 t-fMRI와 s-MRI 영상을 함수형 데이터(functional data)로 다루며, 함수형 반응변수에 대한 네트워크 및 함수형 예측변수의 덧셈 비선형 효과를 통합하는 새로운 회귀 프레임워크를 소개합니다. 구체적으로, 반응변수와의 복잡한 함수적 의존성을 포착하기 위해 함수형 예측변수와 관련된 계수에 가우시안 과정(GP) 사전분포를 적용합니다. 나아가, 반응 함수에 대한 네트워크 예측변수의 비선형적 노드 효과를 요약하기 위해 GP 사전분포를 할당합니다. 이 방법은 함수형 반응변수에 대한 예측 정확도의 이론적 결과로 뒷받침되며, 시뮬레이션 연구와 ABCD 연구의 다중 모달 신경영상 데이터 분석을 통해 실증적으로 검증됩니다.
증거 학습 기반 변이형 오토인코더에 관한 이론적 연구
Theoretical Study on the Evidential Learning-based Variational Autoencoder
정규-역감마(Normal-Inverse-Gamma, NIG) 잠재 계층 구조는 네 개의 매개변수를 가지지만, 이로 인해 유도된 잠재 법칙은 이 네 개를 모두 식별하지는 못한다. $\sigma^2\sim\mathrm{InvGamma}(\alpha,\beta)$, $\mu\mid\sigma^2\sim\mathcal{N}(\gamma,\sigma^2/\nu)$, 그리고 $z\mid\mu,\sigma^2\sim\mathcal{N}(\mu,\sigma^2)$에 대해, $z$의 주변 법칙(marginal law)은 $c=\beta(1+1/\nu)$를 통해서만 $(\nu,\beta)$에 의존한다. 따라서 재구성 관점에서 가시적인 매개변수 공간은 1차원 파이버 자유도를 갖는 3차원 몫 공간 $(\gamma,\alpha,c)$이다. 고정된 계층적 변분 목적식에 대해 완전한 NIG 사전분포로의 순방향 KL 발산(divergence)을 정확하게 부분 최소화하면 각 파이버에서 사전분포에 상대적인 고유한 대표값을 선택하게 되며, 이는 4개 좌표 목적식과 동일한 최적값을 갖는 정확한 3개 좌표 축소를 산출한다. $\rho_0=2\beta_0/\nu_0$ 및 $T=c/\{\alpha[(\gamma-\gamma_0)^2+\rho_0]\}$로 표기할 때, 역 표준 할당(inverse canonical allocation) $1/\nu_{\rm can}$이 $T$의 명시적인 강단조 증가 함수임을 보인다. 따라서 $\alpha>1$인 경우 비율 $u_{\rm epi}/u_{\rm var}=1/\nu_{\rm can}$은 몫 상태와 사전분포에 의해 결정되며, 공통 보정(calibration) 하에서 순위만을 사용하는 경우 $T$는 좌표별로 동일한 서열 정보를 포함한다. 잔여 사전분포 게이지는 제거되기보다는 특성화된다. 즉, $(\gamma_0,\rho_0)$는 서열 의존성을 지배하고, $(\nu_0,\alpha_0)$는 수치적 보정과 $1/\nu_{\rm can}$의 해석적 상한을 결정한다.
가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크
Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate
우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.
PR-Smoother: 데이터 동화를 위한 시뮬레이터 보존 비가우시안 스무딩
PR-Smoother: Simulator-Preserving Non-Gaussian Smoothing for Data Assimilation
많은 물리적 데이터 동화(DA) 워크플로는 물리 상태 변수에 대한 비가우시안 사후분포를 표현하고, 고차원 시뮬레이터로 확장 가능하며, 관측 구간만으로 학습하고, 주어진 시뮬레이터 보정과 호환되는 스무딩 방법을 요구한다. 본 논문은 이러한 주어진-시뮬레이터 DA 체계를 위해 설계된 시뮬레이터 보존 상환(amortized) 스무더인 PR-Smoother를 제안한다. 핵심 설계 원칙은 증거 하한(evidence lower bound)과 변분(variational) 계열 모두에서 주어진 시뮬레이터를 명시적으로 유지하는 것이다. 대체 역학이나 학습된 궤적 사전(prior)을 학습하는 대신, PR-Smoother는 주어진 롤아웃 주변에서 미래 조건(future-conditioned) 보정만을 학습한다. 이를 통해 물리 궤적에 대한 명시적 비가우시안 스무딩 분포를 얻으며, 관측만으로 상태, 매개변수, 센서 바이어스의 공동 학습을 지원한다. 변분 계열은 결정론적 한계와 선형-가우시안 한계에서 정확한 스무더를 포함한다. 실험적으로 PR-Smoother는 4차원 Lorenz-96에서 다중모드 사후분포를 포착하고, 40차원 Lorenz-96에서 모호한 비선형 관측과 과정 노이즈(process noise) 하에서도 정확도를 유지하며, 16,384차원 Kolmogorov flow에서 상태-매개변수-바이어스 공동 추론으로 확장된다.
역문제에서 상환 베이지안 추론을 위한 변분 목적함수: 사후 조건화의 역할
Variational objectives for amortized Bayesian inference in inverse problems: The role of posterior conditioning
변분 오토인코더(VAE)는 역문제에 대한 상환 베이지안 추론(inference)을 효율적으로 수행하는 접근을 제공하지만, 역문제에 약하게 식별되는 매개변수 방향이 포함될 때 특히 사후 정확도는 변분 정규화(regularization) 선택에 크게 의존할 수 있다. 본 연구는 세 가지 목적함수를 조사한다: 역 Kullback–Leibler 형식(VAE-KL), 비대칭 Jensen–Shannon 형식(VAE-JS), 그리고 역 Kullback–Leibler 정규화항을 제곱 2-Wasserstein 거리로 대체하면서 순방향 Kullback–Leibler 사후 지도는 유지하는 Jensen–Shannon–Wasserstein 형식(VAE-JSWA). 상환 사후 추론에는 full-covariance 가우시안 인코더와 사전학습된 물리 기반 서로게이트(surrogate)를 사용한다. 일반화 Fisher 기저에서의 국소 선형–가우시안 분석을 개발하여 세 목적함수의 분산 의존 기울기를 특성화한다. 이 형식들은 먼저 알려진 사후 해가 있는 선형–가우시안 벤치마크로 평가한 뒤, 선형 ODE에 의해 지배되는 역문제 하나와 PDE 제약 역문제 두 개를 포함한 비선형 물리 기반 역문제에서 검증한다. 세 접근 모두 유사한 사후 근사를 내놓는 잘 조건화(well-conditioned)된 벤치마크에서는 VAE-KL이 다른 형식들보다 약간 더 나은 성능을 보이는 반면, 강하게 ill-conditioned된 벤치마크에서는 VAE-JSWA가 사후 오차를 현저히 더 낮춘다. 비선형 물리 기반 문제에서도 유사한 조건화 의존 경향이 나타나며, 사후 ill-conditioning이 커질수록 JS 기반 형식이 더 큰 이득을 제공한다. 이러한 결과는 사후 조건화(posterior conditioning)가 변분 목적함수 선택에 중요한 요인임을 시사하며, 베이지안 역문제를 위한 기하학 적응형 변분 추론을 동기 부여한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.