다루기 쉬운 불확실성 정량화를 지원하는 구조 보존형 신경망 대리 모델
Structure-Preserving Neural Surrogates with Tractable Uncertainty Quantification
한국어 초록
최근 과학 기계 학습(scientific machine learning)의 발전은 편미분 방정식(PDEs)에 대한 준실시간 해법을 제공하지만, 현대의 검증(verification) 및 확인(validation)을 지원하는 기존 시뮬레이터의 이론적 기초가 부족합니다. 본 연구에서는 구조 보존형 실시간 대리 모델 역할을 하는 데이터 기반 차수 축소 모델(reduced-order models)을 구축합니다. 특히, 물리적 보존 구조를 부과하는 외적 미적분학(exterior calculus)이 상태-플럭스 관계의 불확실성에 대한 가우시안 프로세스(GP) 표현을 구축하는 데 사용하는 위상적 구조를 드러낸다는 점이 주목됩니다. 이는 궁극적으로 사후 불확실성에 대한 닫힌 형식의 식을 갖는 관심 양(quantities of interest)에 대한 디리클레-노이만 맵(Dirichlet-to-Neumann map)을 산출합니다. 구체적으로, 우리는 경량 트랜스포머(transformer)에 의해 규정된 기존 라비아르-토마스(Raviart--Thomas) 및 $dgP_0$ 요소의 구조 보존형 $H(\mathrm{div})$-$L^2$ 부분 공간을 제안합니다. 이 부분 공간과 일치하는 차수 축소 역학은 GP가 부피 간 플럭스를 설명하는 보존 법칙을 제시함으로써 학습됩니다. 이 작업은 혼합 유한 요소법(FEM) 공간과 GP 회귀 간의 새로운 인터페이스에 기반합니다. 학습(training)을 최적 회복 문제(ORP)로 제시할 때, 결과적인 GP 회귀는 보존 구조를 부과하는 등식 제약 조건이 있는 최적화 문제로 작성될 수 있으며, 이는 빠른 슈어 보수(Schur-complement) 학습 전략에 적합합니다. 그런 다음 학습된 모델은 지정된 디리클레 데이터(Dirichlet data)에 의해 구동되는 경계 플럭스에 대한 닫힌 형식의 추정기를 사용하여 실시간으로 해결할 수 있습니다. 본 논문은 불확실성 정량화를 지원하기 위한 선형 범함수에 대한 RKHS(재생 커널 힐베르트 공간) 사후 오차 한계를 포함하며, 오차 추정에 대한 대리 모델로서 사후 분포의 정확도를 입증하는 수치 실험도 포함합니다.
원문 초록
Recent advances in scientific machine learning provide a means of near-real-time solution to partial differential equations (PDEs), but lack the theoretical underpinnings of conventional simulators that support contemporary verification and validation. In this work, we construct data-driven reduced-order models that serve as structure-preserving, real-time surrogates. Remarkably, the exterior calculus that imposes physical conservation structure also exposes topological structure that we use to build a Gaussian process (GP) representation of uncertainty in state-flux relationships, ultimately yielding a Dirichlet-to-Neumann map for quantities of interest with closed-form expressions for posterior uncertainty. We specifically propose structure-preserving $H(\mathrm{div})$--$L^2$ subspaces of conventional Raviart--Thomas and $dgP_0$ elements prescribed by a lightweight transformer. Reduced-order dynamics consistent with this subspace are learned by posing a conservation law in which a GP describes the fluxes between volumes. This work hinges on a novel interface between mixed FEM spaces and GP regression; when training is posed as the optimal recovery problem (ORP), the resulting GP regression can be written as an optimization problem with equality constraints that impose a conservation structure, amenable to a fast Schur-complement training strategy. The trained model can then be solved in real time with closed-form estimators for boundary fluxes driven by prescribed Dirichlet data. The paper includes RKHS posterior error bounds for linear functionals to support uncertainty quantification, as well as numerical experiments demonstrating the accuracy of the posterior distribution as a surrogate for error estimation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11650v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
사후 위험을 활용한 불확실성 분리를 위한 정답 프레임워크
A Ground-Truth Framework for Uncertainty Disentanglement with Posterior Risk
안전성이 중요한 응용 분야에서는 신뢰할 수 있는 불확실성 추정이 필수적이다. 이러한 추정치가 실제로 유용하려면 모델의 불확실성을 유발하는 근본적인 원인을 이해해야 하며, 이는 전체 불확실성을 인식론적 불확실성(epistemic uncertainty)과 우발적 불확실성(aleatoric uncertainty)으로 분리(disentanglement)하도록 유도한다. 기존의 불확실성 개념들은 포착하는 원인이 서로 다르며, 그에 따라 우발적 불확실성과 인식론적 불확실성에 대한 정의도 달라 보편적으로 받아들여지는 정의가 존재하지 않는다. 본 논문에서는 관측된 표본이 주어졌을 때 타당한 정답 함수들의 분포 하에서 예측기의 기대 손실로 정의되는 표본 조건부 점별 사후 위험(sample-conditional pointwise posterior risk)을 통해 불확실성을 정의한다. 이 정의는 확률론적 불확실성 개념과 위험 기반 불확실성 개념을 통합한다. 최신 불확실성 분리 방법들을 평가하기 위해, 주로 사후 위험으로 정의된 정답 불확실성 및 흔히 사용되는 대안적 불확실성 정의들과 추정치를 직접 비교하는 프레임워크를 개발한다. 실험 결과, Spectral-normalized Neural Gaussian Processes와 Variational Latent Gaussian Processes가 정답 불확실성을 가장 근접하게 복원하는 반면, 대부분의 방법은 사후 위험보다 사후 분산을 더 밀접하게 추적하여 예측기의 바이어스를 놓치는 것으로 나타났다. 방법론의 순위 비교를 넘어, 추정된 우발적 불확실성과 인식론적 불확실성이 얼마나 강하게 얽혀 있는지, 그리고 불확실성의 품질이 모델링 선택에 얼마나 민감한지 조사하여 불확실성 분리를 위한 실용적인 지침을 제시한다. 추가적인 방법 개발 및 검증을 지원하기 위해, 사후 분포가 알려져 있어 정답 불확실성 계산이 가능한 13개의 준합성(semi-synthetic) UCI/OpenML 데이터셋을 공개한다. 코드와 데이터는 논문 채택 시 공개될 예정이다.
공간 및 네트워크 객체를 활용한 덧셈 비모수적 회귀
Additive Nonparametric Regression with Spatial and Network Objects
본 논문은 구조적 MRI(s-MRI)의 대뇌 피질 지표와 휴지기 fMRI(rs-fMRI)의 뇌 연결성 데이터를 활용하여 과제 기반 fMRI(t-fMRI)로부터 과제 수행 기반 뇌 활성화 맵을 예측하는 청소년 뇌 인지 발달(ABCD) 연구의 영상 애플리케이션에서 동기를 얻었습니다. 계층적 베이지안 모델링은 다양한 영상 데이터를 통합하고 예측 불확실성을 정량화하는 데 매우 적합합니다. 그러나 다양한 영상 양식(modality) 간의 구조와 상호 연결성을 포착하는 결합 사전분포(joint prior) 설계의 난점과 더불어, 계산 복잡성 및 이론적 보장의 부재로 인해 이 분야의 발전은 제한적이었습니다. 이러한 과제를 해결하기 위해, 본 논문은 t-fMRI와 s-MRI 영상을 함수형 데이터(functional data)로 다루며, 함수형 반응변수에 대한 네트워크 및 함수형 예측변수의 덧셈 비선형 효과를 통합하는 새로운 회귀 프레임워크를 소개합니다. 구체적으로, 반응변수와의 복잡한 함수적 의존성을 포착하기 위해 함수형 예측변수와 관련된 계수에 가우시안 과정(GP) 사전분포를 적용합니다. 나아가, 반응 함수에 대한 네트워크 예측변수의 비선형적 노드 효과를 요약하기 위해 GP 사전분포를 할당합니다. 이 방법은 함수형 반응변수에 대한 예측 정확도의 이론적 결과로 뒷받침되며, 시뮬레이션 연구와 ABCD 연구의 다중 모달 신경영상 데이터 분석을 통해 실증적으로 검증됩니다.
가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크
Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate
우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.
위성 탑재 SAR 영상에서 RCS 모델링을 위한 딥 시그마 포인트 프로세스
Deep Sigma Point Processes for RCS Modeling in Spaceborne SAR Imagery
레이더 단면적(RCS) 모델링은 위성 탑재 레이더 시스템의 활용도와 민감도를 향상시키는 데 기초적이다. 본 연구는 208,191척의 검증된 선박을 포함하는 RADARSAT-2 데이터셋을 사용하여 합성개구레이더(SAR) 영상에서 RCS를 예측하기 위한 딥 시그마 포인트 프로세스(DSPP) 모델을 제안한다. DSPP 모델은 예측 정확도를 추구할 뿐만 아니라, 레이더 신호, 선박 파라미터, 환경 조건 간의 복잡한 관계에 내재된 불확실성을 특성화한다. 정적 파라미터를 갖는 결정론적 방정식에 의존하는 기존 접근법과 달리, DSPP는 계층적 가우시안 프로세스 프레임워크와 베이지안 추론을 사용하여 RCS 예측의 변동성과 불확실성을 포착한다. 단일 추정치가 아닌 예측 분포를 생성함으로써, 모델은 레이더 반사 신호를 지배하는 복잡한 역학을 반영한다. 자동 관련성 결정(ARD)을 갖는 Matérn 커널을 사용하여 DSPP는 레이더, 운용, 환경 영역 전반에 걸쳐 중요 특징을 식별하고 순위를 매겨 투명성과 해석 가능성을 지원한다. 성능 평가 결과, 모델은 선형 회귀 기준선 대비 우수함을 보였으며, 테스트 데이터에서 제곱근 평균 제곱 오차(RMSE) 20.83% 감소, R² 25.89% 증가, 잔차 사분위 범위와 중앙절대편차(MAD) 모두 44.4% 감소를 달성했다. 보정된 불확실성 경계를 제공함으로써 DSPP는 예측 신뢰성을 향상시키고 견고한 의사결정을 지원한다. 본 연구는 복잡한 현상에 내재된 불확실성을 통합하는 확률적 모델로의 전환을 나타낸다. 고정된 방정식에서 결과에 대한 분포로 전환함으로써 DSPP는 RCS 거동에 대한 더 깊은 이해를 촉진하고 동적 환경에서 시스템이 효과적으로 작동할 수 있게 한다.
연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
운동 상상 전기뇌파의 피험자 간 분류를 위한 베이지안 완전 풀링
Bayesian Complete-Pooling in Cross-Subject Classification for Motor Imagery Electroencephalogram
토론
이 논문과 연결된 포럼 글이 아직 없습니다.