원문 초록
We propose a variational tail bound for norms of random vectors and matrices under moment assumptions on their one-dimensional marginals. A simplified version of the bound that parametrizes the ``aggregating distribution'' using a certain pushforward of the Gaussian distribution is also provided. We apply the proposed method to reproduce some of the well-known bounds on norms of Gaussian random vectors, and also obtain dimension-free tail bounds for the Euclidean norm of random vectors with arbitrary moment profiles. Furthermore, we reproduce a dimension-free concentration inequality for sum of independent and identically distributed positive semidefinite matrices with sub-exponential marginals, and obtain a concentration inequality for the sample covariance matrix of sub-exponential random vectors. We also obtain a tail bound for the operator norm of a random matrix series whose random coefficients may have arbitrary moment profiles. Furthermore, we use coupling to formulate an abstraction of the proposed approach that applies more broadly. As a corollary, we derive a PAC-Bayesian-style bound in terms of a certain combination of the KL and Rényi divergences between the prior and posterior distributions.
요약
일차 주변분의 모멘트 가정 하에서 확률 벡터와 행렬 노름에 대한 변분 꼬리 상한을 제안하고, 가우시안 푸시포워드로 집계 분포를 매개화한 단순화형도 함께 제시한다. 이 방법으로 가우시안 벡터 노름의 기존 상한을 재현하고, 임의 모멘트 프로파일에 대한 차원 무관 유클리드 노름 상한과 sub-exponential 주변분을 갖는 양의 준정부호 행렬 합, sub-exponential 확률 벡터의 표본 공분산, 임의 모멘트 계수를 갖는 랜덤 행렬 급수의 연산자 노름에 대한 집중 부등식을 얻는다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2503.17300v5제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
사후 위험을 활용한 불확실성 분리를 위한 정답 프레임워크
A Ground-Truth Framework for Uncertainty Disentanglement with Posterior Risk
안전성이 중요한 응용 분야에서는 신뢰할 수 있는 불확실성 추정이 필수적이다. 이러한 추정치가 실제로 유용하려면 모델의 불확실성을 유발하는 근본적인 원인을 이해해야 하며, 이는 전체 불확실성을 인식론적 불확실성(epistemic uncertainty)과 우발적 불확실성(aleatoric uncertainty)으로 분리(disentanglement)하도록 유도한다. 기존의 불확실성 개념들은 포착하는 원인이 서로 다르며, 그에 따라 우발적 불확실성과 인식론적 불확실성에 대한 정의도 달라 보편적으로 받아들여지는 정의가 존재하지 않는다. 본 논문에서는 관측된 표본이 주어졌을 때 타당한 정답 함수들의 분포 하에서 예측기의 기대 손실로 정의되는 표본 조건부 점별 사후 위험(sample-conditional pointwise posterior risk)을 통해 불확실성을 정의한다. 이 정의는 확률론적 불확실성 개념과 위험 기반 불확실성 개념을 통합한다. 최신 불확실성 분리 방법들을 평가하기 위해, 주로 사후 위험으로 정의된 정답 불확실성 및 흔히 사용되는 대안적 불확실성 정의들과 추정치를 직접 비교하는 프레임워크를 개발한다. 실험 결과, Spectral-normalized Neural Gaussian Processes와 Variational Latent Gaussian Processes가 정답 불확실성을 가장 근접하게 복원하는 반면, 대부분의 방법은 사후 위험보다 사후 분산을 더 밀접하게 추적하여 예측기의 바이어스를 놓치는 것으로 나타났다. 방법론의 순위 비교를 넘어, 추정된 우발적 불확실성과 인식론적 불확실성이 얼마나 강하게 얽혀 있는지, 그리고 불확실성의 품질이 모델링 선택에 얼마나 민감한지 조사하여 불확실성 분리를 위한 실용적인 지침을 제시한다. 추가적인 방법 개발 및 검증을 지원하기 위해, 사후 분포가 알려져 있어 정답 불확실성 계산이 가능한 13개의 준합성(semi-synthetic) UCI/OpenML 데이터셋을 공개한다. 코드와 데이터는 논문 채택 시 공개될 예정이다.
증거 학습 기반 변이형 오토인코더에 관한 이론적 연구
Theoretical Study on the Evidential Learning-based Variational Autoencoder
정규-역감마(Normal-Inverse-Gamma, NIG) 잠재 계층 구조는 네 개의 매개변수를 가지지만, 이로 인해 유도된 잠재 법칙은 이 네 개를 모두 식별하지는 못한다. $\sigma^2\sim\mathrm{InvGamma}(\alpha,\beta)$, $\mu\mid\sigma^2\sim\mathcal{N}(\gamma,\sigma^2/\nu)$, 그리고 $z\mid\mu,\sigma^2\sim\mathcal{N}(\mu,\sigma^2)$에 대해, $z$의 주변 법칙(marginal law)은 $c=\beta(1+1/\nu)$를 통해서만 $(\nu,\beta)$에 의존한다. 따라서 재구성 관점에서 가시적인 매개변수 공간은 1차원 파이버 자유도를 갖는 3차원 몫 공간 $(\gamma,\alpha,c)$이다. 고정된 계층적 변분 목적식에 대해 완전한 NIG 사전분포로의 순방향 KL 발산(divergence)을 정확하게 부분 최소화하면 각 파이버에서 사전분포에 상대적인 고유한 대표값을 선택하게 되며, 이는 4개 좌표 목적식과 동일한 최적값을 갖는 정확한 3개 좌표 축소를 산출한다. $\rho_0=2\beta_0/\nu_0$ 및 $T=c/\{\alpha[(\gamma-\gamma_0)^2+\rho_0]\}$로 표기할 때, 역 표준 할당(inverse canonical allocation) $1/\nu_{\rm can}$이 $T$의 명시적인 강단조 증가 함수임을 보인다. 따라서 $\alpha>1$인 경우 비율 $u_{\rm epi}/u_{\rm var}=1/\nu_{\rm can}$은 몫 상태와 사전분포에 의해 결정되며, 공통 보정(calibration) 하에서 순위만을 사용하는 경우 $T$는 좌표별로 동일한 서열 정보를 포함한다. 잔여 사전분포 게이지는 제거되기보다는 특성화된다. 즉, $(\gamma_0,\rho_0)$는 서열 의존성을 지배하고, $(\nu_0,\alpha_0)$는 수치적 보정과 $1/\nu_{\rm can}$의 해석적 상한을 결정한다.
PR-Smoother: 데이터 동화를 위한 시뮬레이터 보존 비가우시안 스무딩
PR-Smoother: Simulator-Preserving Non-Gaussian Smoothing for Data Assimilation
많은 물리적 데이터 동화(DA) 워크플로는 물리 상태 변수에 대한 비가우시안 사후분포를 표현하고, 고차원 시뮬레이터로 확장 가능하며, 관측 구간만으로 학습하고, 주어진 시뮬레이터 보정과 호환되는 스무딩 방법을 요구한다. 본 논문은 이러한 주어진-시뮬레이터 DA 체계를 위해 설계된 시뮬레이터 보존 상환(amortized) 스무더인 PR-Smoother를 제안한다. 핵심 설계 원칙은 증거 하한(evidence lower bound)과 변분(variational) 계열 모두에서 주어진 시뮬레이터를 명시적으로 유지하는 것이다. 대체 역학이나 학습된 궤적 사전(prior)을 학습하는 대신, PR-Smoother는 주어진 롤아웃 주변에서 미래 조건(future-conditioned) 보정만을 학습한다. 이를 통해 물리 궤적에 대한 명시적 비가우시안 스무딩 분포를 얻으며, 관측만으로 상태, 매개변수, 센서 바이어스의 공동 학습을 지원한다. 변분 계열은 결정론적 한계와 선형-가우시안 한계에서 정확한 스무더를 포함한다. 실험적으로 PR-Smoother는 4차원 Lorenz-96에서 다중모드 사후분포를 포착하고, 40차원 Lorenz-96에서 모호한 비선형 관측과 과정 노이즈(process noise) 하에서도 정확도를 유지하며, 16,384차원 Kolmogorov flow에서 상태-매개변수-바이어스 공동 추론으로 확장된다.
역문제에서 상환 베이지안 추론을 위한 변분 목적함수: 사후 조건화의 역할
Variational objectives for amortized Bayesian inference in inverse problems: The role of posterior conditioning
변분 오토인코더(VAE)는 역문제에 대한 상환 베이지안 추론(inference)을 효율적으로 수행하는 접근을 제공하지만, 역문제에 약하게 식별되는 매개변수 방향이 포함될 때 특히 사후 정확도는 변분 정규화(regularization) 선택에 크게 의존할 수 있다. 본 연구는 세 가지 목적함수를 조사한다: 역 Kullback–Leibler 형식(VAE-KL), 비대칭 Jensen–Shannon 형식(VAE-JS), 그리고 역 Kullback–Leibler 정규화항을 제곱 2-Wasserstein 거리로 대체하면서 순방향 Kullback–Leibler 사후 지도는 유지하는 Jensen–Shannon–Wasserstein 형식(VAE-JSWA). 상환 사후 추론에는 full-covariance 가우시안 인코더와 사전학습된 물리 기반 서로게이트(surrogate)를 사용한다. 일반화 Fisher 기저에서의 국소 선형–가우시안 분석을 개발하여 세 목적함수의 분산 의존 기울기를 특성화한다. 이 형식들은 먼저 알려진 사후 해가 있는 선형–가우시안 벤치마크로 평가한 뒤, 선형 ODE에 의해 지배되는 역문제 하나와 PDE 제약 역문제 두 개를 포함한 비선형 물리 기반 역문제에서 검증한다. 세 접근 모두 유사한 사후 근사를 내놓는 잘 조건화(well-conditioned)된 벤치마크에서는 VAE-KL이 다른 형식들보다 약간 더 나은 성능을 보이는 반면, 강하게 ill-conditioned된 벤치마크에서는 VAE-JSWA가 사후 오차를 현저히 더 낮춘다. 비선형 물리 기반 문제에서도 유사한 조건화 의존 경향이 나타나며, 사후 ill-conditioning이 커질수록 JS 기반 형식이 더 큰 이득을 제공한다. 이러한 결과는 사후 조건화(posterior conditioning)가 변분 목적함수 선택에 중요한 요인임을 시사하며, 베이지안 역문제를 위한 기하학 적응형 변분 추론을 동기 부여한다.
신경 특징 거버넌스: Atom Prevalence 확장
Neural Feature Governance: Extending Atom Prevalence
신경망 압축과 해석 가능성은 현대 딥러닝에서 여전히 남아 있는 과제이며, 수십억 개의 매개변수를 갖는 아키텍처는 인상적인 정확도를 제공하지만 그 대가로 투명성, 계산 효율성, 신뢰할 수 있는 불확실성 정량화를 희생한다. 본 논문은 순전파 신경망에서 구조화된 노드 수준 모델 선택을 위한 원칙적인 베이지안 프레임워크인 Neural Atom Prevalence(NAP)를 제안한다. NAP는 신경 원자(activation unit)를 도입하며, 4단계 파이프라인을 통해 작동하는 하이브리드 방법이다: Iterative Magnitude Pruning(IMP)을 통한 Bayesian Lottery Ticket(BLT) 식별, Spike and Slab Independent Gaussian(SS-IG) 모델의 소프트 변분 학습, Poisson-Binomial(PB) 최적 층 크기 선택, 그리고 희소하고 안정적이며 해석 가능하고 정확한 모델을 생성하기 위한 베이지안 미세조정. 시뮬레이션된 비선형 회귀, 두 개의 UCI 벤치마크 데이터셋(Concrete, YearPredictionMSD), MNIST 이미지 분류 과제에 걸친 광범위한 실증 검증은 NAP가 최첨단 구조적 희소성을 달성함을 보여주며, MNIST에서는 활성 노드를 원래 밀집 아키텍처의 8%까지 줄이면서 확률적으로 잘 보정된다. 알레아토릭-인식론적(aleatoric-epistemic) 불확실성 분해는 모든 실험에서 모델 무지(model ignorance)가 총 예측 분산의 3~4%만을 차지함을 밝히고, 회귀 신뢰성 다이어그램은 거의 명목적인 예측 구간 커버리지(95% 목표 대비 93.4% 관측)를 확인한다. 이러한 결과는 NAP를 베이지안 신경망에서 희소성, 정확도, 해석 가능성, 불확실성 정량화를 동시에 추구하는 문제에 대한 신뢰할 수 있고 이론적으로 정당화되며 계산적으로 다루기 쉬운 해법으로 확립한다.
상태 추정을 위한 생성형 베이지안 필터링
Generative Bayesian Filtering for State Estimation
동적 시스템의 상태는 시간에 따라 진화하며, 관측 가능한 행동을 지배하는 여러 잠재 모드 사이를 전환한다. 필터링 방법은 관측으로부터 잠재 상태를 추론한다. 칼만 필터(Kalman filter)를 포함한 고전적 필터링 접근법은 일반적으로 선형-가우스(linear-Gaussian) 모델과 같은 단순한 관측 모델에 의존하며, 이는 고차원 센서 신호에서 점점 더 비선형적이고 이질적인(heterogeneous) 패턴을 특성화하는 데 한계가 있다. 이 도전에 대응하기 위해, 우리는 제한적인 관측 모델을 조건부 변분 오토인코더(CVAE)로 매개변수화된 사전학습(pre-trained) 조건부 생성 모델로 대체하는 필터링 프레임워크인 생성형 베이지안 필터링(Generative Bayesian Filtering, GBF)을 제안한다. 온라인 추론(inference)을 위해 GBF는 베이지안 예측-갱신 재귀를 수행하며, 여기서 측정 갱신(measurement update)은 동역학적 사전(dynamical prior)과 CVAE 유도 가능도(likelihood)를 결합하는 사후 샘플링 문제로 공식화된다. 그 결과 필터링 문제는 스코어 기반(score-based) 샘플링 문제로 변환되며, 이는 생성 모델의 유연성과 앙상블(ensembling)의 불확실성 정량화(uncertainty quantification) 능력을 자연스럽게 계승한다. 합성 데이터셋(dataset)과 제조 시스템 모니터링 및 부정맥 진단(arrhythmia diagnosis)을 포함한 실세계 응용에 대한 실험은 GBF가 기준선(baseline) 접근법 대비 상태 추정 정확도와 견고성(robustness)을 향상시킴을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.