분산인가 표준편차인가? 고차원 축소에서의 구 기하학과 전역 스케일 사전
Variance or Standard Deviation? Shell Geometry and Global-Scale Priors in High-Dimensional Shrinkage
한국어 초록
공통 가우시안 스케일에 대한 기본 사전 선택이 고차원 축소 위험에 어떻게 영향을 미치는지 연구하며, 고차원 기하학이 담당하는 역할을 강조한다. 형식적으로, 공통 스케일 사전의 영 근처 거동이 축소 위험에 1차적 결과를 갖는 고차원 설정을 고려하고, 분산에 평탄한 사전과 표준편차에 평탄한 사전이 영 스케일 경계 근처에서 뚜렷이 다른 질량을 배분하여 서로 다른 축소 거동을 야기하며 원칙적인 기본 사전 선택에 정보를 제공함을 보인다. 구체적으로, radial-power 벤치마크 하에서 SD-평탄 벤치마크가 원점 근처에서 1단위의 점근적 위험 이점을 갖고, 임계 구간에서 우위가 바뀌며, 강신호에 대해서는 분산-평탄 벤치마크와 2차까지 동등함을 확립한다. 적절한 단일 전역 스케일 초사전과 유계 좌표 승수 혼합은 그들의 SD-스케일 밀도의 영 근처 지수를 통해 이러한 한계를 상속한다. 두꺼운 꼬리 또는 희소 사전의 경우, 그 지수는 여전히 공통 전역 스케일 성분을 분류하며, 지역 스케일 꼬리, 모델 크기 사전, 또는 배분 사전도 위험에 영향을 줄 수 있다.
원문 초록
We study how the choice of default prior for a common Gaussian scale affects high-dimensional shrinkage risk, highlighting the role played by high-dimensional geometry. Formally, we consider a high-dimensional setting in which the near-zero behavior of the common scale prior has first-order consequences for shrinkage risk, and show that priors that are flat on the variance and those flat on the standard deviation allocate markedly different mass near the zero-scale boundary, leading to distinct shrinkage behavior and informing principled default prior selection. Specifically, under a radial-power benchmark, we establish that the SD-flat benchmark has a one-unit asymptotic risk advantage near the origin, crosses over in the critical regime, and is second-order equivalent to the variance-flat benchmark for strong signals. Proper single global-scale hyperpriors and bounded coordinate-multiplier mixtures inherit these limits through the near-zero exponent of their SD-scale density. For heavier-tailed or sparse priors, that exponent still classifies the common global-scale component, while local-scale tails, model-size priors, or allocation priors can also affect risk.
요약
고차원 축소(shrinkage)에서 공통 가우시안 스케일의 기본 사전을 분산에 평탄하게 두는 것과 표준편차(SD)에 평탄하게 두는 것은 영 근처 질량 배분과 고차원 구 기하학 때문에 서로 다른 위험 특성을 만든다. radial-power 벤치마크에서 SD-평탄 기본값은 약신호에서 1단위 점근적 이득을 주고 임계 구간에서는 우위가 바뀔 수 있으며 강신호에서는 분산-평탄과 2차까지 동등하고, 단일 전역 스케일 초사전과 유계 좌표 승수 혼합에도 SD 밀도의 영 근처 지수를 통해 같은 한계가 전달된다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.23509v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
IMMNet: 기동 표적 추적을 위한 모델 기반 및 데이터 기반 접근법의 하이브리드 융합
IMMNet: Hybrid Fusion of Model-based and Data-driven Approaches for Maneuvering Target Tracking
3차원 공간에서의 기동 표적 추적은 복잡한 운동 역학과 모델 불일치로 인해 여전히 어려운 문제이다. 이를 해결하기 위해 본 논문은 상호작용 다중 모델(interacting multiple model, IMM) 알고리즘의 해석 가능한 구조와 학습 가능한 신경망 구성 요소를 통합한 하이브리드 모델/데이터 기반 알고리즘 IMMNet을 제안한다. 엔드투엔드 블랙박스 방식과 달리, 제안된 IMMNet 알고리즘은 실시간 레이더 응용에 필수적인 베이지안 추론 메커니즘을 유지할 수 있을 뿐만 아니라, 데이터로부터 운동 패턴과 노이즈 특성을 적응적으로 학습할 수 있다. 광범위한 실험을 통해 제안된 IMMNet 알고리즘이 다양한 시나리오에서 기존 알고리즘을 일관되게 능가함을 보여주며, 이는 기동 표적 추적을 위한 견고하고 해석 가능하며 실용적인 해결책임을 입증한다.
연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
의사결정 충분 사후 분포 근사
Decision-Sufficient Posterior Approximation
우리는 사후 분포 근사가 특정한 하위(downstream) 의사결정 문제를 보존하도록 요구할 때 발생하는 결과를 조사한다. 목표 사후 분포 $P$와 손실은 행동(action)에 대한 리그렛(regret) 기하 구조를 결정하고, 기준선 근사 $Q_0$는 행동 변화를 유도하는 데 필요한 전방(forward) Kullback-Leibler 정보량을 결정하며, 제한된 근사 가족 $\mathcal{Q}$는 그러한 변화 중 어떤 것이 가능한지를 결정한다. 베이즈 행동(Bayes-action) 섬유(fiber)에 대해 KL 발산을 수축시키면, 의사결정 적절성(decision adequacy)과 의사결정 실패(decision failure)까지의 정확한 거리를, 결정 경계의 양쪽에 도달하는 최소 정보량의 사후 분포 변형(deformation)과 함께 얻을 수 있다. 정규(regular) 유한 차원 문제에서 목표 및 기준선 구성은 2차(quadratic) 국소 극한을 가지며, 이는 목표 리그렛 헤시안 $G$와 기준선 정보 메트릭 $J_I$이다. 이들의 일반화 고유값 문제(generalized eigenproblem) $Gv = γJ_Iv$는 단위 정보 비용당 리그렛 결과에 따라 국소 의사결정 방향들을 정렬하며, 허용 오차(tolerance)에 의존하는 유효 차원(effective dimension)을 유도한다. 제한된 근사 가족의 경우, 탄젠트 이미지(tangent image)는 의사결정 범위(decision coverage)와 정보 효율성(information efficiency)을 구분한다: 어떤 가족은 중요한 의사결정 방향을 놓칠 수 있고, 또는 도달 가능한 방향을 과도한 피셔(Fisher) 비용으로만 실현할 수도 있다. 이 프레임워크는 사후 분포 근사 가족을 비교하고 설계하기 위한 의사결정 상대적(decision-relative) 기준을 제공한다.
쌍별 융합 멀티태스크 회귀
Multitask Regression with Pairwise Fusion
예측변수마다 계수 공유 방식이 달라질 수 있는 멀티태스크 회귀를 연구한다. 주어진 예측변수에 대해 많은 과제는 동일한 계수를 갖고 일부만 다를 수 있으며, 예외가 되는 과제는 다른 예측변수에서 반드시 같을 필요는 없다. 이 구조는 활성 예측변수의 수와, 각 예측변수에서 가장 흔한 값과 다른 과제 계수의 총 개수라는 두 양으로 기술한다. 계수 행렬은 과제 전반에 걸친 모든 쌍별 계수 차이에 페널티를 두어 추정하고, 예측변수 선택이 필요한 경우 추가 그룹 페널티를 부과한다. 도출된 상한과 하한은 이 두 양에 대해 동일한 의존성을 갖는다. 또한 많은 과제 집합이 하나의 전체 계수 벡터를 공유하는 더 강한 설정도 고려한다. 명시적인 표본 크기 조건 하에서, 동일한 쌍별 추정량은 해당 과제들을 정확히 풀링하면서 나머지 과제는 달라질 수 있게 한다. 시뮬레이션과 가구 에너지 데이터는 광범위한 공유와 과제별 계수 사이의 전환을 보여 준다.
증거 학습 기반 변이형 오토인코더에 관한 이론적 연구
Theoretical Study on the Evidential Learning-based Variational Autoencoder
정규-역감마(Normal-Inverse-Gamma, NIG) 잠재 계층 구조는 네 개의 매개변수를 가지지만, 이로 인해 유도된 잠재 법칙은 이 네 개를 모두 식별하지는 못한다. $\sigma^2\sim\mathrm{InvGamma}(\alpha,\beta)$, $\mu\mid\sigma^2\sim\mathcal{N}(\gamma,\sigma^2/\nu)$, 그리고 $z\mid\mu,\sigma^2\sim\mathcal{N}(\mu,\sigma^2)$에 대해, $z$의 주변 법칙(marginal law)은 $c=\beta(1+1/\nu)$를 통해서만 $(\nu,\beta)$에 의존한다. 따라서 재구성 관점에서 가시적인 매개변수 공간은 1차원 파이버 자유도를 갖는 3차원 몫 공간 $(\gamma,\alpha,c)$이다. 고정된 계층적 변분 목적식에 대해 완전한 NIG 사전분포로의 순방향 KL 발산(divergence)을 정확하게 부분 최소화하면 각 파이버에서 사전분포에 상대적인 고유한 대표값을 선택하게 되며, 이는 4개 좌표 목적식과 동일한 최적값을 갖는 정확한 3개 좌표 축소를 산출한다. $\rho_0=2\beta_0/\nu_0$ 및 $T=c/\{\alpha[(\gamma-\gamma_0)^2+\rho_0]\}$로 표기할 때, 역 표준 할당(inverse canonical allocation) $1/\nu_{\rm can}$이 $T$의 명시적인 강단조 증가 함수임을 보인다. 따라서 $\alpha>1$인 경우 비율 $u_{\rm epi}/u_{\rm var}=1/\nu_{\rm can}$은 몫 상태와 사전분포에 의해 결정되며, 공통 보정(calibration) 하에서 순위만을 사용하는 경우 $T$는 좌표별로 동일한 서열 정보를 포함한다. 잔여 사전분포 게이지는 제거되기보다는 특성화된다. 즉, $(\gamma_0,\rho_0)$는 서열 의존성을 지배하고, $(\nu_0,\alpha_0)$는 수치적 보정과 $1/\nu_{\rm can}$의 해석적 상한을 결정한다.
가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크
Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate
우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.