적응형 스펙트럼 수축을 통한 과적합 고차원 행렬 분해
Overfitted high-dimensional matrix factorizations via adaptive spectral shrinkage
한국어 초록
요인 모델(factor models)은 저계수 신호를 추출하고 공분산을 추정하기 위해 고차원 데이터를 분석하는 대중적인 접근법입니다. 이들은 공분산 행렬을 저계수 성분과 대각 성분의 합으로 분해합니다. 핵심 문제는 잠재 차원(latent dimension) $k$를 선택하는 방법으로, 이는 요인 모델이 근사적으로만 성립하고 신호 대 잡음 비율이 낮은 시나리오에서 특히 어렵습니다. 베이지안 과적합 요인 모델은 $k$에 대한 상한을 지정하고, 불필요한 성분을 효과적으로 제거하기 위해 구조화된 수축 사전분포(shrinkage priors)에 의존합니다. 이러한 접근법들은 대중적이고 효과적이지만 계산 비용이 많이 듭니다. 우리는 잠재 요인의 스펙트럼 추정과 주요 하이퍼파라미터의 적응형 경험적 베이지안(empirical Bayes) 보정을 기반으로, 타당한 불확실성 정량화(uncertainty quantification)를 제공하는 훨씬 빠른 \texttt{EigenBayes} 접근법을 제안합니다. 결과적으로 도출된 사후 분포(posterior distribution)는 결과(outcomes) 간에 인수분해되며 해석적으로 다루기 쉬워 마르코프 연쇄 몬테카를로(Markov chain Monte Carlo)를 우회할 수 있습니다. 우리는 \texttt{EigenBayes}가 각 결과와 잠재 차원의 신호 대 잡음 비율에 적응하면서, 불필요한 잠재 성분을 0으로 수축시킴을 보입니다. 우리는 유리한 점근적 성질(asymptotic properties)을 확립하고 수치 실험 및 유전체학 응용에서 강력한 실증적 성능을 입증하며, 여기서 EigenBayes는 최신 수준의 대안들(state-of-the-art alternatives)보다 우수한 성능을 보입니다.
원문 초록
Factor models are popular approaches for analyzing high-dimensional data to extract low-rank signals and estimate covariances. They decompose the covariance matrix as the sum of low-rank and diagonal components. A key issue is how to choose the latent dimension $k$, which is particularly challenging when the factor model only holds approximately and in low signal-to-noise scenarios. Bayesian overfitted factor models specify an upper bound on $k$ and rely on structured shrinkage priors to effectively remove extra components. Such approaches are popular and effective, but computationally expensive. We propose a much faster \texttt{EigenBayes} approach that provides valid uncertainty quantification, based on spectral estimation of latent factors and adaptive empirical Bayes calibration of key hyperparameters. The resulting posterior distribution factorizes across outcomes and is analytically tractable, bypassing Markov chain Monte Carlo. We show that \texttt{EigenBayes} adapts to the signal-to-noise ratio of each outcome and latent dimension, while shrinking superfluous latent components to zero. We establish favorable asymptotic properties and demonstrate strong empirical performance in numerical experiments and a genomics application, where EigenBayes outperforms state-of-the-art alternatives.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19540v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크
Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate
우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.
Verbalized Particle Posterior: 자연어 가설에 대한 베이지안 추론
Verbalized Particle Posterior: Bayesian Inference over Natural Language Hypotheses
언어화된 머신러닝(VML)은 LLM이 f(x; θ)로 평가하는 자연어 프롬프트로 모델을 매개변수화한다. 이 프레임워크는 해석 가능하지만, 불확실성에 대한 측도 없이 단일 가설에 고정되며, 동일한 데이터에 대한 최적화 실행마다 그 가설이 크게 달라진다. 우리는 언어화된 학습을 베이지안 추론 문제로 다루는 Verbalized Particle Posterior(VPP)를 제안한다. 자연어 가설의 집단을 입자로 유지하고, Metropolis-Hastings(VPP-MH) 또는 Sequential Monte Carlo(VPP-SMC)로 갱신하며, 베이지안 모델 평균화로 예측한다. 두 알고리즘 모두 LLM을 블랙박스로 취급하며, logits나 gradient에 접근할 필요가 없다. 독특한 결과가 뒤따른다. 고전적 베이지안 학습에서는 모델 선택이 사후분포 밖에 있지만, VPP에서는 모델 구조와 매개변수가 단일 언어 공간을 공유하며, 사후분포가 둘 다에 걸쳐 분포한다. 우리는 회귀, 분류, 규칙 발견 벤치마크에서 VPP를 평가한다. 모든 벤치마크에서 단일 VML 실행보다 개선되며, 대부분에서 독립적 VML 실행들의 오라클 최적 앙상블과 동등하거나 그를 초과하고, VML이 가끔 발생시키는 치명적인 단일 실행 실패를 제거한다. 각 입자가 사람이 읽을 수 있는 가설이므로, 사후분포 자체가 독자가 검사할 수 있는 대상이 되어, 데이터가 어떤 설명을 지지하고 어떤 것을 배제했는지 평문으로 확인할 수 있다.
연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
운동 상상 전기뇌파의 피험자 간 분류를 위한 베이지안 완전 풀링
Bayesian Complete-Pooling in Cross-Subject Classification for Motor Imagery Electroencephalogram
베이즈 역문제에서 빠른 사후분포 샘플링을 위한 플로우 매칭
Flow Matching for Fast Posterior Sampling in Bayesian Inverse Problems
비전: "사용자 선호에 대해 내가 모르는 것은 무엇인가?" 불확실성 추정이 능동형 어시스턴트 정렬을 향상시키는 방법
Vision: "What Don't I Know About User's Preferences?" How Uncertainty Estimation Improves Proactive Assistant Alignment
능동형 스마트 어시스턴트(Proactive Smart Assistant, PSA)는 사용자가 선호할 행동을 예측하기 위해 일반 지식, 그룹 수준 데이터에서 학습된 패턴, 개별 사용자 데이터의 패턴, 그리고 최근 센서 관측값을 점점 더 많이 활용하고 있다. 기존 시스템은 일반적으로 예측된 사용자 선호 가능도(likelihood)로부터 행동을 선택하지만, 이러한 가능도만으로는 예측이 얼마나 신뢰할 수 있는지, 어떤 근거가 이를 지지하는지, 또는 왜 모호성이 남아 있는지를 드러내지 못한다. 본 비전 논문에서 우리는 불확실성 추정(uncertainty estimation)이 이러한 누락된 정보를 제공할 수 있으며, 이후의 적절한 행동을 상당히 변화시킬 수 있다고 주장한다. 홈 어시스턴트의 예를 사용하여, 우리는 불확실성 추정이 답하고자 하는 질문들을 소개한다. 즉, 어시스턴트가 예측된 선호 가능도에 대해 얼마나 확신하는지, 그 확신이 그룹 수준의 가정에서 오는 것인지 아니면 개별 사용자의 데이터에서 오는 것인지, 그리고 가능도의 모호성이 사용자의 본질적인 선호 변동성을 반영하는 것인지 아니면 특정 상황에 대한 데이터 부족을 반영하는 것인지이다. 우리는 또한 인간 궤적 예측(human trajectory prediction), 개인화된 행동 인식(personalized activity recognition), 정보 수집(information-collection), 모델 기반 제어(model-based control)와 같은 인접 분야에서의 불확실성 추정 응용 사례를 소개한다. 마지막으로, 우리는 인접 분야의 통찰을 바탕으로 미래의 불확실성 인지(uncertainty-aware) 능동형 어시스턴트가 능동형 상호작용에서의 주요 과제들을 어떻게 해결할 수 있을지를 전망한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.