arXiv:2610.07284v1 stat.ME

관련 태스크 간 경험적 베이즈 스펙트럼 부분 풀링

Empirical-Bayes spectral partial pooling across related tasks

Lorenzo Mauri

제출 2026-10-05

저자 비고

arXiv Comments

27 pages (including references), 32 pages with supplemental, 4 figures

한국어 초록

스펙트럼 기법(spectral methods)은 고차원 통계학과 머신러닝의 핵심으로, 공분산 추정, 행렬 잡음 제거(matrix denoising), 표현 학습(representation learning), 클러스터링, 잠재 변수 모델링 등의 절차에서 기반이 됩니다. 본 연구에서는 주로 고차원 요인 모델(factor models)을 위한 스펙트럼 추정량에 집중하며, 여기서 데이터 행렬의 주요 특이 벡터(leading singular vectors)는 잠재 구조와 공분산 모수를 추정하는 데 사용됩니다. 그러나 많은 현대적 응용 분야에서는 관련되어 있으면서도 이질적인 태스크, 연구, 도메인 또는 모집단 전반에 걸쳐 데이터가 수집됩니다. 이러한 추정량을 각 태스크에 개별적으로 적용하면 차원에 비해 표본 크기가 제한적일 때 불안정한 추정치로 이어질 수 있는 반면, 데이터를 완전히 풀링(pooling)하면 유의미한 태스크별 고유 구조가 가려질 수 있습니다. 본 논문에서는 태스크별 스펙트럼 추정량을 부분적으로 풀링하기 위한 확장 가능한 경험적 베이즈(empirical-Bayes) 프레임워크인 계층적 스펙트럼 축소(\texttt{HSS}, Hierarchical Spectral Shrinkage)를 제안합니다. 이 방법은 데이터 적응적으로 학습된 공통 기저를 향해 각 태스크의 주요 스펙트럼 방향을 정규화(regularization)하는 동시에, 축소(shrinkage) 정도가 태스크 및 스펙트럼 성분별로 달라질 수 있도록 허용합니다. 제안된 추정량은 경험적 특이 벡터의 대리 베이지안 회귀 공식화에서 사후 평균(posterior mean)으로 도출됩니다. 요인 모델의 경우, \texttt{HSS}는 그룹별 적재 공간(loading spaces) 및 공분산 행렬의 부분 풀링된 추정량을 산출하며, 경험적 특이 벡터를 계층적으로 정규화된 대응물로 대체함으로써 다양한 스펙트럼 추정량과 결합될 수 있습니다. 더 넓게는, 동일한 구조가 관련되어 있으면서도 이질적인 데이터셋 모음으로 스펙트럼 추정량을 확장하는 메커니즘을 제공합니다. 합성 실험과 다중 연구 유전자 발현 데이터를 통해 개별 추정, 완전 풀링, 공유 부분공간 접근법 대비 추정 정확도와 표본 외(out-of-sample) 성능이 크게 향상됨을 입증합니다.

원문 초록

Spectral methods are central to high-dimensional statistics and machine learning, underlying procedures for covariance estimation, matrix denoising, representation learning, clustering, and latent variable modeling. In this work, we focus primarily on spectral estimators for high-dimensional factor models, where leading singular vectors of the data matrix are used to estimate latent structure and covariance parameters. In many modern applications, however, data are collected across related but heterogeneous tasks, studies, domains, or populations. Applying such estimators separately to each task can lead to unstable estimates when sample sizes are limited relative to dimension, while completely pooling the data can obscure meaningful task-specific structure. We introduce Hierarchical Spectral Shrinkage (\texttt{HSS}), a scalable empirical-Bayes framework for partially pooling task-specific spectral estimators. The method regularizes the leading spectral directions of each task toward a data-adaptivelylearned common basis, while allowing the amount of shrinkage to vary across tasks and spectral components. The proposed estimator arises as the posterior mean in a surrogate Bayesian regression formulation of the empirical singular vectors. For factor models, \texttt{HSS} yields partially pooled estimators of the group-specific loading spaces and covariance matrices and can be combined with different spectral estimators by replacing their empirical singular vectors with hierarchically regularized counterparts. More broadly, the same construction provides a mechanism for extending spectral estimators to collections of related but heterogeneous datasets. We demonstrate substantial improvements in estimation accuracy and out-of-sample performance over separate, fully pooled, and shared-subspace approaches in synthetic experiments and multi-study gene-expression data.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07284v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.