arXiv:2609.28163v1 cond-mat.dis-nn

희소 위샤트 노이즈 환경에서의 랭크-1 신호 복원

Rank-One Signal Recovery in Sparse Wishart Noise

Preben Forer, Urte Adomaityte, Pierpaolo Vivo

제출 2026-09-24

한국어 초록

본 연구에서는 희소 위샤트(Wishart) 유사 노이즈가 존재하는 환경에서 신호 벡터 $\mathbf{x}$의 고차원 복원 문제를 다룹니다. 무작위 노이즈 행렬 $J$의 랭크-1(rank-one) 변형인 $N \times N$ 행렬 $A = J+(\theta/N)\mathbf{xx}^{\top}$를 정의합니다. 여기서 $J={X}^{\top} X$인 위샤트 유사 행렬을 고려하며, $X$는 성분 $X_{ij} = c_{ij}W_{ij}$를 갖는 희소 $M \times N$ 무작위 행렬입니다. 이때 $c_{ij}$는 0이 아닌 원소의 밀도를 조절하고 $W_{ij}$는 결합 가중치(bond weights)입니다. 레플리카 방법(replica method)을 사용하여 $A$의 최상위 고유쌍(eigenpair) 통계와 이들의 신호 강도 $\theta$, 직사각형 비율(rectangularity ratio) $\alpha=\sqrt{M/N}$, 그리고 노이즈의 평균 연결성에 대한 의존성을 해석적으로 계산합니다. 스펙트럼 관측량(spectral observables)은 재귀적 분포 방정식(Recursive Distributional Equations) 시스템으로 표현되며, 이는 인구 동역학(Population Dynamics) 알고리즘을 통해 효율적으로 해결됩니다. 이를 통해 평균 최대 고윳값 $\langle\lambda_1\rangle_{A}$, 평균 최상위 고유벡터 성분 밀도, 그리고 $A$의 최상위 고유벡터와 $\mathbf{x}$ 사이의 평균 겹침(overlap)을 계산할 수 있습니다. 노이즈의 평균 연결성에 의존하는 임계 임계값 $\theta_{\mathrm{crit}}$를 규명하며, 이는 BBP 유사 상전이(phase transition)를 나타냅니다. 이 값 아래에서는 $\langle\lambda_1\rangle_{A}$가 신호의 영향을 받지 않고 겹침이 사라지므로, $A$의 최상위 고유벡터로부터 신호를 복원할 수 없습니다. $\theta>\theta_{\mathrm{crit}}$의 경우, 신호와 관련된 이상치 고윳값이 $\langle\lambda_1\rangle_{A}$가 되고 겹침이 0이 아니게 되어 신호 복원이 가능해집니다. 이 결과는 수치적 대각화와 매우 잘 일치합니다. 또한 조밀한 극한(dense limit)에서 복원 임계값과 고유 통계량이 조밀한 위샤트 행렬의 가법적 랭크-1 변형에 대한 고전적 BBP 전이에서 예측된 결과로 수렴함을 보입니다.

원문 초록

We study the high-dimensional recovery of a signal vector $\mathbf{x}$ in the presence of sparse Wishart-like noise. We define an $N \times N$ matrix $A = J+(\theta/N)\mathbf{xx}^{\top}$, where $\mathbf{xx}^{\top}$ is the rank-one deformation of the random noise matrix $J$. We consider a Wishart-like matrix $J={X}^{\top} X$, where $X$ is a sparse $M \times N$ random matrix with entries $X_{ij} = c_{ij}W_{ij}$, with $c_{ij}$ regulating the density of non-zero elements, and $W_{ij}$ the bond weights. Using the replica method, we compute analytically the top eigenpair statistics of $A$, and their dependence on the signal strength $\theta$, the rectangularity ratio $\alpha=\sqrt{M/N}$, and the average connectivity of the noise. The spectral observables are expressed in terms of a system of Recursive Distributional Equations, which are efficiently solved via a Population Dynamics algorithm. They allow us to compute the average largest eigenvalue $\langle\lambda_1\rangle_{A}$, the average top eigenvector component density, and the average overlap between the top eigenvector of $A$ and $\mathbf{x}$. We identify a critical threshold $\theta_{\mathrm{crit}}$--depending on the average connectivity of the noise--that marks a BBP-like phase transition: below this value, $\langle\lambda_1\rangle_{A}$ is unaffected by the signal, and the overlap vanishes. Thus, the signal is not recoverable from the top eigenvector of $A$. For $\theta>\theta_{\mathrm{crit}}$, the signal-related outlier eigenvalue becomes $\langle\lambda_1\rangle_{A}$ and the overlap is nonzero, allowing for recovery of the signal. The results are in excellent agreement with numerical diagonalisation. We show that in the dense limit, the recovery threshold and eigen-statistics converge to the results predicted by the classical BBP transition for additive rank-one deformations of dense Wishart matrices.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.28163v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08123v1stat.ME공통 태그 parameter estimation, random matrix theory

부분적으로 공유된 부분공간을 통한 고차원 스파이크 공분산 행렬의 결합 추정

Joint estimation of high-dimensional spiked covariance matrices via a partially shared subspace

고차원 데이터의 통계적 분석은 종종 제한된 표본 크기로 인해 어려움을 겪지만, 관련 출처의 보조 데이터셋은 흔히 손쉽게 구할 수 있다. 두 데이터셋이 공분산 구조의 일부를 공유하되 전부는 아닌 경우, 공유된 부분을 활용하면 추정을 크게 개선할 수 있다. 우리는 이러한 부분적 공유를 명시적으로 포착하는 스파이크 공분산 모델을 제안한다: 두 데이터셋은 알려지지 않은 랭크(rank)와 스펙트럼 내 임의의 위치를 가진 부분공간(subspace)을 공유하면서, 각각 고유한 스파이크 방향(spiked directions)을 유지한다. 이 모델은 두 데이터셋을 대칭적으로 처리하며, 공유 공분산 구조에 대한 기존 모델들을 엄밀하게 일반화한다. 우리는 공유 부분공간과 그 랭크의 결합 추정, 두 데이터셋을 결합하기 위한 폐쇄형(closed-form) 풀링 가중치, 그리고 비례 성장 체계(proportional-growth regime)에서 랜덤 행렬 이론으로부터 도출된 점근적 보장을 포함하는 완전한 추정 절차를 개발한다. 또한 이 프레임워크는 고차원 설정에 대한 원칙적인 추정량(estimator)을 제공함으로써 대조적 차원 축소(contrastive dimension reduction)의 공백을 해소한다. 우리는 COVID-19 팬데믹 초기의 포트폴리오 구성과 뇌종양 유전자 발현의 대조 분석에 이 방법론을 적용하여 설명한다.

arXiv:2606.22406v2cs.LG공통 태그 parameter estimation, signal recovery

소프트맥스 어텐션 모델에서의 점근적 신호 부분공간 복원

Asymptotic Signal Subspace Recovery in Softmax Attention Models

어텐션 메커니즘은 대규모 토큰 집합에서 관련 정보를 식별하는 데 놀라운 실증적 성공을 보여왔지만, 이러한 동작을 뒷받침하는 이론적 원리는 여전히 잘 이해되지 않고 있다. 우리는 정보를 담은 토큰과 nuisance 토큰의 집합으로부터 확률적 그래디언트 상승(stochastic gradient ascent)으로 쿼리 벡터를 학습하는 단순화된 소프트맥스-어텐션 모델을 연구한다. 모델의 대칭성을 이용해, 우리는 모집단 목적함수를 유도하고 학습 역학을 지배하는 극한 상미분방정식(ordinary differential equation)을 특성화한다. 확률적 근사(stochastic approximation)와 동역학계 이론(dynamical systems theory)의 도구를 사용하여, 확률적 학습 알고리즘과 그 결정론적 극한 사이의 엄밀한 연결을 확립한다. 우리의 주요 결과는, 적절한 고차원 스케일링 가정과 표준 스텝 크기(step-size) 조건 하에서, 학습된 쿼리가 잠재적 정보 방향(latent informative direction)이 생성(span)하는 1차원 신호 부분공간(signal subspace)으로 거의 확실(almost surely)하게 수렴함을 보여준다. 동치적으로, 쿼리는 고유 부호 모호성(intrinsic sign ambiguity)까지 포함하여 잠재 신호를 점근적으로 복원한다. 이러한 결과는 고차원 잡음 환경에서 어텐션 메커니즘을 신호 추출(signal extraction) 절차로 이해하기 위한 엄밀한 이론적 토대를 제공하며, 상당한 잡음 존재 하에서 어텐션이 관련 정보를 발견하는 방식에 대한 동역학계 관점을 제시한다.

arXiv:2609.26705v2quant-ph공통 태그 parameter estimation

보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가?

When are bosonic Gaussian states classical to learn?

물리학의 근본적인 질문 중 하나는 양자계에서 고전적 거동이 언제 나타나는가이다. 보손 가우시안 상태(bosonic Gaussian state)는 빛의 고전적 장(field) 거동과 본질적인 양자적 성질을 모두 포착하므로, 이러한 양자-고전 경계를 탐구하기에 자연스러운 환경을 제공한다. 본 연구에서는 학습 이론의 관점에서 이 문제를 다루며 다음과 같이 묻는다. 보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가? 즉, n-모드 보손 가우시안 상태를 고전적인 2n변량 가우시안 분포를 학습할 때 필요한 만큼 적은 샘플과 그만큼 단순한 연산으로 학습할 수 있는 조건은 (있다면) 무엇인가? 우리는 상태의 열적 요동(thermal fluctuation)에 의해 결정되는 학습 가능성의 매끄러운 크로스오버를 규명한다. - 차가운 가우시안 상태는 학습 측면에서 비고전적이다. 공분산 행렬이 $\Sigma\le(\frac12+O(\frac1n))I$를 만족하여 진공 공분산에 가까운 경우, 단일 복사본(single-copy, 즉 얽힘이 없는) 측정 하의 토모그래피(tomography)는 근본적으로 $\Omega(n^3)$개의 복사본을 필요로 하며, 이는 고전적 가우시안 분포를 학습하는 샘플 복잡도 $\Theta(n^2)$를 엄밀하게 초과한다. 우리는 소수 복사본에 대한 얽힘 측정이 허용되더라도 이러한 어려움이 지속됨을 보인다. - 따뜻한 가우시안 상태는 학습 측면에서 고전적이다. 열적 요동이 진공 잡음을 초과하여 임의의 매개변수 $\nu>0$에 대해 $\Sigma\ge(\frac12+\nu)I$로 나타내지는 경우, 단일 복사본 토모그래피에는 $N=\Theta\left(n^2\min(n,1+\nu^{-1})\right)$개의 복사본이 필요함을 증명한다. 이 한계는 타이트(tight)하며, 단순하고 비적응적(non-adaptive)이며 얽힘이 없는 헤테로다인(heterodyne) 측정으로 달성된다. 특히 $\nu=\Omega(1)$인 경우 샘플 복잡도는 $\Theta(n^2)$로 줄어들어 고전적인 경우와 일치한다. 우리의 결과는 보손 가우시안 상태의 학습 가능성에서 나타나는 양자-고전 크로스오버를 엄밀하게 규명하고, 근본 물리학과 통계적 학습 이론 사이의 새로운 연결고리를 드러내며, 실제 센싱 실험에도 시사점을 가진다.

arXiv:2607.14940v2cs.LG공통 태그 parameter estimation

간섭과 잠재 교란 하에서 순차 설정에 대한 인과 추론

Causal Inference for Sequential Settings under Interference and Latent Confounding

본 연구는 순차적·관측적 설정에서 결과 간섭(outcome interference) 하의 인과 추론을 다룬다. 구체적으로, N개 단위에 대한 이진 결과가 T개 시간 단계에 걸쳐 Markovian인 설정을 고려한다. 각 시간 단계에서 N개 단위의 결과는 Ising 모델을 통해 포착되는 의존성을 갖으며, 각 결과는 또한 해당 처치(treatment)의 효과와 잠재 교란 요인(latent confounders)의 영향을 반영하는 외부장(external field)의 영향을 받는다. 패널 데이터(panel data) 문헌과 유사하게, 이러한 잠재 교란 요인은 저계수(low-rank) 요인 구조를 갖도록 모델링된다. 우리의 데이터는 이러한 고차원 분포로부터의 단일 샘플이다. 관심 있는 인과량을 추정하기 위해, 모델 매개변수를 학습하기 위한 최대 유사-가능도 추정(Maximum Pseudo-Likelihood Estimation, MPLE)에 기반한 계산 효율적인 방법을 제시한다. 완화된 가정 하에서, 매개변수 추정에 대한 비점근(non-asymptotic) 일관성을 확립하고, 이것이 학습된 모델로부터 샘플링한 후 관심 있는 인과량의 충실한 추정으로 이어짐을 보인다. 합성 실험과 함께, 미국 전역 카운티(county) 내 백신 접종률이 COVID-19 사망률에 미치는 인과 효과를 조사하는 실세계 사례 연구를 통해 방법의 효과를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.