공분산 및 그람 행렬, 커널 및 어텐션(attention) 행렬, MIMO 채널 행렬, 밀도 연산자 등 점점 더 많은 머신러닝 객체들이 좌표 벡터가 아닌 본질적으로 스펙트럼(spectrum) 형태를 띱니다. 이러한 데이터에 대해 고유값을 좌표별로 오염시켜 디노이징 확산 모델(denoising diffusion model)을 구축하는 방식은 우아하지 못할 뿐만 아니라 잘못된 극한으로 수렴하는데, 이는 고유값들이 독립적으로 움직이지 않고 서로를 밀어내기 때문입니다. 자유 확률론(free probability theory)은 고전적 합성곱(convolution)을 자유 합성곱으로, 스코어를 보이쿨레스쿠(Voiculescu)의 켤레 변수로 대체함으로써 올바른 순방향 프로세스를 제공하지만, 상수 계수를 갖는 자유 확산은 목표 분포의 형태와 무관하게 가능한 유일한 평형 상태가 반원 법칙(semicircular law)뿐이라는 자체적인 한계를 내포하고 있습니다. 본 논문에서는 상태 의존적 자유 변동성(state-dependent free volatility)이 이러한 제약을 해소함을 보입니다. 충분히 정칙(regular)이고 콤팩트 지지(compactly supported)를 갖는 임의의 목표 법칙에 대해, 닫힌 형태의 힐베르트 변환(Hilbert-transform) 드리프트를 통해 해당 법칙을 정상 스펙트럼 분포로 갖는 자유 포커-플랑크(Fokker–Planck) 흐름을 명시적으로 구축합니다. 추가적인 볼록 포텐셜(convex-potential) 조건 하에서, 이 구조는 대역적 완화 확산 해석, 시간 역방향 동역학, 그리고 학습 가능한 스코어를 허용합니다. 이러한 일반화는 단순히 피상적인 확장이 아닙니다. 어떠한 스펙트럼 변수 변환으로도 이를 상수 계수 사례로 환원할 수 없으며, 유계인 비상수 원소를 포함하지 않는 명시적으로 특성화된 계수 군(family)에 대해서만 바서슈타인(Wasserstein) 그래디언트(gradient) 흐름이 됩니다. 우리는 등방성 표본 공분산 행렬의 극한 스펙트럼인 마르첸코-파스투르(Marchenko–Pastur) 법칙에 이 구조를 적용하고 수치적으로 검증합니다: 자유 방식과 좌표별 방식 간의 격차, 여러 행렬 크기에서 시간 역방향 행렬 동역학을 유도하는 정확한 차원 무관 스코어, 설계된 마르첸코-파스투르 평형 상태, 그리고 학습된 스코어를 통한 종단간 생성을 확인합니다.
본 연구에서는 희소 위샤트(Wishart) 유사 노이즈가 존재하는 환경에서 신호 벡터 $\mathbf{x}$의 고차원 복원 문제를 다룹니다. 무작위 노이즈 행렬 $J$의 랭크-1(rank-one) 변형인 $N \times N$ 행렬 $A = J+(\theta/N)\mathbf{xx}^{\top}$를 정의합니다. 여기서 $J={X}^{\top} X$인 위샤트 유사 행렬을 고려하며, $X$는 성분 $X_{ij} = c_{ij}W_{ij}$를 갖는 희소 $M \times N$ 무작위 행렬입니다. 이때 $c_{ij}$는 0이 아닌 원소의 밀도를 조절하고 $W_{ij}$는 결합 가중치(bond weights)입니다. 레플리카 방법(replica method)을 사용하여 $A$의 최상위 고유쌍(eigenpair) 통계와 이들의 신호 강도 $\theta$, 직사각형 비율(rectangularity ratio) $\alpha=\sqrt{M/N}$, 그리고 노이즈의 평균 연결성에 대한 의존성을 해석적으로 계산합니다. 스펙트럼 관측량(spectral observables)은 재귀적 분포 방정식(Recursive Distributional Equations) 시스템으로 표현되며, 이는 인구 동역학(Population Dynamics) 알고리즘을 통해 효율적으로 해결됩니다. 이를 통해 평균 최대 고윳값 $\langle\lambda_1\rangle_{A}$, 평균 최상위 고유벡터 성분 밀도, 그리고 $A$의 최상위 고유벡터와 $\mathbf{x}$ 사이의 평균 겹침(overlap)을 계산할 수 있습니다. 노이즈의 평균 연결성에 의존하는 임계 임계값 $\theta_{\mathrm{crit}}$를 규명하며, 이는 BBP 유사 상전이(phase transition)를 나타냅니다. 이 값 아래에서는 $\langle\lambda_1\rangle_{A}$가 신호의 영향을 받지 않고 겹침이 사라지므로, $A$의 최상위 고유벡터로부터 신호를 복원할 수 없습니다. $\theta>\theta_{\mathrm{crit}}$의 경우, 신호와 관련된 이상치 고윳값이 $\langle\lambda_1\rangle_{A}$가 되고 겹침이 0이 아니게 되어 신호 복원이 가능해집니다. 이 결과는 수치적 대각화와 매우 잘 일치합니다. 또한 조밀한 극한(dense limit)에서 복원 임계값과 고유 통계량이 조밀한 위샤트 행렬의 가법적 랭크-1 변형에 대한 고전적 BBP 전이에서 예측된 결과로 수렴함을 보입니다.
독립적인 순서 없는 쌍 벡터 원자로부터 조립된 비에르미트 확률 행렬의 유한 모임에 대해, 정확한 4차 모멘트 임계값에서 강 보편성 정리를 증명한다. 하나의 원자 내에서 행렬 색과 두 끝점 방향은 임의의 공동 실수 공분산을 가질 수 있으며, 순서형 타입 쌍에 걸친 반전 일관성과 동일 타입 블록에서의 끝점 교환 가능성에 종속된다; 분포는 또한 유한 개수의 끝점 타입에 의존할 수 있다. 행렬들은 타입 투영과 공동으로 강하게 수렴하는 임의의 결정론적 튜플에 부가될 수 있다. 모든 고정 행렬 증폭과 고정 비가환 \(*\)-다항식에 대해, 결과 튜플은 명시적인 공분산 일치 자유 가우시안 family로 강하게 수렴한다. 교차 타입 블록은 마스킹된 순환 변수로 기술되며, 동일 타입 블록은 독립적인 끝점 대칭 및 끝점 반대칭 반원 섹터로 분할된다. 대각선 밖에서는 유한 방사형 4차 모멘트만 가정하며, 대각선 위에서는 유한 2차 모멘트면 충분하다. 수렴의 방식은 결합에 따라 달라진다: 하나의 무한 배열의 모서리들은 공통 사건에서 거의 확실하게 수렴하는 반면, 고정 분포를 갖는 비중첩 삼각 배열은 각 고정 검정에 대해 확률적으로 수렴한다. 응용으로, 별도 가중 literal-전치 항을 포함하여 유한 분리 가능 연속 좌/우 프로파일에 대한 정확한 4차 모멘트 강 극한을 얻는다. 중첩 거의 확실 formulation에 대해, 4차 모멘트 임계값은 Wigner 부분모임에서 이미 sharp하다; 이 임계값에서 �임의의 새로운 행은 우리의 확률 수렴 결론의 결합 불변 거의 확실 승격을 허용하지 않는다.
우리는 독립적인 실수 가우시안 행렬들의 비정사각 곱에 대한 제곱 특이값 스펙트럼을 연구하며, 이는 초기화 시 심층 선형 신경망의 특징 공분산 스펙트럼과 동등하다. 비례 깊이-폭 극한에서 이전에 얻어진 고정-$m$ 공분산 확산으로부터 출발하여, 동등한 행렬 실현을 기록하고, 그 아핀 불변성을 기술하며, 고유값들이 만족하는 상호작용 확산을 유도한다. 이어서 가속된 스펙트럼 시계 $τ=mt$에서 $m\to\infty$로 보내는 두 번째 극한을 취하며, 이는 이 순차적 구성에서 $dm/n\to\barτ$ 관계에 해당한다. 경험적 스펙트럼 측도 경로가 결정론적 평균장 극한으로 수렴함을 확립하고, 그 $T$-변환에 대한 닫힌 Burgers 방정식을 유도한다. 비례 깊이-폭 극한과 함께, 이러한 결과는 심층 비정사각 가우시안 곱에서부터 그 특징 공분산 스펙트럼의 자유 로그정규 극한에 이르는 엄밀한 순차적 경로를 제공하며, 보다 일반적인 초기 법칙에 대해서는 변환이 자유 곱 합성곱 형태를 산출한다. 나아가 자유 로그정규 법칙의 지지를 분석하고, 수치 평가를 위한 고정점 반복과 작은 시간에서의 형식적 Marchenko--Pastur 근사를 제시하며, 극한 스펙트럼을 사용하여 토이 랜덤 특징 모델에서의 위험을 예측한다.
두 데이터셋의 공분산 구조 중 일부만 공유되는 상황을 모델링하는 부분 공유 부분공간(PSS, Partially Shared Subspace) 모델을 제안하며, 랜덤 행렬 이론을 활용해 공유 부분공간의 랭크와 위치를 결합 추정하고 최적 풀링 가중치를 폐쇄형으로 도출한다. 이 프레임워크는 고차원 설정에서 기존 대조적 차원 축소(CDR) 방법의 이론적 공백을 해소하며, COVID-19 팬데믹 기간 포트폴리오 구성과 뇌종양 유전자 발현 분석에 적용해 유효성을 검증한다.
서로 다른 비중복 데이터 분할로 학습된 확산 모델이 동일한 노이즈 시드에서 유사한 출력을 생성하는 일관성 현상을, 공유된 가우시안 통계에서 비롯된 선형 효과로 설명하는 랜덤 행렬 이론(RMT) 프레임워크를 제안한다. 유한 데이터셋이 학습된 디노이저의 기댓값과 분산을 형성하는 방식을 정량화하고, 고유 모드 간 비등방성·입력 간 불균질성·데이터셋 크기 스케일링이라는 세 가지 핵심 요인을 도출하여 UNet과 DiT 아키텍처에서 이론적 예측을 검증함으로써 확산 학습 재현성의 원칙적 기준선을 제시한다.
Observable Matrix Dynamics (OMD)는 신경망 학습 과정에서 스칼라 손실 함수로는 포착할 수 없는 내부 표현의 스펙트럼 재편성을 N×N 거리 행렬 M(t)와 랜덤 행렬 이론을 통해 진단하는 프레임워크다. 7가지 실험에서 확산적(diffusive) 체제와 날카로운 위상 전이(phase transition)를 구분하여, 단일 내재적 차원 대신 표현의 기하학적 체제를 식별해낸다.
현대 기계 학습(ML)과 심층 신경망(DNN)은 종종 고차원 데이터에서 동작하며 과매개변수화 모델에 의존하는데, 이 경우 고전적인 저차원 직관이 무너진다. 특히 데이터 차원, 표본 크기, 모델 매개변수 수가 모두 크고 서로 비슷한 수준인 비례(proportional) 영역에서는 새롭고 때로는 직관에 반하는 거동이 나타난다. 본 논문은 전통적인 무작위 행렬 이론(RMT)을 선형 모델의 고유값 기반 분석을 넘어 확장하여, 이 영역에서 DNN과 같은 비선형 ML 모델이 제기하는 과제들을 다룬다. Deterministic Equivalent와 Linear Equivalent를 통합·일반화하는 고차원 등가(High-dimensional Equivalent) 개념을 도입하여, 고차원성, 비선형성, 일반적인 고유값 스펙트럼 함수형(eigenspectral functionals) 분석의 필요성이라는 세 가지 기술적 과제를 체계적으로 해결한다. 이 프레임워크를 활용하여 선형 모델, 비선형 얕은 네트워크, 심층 네트워크의 학습 및 일반화 성능에 대한 정밀한 특성화를 제공한다. 우리의 결과는 스케일링 법칙(scaling laws), 이중 하강(double descent), 비선형 학습 역학을 포함한 풍부한 현상을 포착하며, 고차원에서의 심층 학습에 대한 이론적 이해에 통합적 관점을 제공한다.
대규모 언어 모델(LLM)에서의 환각(hallucination) 감지는 배포에 있어 매우 중요하며, 최근 연구에서는 어텐션(attention) 유래 그래프 라플라시안(graph Laplacian)의 스펙트럼이 추론(reasoning) 품질에 대한 강력한 신호를 담고 있음을 보여줍니다. 그러나 기존의 스펙트럼 진단 방식은 라플라시안 스펙트럼을 소수의 고유값(eigenvalue)이나 수동으로 선택한 스칼라 값으로 요약하여 대부분의 구조를 활용하지 못합니다. 우리는 각 층(layer)의 어텐션 라플라시안을 해밀토니안(Hamiltonian)으로 취급하고, 그 열역학적 퍼텐셜(thermodynamic potentials)인 분할 함수(partition function), 자유 에너지(free energy), 스펙트럼 엔트로피(spectral entropy), 열용량(heat capacity)을 무작위 행렬 이론(RMT) 스펙트럼 형식 인자(spectral form factor)와 함께 추출하는 스펙트럼 기술자(descriptor)인 자유 에너지 서명(Free-Energy Signatures, Fes)을 제안합니다. 우리는 세 가지 결과를 증명합니다: (i) 어텐션 섭동(perturbation) 하에서의 Fes의 립시츠 안정성(Lipschitz stability); (ii) Fes가 유한한 스펙트럼 요약을 풍부하게 하며, 명시적인 규칙성(regularity) 및 그리드 해상도(grid-resolution) 가정 하에서 모멘트 유래 스펙트럼 기능(spectral functionals)을 근사함을 보여주는 표현력(expressiveness) 결과; (iii) Fes로 구축된 학습(training) 없는 감지기의 AUROC에 대한 유한 샘플 PAC 한계(PAC bound). 경험적으로, 6개의 오픈 가중치(open-weight) LLM과 6개의 벤치마크(benchmark)에 걸쳐, Fes 기술자에 대한 경량 프로브(probe)는 어텐션 스펙트럼 기준선(baseline) 중 가장 강력한 집계 AUROC를 달성하여, 기본 LLM의 업데이트 없이 평균적으로 LapEig보다 $+6.5$ AUROC 포인트, GoR-4보다 $+2.4$ 포인트 향상되었습니다. 완전 비지도 설정(unsupervised setting)에서, RMT 편차 점수(RMT-deviation score)는 평균 AUROC $0.71$을 달성하여 레이블 없는(label-free) 하지만 약한 감지기를 제공합니다. 보완적인 RMT 분석은 올바른 생성(correct generations)은 더 위그너-다이슨(Wigner-Dyson) 유사 스펙트럼 통계를 나타내는 반면, 환각은 더 푸아송(Poisson) 유사 통계를 나타냄을 보여줍니다. 익명화된 코드와 설정(config)은 보충 자료에 제공됩니다.
최근 랜덤 행렬 이론(RMT) 연구는 결정론적 등가물(deterministic equivalents)이라는 개념을 발전시켰는데, 이는 신경망(NNs)의 비선형 특징 맵(feature map)과 같은 대규모 비선형 랜덤 행렬의 스펙트럼 거동을 근사하는 일반적인 선형 대리 모델입니다. 이러한 등가물은 복잡한 모델을 고전적 RMT 도구의 범주에 속하는 성질을 지닌 더 간단한 모델로 단순화하여 이론적 예측을 가능하게 합니다. 그러나 이는 고차원 비선형 분리 가능 데이터의 분류(classification)에 있어 이상화된 선형 등가성이 여전히 의미 있는지라는 의문점을 남깁니다. 이에 동기 부여하여, 우리는 XOR 문제를 위한 대표적인 비선형 분리 가능 데이터셋(dataset)에서 1층 피드포워드 신경망(NN)의 비선형 특징 맵인 켤레 커널(CK)을 고려합니다. 또한, CK 내의 정보성 아웃라이어 고유값과 이에 대응하는 고유벡터들이 XOR 레이블과 점근적으로 정렬(alignment)하는지 여부를 연구하여 비선형 학습 가능성의 대리 지표로 삼습니다. 우리는 머신러닝(ML) 실무에서 흔히 조정하는 다양한 설정(샘플 복잡도, 신호 대 잡음비(SNR), 비선형 활성화 함수 선택, 사전학습된 특징)을 변경할 때 발생하는 정보성 스파이크(spike)를 정밀하게 분석할 수 있도록 CK 행렬의 강건한 이차 등가 모델을 개발합니다. 우리는 이러한 설정들이 CK를 선형 등가 모델의 범위를 벗어나게 만들고 레이블 정렬 아웃라이어 고유 공간으로의 BBP 유형 전이를 일으키는 영역을 식별합니다. 본 분석은 ML에서 실질적으로 관련 있는 문제들에 RMT의 결정론적 등가 도구를 활용할 수 있도록 돕습니다.
스펙트럼 방법은 무작위 섭동 하에서 주요 고유공간의 안정성에 근본적으로 의존합니다. 전통적으로 이 안정성은 Davis-Kahan 및 Wedin 정리를 통해 정량화되며, 해당 정리들은 잡음의 연산자 노름(operator norm)과 관련 스펙트럼 간격(spectral gaps)을 사용하여 고유공간 오차를 제한합니다. 이러한 최악의 경우(worst-case) 바운드는 임의의 결정론적 섭동에 대해서는 날카로운(tight) 편이지만, 신호 기하학과 잡음 분포 간의 미세한 상호작용을 포착하지 못하므로 저계수 신호-플러스-무작위 잡음 설정에서는 비효율적일 수 있습니다. 본 논문에서는 임의의 불균일 분산 프로필(inhomogeneous variance profile)을 가진 희소 무작위 잡음으로 인해 오염된 신호-플러스-잡음 행렬의 스펙트럼 섭동을 연구합니다. 우리는 이질적 잡음 분산 하에서 경험적 고유벡터(empirical eigenvectors)가 고전적 섭동 바운드에서는 전혀 포착되지 않는 체계적이고 결정론적인 기하학적 바이어스(geometric bias)를 겪는다는 것을 보여줍니다. 이차 벡터 방정식(Quadratic Vector Equation, QVE)을 활용하고 정밀한 등방성 국소 법칙(isotropic local laws)을 확립함으로써, 연산자 노름(operator norm)과 $2\to\infty$ 노름에서 선행 고유공간에 대한 거의 최적의 비점근적 섭동 바운드를 도출합니다. 이 바운드는 일반적인 신호 대 잡음 기여, 확률적 변동, 그리고 신호 고유공간과 행 단위 분산 프로필(row-wise variance profile) 간의 정렬(alignment)에 의해 결정되는 구조화된 기하학적 바이어스 항들을 분리합니다.
우리는 레졸벤트(resolvent) \[ G^z = \left(\frac{1}{n}XX^T - zI_p\right)^{-1}, \qquad z\in\mathbb C,\ \Im(z)>0, \] 를 연구합니다. 여기서 $X=(x_1,\ldots,x_n)\in\mathcal M_{p,n}$은 열이 독립적이지만 반드시 동일 분포를 따르지는 않는 확률 행렬입니다. 우리의 바운드는 단위 힐베르트-슈미트(Hilbert--Schmidt) 노름을 갖는 결정론적 행렬 $A$에 대한 중심화 이차 형식 \[ q_i(A):=x_i^TAx_i-\mathbb E[x_i^TAx_i], \] 의 모멘트로 표현됩니다. 특히, 주어진 열 $x_i$의 성분 사이의 독립성은 가정하지 않습니다. 준점근(quasi-asymptotic) 체제 $p\le O(n)$에서, 행렬 $G^z$는 열 벡터 $x_1,\ldots,x_n$의 2차 모멘트에만 의존하는 자연스러운 결정론적 등가물 $\tilde G^z$를 갖습니다. 우리는 임의의 결정론적 행렬 $B\in\mathcal M_p$에 대해, $\text{Tr}(BG^z)$가 $\text{Tr}(B\tilde G^z)$에 근접함을 보이며, 오차는 이차 형식에 대한 1차 모멘트 바운드 하에서는 $\|B\|_{\text{HS}}$에 의해, 적절한 2차 모멘트 바운드 하에서는 $\|B\|_{\text{HS}}/\sqrt n$에 의해 제어됨을 보입니다.