평균장 랑주뱅 역학에서 통계적 특징 학습의 기하학
The Geometry of Statistical Feature Learning in Mean-Field Langevin Dynamics
본 연구에서는 지도 회귀(supervised regression)를 위한 통계적 특징 학습(statistical feature learning)의 기하학적 정식화를 제안합니다. 특징 학습은 베이스-파이버 분해(base–fiber decomposition)를 통해 정의됩니다. 여기서 베이스는 학습(training)에 의해 생성된 특징 측면의 기하학이며, 파이버는 추정이 수행되는 학습된 특징 공간입니다. 음의 엔트로피 정규화(regularization)된 경험적 위험의 바서슈타인 그래디언트(gradient) 흐름으로 간주되는 구면 평균장 랑주뱅 역학(mean-field Langevin dynamics)에 대해 이러한 성질을 증명합니다. 가우시안 다중 인덱스 모델(Gaussian multi-index models)에서 저온 정상 분포는 은닉 인덱스 부근에 집중되고 다중 스파이크 구조를 형성하며, 음의 엔트로피 정규화가 집중을 억제함에도 불구하고 높은 확률로 매개변수(parameter) 복구를 산출합니다. 이러한 집중 현상은 온도 $λ\asymp 1$에서 급격한 전이를 보입니다. 가우시안 단일 인덱스 모델에서 정상 측도는 집중 성질을 만족하며, 패리티(parity)에 따라 해당 측도가 $S_2^{d-1}$에 존재하는지 또는 $\mathbb{RP}^{d-1}$에 존재하는지가 결정됩니다. 이렇게 유도된 학습된 특징 공간은 회귀 신호를 정렬하고 로그 인수를 제외하고 $d/N$ 및 $Md/N$의 수렴률을 산출합니다.