본 논문은 온라인 확률적 경사하강법(SGD)의 고차원 스케일링 극한을 연구한다. Ben Arous, Gheissari, Jagannath의 SGD 유효 역학에 관한 연구를 바탕으로, 단층 네트워크에서 스텝 크기(step size)의 임계 스케일링 영역을 분석한다. 이 영역 미만에서는 유효 역학이 결정론적(ballistic) 극한에 의해 지배되는 반면, 임계 스케일에서는 위상도(phase diagram)를 바꾸는 보정항이 나타난다. 이러한 역학의 고정점 근처에서, 재스케일된 상관(correlation)의 확산(SDE) 극한이 Ornstein-Uhlenbeck 과정임을 보인다. 더 정확히, 정보 지수(information exponent)가 3 이상이면 평균 회귀(mean-reverting) 특성을 갖는다. 정보 지수가 2일 때는 drift가 보편적인 부호를 갖지 않으며 고정점이 밀어내는(repelling) 특성을 띨 수 있다; 위상 복원(phase retrieval)에서 이를 명시적으로 보이며, 여기서 부호는 스텝 크기와 노이즈 수준에 의해 결정된다. 이러한 결과는 고차원 학습 역학에서 확률적 변동을 포착하는 데 있어 결정론적 스케일링 극한의 한계를 보여준다.
Muon 옵티마이저와 같은 스펙트럴 경사하강법(SpecGD)이 비등방성 데이터에서 경사하강법(GD)보다 우수한 성능을 보이는 이유를 비선형 위상 복원(phase retrieval) 모델의 동역학적 분석을 통해 이론적으로 규명한다. GD는 학습 초기 단계에서 정보가 없는 고분산 스파이크 방향이 증폭되어 신호 정렬이 저하되는 반면, SpecGD는 이 스파이크 증폭 효과를 제거하여 안정적인 정렬과 빠른 노이즈 수축을 달성함을 이론 및 수치 실험으로 검증한다.
위상 복원(Phase retrieval) - 강도 측정으로부터 복소수 필드를 복원하는 문제 -은 일반적으로 측정 평면 사이의 교대 투영으로 이해되는 Gerchberg-Saxton(GS) 알고리즘의 변형을 사용하여 해결됩니다. 한편, 현대의 계산 영상은 점차 그래디언트 기반 최적화와 자동 미분에 의존하고 있습니다. 본 연구에서는 이 두 접근 방식이 수학적으로 동일함을 보여줍니다: GS 크기 대체 단계는 진폭 최소제곱 손실(amplitude least-squares loss)에 대한 단위 경사하강법(gradient descent) 단계와 정확히 일치합니다. 이러한 동등성을 통해 고전적 위상 복원과 미분 가능한 물리 파이프라인의 매끄러운 통합이 가능해집니다. 또한 우리는 이 동등성에 대한 두 가지 상호 보완적인 확률적 해석을 식별합니다: 전역적으로는 진폭 손실이 가우시안 진폭 노이즈 하에서의 음의 로그 가능도(negative log-likelihood)이며, 국소적으로는 각 투영 단계가 전파된 필드를 사전 분포(prior)로 하는 베이지안 업데이트로 발생합니다. 국소적 관점은 반복적 위상 복원에서 완화에 대한 정성적 지침을 제공합니다.