본 논문에서는 다수의 이방성(anisotropic) 클래스 데이터를 사용하여 단일 패스 확률적 경사하강법(SGD)으로 학습하는 고차원 문제의 학습 동역학을 분석하는 프레임워크를 개발한다. 주요 정리는 위험도(risk) 및 진신호(true signal)와의 중첩(overlap)을 포함한 관심 지표들에 대해, 고차원 극한에서 유효한 결정론적 ODE 시스템으로 정확한 표현식을 제공한다. 이 정리는 광범위한 최적화 문제에 적용되며, 클래스 수가 차원과 함께 증가하는 설정으로도 확장된다. 활용 예시로서, 이진 로지스틱 회귀와 최소제곱(LS) 손실 문제에서 데이터의 이방성 구조가 미치는 영향을 상세히 분석한다. LS 손실은 선형 다중 클래스 설정에서 연구하며, 공분산 행렬의 평균 고유값에 의존하는 학습률 임계값을 도출한다. 이진 로지스틱 회귀에서는 세 가지 경우를 분석한다: 등방성(isotropic) 공분산, 영 고유값 비율이 높은 데이터 공분산 행렬(영-일 모델로 표기), 그리고 거듭제곱 법칙 스펙트럼을 갖는 공분산 행렬. 이 과정에서 구조적 위상 전이(phase transition)가 발생함을 보인다. 특히 영-일 모델과 충분히 큰 지수를 갖는 거듭제곱 법칙 모델에서, SGD는 '깨끗한 방향들'(즉, 분산이 작은 방향들)에 투영된 클래스 평균값과 더욱 긴밀하게 정렬됨을 보인다. 이는 고차원 극한에서 손실의 정확한 점근적 거동을 보여주는 해석적 연구 및 수치 시뮬레이션을 통해 뒷받침된다. 본 논문에서 입증한 데이터 이방성의 영향은 이러한 예시들을 넘어서도 성립할 가능성이 높으며, 증명된 광범위한 정리의 한 가지 응용을 보여준다.
랜덤 리셔플링(RR)이 표준 SGD보다 실제로 우수함에도 이론적 뒷받침이 부족했던 문제를 해결하기 위해, 이 연구는 smooth convex 최적화에서 임의의 합리적인 스텝사이즈와 유한한 에포크 수 조건 하에서 RR이 SGD를 지배함을 최초로 엄밀히 증명했다. 기존 이론의 두 가지 핵심 제약(스텝사이즈 $\eta \lesssim 1/nL$ 조건 및 에포크 수 임계값)을 모두 제거하고, RR의 최적 수렴 속도를 $\frac{LD^2}{nK}+\min\{\frac{\sigma_\star D}{\sqrt{nK}},(\frac{L\sigma_\star^2 D^4}{nK^2})^{1/3}\}$으로 개선함으로써 이론과 실제 간의 오랜 불일치를 해소했다.
미니배치 SGD의 표준 수렴 분석이 모든 매개변수 방향의 그래디언트 노이즈를 동등하게 취급하는 문제를 해결하기 위해, 헤시안(Hessian)의 역제곱근으로 샘플별 그래디언트 다양성을 가중한 곡률 가중 그래디언트 다양성(CWGD)을 제안한다. 강볼록 이차 목적 함수에서 이론적으로 표준 코사인 어닐링 대비 점근적 최적화 오차를 최대 2배 줄일 수 있음을 증명하였으며, Hutchinson 기반 대각 헤시안 추정기를 활용한 CWGD-Cosine 알고리즘은 다양한 조건수와 배치 크기 설정에서 일관되게 약 20% 낮은 최종 최적화 오차를 달성하였다.
Heavy ball (HB), Nesterov 모멘텀, Accelerated SGD (ASGD) [Kidambi et al., 2018]의 변형과 같은 확률적 모멘텀 방법들은 현대 학습에서 널리 사용되지만, 이들의 확률적 이점은 두 가지 별개의 양, 즉 목표 정확도에 도달하는 데 필요한 반복 횟수인 직렬 런타임과 전체 그래디언트 쿼리 또는 FLOP 비용의 역수인 계산 효율성(CE)에 의존합니다. 더 큰 배치는 수축 간극이 배치 크기에 따라 선형적으로 증가할 때에만 CE를 저해하지 않으면서 직렬 런타임을 줄입니다. 우리는 가우시안 공변량을 갖는 일치 선형 회귀에 대해 확률적 HB와 ASGD를 연구하고, 그들의 배치 크기 트레이드오프에 대한 유한 차원 이산 시간 하한을 증명합니다. 첫 번째 결과는 HB가 임의의 스펙트럼에 대해 SGD 대비 CE 프론티어를 개선하지 않음을 보여줍니다. 오히려 HB는 더 큰 배치 크기 윈도우에 걸쳐 SGD 수준의 CE를 유지하여, HB가 결정론적 가속 규모에 도달할 때까지 더 큰 배치가 직렬 런타임을 줄일 수 있도록 합니다. 이 윈도우는 SGD 임계 배치 크기보다 $\sqrtκ$배 더 클 수 있습니다. ASGD의 경우 그 양상은 스펙트럼에 더 의존적입니다. 급격히 감소하는 멱법칙 스펙트럼의 경우, ASGD는 HB/SGD 대비 소배치 CE를 개선하지만, 배치 크기가 증가함에 따라 이 CE 이점을 개선된 직렬 런타임과 교환합니다. 합성 선형 회귀 실험은 천천히 감소하는 스펙트럼에 대한 ASGD와 HB의 거의 겹침과 급격히 감소하는 스펙트럼에 대한 예측된 CE-직렬 트레이드오프를 포함하여 이러한 정성적 체제를 검증합니다.