머신러닝 모델에 대한 이론적 연구에서는 경사하강법(gradient descent)의 학습(training) 역학이 이론적으로 다루기 쉬워지는 다양한 극한 영역(limiting regime)을 흔히 고려합니다. 그러나 특정 유형의 모델에 대해 정성적으로 서로 다른 극한 학습 영역들을 체계적으로 파악할 수 있는 전체적인 체계(picture)를 갖추는 것이 바람직합니다. 본 논문에서는 입력 및 잠재 차원, 초기화(initialization) 크기, 그리고 학습 데이터셋 크기로 특성화되는 대규모 가중치 공유(weight-tied) 선형 오토인코더를 대상으로 이러한 체계를 제안합니다. 이 모델은 가중치에 대해 비선형적이며 그래디언트 플로우(gradient flow)의 일반적인 이론적 해를 갖지 않습니다. 본 연구에서는 형식적 손실 확장 계층 구조(formal loss-expansion hierarchy) 수준에서 이 모델의 극한 영역들이 삼각기둥(triangular prism)의 면과 자연스럽게 대응됨을 보입니다. 구체적으로 삼각기둥의 2차원 면(2-face)과 연관된 다섯 가지 기본 극한 영역이 존재합니다: (1) 대규모 데이터(large-data), (2) 소규모 데이터(small-data), (3) 평균장(mean-field), (4) 좁은 잠재 공간(narrow-latent), 그리고 (5) 자유(free) 영역입니다. 영역 (1, 2, 3, 4)에 대해 그래디언트 플로우 하에서의 극한 학습 손실 및 모집단 역학을 유도하고 엄밀하게 특성화하며, 이러한 극한으로의 수렴(convergence)을 엄밀히 증명하고 실험 결과와의 우수한 일치성을 확인합니다. 그 결과로 얻은 극한들은 스펙트럼 임계 감속(spectral critical slowing), 초기화로 인한 주성분 분석(PCA) 최적점으로부터의 고착(trapping), 그리고 모집단 손실은 지수적으로 수렴하는 반면 학습 손실은 대수적(algebraically)으로만 완화되는 영역들을 밝혀냅니다.
본 논문은 온라인 확률적 경사하강법(SGD)의 고차원 스케일링 극한을 연구한다. Ben Arous, Gheissari, Jagannath의 SGD 유효 역학에 관한 연구를 바탕으로, 단층 네트워크에서 스텝 크기(step size)의 임계 스케일링 영역을 분석한다. 이 영역 미만에서는 유효 역학이 결정론적(ballistic) 극한에 의해 지배되는 반면, 임계 스케일에서는 위상도(phase diagram)를 바꾸는 보정항이 나타난다. 이러한 역학의 고정점 근처에서, 재스케일된 상관(correlation)의 확산(SDE) 극한이 Ornstein-Uhlenbeck 과정임을 보인다. 더 정확히, 정보 지수(information exponent)가 3 이상이면 평균 회귀(mean-reverting) 특성을 갖는다. 정보 지수가 2일 때는 drift가 보편적인 부호를 갖지 않으며 고정점이 밀어내는(repelling) 특성을 띨 수 있다; 위상 복원(phase retrieval)에서 이를 명시적으로 보이며, 여기서 부호는 스텝 크기와 노이즈 수준에 의해 결정된다. 이러한 결과는 고차원 학습 역학에서 확률적 변동을 포착하는 데 있어 결정론적 스케일링 극한의 한계를 보여준다.
본 논문에서는 다수의 이방성(anisotropic) 클래스 데이터를 사용하여 단일 패스 확률적 경사하강법(SGD)으로 학습하는 고차원 문제의 학습 동역학을 분석하는 프레임워크를 개발한다. 주요 정리는 위험도(risk) 및 진신호(true signal)와의 중첩(overlap)을 포함한 관심 지표들에 대해, 고차원 극한에서 유효한 결정론적 ODE 시스템으로 정확한 표현식을 제공한다. 이 정리는 광범위한 최적화 문제에 적용되며, 클래스 수가 차원과 함께 증가하는 설정으로도 확장된다. 활용 예시로서, 이진 로지스틱 회귀와 최소제곱(LS) 손실 문제에서 데이터의 이방성 구조가 미치는 영향을 상세히 분석한다. LS 손실은 선형 다중 클래스 설정에서 연구하며, 공분산 행렬의 평균 고유값에 의존하는 학습률 임계값을 도출한다. 이진 로지스틱 회귀에서는 세 가지 경우를 분석한다: 등방성(isotropic) 공분산, 영 고유값 비율이 높은 데이터 공분산 행렬(영-일 모델로 표기), 그리고 거듭제곱 법칙 스펙트럼을 갖는 공분산 행렬. 이 과정에서 구조적 위상 전이(phase transition)가 발생함을 보인다. 특히 영-일 모델과 충분히 큰 지수를 갖는 거듭제곱 법칙 모델에서, SGD는 '깨끗한 방향들'(즉, 분산이 작은 방향들)에 투영된 클래스 평균값과 더욱 긴밀하게 정렬됨을 보인다. 이는 고차원 극한에서 손실의 정확한 점근적 거동을 보여주는 해석적 연구 및 수치 시뮬레이션을 통해 뒷받침된다. 본 논문에서 입증한 데이터 이방성의 영향은 이러한 예시들을 넘어서도 성립할 가능성이 높으며, 증명된 광범위한 정리의 한 가지 응용을 보여준다.
우리는 이징(Ising) 모델의 미시적 스핀 구성으로 학습된 비지도 오토인코더가 데이터 생성 과정의 기저에 있는 거시적이고 이론적으로 유의미한 변수를 어떻게 학습하는지 연구한다. 도메인 지식을 임베딩하지 않고 전형적인 발견 환경을 모사하여, 다양한 공간적(거칠기) 스케일에 걸쳐 학습을 정량화하고, 주요 하이퍼파라미터(모델 깊이, 너비, 학습률)에 의해 제어되는 두 가지 뚜렷한 동역학적 체제를 밝힌다. 이는 자화(magnetization) 지배 체제와 표현 품질의 트레이드오프를 특징으로 하는 에너지 지배 체제이다. 첫 번째 체제는 동역학적 스케일링과 순서-스케일을 따르는 요동을 나타내는 일시적 상태이며, 두 번째 체제는 에너지 표현에 관련된 더 작은 스케일 방향으로 해상도를 점진적으로 이동시킨다. 중간 및 빠른 학습률로 학습된 깊은 모델은 이 체제에 도달하기 전에 고착된다. 재귀적-동적 궤적에 대한 새로운 분석을 통해, 예측 오류가 모든 표현 공간에 걸쳐 공통된 궤적 위상을 생성하는 흐름 장을 유도함을 보인다. 학습의 동역학적 관점이 확립되며, 여기서 내재적 특성은 학습 중 강제된 표현 변화의 영향을 드러낸다. 학습이 학습 데이터와 옵티마이저의 요동에 의해 평형에서 멀리 구동되는 과정으로 작동한다는 직관을 활용하여, 물리적 세계와 이를 표현하는 기계 모델 모두에 근거한 해석적 기반을 제공한다.
어텐션 메커니즘은 대규모 토큰 집합에서 관련 정보를 식별하는 데 놀라운 실증적 성공을 보여왔지만, 이러한 동작을 뒷받침하는 이론적 원리는 여전히 잘 이해되지 않고 있다. 우리는 정보를 담은 토큰과 nuisance 토큰의 집합으로부터 확률적 그래디언트 상승(stochastic gradient ascent)으로 쿼리 벡터를 학습하는 단순화된 소프트맥스-어텐션 모델을 연구한다. 모델의 대칭성을 이용해, 우리는 모집단 목적함수를 유도하고 학습 역학을 지배하는 극한 상미분방정식(ordinary differential equation)을 특성화한다. 확률적 근사(stochastic approximation)와 동역학계 이론(dynamical systems theory)의 도구를 사용하여, 확률적 학습 알고리즘과 그 결정론적 극한 사이의 엄밀한 연결을 확립한다. 우리의 주요 결과는, 적절한 고차원 스케일링 가정과 표준 스텝 크기(step-size) 조건 하에서, 학습된 쿼리가 잠재적 정보 방향(latent informative direction)이 생성(span)하는 1차원 신호 부분공간(signal subspace)으로 거의 확실(almost surely)하게 수렴함을 보여준다. 동치적으로, 쿼리는 고유 부호 모호성(intrinsic sign ambiguity)까지 포함하여 잠재 신호를 점근적으로 복원한다. 이러한 결과는 고차원 잡음 환경에서 어텐션 메커니즘을 신호 추출(signal extraction) 절차로 이해하기 위한 엄밀한 이론적 토대를 제공하며, 상당한 잡음 존재 하에서 어텐션이 관련 정보를 발견하는 방식에 대한 동역학계 관점을 제시한다.
스케일링 법칙은 대규모 언어 모델(LLM) 개발의 초석으로, 계산 자원이 증가함에 따라 모델 성능의 향상을 예측합니다. 그러나 경험적으로 검증되었음에도 불구하고, 그 이론적 기초는 여전히 잘 이해되지 않고 있습니다. 본 연구는 트랜스포머 기반 언어 모델의 학습 역학을 상미분 방정식(ODE) 시스템으로 형식화한 다음, 이 과정을 커널 동작으로 근사합니다. 이전의 장난감 모델 분석에서 벗어나, 우리는 실제 상황을 밀접하게 반영하는 임의의 데이터 분포를 가진 시퀀스-투-시퀀스 데이터에 대해 다층 트랜스포머의 확률적 경사하강법(SGD) 학습을 엄밀하게 분석합니다. 우리의 분석은 최적화 과정 중에 특히 계산 자원이 데이터와 함께 스케일링될 때, 일반화 오차가 환원 불가능한 위험(irreducible risk)으로 수렴하는 특성을 규명합니다. 우리는 뚜렷한 상 전이(phase transition)로 특징지어지는 초과 위험에 대해 일치하는 상한과 하한을 확립합니다. 초기 최적화 단계에서 초과 위험은 계산 비용 ${\sf C}$에 대해 지수적으로 감소합니다. 그러나 특정 자원 할당 임계값을 넘어서면 시스템은 통계적 단계에 진입하며, 여기서 일반화 오차는 $Θ(\mathsf{C}^{-1/7})$의 멱법칙 감소를 따릅니다. 이러한 비율은 상호 보완적인 하한(통계 측면에서는 정보 이론적 2점 축소를 통해, 최적화 측면에서는 1차 오라클 논증을 통해)에 의해 입증되어, 상수, 로그 인자, 조건수 격차까지 두 단계 법칙을 엄밀하게 만듭니다. 이 통합된 프레임워크를 넘어, 우리의 이론은 모델 크기, 학습 시간, 데이터셋 크기에 대한 개별 스케일링 법칙을 도출하여, 각 변수가 일반화의 경계를 어떻게 독립적으로 제어하는지 명확히 합니다.
통계 모델의 학습을 분석하는 일반적인 방법은 모델의 매개변수 공간에서의 연산을 고려하는 것이지만, 매개변수 공간과 기저가 되는 통계 모델 공간 사이에 일대일 매핑이 존재하지 않을 경우 이는 어려운 문제가 됩니다. 이러한 "특이 모델(singular models)"은 빈번하게 발생하며, 어트랙터(attractor) 거동으로 인해 학습 궤적의 수렴 속도가 특징적으로 감소하는 현상을 보입니다. 본 연구에서는 매개변수 공간에 대한 상대적 재매개변수화(relative reparameterization) 기법을 고려하여, 특이 모델로부터 정칙(regular) 부분 모델을 추출하는 일반적인 방법을 제시합니다. 가우시안 혼합 모델(Gaussian Mixture Models)과 신경망(Neural Networks)을 예로 들어, 두 가지 매개변수화 방식 하에서 경사하강법(Gradient Descent)의 수렴률을 이론적 및 수치적으로 분석합니다. 2차 방법(second-order methods)과 피셔 정보 행렬(Fisher Information Matrix)의 명시적 성질을 분석하여, 알고리즘적 측면과 본질적인 정보 기하학적 측면에서 기인하는 수렴 거동의 차이를 구별합니다.
오토인코더(AE)는 데이터를 잠재 공간에 매핑하면서 재구성 오차를 최소화함으로써 저차원 표현을 학습한다. 경험적으로 성공했음에도 이론적 이해는 제한적이며, 대체로 선형 모델이나 병목이 없는 설정에 국한되어 있다. 본 연구에서는 평균장(MF) 체제에서 고정된 유한 차원 병목을 가진 비선형 AE를 연구한다. 인코더와 디코더 모두에 대한 명시적 MF 학습 역학을 도출하여, 비선형 설정에서의 학습에 대한 다루기 쉬운 특성화를 제공한다. 유한 시간 구간에 걸쳐, 확률적 경사하강법으로 학습된 유한 너비 네트워크의 경험적 리스크가 MF 리스크 궤적을 높은 확률로 밀접하게 추적함을 보인다. 최적점에서, 유한 너비 리스크가 MF 최적값으로 수렴함을 추가로 정립하며, 이는 유한 네트워크가 무한 너비 해를 충분히 근사할 만큼 표현력이 충분함을 보여준다.