대규모 선형 오토인코더에서 학습 영역의 프리즘 계층 구조
A prism hierarchy of learning regimes in large linear autoencoders
머신러닝 모델에 대한 이론적 연구에서는 경사하강법(gradient descent)의 학습(training) 역학이 이론적으로 다루기 쉬워지는 다양한 극한 영역(limiting regime)을 흔히 고려합니다. 그러나 특정 유형의 모델에 대해 정성적으로 서로 다른 극한 학습 영역들을 체계적으로 파악할 수 있는 전체적인 체계(picture)를 갖추는 것이 바람직합니다. 본 논문에서는 입력 및 잠재 차원, 초기화(initialization) 크기, 그리고 학습 데이터셋 크기로 특성화되는 대규모 가중치 공유(weight-tied) 선형 오토인코더를 대상으로 이러한 체계를 제안합니다. 이 모델은 가중치에 대해 비선형적이며 그래디언트 플로우(gradient flow)의 일반적인 이론적 해를 갖지 않습니다. 본 연구에서는 형식적 손실 확장 계층 구조(formal loss-expansion hierarchy) 수준에서 이 모델의 극한 영역들이 삼각기둥(triangular prism)의 면과 자연스럽게 대응됨을 보입니다. 구체적으로 삼각기둥의 2차원 면(2-face)과 연관된 다섯 가지 기본 극한 영역이 존재합니다: (1) 대규모 데이터(large-data), (2) 소규모 데이터(small-data), (3) 평균장(mean-field), (4) 좁은 잠재 공간(narrow-latent), 그리고 (5) 자유(free) 영역입니다. 영역 (1, 2, 3, 4)에 대해 그래디언트 플로우 하에서의 극한 학습 손실 및 모집단 역학을 유도하고 엄밀하게 특성화하며, 이러한 극한으로의 수렴(convergence)을 엄밀히 증명하고 실험 결과와의 우수한 일치성을 확인합니다. 그 결과로 얻은 극한들은 스펙트럼 임계 감속(spectral critical slowing), 초기화로 인한 주성분 분석(PCA) 최적점으로부터의 고착(trapping), 그리고 모집단 손실은 지수적으로 수렴하는 반면 학습 손실은 대수적(algebraically)으로만 완화되는 영역들을 밝혀냅니다.