곡선 가중치 공간에서의 학습: 최적화 향상을 위한 지수-선형 가중치 재매개변수화
Learning in Curved Weight Space:Exponential-Linear Weight Reparameterization for Improved Optimization
많은 신경망 연산은 덧셈적이기보다 곱셈적 특성을 지닌다. 예를 들어, 노름을 절반으로 줄이거나 두 배로 늘리는 것은 상대적으로 유사하지만, 선형 스텝을 취할 때 서로 다른 최적화 거리를 요구한다. Adam과 같은 적응형 최적화기는 좌표별로 업데이트를 정규화하지만, 업데이트 스텝은 여전히 덧셈 방식으로 이루어진다. 크기가 크게 다른 가중치들은 절댓값 기준으로 유사한 크기의 변화를 받게 되어, 상대적 변동에서는 큰 차이가 발생한다. 우리는 \textbf{\method} (\textbf{\methodshort})를 소개한다. 이는 신경망을 위한 가중치 재매개변수화 기법으로, 부호 인식 대칭 지수 경로와 항등 함수형 선형 경로를 결합한다. 대칭 지수 경로는 원(raw) 가중치가 작을 때는 거의 선형에 가깝지만, 크기가 커질수록 점점 더 곡선형이 된다. 로그 공간에서의 덧셈 업데이트는 유효 가중치 공간에서 크기 비례적인 변화로 매핑된다. 선형 경로는 변환을 통해 직접적인 경로를 제공하며, 우리는 이것이 최적화를 안정화한다고 가설을 세운다. 학습 가능한 스케일, 곡률, 오프셋 매개변수는 경로 간의 균형과 지수 경로의 곡률을 제어한다. 이러한 구성 요소들이 곡선형 매개변수 공간 기하구조를 형성하여, 표준 선형 매개변수화 대비 손실 하강 속도를 실험적으로 향상시킨다. 또한 우리는 유용한 \emph{불일치 초기화}를 발견한다. 원(raw) 가중치는 변환의 대칭 버전이 Xavier 통계와 일치하도록 선택되지만, 학습 시에는 양수 가중치를 원래 강도로 유지하면서 음수 가중치의 크기는 더 작게 만드는 비대칭 순방향 변환을 사용한다. 소규모 모델 에이블레이션에서 이 방법은 초기 최적화를 개선하며 일종의 대칭 깨기로 작용할 수 있다. 우리는 9가지 너비×깊이 구성에서 OpenWebText로 트랜스포머를 학습하였으며, \methodshort는 1.32--1.49배 더 적은 학습 스텝으로 동일한 검증 손실에 도달하였고, 너비가 가장 큰 경우에 가장 큰 성능 향상이 나타났다.