PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27715v1cs.LG

Aurora: 레버리지 인식 스펙트럴 옵티마이저

Aurora: A Leverage-Aware Spectral Optimizer

키가 큰 행렬 매개변수, 예를 들어 MLP 층의 투영 행렬의 경우 Muon 업데이트의 행 노름이 임의로 불균일해질 수 있음을 보인다. 이는 자기 강화 피드백 루프로 이어져 뉴런이 지속적으로 작은 업데이트만 받게 되고, 결국 네트워크 출력에 의미 있게 기여하지 못하게 될 수 있다. 이 문제는 추가적인 행 정규화 단계로 효과적으로 완화할 수 있지만, 현재 방법들은 Muon 업데이트 기하학을 모멘텀 행렬의 극인수로부터 멀어지게 하는 방식으로 이를 수행하며, 이는 바람직하지 않다고 판단했다. 우리는 행렬 매개변수 업데이트의 행 균일성을 강제하면서 Muon의 극인수 기하학을 존중하는 옵티마이저인 Aurora를 제안한다. Aurora는 우리의 사전학습 실험에서 Muon을 능가하며, 기존 방법과 결합할 경우 modded-nanoGPT speedrun의 옵티마이저 트랙에서 스펙트럴 옵티마이저 중 최첨단 성능을 달성한다. 또한 Aurora가 Muon 대비 보이는 경험적 이득이 MLP 확장 계수에 따라 커짐을 확인했으며, 이는 Aurora가 매우 넓은 MLP 층의 효과적인 학습을 가능하게 할 수 있음을 시사한다.