Muon as a Residual Connection
Muon 옵티마이저가 학습 중 암묵적인 잔차 연결(residual connection)로 해석될 수 있다는 새로운 기계론적 설명을 제안하며, 업데이트를 직교화(orthogonalizing)함으로써 즉각적인 그래디언트 충실도를 일부 희생하는 대신 하위 레이어의 표현 보존성을 높이는 트레이드오프를 분석한다. 선형 최적화 환경의 이단계 실험을 통해, Muon이 로컬 목표 수렴은 느리지만 하위 레이어가 활용하기 더 쉬운 표현을 학습함을 보여 Muon의 성능을 설명하는 새로운 개념적 관점과 옵티마이저 설계 원칙을 제시한다.