원문 초록
Muon has recently emerged as one of the most effective optimizers for training large neural networks, yet its empirical success has been explained from several different perspectives. In this paper, we propose a simple mechanistic interpretation: Muon can be understood as an implicit residual connection during training. Specifically, orthogonalizing the update can sacrifice some immediate gradient fidelity while improving representation preservation for downstream layers. We study this trade-off in controlled linear optimization settings, where Muon can learn representations that are slower to fit a local target but easier for downstream layers to exploit. Our results suggest a conceptual explanation for Muon and a design perspective for optimizers that balance local descent with downstream usability.
요약
Muon 옵티마이저가 학습 중 암묵적인 잔차 연결(residual connection)로 해석될 수 있다는 새로운 기계론적 설명을 제안하며, 업데이트를 직교화(orthogonalizing)함으로써 즉각적인 그래디언트 충실도를 일부 희생하는 대신 하위 레이어의 표현 보존성을 높이는 트레이드오프를 분석한다. 선형 최적화 환경의 이단계 실험을 통해, Muon이 로컬 목표 수렴은 느리지만 하위 레이어가 활용하기 더 쉬운 표현을 학습함을 보여 Muon의 성능을 설명하는 새로운 개념적 관점과 옵티마이저 설계 원칙을 제시한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.01124v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공유 표상이 어떻게 특화되는가: 형성, 유지 및 잠재적 취약성
How Shared Representations Become Specialized: Formation, Maintenance, and Latent Susceptibility
여러 예측이 동일한 내부 표상(representation)을 사용할 때, 특정 타깃에 대한 정보는 다른 타깃에 대한 정보보다 복원하기 더 쉬운 상태로 남아 있을 수 있습니다. 본 연구에서는 최소 인공 학습자(minimal artificial learners)에서 이러한 특화(specialization)가 어떻게 형성되고 지속되며 변화하는지 조사합니다. 학습 과정에서 재구성 오차(reconstruction error)에 동일한 가중치가 부여되더라도, 어떤 타깃이 관측되는지를 변경하면 선호되는 타깃이 정밀하게 선택되고 이미 특화된 학습자의 방향을 재지정할 수 있습니다. 현재의 지지(support)를 제거하면 형성된 바이어스(bias)를 줄일 수 있는 반면, 상태 추종 업데이트 피드백(state-following update feedback)은 이를 유지할 수 있습니다. 이어 관측 및 업데이트 조건은 서로 다르지만 지정된 재구성 측정값은 일치하도록 형성된 학습자들을 비교합니다. 두 학습자는 동일한 짧은 반대 개입(opposing intervention) 하에서 모두 변화하지만 반응은 서로 다릅니다. Adam을 리셋하면 10회 업데이트 시점의 차이가 대부분 제거되며, 2차 모멘트(second moment)를 교환하면 어느 경로가 더 취약한지가 역전됩니다. 새로운 개입을 통해 평균 2차 모멘트 스케일링을 균등화하면 차이가 줄어들기는 하지만 완전히 제거되지는 않음을 보여줍니다. 즉, 좌표별(coordinate-wise) 패턴 또한 중요합니다. 새로운 Adam 또는 보정된 SGD를 사용하면 더 작은 경로 차이가 나중에 나타나는 반면, 500회의 공통 반대 업데이트는 선택된 할당 종점을 가깝게 만듭니다. 추가적인 대조군 실험에서는 획득 조건이 동일하고 평균 손실 가중치가 같더라도, 결합된 가중치 변동성과 실현된 시퀀스가 다를 경우 반응 차이가 발생함을 보여줍니다. 획득에 의해 선택되는 형성은 대칭적인 3개 타깃 설정으로도 확장됩니다. 이러한 개입들은 특화의 형성, 현재의 지지, 그리고 시간에 의존하는 잠재적 취약성을 구별해 줍니다.
저비용 예측기를 활용한 무작위 모멘텀 전송
Randomized Momentum Transport with Cheap Predictors
STORM 및 2차 모멘텀(second-order momentum)과 같은 모멘텀(momentum) 방법들은 모멘텀에 전송 보정(transport correction)을 추가하여 그래디언트(gradient)를 추적하며, 이는 반복(iteration)마다 추가적인 오라클(oracle) 호출을 필요로 한다. 본 논문은 확률 $q$로 보정을 평가하고 그렇지 않은 경우 저비용 예측(cheap prediction)을 사용하는 무작위 모멘텀 전송(randomized momentum transport)을 소개하며, 조건부 평균을 보존하는 중요도 가중(importance weighting)을 사용하고 분산에 예측 손실(loss)의 $(q^{-1}-1)$배를 추가한다. 전송 바이어스(bias), 2차 모멘트, 잔차 제어 가정 하에서, 정규화(normalized), 사인(sign), 정확한 스펙트럴(exact spectral, Muon) 방향을 포함한 선형 최소화 오라클(linear minimization oracle, LMO) 업데이트는 단일 그래디언트 초기화(initialization)를 사용하여 고정된 각 $q>0$에 대해 $O(T^{-1/3})$ 정상성(stationarity) 바운드를 유지한다. 정규화되지 않은(unnormalized) STORM의 경우, 그래디언트 차이 노이즈 모듈러스가 평활성 상수를 초과하는 경우에만 (그리고 오직 그 경우에만) 일부 $q<1$이 충분 그래디언트 예산의 선도 계수를 최대 약 $10\%$까지 낮춘다. 온라인 대각 예측기는 후회-수렴(regret-to-convergence) 보장을 허용한다. 오라클 비용이 거의 동일한 조건에서, 보정값의 4분의 1만 조회하는 것은 MNIST1D에서 최종 학습(training) 손실(loss)을 $18$에서 $43\%$까지 낮추고, CIFAR-10에서 헤시안(Hessian)-벡터 전송의 테스트 정확도를 $1.5$포인트 높인다.
스펙트럼 타겟 Muon
Spectrally Targeted Muon
Muon 옵티마이저는 각 업데이트 행렬을 직교화하여 모든 특이값(singular value)을 1로 설정하며, 대규모 언어 모델 학습에 매우 효과적인 것으로 입증되었다. 그러나 이러한 성공이 경사하강법(gradient descent)이 무시하는 작은 특이 방향을 증폭시키는 데서 오는 것인지, 아니면 학습을 저해하는 크고 퇴화된(degenerate) 방향을 억제하는 데서 오는 것인지는 여전히 불분명하다. 우리는 임계값 $τ$보다 크거나 작은 특이값만을 직교화하는 Spectrally Targeted Muon을 제안하며, $τ$를 변화시킴으로써 정규화된 SGD(normalized SGD)와 Muon 사이를 보간할 수 있다. 이 방법은 이동된 그램 행렬(shifted Gram matrix)에 대한 Newton-Schulz 반복으로 계산된 투영을 이용해 관련 특이 부분공간을 분리하므로, SVD가 필요하지 않다. 우리는 CIFAR-10과 NanoGPT 스피드런(speedrun)에서 이러한 변형들을 평가하며, 그래디언트, 업데이트, 가중치 행렬의 유효 랭크(effective rank)와, 가중치 행렬의 등스펙트럼 다양체(isospectral manifold)의 접공간에 대한 업데이트의 정렬(alignment)이라는 새로운 지표를 추적한다. 우리는 세 가지를 발견했다. 첫째, 모멘텀의 작은 특이값은 잡음이 아니다. 각 행렬의 가장 큰 몇 개의 특이값을 제외한 모든 것을 직교화하면 모멘텀의 극히 일부만을 다루면서도 Muon에 거의 근접하는 반면, 상위 특이값만을 직교화하면 모멘텀의 거의 전부를 포함함에도 훨씬 못 미치는 성능을 보인다. 언어 모델에서는 모멘텀의 모든 특이값이 1보다 훨씬 작으므로, 타겟 직교화는 증폭만을 할 수 있으며, Muon은 원래 크기로는 학습이 불가능할 정도로 작은 방향들을 학습 가능하게 만듦으로써 우위를 얻는다. 둘째, 가장 큰 특이값을 축소하는 것이 매개변수 스펙트럼을 평탄하게 유지하는 요인이다; 이는 비용이 적게 들지만 손실을 주도하는 요인은 아니다. 셋째, AdamW는 구조를 형성하는 속도가 Muon보다 느리다는 점에서 주로 차이를 보이며, 이는 AdamW의 느린 초기 학습과, 왜 웜업(warmup)이 AdamW에는 도움이 되지만 Muon에는 오히려 해가 되는지를 설명한다.
연쇄적 선형 최소화 오라클을 활용한 대규모 언어 모델 최적화
Optimizing Large Language Models with Chained LMOs
Muon은 여러 행렬 정규화(matrix normalization)를 합성하는 다양한 옵티마이저 제품군의 등장을 촉진했으나, 이러한 방법들은 여전히 파편화되어 있으며 통일된 관점이 부족합니다. 본 논문에서는 이러한 방법들을 선형 최소화 오라클(LMO)의 합성으로 체계화하는 연쇄적 선형 최소화 오라클(chained LMOs)을 소개합니다. 실증적인 성공에도 불구하고 다수의 체인은 표준 LMO 프레임워크를 벗어나며 매끄러운 볼록 목적 함수(smooth convex objectives)에서 발산할 수 있습니다. 합성 연산이 그럼에도 도움이 되는 이유를 설명하기 위해, 우리는 선형 연상 메모리(linear associative memory)를 활용하여 비등방성 임베딩(anisotropic embeddings) 조건에서 체이닝이 Muon보다 성능을 향상시킬 수 있음을 보입니다. 실증적으로는 이 프레임워크 기반의 새로운 옵티마이저인 TensorChain을 제안하며, 이는 서로 다른 레이어에 걸쳐 호환 가능한 가중치 행렬들을 쌓아 해당 3차원 텐서를 축 전반에 걸쳐 정규화합니다. Qwen3 0.6B 및 1.7B 사전학습에서 TensorChain은 평균 토큰 효율성 측면에서 모든 연쇄적 베이스라인을 능가하였으며, 동일한 검증 손실에서 Muon 대비 평균 9.6%의 토큰 절감 효과를 달성했습니다.
LionMuon: 효율적인 학습을 위한 스펙트럼 및 부호 하강 교차 기법
LionMuon: Alternating Spectral and Sign Descent for Efficient Training
언어 모델 사전학습에는 막대한 양의 연산량이 소모되며, 적절한 옵티마이저를 사용하면 이를 상당 부분 절감할 수 있습니다. Muon의 스펙트럼 스텝은 부호(sign) 스텝보다 더 강력한 방향을 제공하지만 연산 비용이 큽니다. 매 스텝마다 전체 행렬에 대해 뉴턴-슐츠 반복(Newton-Schulz iterations)을 수행하며, 분산 학습 환경에서는 추가적인 올리듀스(all-reduce)가 발생합니다. 반면 Lion 및 Signum과 같은 부호 스텝은 비용이 저렴하며 각 디바이스에 국소적으로 유지됩니다. 본 논문에서는 $P$ 반복마다 한 번의 Muon 스텝을 수행하고 그 사이에는 Lion 스텝을 수행하며, 두 방식이 단일 듀얼 EMA 모멘텀 버퍼를 공유하는 LionMuon을 제안합니다. Muon의 연산 및 통신 비용은 $P$ 스텝마다 한 번만 발생하며, 옵티마이저 상태 메모리는 AdamW의 절반 수준입니다. 단일 EMA 변형인 SignMuon만으로도 이미 Muon 대비 성능 향상을 보입니다. 저자들은 주기 $P$가 Muon과 Lion의 매끄러움(smoothness) 및 노이즈 상수를 보간하며 LionMuon이 두 방법보다 더 빠른 조건을 제시하는 꼬리가 두꺼운 노이즈(heavy-tailed noise) 환경에서의 복잡도 한계를 증명합니다. FineWeb으로 학습된 124M 및 355M 모델에서 $P=2$ 및 $P=5$인 LionMuon은 동일한 토큰 수에서 Muon, AdamW, Lion, Signum보다 더 낮은 손실을 달성합니다. 4개 GPU 데이터 병렬 학습 환경의 PCIe 상에서 LionMuon은 Muon의 최종 손실에 도달하면서도 소요 시간(wall-clock)을 3분의 1 줄였으며, 정확한 그래디언트를 유지하면서도 노출되는 통신량 증가 없이 통신 효율적인 Muon 변형인 Dion 및 MuonBP보다 더 우수한 손실 성능을 보입니다. 코드: https://github.com/brain-lab-research/lion-muon
논리와 기억 사이의 충돌: 옵티마이저 의존적 규칙 습득을 위한 학습 조건
The Conflict Between Logic and Memory: Training Conditions for Optimizer-Dependent Rule Acquisition
옵티마이저는 동일한 태스크에 적합(fit)되더라도 서로 다른 일반화 관계를 습득할 수 있다. 본 연구에서는 단일 은닉층 ReLU 네트워크에서 복합 증거 태스크, 매개변수 수준의 개입, 그리고 3개 시드에 대한 엄격한 패리티 스캔을 결합하여 이러한 차이를 지배하는 학습 조건을 분석한다. 우리의 핵심 발견은 방해 요인(nuisance)과 연결된 학습 가능성이 공유된 실패와 상대적인 옵티마이저 이점을 모두 재편한다는 것이다. 방해 요인이 많은 태스크에서 테스트된 20개의 옵티마이저 구성 전부는 가장 어려운 단계에서 무작위 추정(chance) 수준에 머문다. 그러나 모든 입력을 유지하면서 방해 요인과 연결된 첫 번째 층 가중치를 초기화 상태로 고정하면, 해당 단계의 정확도가 약 50%에서 모멘텀 SGD는 70.56%, Adam은 68.47%, Muon은 69.00%로 상승한다. 전체 학습이 끝난 후에야 동일한 입력을 마스킹하는 방식으로는 이러한 성능을 복원할 수 없다. 별도의 쌍별 모드 태스크에서는 목표 및 모드 빈도가 고정되어 있는 상태에서도 배경 동결이 모멘텀 SGD 대비 Muon의 희귀 모드 이점을 12.48%포인트 감소시킨다. 각 개입은 조건별 학습률과 체크포인트를 갖춘 공통 검증-선택 프로토콜 하에서 평가된다. 차수 1~20에 걸친 엄격한 패리티 스윕은 허위 단서나 추가적인 방해 요인 좌표가 없는 상호보완적 참조 기준을 제공하며, 옵티마이저들은 차수 9~11에서 분기된 후 상당한 베이즈 예측 가능성이 남아있음에도 무작위 추정 수준에 근접한다. 혼합 태스크를 통해 복원 경계를 규명하고, CIFAR-10으로 외부 아키텍처 비교를 제공한다. 종합적으로 이러한 결과는 옵티마이저 비교를 특정 관계의 습득 및 사용과 연결하며, 허용된 적응을 고정된 아키텍처가 학습하는 내용을 변화시키는 구체적인 학습 변수로 식별한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.