Matrix factorization (i.e., problems of the form $\min_{\mathbf{P},\mathbf{Q}} \|\mathbf{M}^\star - \mathbf{P}^\top\mathbf{Q}\|_\mathrm{F}^2$) is a minimal learning problem that exhibits both nonlinear parameter dynamics and representation learning. In this setting, we study how parameter trajectories under the Muon optimizer differ from those of gradient descent. We identify three main dynamical differences: (1) Muon avoids the slow saddle-to-saddle dynamics of GD from small initialization. Muon instead learns all the top singular vectors of $\mathbf{M}^\star$ at the same rate, and they saturate in order of increasing (rather than decreasing) singular value. (2) Muon does not diverge even when the learning rate exceeds the critical threshold set by the local loss sharpness. This frees the learning rate from the condition number of the problem, enabling rapid convergence via exponential learning rate annealing. (3) Once the weights are aligned with each other and the target, Muon flow conserves the matrix quantity $\sqrt{\mathbf{P}^\top \mathbf{P}}-\sqrt{\mathbf{Q}^\top \mathbf{Q}}$, while gradient flow is known to conserve the matrix $\mathbf{P}^\top\mathbf{P} - \mathbf{Q}^\top\mathbf{Q}$. Despite having distinct conserved quantities, both optimizers find the so-called balanced solution from vanishing initialization. When training from small random initialization, the weights spontaneously align early in training. We derive the alignment rates in simple settings and show that they predict the empirical alignment rates in general. Finally, we exploit structural properties of Muon to construct a learning rate schedule that achieves near-perfect alignment in only two optimization steps.
STORM 및 2차 모멘텀(second-order momentum)과 같은 모멘텀(momentum) 방법들은 모멘텀에 전송 보정(transport correction)을 추가하여 그래디언트(gradient)를 추적하며, 이는 반복(iteration)마다 추가적인 오라클(oracle) 호출을 필요로 한다. 본 논문은 확률 $q$로 보정을 평가하고 그렇지 않은 경우 저비용 예측(cheap prediction)을 사용하는 무작위 모멘텀 전송(randomized momentum transport)을 소개하며, 조건부 평균을 보존하는 중요도 가중(importance weighting)을 사용하고 분산에 예측 손실(loss)의 $(q^{-1}-1)$배를 추가한다. 전송 바이어스(bias), 2차 모멘트, 잔차 제어 가정 하에서, 정규화(normalized), 사인(sign), 정확한 스펙트럴(exact spectral, Muon) 방향을 포함한 선형 최소화 오라클(linear minimization oracle, LMO) 업데이트는 단일 그래디언트 초기화(initialization)를 사용하여 고정된 각 $q>0$에 대해 $O(T^{-1/3})$ 정상성(stationarity) 바운드를 유지한다. 정규화되지 않은(unnormalized) STORM의 경우, 그래디언트 차이 노이즈 모듈러스가 평활성 상수를 초과하는 경우에만 (그리고 오직 그 경우에만) 일부 $q<1$이 충분 그래디언트 예산의 선도 계수를 최대 약 $10\%$까지 낮춘다. 온라인 대각 예측기는 후회-수렴(regret-to-convergence) 보장을 허용한다. 오라클 비용이 거의 동일한 조건에서, 보정값의 4분의 1만 조회하는 것은 MNIST1D에서 최종 학습(training) 손실(loss)을 $18$에서 $43\%$까지 낮추고, CIFAR-10에서 헤시안(Hessian)-벡터 전송의 테스트 정확도를 $1.5$포인트 높인다.
Muon은 여러 행렬 정규화(matrix normalization)를 합성하는 다양한 옵티마이저 제품군의 등장을 촉진했으나, 이러한 방법들은 여전히 파편화되어 있으며 통일된 관점이 부족합니다. 본 논문에서는 이러한 방법들을 선형 최소화 오라클(LMO)의 합성으로 체계화하는 연쇄적 선형 최소화 오라클(chained LMOs)을 소개합니다. 실증적인 성공에도 불구하고 다수의 체인은 표준 LMO 프레임워크를 벗어나며 매끄러운 볼록 목적 함수(smooth convex objectives)에서 발산할 수 있습니다. 합성 연산이 그럼에도 도움이 되는 이유를 설명하기 위해, 우리는 선형 연상 메모리(linear associative memory)를 활용하여 비등방성 임베딩(anisotropic embeddings) 조건에서 체이닝이 Muon보다 성능을 향상시킬 수 있음을 보입니다. 실증적으로는 이 프레임워크 기반의 새로운 옵티마이저인 TensorChain을 제안하며, 이는 서로 다른 레이어에 걸쳐 호환 가능한 가중치 행렬들을 쌓아 해당 3차원 텐서를 축 전반에 걸쳐 정규화합니다. Qwen3 0.6B 및 1.7B 사전학습에서 TensorChain은 평균 토큰 효율성 측면에서 모든 연쇄적 베이스라인을 능가하였으며, 동일한 검증 손실에서 Muon 대비 평균 9.6%의 토큰 절감 효과를 달성했습니다.
Muon 옵티마이저는 각 업데이트 행렬을 직교화하여 모든 특이값(singular value)을 1로 설정하며, 대규모 언어 모델 학습에 매우 효과적인 것으로 입증되었다. 그러나 이러한 성공이 경사하강법(gradient descent)이 무시하는 작은 특이 방향을 증폭시키는 데서 오는 것인지, 아니면 학습을 저해하는 크고 퇴화된(degenerate) 방향을 억제하는 데서 오는 것인지는 여전히 불분명하다. 우리는 임계값 $τ$보다 크거나 작은 특이값만을 직교화하는 Spectrally Targeted Muon을 제안하며, $τ$를 변화시킴으로써 정규화된 SGD(normalized SGD)와 Muon 사이를 보간할 수 있다. 이 방법은 이동된 그램 행렬(shifted Gram matrix)에 대한 Newton-Schulz 반복으로 계산된 투영을 이용해 관련 특이 부분공간을 분리하므로, SVD가 필요하지 않다.
우리는 CIFAR-10과 NanoGPT 스피드런(speedrun)에서 이러한 변형들을 평가하며, 그래디언트, 업데이트, 가중치 행렬의 유효 랭크(effective rank)와, 가중치 행렬의 등스펙트럼 다양체(isospectral manifold)의 접공간에 대한 업데이트의 정렬(alignment)이라는 새로운 지표를 추적한다. 우리는 세 가지를 발견했다. 첫째, 모멘텀의 작은 특이값은 잡음이 아니다. 각 행렬의 가장 큰 몇 개의 특이값을 제외한 모든 것을 직교화하면 모멘텀의 극히 일부만을 다루면서도 Muon에 거의 근접하는 반면, 상위 특이값만을 직교화하면 모멘텀의 거의 전부를 포함함에도 훨씬 못 미치는 성능을 보인다. 언어 모델에서는 모멘텀의 모든 특이값이 1보다 훨씬 작으므로, 타겟 직교화는 증폭만을 할 수 있으며, Muon은 원래 크기로는 학습이 불가능할 정도로 작은 방향들을 학습 가능하게 만듦으로써 우위를 얻는다. 둘째, 가장 큰 특이값을 축소하는 것이 매개변수 스펙트럼을 평탄하게 유지하는 요인이다; 이는 비용이 적게 들지만 손실을 주도하는 요인은 아니다. 셋째, AdamW는 구조를 형성하는 속도가 Muon보다 느리다는 점에서 주로 차이를 보이며, 이는 AdamW의 느린 초기 학습과, 왜 웜업(warmup)이 AdamW에는 도움이 되지만 Muon에는 오히려 해가 되는지를 설명한다.
언어 모델 사전학습에는 막대한 양의 연산량이 소모되며, 적절한 옵티마이저를 사용하면 이를 상당 부분 절감할 수 있습니다. Muon의 스펙트럼 스텝은 부호(sign) 스텝보다 더 강력한 방향을 제공하지만 연산 비용이 큽니다. 매 스텝마다 전체 행렬에 대해 뉴턴-슐츠 반복(Newton-Schulz iterations)을 수행하며, 분산 학습 환경에서는 추가적인 올리듀스(all-reduce)가 발생합니다. 반면 Lion 및 Signum과 같은 부호 스텝은 비용이 저렴하며 각 디바이스에 국소적으로 유지됩니다. 본 논문에서는 $P$ 반복마다 한 번의 Muon 스텝을 수행하고 그 사이에는 Lion 스텝을 수행하며, 두 방식이 단일 듀얼 EMA 모멘텀 버퍼를 공유하는 LionMuon을 제안합니다. Muon의 연산 및 통신 비용은 $P$ 스텝마다 한 번만 발생하며, 옵티마이저 상태 메모리는 AdamW의 절반 수준입니다. 단일 EMA 변형인 SignMuon만으로도 이미 Muon 대비 성능 향상을 보입니다. 저자들은 주기 $P$가 Muon과 Lion의 매끄러움(smoothness) 및 노이즈 상수를 보간하며 LionMuon이 두 방법보다 더 빠른 조건을 제시하는 꼬리가 두꺼운 노이즈(heavy-tailed noise) 환경에서의 복잡도 한계를 증명합니다. FineWeb으로 학습된 124M 및 355M 모델에서 $P=2$ 및 $P=5$인 LionMuon은 동일한 토큰 수에서 Muon, AdamW, Lion, Signum보다 더 낮은 손실을 달성합니다. 4개 GPU 데이터 병렬 학습 환경의 PCIe 상에서 LionMuon은 Muon의 최종 손실에 도달하면서도 소요 시간(wall-clock)을 3분의 1 줄였으며, 정확한 그래디언트를 유지하면서도 노출되는 통신량 증가 없이 통신 효율적인 Muon 변형인 Dion 및 MuonBP보다 더 우수한 손실 성능을 보입니다. 코드: https://github.com/brain-lab-research/lion-muon
Muon으로 학습(training)된 모듈러 연산 트랜스포머는 선형적으로 디코딩 가능한 태스크 정보를 유지하면서도 정확도를 잃을 수 있습니다. 인접 교체 분석을 통해 포착된 5건의 비정규화 실패 원인이 AdamW 판독(readout) 업데이트에 위치함을 국소화했습니다. 실제 판독 변위에 큰 특징(feature) 평균을 곱하면 입력 전반에 공유되는 클래스 종속적 로짓(logit) 오프셋이 발생하며, 이는 각 실패를 거의 재현합니다. 학습 전용 디코더는 98.20~100%의 미학습 검증(held-out) 정확도를 복원합니다. 교차 엔트로피(cross-entropy) 도함수(derivative) 오차를 교정하면 100,000단계까지 5개의 일치된 브랜치가 안정화되지만, 향후 정확한 CE RMS를 적용한 4건의 실험은 임베딩(embedding) 업데이트를 통해 실패합니다.
옵티마이저는 동일한 태스크에 적합(fit)되더라도 서로 다른 일반화 관계를 습득할 수 있다. 본 연구에서는 단일 은닉층 ReLU 네트워크에서 복합 증거 태스크, 매개변수 수준의 개입, 그리고 3개 시드에 대한 엄격한 패리티 스캔을 결합하여 이러한 차이를 지배하는 학습 조건을 분석한다. 우리의 핵심 발견은 방해 요인(nuisance)과 연결된 학습 가능성이 공유된 실패와 상대적인 옵티마이저 이점을 모두 재편한다는 것이다. 방해 요인이 많은 태스크에서 테스트된 20개의 옵티마이저 구성 전부는 가장 어려운 단계에서 무작위 추정(chance) 수준에 머문다. 그러나 모든 입력을 유지하면서 방해 요인과 연결된 첫 번째 층 가중치를 초기화 상태로 고정하면, 해당 단계의 정확도가 약 50%에서 모멘텀 SGD는 70.56%, Adam은 68.47%, Muon은 69.00%로 상승한다. 전체 학습이 끝난 후에야 동일한 입력을 마스킹하는 방식으로는 이러한 성능을 복원할 수 없다. 별도의 쌍별 모드 태스크에서는 목표 및 모드 빈도가 고정되어 있는 상태에서도 배경 동결이 모멘텀 SGD 대비 Muon의 희귀 모드 이점을 12.48%포인트 감소시킨다. 각 개입은 조건별 학습률과 체크포인트를 갖춘 공통 검증-선택 프로토콜 하에서 평가된다. 차수 1~20에 걸친 엄격한 패리티 스윕은 허위 단서나 추가적인 방해 요인 좌표가 없는 상호보완적 참조 기준을 제공하며, 옵티마이저들은 차수 9~11에서 분기된 후 상당한 베이즈 예측 가능성이 남아있음에도 무작위 추정 수준에 근접한다. 혼합 태스크를 통해 복원 경계를 규명하고, CIFAR-10으로 외부 아키텍처 비교를 제공한다. 종합적으로 이러한 결과는 옵티마이저 비교를 특정 관계의 습득 및 사용과 연결하며, 허용된 적응을 고정된 아키텍처가 학습하는 내용을 변화시키는 구체적인 학습 변수로 식별한다.
스케일 불변 딥 네트워크에서 Hyperball 스타일 옵티마이저는 행렬 값 매개변수의 노름을 고정하고 업데이트를 정규화함으로써 대규모 학습에서 강력한 성능을 보여왔다. 그러나 이러한 이점의 원인은 여전히 불분명하다. 연속된 매개변수 상태 간의 각 변위에서 출발하여, 매개변수 업데이트 각, 매개변수 노름, 업데이트 노름을 고려하는 각 유효 학습률을 유도한다. 또한 기존의 노름 기반 측정이 매개변수 업데이트 직교성 하에서 특수한 경우임을 보인다. 이어서 옵티마이저 업데이트를 방사 및 접선 성분으로 분해하고, 방사 업데이트가 한 스텝 각 변위에 미치는 영향을 분석한다. 고려한 학습 설정에서 수치 결과는 방사 성분이 각 유효 학습률에 미치는 직접적 영향이 제한적임을 보여준다. 따라서 이는 MuonH가 학습 초기에 MuonWD보다 더 느리게 수렴하지만 이후에는 이를 추월하는 이유를 설명할 수 없다. 근본 메커니즘을 더 분리하기 위해, 각 옵티마이저의 동역학이 서로의 것을 재현하도록 학습률 스케줄만 수정하는 휴리스틱 실험을 설계한다. 결과는 Hyperball이 유도하는 본질적으로 우월한 업데이트 방향보다는 유효 스텝 크기의 진화에서 주요 차이가 기인함을 시사한다. 사전학습 실험은 더 공격적인 학습률 감쇠가 학습 초기 MuonH를 가속할 수 있지만 이후 성능을 저하시킬 수 있음을 추가로 보여준다. 따라서 일정한 각 속도를 유지하는 것만으로는 학습률 스케줄링 문제를 해소할 수 없으며, Hyperball 스타일 옵티마이저의 잠재력을 실현하려면 신중한 스케줄링이 여전히 필수적이다. 코드는 https://github.com/mangocrazz/hyperball-may-not-be-a-free-lunch 에서 공개되어 있다.
최근 대규모 모델이 기계학습에서 널리 적용되고 있어, 대규모 모델의 효율적인 학습이 널리 주목받고 있다. 더 최근에는 유용한 Muon 옵티마이저가 대규모 모델의 행렬 구조 파라미터를 위해 특별히 설계되었다. Muon 옵티마이저를 연구하기 시작한 연구들이 있지만, 기존 Muon 및 그 변형들은 여전히 대규모 모델에서 높은 샘플 복잡도(sample complexity) 또는 높은 메모리 사용을 겪는다. 이 공백을 메우기 위해, 우리는 모멘텀 기반 분산 감소(variance reduced) 기법과 랜덤화된 특이값 분해(SVD, Singular Value Decomposition)에 기반한 대규모 모델 학습을 위한 가볍고 빠른 Muon(LiMuon) 옵티마이저를 제안한다. 특히, 우리의 LiMuon은 Muon 및 그 변형들보다 동시에 더 낮은 메모리와 더 낮은 샘플 복잡도를 갖는다. 더 나아가, 일반화된 평활성(generalized smoothness) 조건 하에서 비볼록 확률적 최적화의 $ε$-정상해($ε$-stationary solution)를 찾기 위해, 더 낮은 메모리를 갖는 우리의 LiMuon이 $O(ε^{-3})$의 더 낮은 샘플 복잡도를 갖는다는 것을 증명한다. 이론과 실무 간의 격차를 더 줄이기 위해, Newton-Schulz 단계를 사용하는 우리의 LiMuon이 Newton-Schulz 단계를 사용하는 Muon보다 더 낮은 샘플 복잡도를 갖는다는 것도 증명한다. Mamba-130M, Qwen2.5-0.5B 및 ViT 모델의 사전학습에 대한 수치 실험 결과는 우리 LiMuon의 효과를 보여준다.
Muon 옵티마이저는 모듈러 산술에서 AdamW보다 더 빠르게 그로킹 임계값에 도달한다. 선행 연구는 이를 "스펙트럴 노름 제약과 직교화된 모멘텀"에 기인한다고 설명하지만, 어떤 메커니즘이 중요한지는 분리하지 않았다. Muon의 거동을 더 잘 이해하기 위해, 우리는 다중 시드 및 다중 학습률 스윕을 수행하여 그 효과를 분해하고 스트레스 테스트한다. 첫째, 어블레이션(ablation) 결과 속도 향상은 직교화(Newton-Schulz 반복)에서 비롯됨을 보여준다: 직교화만 수행하는 설정은 전체 Muon과 일치하는 반면, 스펙트럴만 적용하는 설정은 AdamW보다 빠르지 않으며 불안정하고, 이 결론은 학습률 전반에 걸쳐 성립한다. 둘째, 기계론적 분석은 직교화 옵티마이저가 대략 3배 낮은 스펙트럴 노름에서 일반화에 도달하며, 임베딩이 실제로 얼마나 이동하는지를 통제할 때 임베딩을 덜 교란하는 것이 아니라 더 낮은 노름의 해로 수렴함을 밝힌다. 셋째, Newton-Schulz 반복 횟수를 5회에서 1회로 줄이면 임계값 도달이 빨라지지만 그로킹된 해가 취약해지고 일시적 붕괴에 취약해지며, 그 취약성은 학습률이 커질수록 증가한다; 단일 반복은 작은 학습률에서만 빠르고 안정적이며, 표준 5회 반복이 학습률에 강건한 선택이다. 우리는 또한 스펙트럴 스케일링을 제거해도 측정된 비용이 없음을 보인다. 방법론적 실마리가 전반에 걸쳐 이어진다: 안정성 인식 지표 하에서 그로킹 옵티마이저에 대한 "더 빠르다"는 주장은 뒤집힐 수 있으므로, 우리는 최초 통과(first-crossing) 시간과 지속적 그로킹(sustained-grok) 시간을 모두 보고한다. 재현성을 위해 전체 학습 및 분석 코드를 https://github.com/louiswang524/muon-grokking-frontier 에 공개한다.
Muon 옵티마이저는 그래디언트 직교화를 통해 상당한 계산 절감을 달성하며, 대규모 언어 모델(LLM) 학습에서 Adam의 매력적인 대안으로 부상했다. 그러나 Muon의 옵티마이저 상태는 양자화 오류에 더 민감하다. 직교화가 특이값(singular value)의 크기를 버리고 방향 정보만 유지하기 때문에, 특이 벡터(singular vector) 방향의 작은 양자화 오류조차 업데이트에서 증폭된다. 본 연구에서는 방향 충실도 최적화(directional fidelity optimization) 원칙에 기반한 저비트 Muon 학습 프레임워크인 MuonQ를 제안한다. 첫째, 양자화 전 정규화(pre-quantization normalization)를 적용하여 각 스텝이 동일한 크기의 양자화 오류를 도입하도록 하고, 누적 오류가 특정 방향으로 치우치는 것을 방지한다. 둘째, 거듭제곱 반복(power iteration)을 통해 지배적 특이 성분을 분리 양자화하는 구조적 분해(structural decomposition)를 도입하여, 양자화 오류가 특이 벡터 방향을 회전시키기보다 특이값 크기만 교란하도록 한다. 셋째, μ-law companding 양자화를 채택하여 밀집된 모멘텀 값에 더 높은 해상도를 할당하고, 양자화 목표를 이상치(outlier) 보존에서 밀집 영역의 구별 가능성으로 전환한다. 이러한 기법들을 종합하면 Muon 옵티마이저 상태의 안정적인 4비트 양자화가 가능해진다. GPT 스타일 및 LLaMA 스타일 모델에 대한 사전학습 실험 결과, 4비트 정밀도의 MuonQ가 전체 정밀도 Muon의 학습 손실과 다운스트림 정확도 대부분을 회복하면서 옵티마이저 상태 메모리를 최대 7.3배 줄여, 정확도-메모리 트레이드오프에서 유리한 지점을 제공함을 보여준다. 코드는 https://github.com/YupengSu/MuonQ 에서 이용할 수 있다.
Muon 스타일 옵티마이저는 행렬 모멘텀에 polar map을 적용하지만, 그 업데이트는 직교화 이전 각 매개변수 블록의 표현(representation)에도 의존한다. 우리는 이러한 표현 선택을 옵티마이저 기하학의 한 형태로 연구하고, native, nearest-square, skinny, vector 표현 전반에서 동일한 모멘텀 규칙과 Newton–Schulz 백엔드를 공유하는 Muon 스타일 옵티마이저군 Muse를 제안한다. 각 Frobenius 등距 표현은 서로 다른 polar 최급강하(steepest-descent) 기하학을 유도하며, 여기서 더 짧은 행렬 차원이 지원되는 singular channel의 수, pullback scaling, 확률적 비볼록 수렴 경계의 상수들을 결정한다. 교사-학생 모델에서, 곡률 붕괴와 등방성 Marchenko–Pastur 스펙트럴 프로필이 초기 단계 소산을 표현된 nuclear-to-squared-Frobenius norm ratio와 연결한다. LLaMA2-130M과 LLaMA2-600M에서의 사전학습 실험과 고정 모멘텀 진단을 통해, 균형 잡힌 비-native 표현이 native 표현의 성능과 동등하게 맞출 수 있음을 보였으며, 더 짧은 차원을 축소하면 scaling과 singular-channel 지원이 약해져 점점 정규화 모멘텀과 유사한 거동으로 수렴한다.
Muon 옵티마이저가 학습 중 암묵적인 잔차 연결(residual connection)로 해석될 수 있다는 새로운 기계론적 설명을 제안하며, 업데이트를 직교화(orthogonalizing)함으로써 즉각적인 그래디언트 충실도를 일부 희생하는 대신 하위 레이어의 표현 보존성을 높이는 트레이드오프를 분석한다. 선형 최적화 환경의 이단계 실험을 통해, Muon이 로컬 목표 수렴은 느리지만 하위 레이어가 활용하기 더 쉬운 표현을 학습함을 보여 Muon의 성능을 설명하는 새로운 개념적 관점과 옵티마이저 설계 원칙을 제시한다.
Muon 유형 옵티마이저의 전체 행렬 Newton-Schulz 업데이트 비용을 줄이기 위해, 모멘텀-그래디언트 행렬을 T×T 타일로 나눠 각 타일에 동일한 유한 Newton-Schulz map을 독립 적용하는 계층적 Muon(HiMuon)을 제안한다. 연산량을 O(HWT K) 수준으로 낮추고 타일 단위 GPU 커널·층 간 배칭 등을 가능하게 하며, 트랜스포머 학습 실험에서 전체 행렬 Muon에 가까운 동작을 유지하면서 옵티마이저 스텝 효율을 개선한다.
최근 Muon은 Adam 계열 옵티마이저의 매력적인 대안으로 상당한 주목을 받았으며, 많은 연구들이 스펙트럴 정규화(spectral normalization)와 향상된 컨디셔닝을 통한 그 장점을 부각시켰다. 그러나 이러한 긍정적인 이론적 서술은 대규모 언어 모델(LLM) 학습에서의 실증적 성능과 대비된다. 여기서 Adam/AdamW 대비 Muon의 성능 향상은 종종 혼재되어 있고, 스케줄에 민감하며, 일관되게 우월하지 않다. 이 간극을 해소하기 위해, 우리는 Muon의 강점과 한계를 모두 특성화하는 궤적 수준의 이론을 개발한다. 우리는 감지 연산자가 신호, 스파이크, 벌크 성분으로 분해되는 혼합-스파이크 행렬 감지(mixed-spiked matrix sensing) 모델을 도입한다. 이 모델은 LLM 학습을 연상시키는 비등방성 구조와 롱테일 정보의 혼합을 포착한다. 이를 바탕으로, 우리는 경관을 원하는 해로 흘러가는 강 방향과 방해 요소 또는 태스크 무관 정보를 인코딩하는 언덕 방향으로 구성된 것으로 보는 강-계곡 관점을 채택했다. 모멘텀이 없는 설정에서, 우리는 Muon이 초기 최적화 과정에서 정보를 담은 강 방향을 따라 더 빠르게 이동하지만, 강 바닥 근처에서는 경사하강법보다 훨씬 느리게 수렴할 수 있음을 보인다. 이어서 우리는 스펙트럴 강(spectral river) 위의 점들을 연구함으로써, 모멘텀을 포함한 일반적인 비볼록 목적함수로 강-계곡 관점을 확장한다. 거기서 Muon은 초기에 더 빠르게 수렴하지만, 직교화된 업데이트가 잔여 스케일 정보를 제거하여 목표 해 근처에서 오버슈팅과 진동에 취약해진다. 이러한 결과들을 종합하면, 우리의 특성화가 스파이크 행렬 감지를 넘어 확장됨을 시사하며, Muon에 대해 고정된 학습률 스케줄에만 의존하는 대신 최종 단계에서 경사하강법 유사 정제 옵티마이저로 전환할 동기를 제공한다. 또한 언어 모델 학습 실험에서 이 2단계 접근법을 지지하는 예비적 증거를 제공한다.