iMuon: 리만 행렬 다양체 상의 내재적 스펙트럼 최적화
iMuon: Intrinsic Spectral Optimization on Riemannian Matrix Manifolds
한국어 초록
현재 대규모 학습의 핵심이 된 Muon 및 관련 노름 제약 최적화기는 유클리드 공간의 행렬 노름 공 위에서 선형 최대화 오라클(LMO)을 통해 업데이트를 계산한다. 그러나 이들은 저랭크 분해, 직교성 제약, 대칭 양의 정부호(SPD) 행렬 등 다양체 값 매개변수로 깔끔하게 일반화되지 않는다. Muon의 LMO를 접공간으로 단순히 제한하면 (i) 몫 대칭성이 깨지고 (ii) 접공간 제약이 주변 공간의 노름 한계와 결합되어 닫힌 형태의 해를 구하기 어려워진다. 우리는 모든 리만 계량이 유니터리 불변 유클리드 노름을 각 접공간의 내재적 노름으로 정준하게 끌어올린다는 핵심 관찰로 두 문제를 모두 해결한다. 그 결과 얻은 내재적 LMO는 대칭성을 보존하며, 스케일된 접공간에 대한 구조적 조건 하에서 표준 유클리드 LMO로 환원된다. 이를 바탕으로 스펙트럼, 프로베니우스, 핵 노름을 포함한 다양한 유니터리 불변 노름에 대해 고정 랭크, SPD, 스티펠, 그라스만 다양체에서 닫힌 형태의 업데이트를 갖는 통합 프레임워크인 내재적 Muon(iMuon)을 제안한다. 다양체 차원에만 의존하는 상수를 갖는 iMuon의 결정론적 및 확률적 수렴률을 확립한다. 특히 고정 랭크 다양체에서는 상수가 랭크에만 의존하므로 수렴률이 인자 조건수와 무관하며, 기존 연구에서 요구되던 실행 시 인자 재조정이 불필요해진다. LLM의 LoRA 미세 조정, 이미지 분류, 부분공간 학습 실험은 제안한 접근법의 효과를 보여 준다.
원문 초록
Muon and related norm-constrained optimizers, now central to large-scale learning, compute updates via a linear maximization oracle (LMO) over a matrix-norm ball in Euclidean space. However, they do not generalize cleanly to manifold-valued parameters such as low-rank factorizations, orthogonality constraints, or symmetric positive-definite (SPD) matrices. Naively restricting the Muon LMO to the tangent space (i) breaks quotient symmetries and (ii) couples the tangent-space constraint with an ambient norm bound, which obstructs closed-form solutions. We resolve both issues with a key observation: every Riemannian metric canonically lifts a unitarily invariant Euclidean norm to an intrinsic norm on each tangent space. The resulting intrinsic LMO is symmetry preserving and, under a structural condition on the scaled tangent space, reduces to a standard Euclidean LMO. Building on this, we introduce intrinsic Muon (iMuon), a unified framework with closed-form updates on the fixed-rank, SPD, Stiefel, and Grassmann manifolds for various unitarily invariant norms, including the spectral, Frobenius, and nuclear norms. We establish deterministic and stochastic convergence rates of iMuon with constants that depend only on the manifold dimension. Notably, on the fixed-rank manifold, the constant depends only on the rank, which makes the rate independent of factor conditioning and removes the runtime factor rescaling required by prior work. Experiments on LoRA fine-tuning of LLMs, image classification, and subspace learning illustrate the efficacy of the proposed approach.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.09238v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.