PyTorchKR Papers

업데이트된 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30509v2cs.LG

Muon은 느린 안장점 간 동역학 없이 행렬 분해에서 균형 해를 학습한다

Muon learns balanced solutions in matrix factorization without slow saddle-to-saddle dynamics

Matrix factorization (i.e., problems of the form $\min_{\mathbf{P},\mathbf{Q}} \|\mathbf{M}^\star - \mathbf{P}^\top\mathbf{Q}\|_\mathrm{F}^2$) is a minimal learning problem that exhibits both nonlinear parameter dynamics and representation learning. In this setting, we study how parameter trajectories under the Muon optimizer differ from those of gradient descent. We identify three main dynamical differences: (1) Muon avoids the slow saddle-to-saddle dynamics of GD from small initialization. Muon instead learns all the top singular vectors of $\mathbf{M}^\star$ at the same rate, and they saturate in order of increasing (rather than decreasing) singular value. (2) Muon does not diverge even when the learning rate exceeds the critical threshold set by the local loss sharpness. This frees the learning rate from the condition number of the problem, enabling rapid convergence via exponential learning rate annealing. (3) Once the weights are aligned with each other and the target, Muon flow conserves the matrix quantity $\sqrt{\mathbf{P}^\top \mathbf{P}}-\sqrt{\mathbf{Q}^\top \mathbf{Q}}$, while gradient flow is known to conserve the matrix $\mathbf{P}^\top\mathbf{P} - \mathbf{Q}^\top\mathbf{Q}$. Despite having distinct conserved quantities, both optimizers find the so-called balanced solution from vanishing initialization. When training from small random initialization, the weights spontaneously align early in training. We derive the alignment rates in simple settings and show that they predict the empirical alignment rates in general. Finally, we exploit structural properties of Muon to construct a learning rate schedule that achieves near-perfect alignment in only two optimization steps.

arXiv:2512.17473v4eess.SP

비선형 행렬 분해를 위한 교차 방향 승수법

Alternating Direction Method of Multipliers for Nonlinear Matrix Decompositions

우리는 비선형 행렬 분해(NMD)를 해결하기 위해 교차 방향 승수법(ADMM)에 기반한 알고리즘을 제시합니다. 입력 행렬 $X \in \mathbb{R}^{m \times n}$과 인수분해 랭크 $r \ll \min(m, n)$가 주어지면, NMD는 $X \approx f(WH)$를 만족하는 행렬 $W \in \mathbb{R}^{m \times r}$와 $H \in \mathbb{R}^{r \times n}$을 찾습니다. 여기서 $f$는 요소별(element-wise) 비선형 함수입니다. 우리는 음수가 아닌 희소 데이터 근사에 적합한 정류 선형 유닛(ReLU) 활성화 $f(x) = \max(0, x)$, 확률적 회로 표현에 적용 가능한 요소별 제곱 $f(x) = x^2$, 그리고 추천 시스템과 관련된 MinMax 변환 $f(x) = \min(b, \max(a, x))$를 포함하여 여러 대표적인 비선형 모델에서 우리의 방법을 평가합니다. 제안된 프레임워크는 최소제곱법(least squares), $\ell_1$ 노름, 쿨백-라이블러 발산(Kullback-Leibler divergence)을 포함한 다양한 손실(loss) 함수를 유연하게 지원하며, 다른 비선형성과 메트릭으로 쉽게 확장될 수 있습니다. 우리는 실제 데이터셋(dataset)에서 이 접근 방식의 적용 가능성, 효율성, 적응성을 입증하여 광범위한 응용 분야에 대한 잠재력을 강조합니다.