PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10965v1cs.LG

스펙트럼 타겟 Muon

Spectrally Targeted Muon

Muon 옵티마이저는 각 업데이트 행렬을 직교화하여 모든 특이값(singular value)을 1로 설정하며, 대규모 언어 모델 학습에 매우 효과적인 것으로 입증되었다. 그러나 이러한 성공이 경사하강법(gradient descent)이 무시하는 작은 특이 방향을 증폭시키는 데서 오는 것인지, 아니면 학습을 저해하는 크고 퇴화된(degenerate) 방향을 억제하는 데서 오는 것인지는 여전히 불분명하다. 우리는 임계값 $τ$보다 크거나 작은 특이값만을 직교화하는 Spectrally Targeted Muon을 제안하며, $τ$를 변화시킴으로써 정규화된 SGD(normalized SGD)와 Muon 사이를 보간할 수 있다. 이 방법은 이동된 그램 행렬(shifted Gram matrix)에 대한 Newton-Schulz 반복으로 계산된 투영을 이용해 관련 특이 부분공간을 분리하므로, SVD가 필요하지 않다. 우리는 CIFAR-10과 NanoGPT 스피드런(speedrun)에서 이러한 변형들을 평가하며, 그래디언트, 업데이트, 가중치 행렬의 유효 랭크(effective rank)와, 가중치 행렬의 등스펙트럼 다양체(isospectral manifold)의 접공간에 대한 업데이트의 정렬(alignment)이라는 새로운 지표를 추적한다. 우리는 세 가지를 발견했다. 첫째, 모멘텀의 작은 특이값은 잡음이 아니다. 각 행렬의 가장 큰 몇 개의 특이값을 제외한 모든 것을 직교화하면 모멘텀의 극히 일부만을 다루면서도 Muon에 거의 근접하는 반면, 상위 특이값만을 직교화하면 모멘텀의 거의 전부를 포함함에도 훨씬 못 미치는 성능을 보인다. 언어 모델에서는 모멘텀의 모든 특이값이 1보다 훨씬 작으므로, 타겟 직교화는 증폭만을 할 수 있으며, Muon은 원래 크기로는 학습이 불가능할 정도로 작은 방향들을 학습 가능하게 만듦으로써 우위를 얻는다. 둘째, 가장 큰 특이값을 축소하는 것이 매개변수 스펙트럼을 평탄하게 유지하는 요인이다; 이는 비용이 적게 들지만 손실을 주도하는 요인은 아니다. 셋째, AdamW는 구조를 형성하는 속도가 Muon보다 느리다는 점에서 주로 차이를 보이며, 이는 AdamW의 느린 초기 학습과, 왜 웜업(warmup)이 AdamW에는 도움이 되지만 Muon에는 오히려 해가 되는지를 설명한다.

arXiv:2606.29732v1stat.ME

Testing hypotheses via orthogonalization

데이터에 대칭 이동족(symmetric shift-family) 노이즈를 더하고 빼는 방식으로 데이터를 두 부분으로 분할한 뒤, 귀무가설 하에서 두 번째 분할을 첫 번째 분할에 대해 직교화(orthogonalization)할 수 있는지를 검정하는 새로운 가설검정 프레임워크를 제안한다. 이 접근법은 비모수 설정에서도 유효하며, 선택 메커니즘의 사전 명세 없이 데이터 기반으로 선택된 귀무가설에 대한 사후선택 추론(post-selection inference)까지 자연스럽게 확장되어 클러스터링 이후 추론 등 기존 방법이 적용되지 않던 문제를 해결한다.