PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.22432v3cs.LG

AMUSE: 안정적 그래디언트 평가를 갖춘 Anytime Muon

AMUSE: Anytime Muon with Stable Gradient Evaluation

현대 심층 학습은 일반적으로 지정된 학습률 스케줄과 함께 AdamW에 의존하지만, 최근 연구들은 두 요소 모두에 이의를 제기한다. Schedule-Free 최적화는 반복 평균화를 통해 명시적 스케줄을 제거하고, Muon은 행렬 파라미터에 대해 모멘텀을 직교화함으로써 업데이트 기하학을 개선한다. Muon의 강력한 실증적 성능에도 불구하고, 그 근본 메커니즘은 부분적으로만 이해되고 있다. 우리는 river-valley 손실 지형을 통해 Muon을 연구한다. 여기서 유용한 학습 진행은 평탄하고 낮은 곡률의 bulk 부분공간(river)을 따라 이루어지며, 높은 곡률의 지배적 방향은 가파른 계곡 벽(valley walls)을 형성하여 진동을 유발한다. 우리는 실증적으로 Muon의 직교화가 bulk 성분을 증가시켜 river 진행을 가속하지만, 동시에 지배적 방향 노이즈를 증폭하여 진동하는 궤적을 유발함을 보인다. 이를 바탕으로, 우리는 Muon의 빠른 bulk 진행과 Schedule-Free 평균화의 안정화 효과를 통합하는 Anytime Muon with Stable Gradient Evaluation(AMUSE)를 제안한다. AMUSE는 시간에 따라 변하는 보간 계수를 사용하여, 초기에는 빠른 Muon 시퀀스 근처에서 그래디언트를 평가하여 신속한 적응을 이루고, 이후 점진적으로 안정적인 평균화된 시퀀스 쪽으로 이동하여 계곡 벽 진동을 억제한다. 그 결과 AMUSE는 학습률 스케줄이 필요 없으며 anytime 학습을 지원한다. 비전 태스크와 대규모 언어 모델 사전학습 전반에 걸쳐, AMUSE는 (Schedule-Free) AdamW 및 Muon 대비 성능-반복 파레토 프론티어를 일관되게 개선한다.

arXiv:2607.20548v1cs.LG

SOAP, Muon, 그리고 그 너머: LLM 사전학습 규모 확장

SOAP, Muon, and Beyond: Pushing LLM Pretraining Scales

Muon과 SOAP 같은 고차 옵티마이저는 AdamW보다 더 빠른 수렴을 제공하지만, 계산 비용과 수치적 안정성 문제로 인해 대규모에서의 채택이 제한되어 왔다. 본 연구에서는 대규모 LLM 사전학습의 실질적 과제를 극복하기 위해 전처리(preconditioned) 그래디언트 방법을 적용하고 개선한다. 먼저 대규모 배치에서 SOAP의 불안정성을 확인하고, 단계별 QR 직교화(per-step QR orthogonalization) 및 개선된 전처리(preconditioning) 전략 등 알고리즘적 수정을 제안하여 손실 급등을 제거하고 해당 영역에서 안정적인 학습을 가능하게 한다. 이어서 옵티마이저 간 공정한 학습률 전이를 보장하기 위해 update-RMS matching을 사용하여 SOAP, Muon, AdamW에 대한 통합 실증 연구를 제시한다. 이 분석의 일환으로 Muon의 직교화(orthogonalization) 품질을 실증적으로 평가한다. 수조 토큰으로 학습된 수십억 매개변수 규모 모델에 대한 실험 결과, 테스트한 규모에서 SOAP과 Muon이 AdamW보다 지속적으로 우수한 성능을 보인다. 특히 다음 토큰 예측(next-token prediction)에서 최대 1억 토큰 배치 크기까지, 이들 옵티마이저는 학습 안정성과 품질을 유지하는 반면 AdamW는 성능이 저하된다. 대규모에서 효율적인 학습을 위해 Megatron-LM과 호환되는 층별(layer-wise) 분산 옵티마이저를 도입한다. 우리 구현은 메모리를 균형 있게 사용하고 통신을 숨기면서, 옵티마이저 계산에 대한 근사를 피하여 수렴 이점을 유지한다. 또한 층별 구현을 더욱 가속하기 위한 특정 시스템 수준 개선 사항을 확인하고 구현한다. 연구 커뮤니티를 지원하기 위해 최적화를 위한 신흥 알고리즘을 포함한 코드베이스를 공개한다: https://github.com/NVIDIA-NeMo/Emerging-Optimizers

arXiv:2607.13246v1cs.LG

행렬 분해에서 Muon 재평가

Reassessing Muon for Matrix Factorization

Muon은 최근 대규모 심층 학습에서 강력한 옵티마이저로 부상했으며, 근사적 직교화를 통해 그래디언트 업데이트를 재형성하고 대규모 언어 모델 학습에서 Adam 및 AdamW보다 우수하다고 보고되었다. 그 경험적 성공은 Muon을 스펙트럴 노름(spectral norm) 하에서의 최급강하(steepest descent)로 해석하는 이론 연구를 증가시켰다. 그러나 Muon의 장점 중 어느 것이 업데이트 규칙 자체에서 비롯되는지, 어느 것이 현대 심층 신경망의 규모, 아키텍처, 데이터에 기인하는 부산물인지는 여전히 불분명하다. 본 연구에서는 단순하고 잘 이해되며 스펙트럼 구조를 갖는 문제인 저랭크 행렬 분해(low-rank matrix factorization)에서 Muon을 연구함으로써, 이러한 교란 요인들로부터 옵티마이저를 분리한다. 세밀하게 튜닝된 적응형 베이스라인과의 통제된 비교를 통해, Muon이 이 설정에서 AdamW보다 일관되게 우수하지 않으며, 이전에 보고된 여러 장점이 하이퍼파라미터 선택에 민감하다는 것을 발견한다. 우리 결과는 스펙트럼 인식 직교화(spectrum-aware orthogonalization)가 유익한 경우에 대한 더 미묘한 그림을 제공하며, 엔드투엔드 벤치마크에 더해 통제된 문제에서도 현대 옵티마이저를 평가할 것을 주장한다.

arXiv:2606.27715v1cs.LG

Aurora: 레버리지 인식 스펙트럴 옵티마이저

Aurora: A Leverage-Aware Spectral Optimizer

키가 큰 행렬 매개변수, 예를 들어 MLP 층의 투영 행렬의 경우 Muon 업데이트의 행 노름이 임의로 불균일해질 수 있음을 보인다. 이는 자기 강화 피드백 루프로 이어져 뉴런이 지속적으로 작은 업데이트만 받게 되고, 결국 네트워크 출력에 의미 있게 기여하지 못하게 될 수 있다. 이 문제는 추가적인 행 정규화 단계로 효과적으로 완화할 수 있지만, 현재 방법들은 Muon 업데이트 기하학을 모멘텀 행렬의 극인수로부터 멀어지게 하는 방식으로 이를 수행하며, 이는 바람직하지 않다고 판단했다. 우리는 행렬 매개변수 업데이트의 행 균일성을 강제하면서 Muon의 극인수 기하학을 존중하는 옵티마이저인 Aurora를 제안한다. Aurora는 우리의 사전학습 실험에서 Muon을 능가하며, 기존 방법과 결합할 경우 modded-nanoGPT speedrun의 옵티마이저 트랙에서 스펙트럴 옵티마이저 중 최첨단 성능을 달성한다. 또한 Aurora가 Muon 대비 보이는 경험적 이득이 MLP 확장 계수에 따라 커짐을 확인했으며, 이는 Aurora가 매우 넓은 MLP 층의 효과적인 학습을 가능하게 할 수 있음을 시사한다.

arXiv:2606.12921v1cs.LG

LoRA-Muon: 저계수 매니폴드상의 스펙트럼 최급경사 하강

LoRA-Muon: Spectral Steepest Descent on the Low-Rank Manifold

LoRA 파인튜닝의 튜닝 어려움을 해결하기 위해 Muon 옵티마이저의 스펙트럼 최대 경사 하강법을 저계수 설정에 적용한 LoRA-Muon을 도입한다. 이 방법은 최적 학습률의 전이성을 높이고 밀집(dense) 기준선보다 우수한 성능을 보이며, QR 분해 없이 메모리 효율적인 연산을 수행한다.