PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.35297v3cs.LG

LionMuon: 효율적인 학습을 위한 스펙트럼 및 부호 하강 교차 기법

LionMuon: Alternating Spectral and Sign Descent for Efficient Training

언어 모델 사전학습에는 막대한 양의 연산량이 소모되며, 적절한 옵티마이저를 사용하면 이를 상당 부분 절감할 수 있습니다. Muon의 스펙트럼 스텝은 부호(sign) 스텝보다 더 강력한 방향을 제공하지만 연산 비용이 큽니다. 매 스텝마다 전체 행렬에 대해 뉴턴-슐츠 반복(Newton-Schulz iterations)을 수행하며, 분산 학습 환경에서는 추가적인 올리듀스(all-reduce)가 발생합니다. 반면 Lion 및 Signum과 같은 부호 스텝은 비용이 저렴하며 각 디바이스에 국소적으로 유지됩니다. 본 논문에서는 $P$ 반복마다 한 번의 Muon 스텝을 수행하고 그 사이에는 Lion 스텝을 수행하며, 두 방식이 단일 듀얼 EMA 모멘텀 버퍼를 공유하는 LionMuon을 제안합니다. Muon의 연산 및 통신 비용은 $P$ 스텝마다 한 번만 발생하며, 옵티마이저 상태 메모리는 AdamW의 절반 수준입니다. 단일 EMA 변형인 SignMuon만으로도 이미 Muon 대비 성능 향상을 보입니다. 저자들은 주기 $P$가 Muon과 Lion의 매끄러움(smoothness) 및 노이즈 상수를 보간하며 LionMuon이 두 방법보다 더 빠른 조건을 제시하는 꼬리가 두꺼운 노이즈(heavy-tailed noise) 환경에서의 복잡도 한계를 증명합니다. FineWeb으로 학습된 124M 및 355M 모델에서 $P=2$ 및 $P=5$인 LionMuon은 동일한 토큰 수에서 Muon, AdamW, Lion, Signum보다 더 낮은 손실을 달성합니다. 4개 GPU 데이터 병렬 학습 환경의 PCIe 상에서 LionMuon은 Muon의 최종 손실에 도달하면서도 소요 시간(wall-clock)을 3분의 1 줄였으며, 정확한 그래디언트를 유지하면서도 노출되는 통신량 증가 없이 통신 효율적인 Muon 변형인 Dion 및 MuonBP보다 더 우수한 손실 성능을 보입니다. 코드: https://github.com/brain-lab-research/lion-muon

arXiv:2607.09266v1cs.LG

LionVote: Lion을 위한 층별 학습률 적응

LionVote: Per-Layer Learning Rate Adaptation for Lion

층별 진단 결과, 지정된 학습률에서 Lion의 유효 스케일은 ViT-Tiny/CIFAR-100에서 어텐션 및 MLP 매개변수에 대해 2.6-2.8배, 정규화 층에 대해 약 2배 과도하게 높으며, 이 32%의 층 유형 간 불균형은 단일 전역 학습률로는 재현할 수 없다. 이 측정은 LionVote에서 비롯된 것으로, LionVote는 층별 학습률 메커니즘으로서 각 매개변수 텐서가 복합 레벨(compound level)을 유지하며, 이는 검증 손실 타이브레이커로 결정되는 두 가지 진단(그래디언트 방향 안정성과 모멘텀 건전성)에 의해 c 에포크마다 업데이트되는 영속적인 정수이다. 투표 임계값은 기하학적 항등식, EMA 시간 상수, 노이즈 플로어 추정값에서 도출되며, 주기는 구조적으로 제한되고 에이블레이션으로 선택된다. ViT-Tiny/CIFAR-100에서 LionVote는 Lion의 69.0%(p < 0.02, Welch's t-검정) 및 AdamW의 68.8% 대비 69.7%의 top-1 정확도를 달성한다. 층별 적응의 가치는 아키텍처의 이질성과 태스크 모두에 의존하며, 균일한 CNN 아키텍처에서는 코사인 어닐링으로 튜닝된 SGD가 여전히 우세하고, ViT 아키텍처에서는 이득이 태스크에 따라 달라진다.