연쇄적 선형 최소화 오라클을 활용한 대규모 언어 모델 최적화
Optimizing Large Language Models with Chained LMOs
한국어 초록
Muon은 여러 행렬 정규화(matrix normalization)를 합성하는 다양한 옵티마이저 제품군의 등장을 촉진했으나, 이러한 방법들은 여전히 파편화되어 있으며 통일된 관점이 부족합니다. 본 논문에서는 이러한 방법들을 선형 최소화 오라클(LMO)의 합성으로 체계화하는 연쇄적 선형 최소화 오라클(chained LMOs)을 소개합니다. 실증적인 성공에도 불구하고 다수의 체인은 표준 LMO 프레임워크를 벗어나며 매끄러운 볼록 목적 함수(smooth convex objectives)에서 발산할 수 있습니다. 합성 연산이 그럼에도 도움이 되는 이유를 설명하기 위해, 우리는 선형 연상 메모리(linear associative memory)를 활용하여 비등방성 임베딩(anisotropic embeddings) 조건에서 체이닝이 Muon보다 성능을 향상시킬 수 있음을 보입니다. 실증적으로는 이 프레임워크 기반의 새로운 옵티마이저인 TensorChain을 제안하며, 이는 서로 다른 레이어에 걸쳐 호환 가능한 가중치 행렬들을 쌓아 해당 3차원 텐서를 축 전반에 걸쳐 정규화합니다. Qwen3 0.6B 및 1.7B 사전학습에서 TensorChain은 평균 토큰 효율성 측면에서 모든 연쇄적 베이스라인을 능가하였으며, 동일한 검증 손실에서 Muon 대비 평균 9.6%의 토큰 절감 효과를 달성했습니다.
원문 초록
Muon has motivated a growing family of optimizers that compose multiple matrix normalizations, but these methods remain fragmented and lack a unified perspective. We introduce chained linear minimization oracles (chained LMOs), which cast these methods as compositions of LMOs. Despite their empirical success, many chains fall outside the standard LMO framework and can diverge on smooth convex objectives. To explain why composition can nevertheless help, we turn to linear associative memory and show that chaining can improve over Muon under anisotropic embeddings. Empirically, we propose TensorChain, a novel optimizer within the framework that stacks compatible weight matrices across different layers and normalizes the 3d tensor across its axes. In Qwen3 0.6B and 1.7B pretraining, TensorChain outperforms all chained baselines in average token efficiency, with average token savings of 9.6% over Muon at matched validation loss.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
스펙트럼 타겟 Muon
Spectrally Targeted Muon
Muon 옵티마이저는 각 업데이트 행렬을 직교화하여 모든 특이값(singular value)을 1로 설정하며, 대규모 언어 모델 학습에 매우 효과적인 것으로 입증되었다. 그러나 이러한 성공이 경사하강법(gradient descent)이 무시하는 작은 특이 방향을 증폭시키는 데서 오는 것인지, 아니면 학습을 저해하는 크고 퇴화된(degenerate) 방향을 억제하는 데서 오는 것인지는 여전히 불분명하다. 우리는 임계값 $τ$보다 크거나 작은 특이값만을 직교화하는 Spectrally Targeted Muon을 제안하며, $τ$를 변화시킴으로써 정규화된 SGD(normalized SGD)와 Muon 사이를 보간할 수 있다. 이 방법은 이동된 그램 행렬(shifted Gram matrix)에 대한 Newton-Schulz 반복으로 계산된 투영을 이용해 관련 특이 부분공간을 분리하므로, SVD가 필요하지 않다. 우리는 CIFAR-10과 NanoGPT 스피드런(speedrun)에서 이러한 변형들을 평가하며, 그래디언트, 업데이트, 가중치 행렬의 유효 랭크(effective rank)와, 가중치 행렬의 등스펙트럼 다양체(isospectral manifold)의 접공간에 대한 업데이트의 정렬(alignment)이라는 새로운 지표를 추적한다. 우리는 세 가지를 발견했다. 첫째, 모멘텀의 작은 특이값은 잡음이 아니다. 각 행렬의 가장 큰 몇 개의 특이값을 제외한 모든 것을 직교화하면 모멘텀의 극히 일부만을 다루면서도 Muon에 거의 근접하는 반면, 상위 특이값만을 직교화하면 모멘텀의 거의 전부를 포함함에도 훨씬 못 미치는 성능을 보인다. 언어 모델에서는 모멘텀의 모든 특이값이 1보다 훨씬 작으므로, 타겟 직교화는 증폭만을 할 수 있으며, Muon은 원래 크기로는 학습이 불가능할 정도로 작은 방향들을 학습 가능하게 만듦으로써 우위를 얻는다. 둘째, 가장 큰 특이값을 축소하는 것이 매개변수 스펙트럼을 평탄하게 유지하는 요인이다; 이는 비용이 적게 들지만 손실을 주도하는 요인은 아니다. 셋째, AdamW는 구조를 형성하는 속도가 Muon보다 느리다는 점에서 주로 차이를 보이며, 이는 AdamW의 느린 초기 학습과, 왜 웜업(warmup)이 AdamW에는 도움이 되지만 Muon에는 오히려 해가 되는지를 설명한다.
저비용 예측기를 활용한 무작위 모멘텀 전송
Randomized Momentum Transport with Cheap Predictors
STORM 및 2차 모멘텀(second-order momentum)과 같은 모멘텀(momentum) 방법들은 모멘텀에 전송 보정(transport correction)을 추가하여 그래디언트(gradient)를 추적하며, 이는 반복(iteration)마다 추가적인 오라클(oracle) 호출을 필요로 한다. 본 논문은 확률 $q$로 보정을 평가하고 그렇지 않은 경우 저비용 예측(cheap prediction)을 사용하는 무작위 모멘텀 전송(randomized momentum transport)을 소개하며, 조건부 평균을 보존하는 중요도 가중(importance weighting)을 사용하고 분산에 예측 손실(loss)의 $(q^{-1}-1)$배를 추가한다. 전송 바이어스(bias), 2차 모멘트, 잔차 제어 가정 하에서, 정규화(normalized), 사인(sign), 정확한 스펙트럴(exact spectral, Muon) 방향을 포함한 선형 최소화 오라클(linear minimization oracle, LMO) 업데이트는 단일 그래디언트 초기화(initialization)를 사용하여 고정된 각 $q>0$에 대해 $O(T^{-1/3})$ 정상성(stationarity) 바운드를 유지한다. 정규화되지 않은(unnormalized) STORM의 경우, 그래디언트 차이 노이즈 모듈러스가 평활성 상수를 초과하는 경우에만 (그리고 오직 그 경우에만) 일부 $q<1$이 충분 그래디언트 예산의 선도 계수를 최대 약 $10\%$까지 낮춘다. 온라인 대각 예측기는 후회-수렴(regret-to-convergence) 보장을 허용한다. 오라클 비용이 거의 동일한 조건에서, 보정값의 4분의 1만 조회하는 것은 MNIST1D에서 최종 학습(training) 손실(loss)을 $18$에서 $43\%$까지 낮추고, CIFAR-10에서 헤시안(Hessian)-벡터 전송의 테스트 정확도를 $1.5$포인트 높인다.
LionMuon: 효율적인 학습을 위한 스펙트럼 및 부호 하강 교차 기법
LionMuon: Alternating Spectral and Sign Descent for Efficient Training
언어 모델 사전학습에는 막대한 양의 연산량이 소모되며, 적절한 옵티마이저를 사용하면 이를 상당 부분 절감할 수 있습니다. Muon의 스펙트럼 스텝은 부호(sign) 스텝보다 더 강력한 방향을 제공하지만 연산 비용이 큽니다. 매 스텝마다 전체 행렬에 대해 뉴턴-슐츠 반복(Newton-Schulz iterations)을 수행하며, 분산 학습 환경에서는 추가적인 올리듀스(all-reduce)가 발생합니다. 반면 Lion 및 Signum과 같은 부호 스텝은 비용이 저렴하며 각 디바이스에 국소적으로 유지됩니다. 본 논문에서는 $P$ 반복마다 한 번의 Muon 스텝을 수행하고 그 사이에는 Lion 스텝을 수행하며, 두 방식이 단일 듀얼 EMA 모멘텀 버퍼를 공유하는 LionMuon을 제안합니다. Muon의 연산 및 통신 비용은 $P$ 스텝마다 한 번만 발생하며, 옵티마이저 상태 메모리는 AdamW의 절반 수준입니다. 단일 EMA 변형인 SignMuon만으로도 이미 Muon 대비 성능 향상을 보입니다. 저자들은 주기 $P$가 Muon과 Lion의 매끄러움(smoothness) 및 노이즈 상수를 보간하며 LionMuon이 두 방법보다 더 빠른 조건을 제시하는 꼬리가 두꺼운 노이즈(heavy-tailed noise) 환경에서의 복잡도 한계를 증명합니다. FineWeb으로 학습된 124M 및 355M 모델에서 $P=2$ 및 $P=5$인 LionMuon은 동일한 토큰 수에서 Muon, AdamW, Lion, Signum보다 더 낮은 손실을 달성합니다. 4개 GPU 데이터 병렬 학습 환경의 PCIe 상에서 LionMuon은 Muon의 최종 손실에 도달하면서도 소요 시간(wall-clock)을 3분의 1 줄였으며, 정확한 그래디언트를 유지하면서도 노출되는 통신량 증가 없이 통신 효율적인 Muon 변형인 Dion 및 MuonBP보다 더 우수한 손실 성능을 보입니다. 코드: https://github.com/brain-lab-research/lion-muon
논리와 기억 사이의 충돌: 옵티마이저 의존적 규칙 습득을 위한 학습 조건
The Conflict Between Logic and Memory: Training Conditions for Optimizer-Dependent Rule Acquisition
옵티마이저는 동일한 태스크에 적합(fit)되더라도 서로 다른 일반화 관계를 습득할 수 있다. 본 연구에서는 단일 은닉층 ReLU 네트워크에서 복합 증거 태스크, 매개변수 수준의 개입, 그리고 3개 시드에 대한 엄격한 패리티 스캔을 결합하여 이러한 차이를 지배하는 학습 조건을 분석한다. 우리의 핵심 발견은 방해 요인(nuisance)과 연결된 학습 가능성이 공유된 실패와 상대적인 옵티마이저 이점을 모두 재편한다는 것이다. 방해 요인이 많은 태스크에서 테스트된 20개의 옵티마이저 구성 전부는 가장 어려운 단계에서 무작위 추정(chance) 수준에 머문다. 그러나 모든 입력을 유지하면서 방해 요인과 연결된 첫 번째 층 가중치를 초기화 상태로 고정하면, 해당 단계의 정확도가 약 50%에서 모멘텀 SGD는 70.56%, Adam은 68.47%, Muon은 69.00%로 상승한다. 전체 학습이 끝난 후에야 동일한 입력을 마스킹하는 방식으로는 이러한 성능을 복원할 수 없다. 별도의 쌍별 모드 태스크에서는 목표 및 모드 빈도가 고정되어 있는 상태에서도 배경 동결이 모멘텀 SGD 대비 Muon의 희귀 모드 이점을 12.48%포인트 감소시킨다. 각 개입은 조건별 학습률과 체크포인트를 갖춘 공통 검증-선택 프로토콜 하에서 평가된다. 차수 1~20에 걸친 엄격한 패리티 스윕은 허위 단서나 추가적인 방해 요인 좌표가 없는 상호보완적 참조 기준을 제공하며, 옵티마이저들은 차수 9~11에서 분기된 후 상당한 베이즈 예측 가능성이 남아있음에도 무작위 추정 수준에 근접한다. 혼합 태스크를 통해 복원 경계를 규명하고, CIFAR-10으로 외부 아키텍처 비교를 제공한다. 종합적으로 이러한 결과는 옵티마이저 비교를 특정 관계의 습득 및 사용과 연결하며, 허용된 적응을 고정된 아키텍처가 학습하는 내용을 변화시키는 구체적인 학습 변수로 식별한다.
적응적 배치가 LLM 사전학습에 도움이 되는 이유는 무엇인가? 비유계 분산의 관점에서
Why Does Adaptive Batching Help LLM Pretraining? A Perspective from Unbounded Variance
학습 중 배치 크기를 늘리는 것은 대규모 언어 모델(LLM) 사전학습에서 흔히 사용되는 방법이지만, 그 성공 이면의 이론적 근거는 잘 이해되지 않고 있다. 확률적 최적화에 대한 분석은 흔히 균일하게 유계인 확률적 그래디언트 분산을 가정하지만, 최근의 증거들은 이 가정이 많은 실제 비convex 문제에서 성립하지 않음을 보여준다. Blum-Gladyshev(BG-0) 노이즈 모델은 분산이 초기화 지점으로부터의 거리에 따라 2차적으로 증가할 수 있도록 허용함으로써 이 가정을 완화하며, 이는 배치 크기 스케줄러가 학습 중 분산 증가를 제어함으로써 도움을 줄 수 있음을 시사한다. 그러나 이러한 증가는 실제로는 지나치게 보수적일 수 있다. 우리는 LLM 사전학습에서의 분산 증가를 실증적으로 조사하였으며, 조정 가능한 증가 지수를 갖는 일반화된 BG 모델이 실제 노이즈 거동을 더 정밀하게 설명한다는 것을 관찰하였다. 이러한 관찰에 기반하여, 우리는 유계 분산($a=0$)과 BG-0 노이즈($a=2$) 사이를 보간하는 일반화된 BG-$a$ 노이즈 모델을 도입한다. $L$-smoothness 하에서, 우리는 증가 지수에 의존하는 오라클 복잡도 $Ω(ε^{-(4+a)})$를 갖는 정보 이론적 하한을 도출하고, 반복(iterate)이 초기화 지점으로부터 멀어질 때 배치 크기를 증가시킴으로써 $ε$ 의존성 측면에서 이에 상응하는 상한을 확립한다. 마지막으로, 우리는 학습 중 동적인 배치 크기 조정을 통해 분산 증가를 제어하는 적응적 배치 스케줄러를 제안한다. C4 데이터셋에서 최대 10억 개 파라미터 규모의 OLMo2 모델을 사전학습하는 실험에서, 우리의 스케줄러는 동일한 토큰 예산 하에서 작은 배치 학습과 큰 배치 학습 모두보다 더 낮은 검증 손실을 달성하면서도, 작은 배치 학습 반복 횟수의 10% 미만만을 사용한다.
재해결 없이 온라인 선형 계획을 위한 자원 적응형 확률적 경사하강법
Resource-Adaptive Stochastic Gradient Descent for Online Linear Programming without Re-solving
대규모 언어 모델(LLM) 추론과 검색 서비스의 확대는 온라인 선형 계획 문제의 규모를 키우며, 계산적으로 효율적인 알고리즘을 요구한다. 본 연구는 확률적 온라인 선형 계획을 위한 자원 적응형 확률적 경사하강법(RASGD)을 제안한다. 이 알고리즘은 요청 하나와 현재 재고(inventory)만으로 자원 가격을 갱신하며, 자원 m개에 대해 도착(arrival)마다 O(m) 연산과 메모리만 필요하고 LP나 표본 평균 최적화(sample-average optimization)는 사용하지 않는다. 핵심은 재해결(re-solving)에서 쓰이는 현재 자원 가격 책정 로직을 1차 SGD 갱신으로 표현하는 것이다. 각 도착마다 이중 목적(dual objective)의 잔여 재고 허용량(allowance)을 갱신하고, 스텝 크기(stepsize)는 초기에는 학습을 위해 작아지다가 이후에는 재고 조정 속도에 맞추어 커진다. 표준 비퇴화(non-degeneracy) 조건 하에서 알고리즘은 모든 표본 경로(sample path)에서 실행 가능(feasible)하며, 실현된 분수적 후견 최적(realized fractional hindsight optimum) 대비 O(\log T) 기대 후회(expected regret)를 달성한다. 이는 분포를 알고 계산 제약이 없는 정책에 대한 하한과 일치한다. 분석은 변화하는 자원 수준에서 최적 가격을 추적하지 않고, 고정 참조 가격 주변의 곡률(curvature)을 재고 안정성(inventory stability)으로 전환한다. 수치 실험에서 RASGD는 도착마다 LP 재해결과 견줄 만한 후회를 달성하고, 시험한 1차 기준선(first-order baselines)보다 나으면서 1차 방법의 계산 효율은 유지한다. 이 결과는 RASGD가 대규모 OLP에서 높은 할당 품질을 계산 효율적으로 달성하는 접근임을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.