arXiv:2110.01543

Stochastic Anderson Mixing for Nonconvex Stochastic Optimization

Fuchao Wei, Chenglong Bao, Yang Liu

제출 2021-10-04

원문 초록

Anderson mixing (AM) is an acceleration method for fixed-point iterations. Despite its success and wide usage in scientific computing, the convergence theory of AM remains unclear, and its applications to machine learning problems are not well explored. In this paper, by introducing damped projection and adaptive regularization to classical AM, we propose a Stochastic Anderson Mixing (SAM) scheme to solve nonconvex stochastic optimization problems. Under mild assumptions, we establish the convergence theory of SAM, including the almost sure convergence to stationary points and the worst-case iteration complexity. Moreover, the complexity bound can be improved when randomly choosing an iterate as the output. To further accelerate the convergence, we incorporate a variance reduction technique into the proposed SAM. We also propose a preconditioned mixing strategy for SAM which can empirically achieve faster convergence or better generalization ability. Finally, we apply the SAM method to train various neural networks including the vanilla CNN, ResNets, WideResNet, ResNeXt, DenseNet and RNN. Experimental results on image classification and language model demonstrate the advantages of our method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.35297v3cs.LG공통 태그 Language Modeling, Stochastic Optimization

LionMuon: 효율적인 학습을 위한 스펙트럼 및 부호 하강 교차 기법

LionMuon: Alternating Spectral and Sign Descent for Efficient Training

언어 모델 사전학습에는 막대한 양의 연산량이 소모되며, 적절한 옵티마이저를 사용하면 이를 상당 부분 절감할 수 있습니다. Muon의 스펙트럼 스텝은 부호(sign) 스텝보다 더 강력한 방향을 제공하지만 연산 비용이 큽니다. 매 스텝마다 전체 행렬에 대해 뉴턴-슐츠 반복(Newton-Schulz iterations)을 수행하며, 분산 학습 환경에서는 추가적인 올리듀스(all-reduce)가 발생합니다. 반면 Lion 및 Signum과 같은 부호 스텝은 비용이 저렴하며 각 디바이스에 국소적으로 유지됩니다. 본 논문에서는 $P$ 반복마다 한 번의 Muon 스텝을 수행하고 그 사이에는 Lion 스텝을 수행하며, 두 방식이 단일 듀얼 EMA 모멘텀 버퍼를 공유하는 LionMuon을 제안합니다. Muon의 연산 및 통신 비용은 $P$ 스텝마다 한 번만 발생하며, 옵티마이저 상태 메모리는 AdamW의 절반 수준입니다. 단일 EMA 변형인 SignMuon만으로도 이미 Muon 대비 성능 향상을 보입니다. 저자들은 주기 $P$가 Muon과 Lion의 매끄러움(smoothness) 및 노이즈 상수를 보간하며 LionMuon이 두 방법보다 더 빠른 조건을 제시하는 꼬리가 두꺼운 노이즈(heavy-tailed noise) 환경에서의 복잡도 한계를 증명합니다. FineWeb으로 학습된 124M 및 355M 모델에서 $P=2$ 및 $P=5$인 LionMuon은 동일한 토큰 수에서 Muon, AdamW, Lion, Signum보다 더 낮은 손실을 달성합니다. 4개 GPU 데이터 병렬 학습 환경의 PCIe 상에서 LionMuon은 Muon의 최종 손실에 도달하면서도 소요 시간(wall-clock)을 3분의 1 줄였으며, 정확한 그래디언트를 유지하면서도 노출되는 통신량 증가 없이 통신 효율적인 Muon 변형인 Dion 및 MuonBP보다 더 우수한 손실 성능을 보입니다. 코드: https://github.com/brain-lab-research/lion-muon

arXiv:2609.26811v1cs.LG공통 태그 Image Classification, Stochastic Optimization

드리프트 계약: 깊이에 강건한 로컬 학습을 위한 스펙트럼 업데이트

The Drift Contract: Spectral Updates for Depth-Robust Local Learning

로컬 학습(local learning)은 전역 역전파(global backward pass) 없이 각 층(layer)을 자체 보조 손실(loss)로 학습(training)하므로 층 업데이트를 구조적으로 병렬화할 수 있게 합니다. 그러나 깊이가 깊어질수록 정확도가 저하되고 하이퍼파라미터가 취약하다는 두 가지 문제로 인해 비주류에 머물러 있었습니다. 본 연구에서는 기존에 연구되지 않았던 교집합 영역으로서, 층별 로컬 업데이트에 Muon 스타일의 스펙트럼 업데이트 기하학(스펙트럼 스텝 스케일링을 결합한 모멘텀 직교화)을 적용합니다. 로컬 선형 헤드를 갖춘 CIFAR-10 MLP 벤치마크(benchmark)에서, 로컬 Adam은 너비와 깊이 두 축 모두에서 재튜닝이 필요하고 깊이 48에서는 여전히 붕괴(깊이별 재튜닝 시 31.3%, 깊이 12 설정을 전이했을 때 19%, 반면 스펙트럼 업데이트는 변경되지 않은 설정에서 42.7%)하는 반면, 스펙트럼 업데이트는 단일 스텝 크기 설정만으로 테스트된 너비 128~2048 및 깊이 12~48 격자에서 최적의 값을 보였습니다. 5개의 시드와 너비 512에서 스펙트럼 업데이트는 로컬 Adam을 뚜렷한 마진(margin)으로 앞섭니다(48.9 +/- 0.5 대 46.6 +/- 0.3). 전향적으로 명시된 대조 실험을 통해 이러한 전이 성능과 대부분의 깊이 강건성이 그 위의 어떤 스텝 크기 규칙보다는 스펙트럼 기하학 자체에 기인함을 확인했습니다. 추가로 스텝 크기를 드리프트 계약(drift contract), 즉 lr = epsilon / RMS(input)으로 정형화하여, 현재 입력을 조건으로 각 층의 스텝당 가중치(weight) 유도 사전 활성화(pre-activation) 변화를 제한합니다. 이 계약은 해당 기준선(baseline)이 측정된 지점에서 최적의 고정 학습률(learning rate) 대비 약간의 성능 향상을 가져오고, 스텝 크기를 해석 가능하게 만들며, 표준 최적화(optimization) 도구가 제공하지 못하는 층별·입력 조건부 드리프트 한계를 제공합니다. 한 가지 부정적 결과도 보고합니다. 트렁크(trunk)에 RMSNorm과 가중치 감쇠(weight decay)가 포함된 경우 스펙트럼 업데이트의 안정성 이점은 로컬 학습이 아닌 전역 학습에 귀속되므로, 로컬 학습의 이점은 정확히 정규화(normalization)가 부재한 곳에 집중됩니다.

arXiv:2609.27581v1cs.LG공통 태그 Language Modeling, Stochastic Optimization

Step Law는 소규모 언어 모델에도 전이되는가? 59M 파라미터 미만에서의 실증적 재보정

Does Step Law Transfer to Small-Scale Language Models? An Empirical Recalibration Below 59M Parameters

Step Law는 언어 모델 사전학습 시 최적 피크 학습률 η*와 배치 크기 B*에 대한 멱법칙(power-law) 공식을 제공한다. 원 저자들은 59M~1B 파라미터 모델에서 이를 보정했으며, N < 59M인 소규모 모델 영역은 실증적으로 검증한 적이 없다. 이 영역은 단일 GPU 학습, 해석 가능성 연구, 교육용 실험, 메모리·비용상 더 큰 모델을 쓰기 어려운 환경에서 중요하다. 우리는 Step Law가 소규모 언어 모델에도 전이되는지 검증한다. 세 가지 결과를 가정한다. H1: 원래 계수를 그대로 쓸 수 있다. H2: 멱법칙 형태는 유지되나 계수가 다르다. H3: 이 영역에서는 멱법칙이 최적점을 설명하지 못한다. 모든 실험은 2048 토큰 BPE 어휘, AdamW, warmup-cosine 스케줄을 사용하는 단일 nanoGPT/TinyStories 파이프라인에서 수행했다. 각 (N, D) 셀의 최적점은 평활화된 학습 손실에 대해 log-log 좌표에서 국소 이차 근사를 통해 손실 표면 L(η, B)에서 추출했다. 최종 데이터셋은 서로 다른 (N, D) 셀 29개와 분석에 사용 가능한 run 935개를 포함한다. 주 재적합은 작업 구간 4 <= D/N <= 600에서 25개 셀(815 runs)을 사용한다. 풀링 데이터에서는 H2를 채택한다. 함수 형태는 유지되나 계수는 원 논문과 다르다. η*(N, D) = 0.0985 N^(-0.508) D^(0.238) (R^2 = 0.834)와 B*(D) = 3.6 × 10^(-4) D^(0.931) (R^2 = 0.950)를 얻었다. Step Law의 구조적 주장인 B*의 N 비의존성은 재현된다(p = 0.87). 다만 B*가 D에 따라 증가하는 기울기는 원 논문의 거의 2배다. Step Law를 직접 전이하면 최적 학습률을 체계적으로 과대 추정한다. η_SL / η*의 중앙값 비는 약 4.0배이며, 범위는 2.4배에서 6.6배이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.