arXiv:2606.27171v1 cs.LG

모델 보조 샘플링을 활용한 확률적 그래디언트 최적화

Stochastic Gradient Optimization with Model-Assisted Sampling

Jonne Pohjankukka, Jukka Heikkonen

제출 2026-06-25

한국어 초록

이 연구는 기계 학습 최적화를 위한 확률적 그래디언트 추정에서의 분산 문제를 다룬다. 심층 학습(deep learning)은 확률적 경사하강법(stochastic gradient descent)과 같은 미니배치 방법에 의존하며, 이는 전체 그래디언트를 근사하지만 잡음을 도입하여 수렴 안정성, 속도, 일반화 간의 트레이드오프를 발생시킨다. 분산 감소 기법(예: SVRG, SAG) 및 적응형 최적화기를 포함한 기존 방법들은 그래디언트 잡음을 완화하고자 하지만 추가적인 계산 오버헤드를 초래할 수 있다. 우리는 미니배치 그래디언트를 표본 조사 이론(survey sampling theory)의 관점에서 해석하는 모델 보조 샘플링 프레임워크를 제안한다. 이 프레임워크는 데이터셋을 고정된 유한 모집단으로, 그래디언트를 표본 기반 추정값으로 취급한다. 우리의 목표는 표본 기반 추정과 분산 감소에 대한 관점을 결합하여 기계 학습 최적화와 표본 조사 이론을 연결하는 것이다. 보조 그래디언트 예측 모델을 통합함으로써 보다 효율적인 그래디언트 추정기를 구성하며, 보조 정보를 사용하지 않는 경우에는 균등 샘플링이 특수 사례로 도출된다. 우리의 접근법은 기존 최적화기와 쉽게 통합되어 그 동역학을 변경하지 않고 효율성을 향상시킨다. 합성 데이터셋 및 6개의 벤치마크 데이터셋에 대한 실험 결과, 실험의 71-86%에서 성능 향상이 나타났으며, 특히 벤치마크에서 중간 크기의 입력 공간에서 두드러졌다. 특히, AdamW와 같은 모멘텀 기반 최적화기와 함께 사용할 경우, 제안된 추정기는 기준선 추정기 대비 약 절반의 학습 에폭으로 명확히 더 나은 일반화를 달성한다.

원문 초록

This work addresses the problem of variance in stochastic gradient estimation for machine learning optimization. Deep learning relies on mini-batch methods such as stochastic gradient descent, which approximate full gradients but introduce noise, creating trade-offs between convergence stability, speed, and generalization. Existing methods, including variance reduction techniques (e.g., SVRG and SAG) and adaptive optimizers, aim to mitigate gradient noise but may introduce additional computational overhead. We propose a model-assisted sampling framework that interprets mini-batch gradients through survey sampling theory, treating the dataset as a fixed finite population and gradients as sample-based estimates. Our aim is to bridge machine learning optimization and survey sampling theory by combining their perspectives on sample-based estimation and variance reduction. By incorporating auxiliary gradient-prediction models, we construct more efficient gradient estimators, with uniform sampling arising as a special case when no auxiliary information is used. Our approach integrates easily with existing optimizers, improving efficiency without altering their dynamics. Empirical results on synthetic and six benchmark datasets show performance gains in 71-86% of the experiments, particularly for medium-sized input spaces in our benchmarks. Notably, with momentum-based optimizers such as AdamW, the proposed estimator achieves clearly better generalization in roughly half the training epochs compared to baseline estimator.

요약

확률적 그래디언트 추정의 분산을 줄이기 위해 미니배치를 표본 조사 이론(survey sampling theory)의 모델 보조 샘플링 관점으로 재해석하고, 보조 그래디언트 예측 모델로 더 효율적인 추정기를 제안한다. 기존 최적화기와 동역학을 바꾸지 않고 통합할 수 있으며, 합성·벤치마크 6개 실험의 71-86%에서 성능이 개선되고 AdamW와 함께 사용하면 약 절반의 학습 에폭으로 더 나은 일반화를 달성한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.27171v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.35297v3cs.LG공통 태그 Computational Efficiency, Stochastic Optimization

LionMuon: 효율적인 학습을 위한 스펙트럼 및 부호 하강 교차 기법

LionMuon: Alternating Spectral and Sign Descent for Efficient Training

언어 모델 사전학습에는 막대한 양의 연산량이 소모되며, 적절한 옵티마이저를 사용하면 이를 상당 부분 절감할 수 있습니다. Muon의 스펙트럼 스텝은 부호(sign) 스텝보다 더 강력한 방향을 제공하지만 연산 비용이 큽니다. 매 스텝마다 전체 행렬에 대해 뉴턴-슐츠 반복(Newton-Schulz iterations)을 수행하며, 분산 학습 환경에서는 추가적인 올리듀스(all-reduce)가 발생합니다. 반면 Lion 및 Signum과 같은 부호 스텝은 비용이 저렴하며 각 디바이스에 국소적으로 유지됩니다. 본 논문에서는 $P$ 반복마다 한 번의 Muon 스텝을 수행하고 그 사이에는 Lion 스텝을 수행하며, 두 방식이 단일 듀얼 EMA 모멘텀 버퍼를 공유하는 LionMuon을 제안합니다. Muon의 연산 및 통신 비용은 $P$ 스텝마다 한 번만 발생하며, 옵티마이저 상태 메모리는 AdamW의 절반 수준입니다. 단일 EMA 변형인 SignMuon만으로도 이미 Muon 대비 성능 향상을 보입니다. 저자들은 주기 $P$가 Muon과 Lion의 매끄러움(smoothness) 및 노이즈 상수를 보간하며 LionMuon이 두 방법보다 더 빠른 조건을 제시하는 꼬리가 두꺼운 노이즈(heavy-tailed noise) 환경에서의 복잡도 한계를 증명합니다. FineWeb으로 학습된 124M 및 355M 모델에서 $P=2$ 및 $P=5$인 LionMuon은 동일한 토큰 수에서 Muon, AdamW, Lion, Signum보다 더 낮은 손실을 달성합니다. 4개 GPU 데이터 병렬 학습 환경의 PCIe 상에서 LionMuon은 Muon의 최종 손실에 도달하면서도 소요 시간(wall-clock)을 3분의 1 줄였으며, 정확한 그래디언트를 유지하면서도 노출되는 통신량 증가 없이 통신 효율적인 Muon 변형인 Dion 및 MuonBP보다 더 우수한 손실 성능을 보입니다. 코드: https://github.com/brain-lab-research/lion-muon

arXiv:2609.27577v1cs.LG공통 태그 Computational Efficiency, Stochastic Optimization

VCMM: 멀티모달 학습을 위한 분산 보정 모멘텀

VCMM: Variance-Calibrated Momentum for Multimodal Learning

멀티모달 공동 학습(multimodal joint training)은 지배적인 모달리티가 다른 모달리티의 최적화를 억제하는 모달리티 불균형 문제를 자주 겪습니다. 기존 방법들은 주로 그래디언트의 크기나 방향을 조절하거나, 최적화 목적 함수를 수정하거나, 학습 전략을 조정하여 모달리티 학습의 균형을 맞추며, 대부분의 개입은 현재의 업데이트에 초점을 맞춥니다. 그러나 널리 사용되는 모멘텀 기반 옵티마이저와 결합될 경우, 업데이트에는 이전 그래디언트로부터 누적된 정보도 포함되며, 이는 현재 단계의 조절만으로는 명시적으로 해결되지 않습니다. 이러한 문제를 해결하기 위해, 모달리티별 그래디언트 동역학에 맞춰 그래디언트 메모리를 적응시키는 분산 보정 모멘텀(Variance-Calibrated MomentuM, VCMM)을 제안합니다. 구체적으로, VCMM은 미니배치 노이즈와 시간적 드리프트(temporal drift)를 온라인으로 추정하고, 칼만(Kalman)에서 영감을 얻은 제어기를 통해 이들의 상대적 강도를 활용하여 모달리티별 모멘텀을 결정합니다. 나아가 모달리티 간 제어 신호를 중앙화하고 시간에 따라 변하는 1차 모멘트에 대한 정확한 바이어스 수정을 적용함으로써, 추가적인 네트워크 패스나 명시적인 학습률 스케일링 없이도 적응형 그래디언트 메모리를 구현합니다. 네 가지 멀티모달 벤치마크에 대한 실험은 적은 학습 오버헤드로 일관된 성능 향상을 입증합니다.

arXiv:2609.27581v1cs.LG공통 태그 Computational Efficiency, Stochastic Optimization

Step Law는 소규모 언어 모델에도 전이되는가? 59M 파라미터 미만에서의 실증적 재보정

Does Step Law Transfer to Small-Scale Language Models? An Empirical Recalibration Below 59M Parameters

Step Law는 언어 모델 사전학습 시 최적 피크 학습률 η*와 배치 크기 B*에 대한 멱법칙(power-law) 공식을 제공한다. 원 저자들은 59M~1B 파라미터 모델에서 이를 보정했으며, N < 59M인 소규모 모델 영역은 실증적으로 검증한 적이 없다. 이 영역은 단일 GPU 학습, 해석 가능성 연구, 교육용 실험, 메모리·비용상 더 큰 모델을 쓰기 어려운 환경에서 중요하다. 우리는 Step Law가 소규모 언어 모델에도 전이되는지 검증한다. 세 가지 결과를 가정한다. H1: 원래 계수를 그대로 쓸 수 있다. H2: 멱법칙 형태는 유지되나 계수가 다르다. H3: 이 영역에서는 멱법칙이 최적점을 설명하지 못한다. 모든 실험은 2048 토큰 BPE 어휘, AdamW, warmup-cosine 스케줄을 사용하는 단일 nanoGPT/TinyStories 파이프라인에서 수행했다. 각 (N, D) 셀의 최적점은 평활화된 학습 손실에 대해 log-log 좌표에서 국소 이차 근사를 통해 손실 표면 L(η, B)에서 추출했다. 최종 데이터셋은 서로 다른 (N, D) 셀 29개와 분석에 사용 가능한 run 935개를 포함한다. 주 재적합은 작업 구간 4 <= D/N <= 600에서 25개 셀(815 runs)을 사용한다. 풀링 데이터에서는 H2를 채택한다. 함수 형태는 유지되나 계수는 원 논문과 다르다. η*(N, D) = 0.0985 N^(-0.508) D^(0.238) (R^2 = 0.834)와 B*(D) = 3.6 × 10^(-4) D^(0.931) (R^2 = 0.950)를 얻었다. Step Law의 구조적 주장인 B*의 N 비의존성은 재현된다(p = 0.87). 다만 B*가 D에 따라 증가하는 기울기는 원 논문의 거의 2배다. Step Law를 직접 전이하면 최적 학습률을 체계적으로 과대 추정한다. η_SL / η*의 중앙값 비는 약 4.0배이며, 범위는 2.4배에서 6.6배이다.

arXiv:2609.27860v1cs.LG공통 태그 Computational Efficiency, Stochastic Optimization

정확한 미니맥스 1비트 비편향 압축: 헤비테일의 필연성과 유한 랜덤성 근사

Exact Minimax One-Bit Unbiased Compression: Heavy-Tail Necessity and Finite-Randomness Approximation

점별 비편향(pointwise-unbiased) 1비트 압축기는 1비트만 전송하면서도 모든 실수 입력을 기댓값 상에서 복원한다. CDF가 $F$이고 평균이 $m$인 스칼라 소스 $P$와 $\mathcal J(P)=\int_{\mathbb R}\sqrt{F(r)(1-F(r))}\,dr$에 대해, 우리는 $\mathbb R$ 상에서 비편향인 모든 퍼블릭 코인(public-coin) 1비트 코드에 걸친 소스 평균 복원 2차 모멘트의 하한(infimum)이 $m^2+\mathcal J(P)^2$임을 증명한다. 정칙(regular)이며 전체 지지집합(full-support)을 갖는 소스의 경우, 분포 중심(distribution-centered) 랜덤 임계값 코드가 이 값을 달성한다. 임의의 랜덤화 이진 인코더에 대한 역(converse) 증명과 등호 분석을 통해, 영집합(null set), 비트 재라벨링, 퍼블릭 시드 세분화를 제외하고 이 값을 달성하는 모든 코드를 특성화한다. 가우시안 위치 패밀리 $\mathcal N(\mu,\sigma^2)$ ($|\mu|\le c\sigma$)의 경우, 양 끝점 평균에 대한 균등 사전분포(equal prior)가 최악의 경우(least favorable)이며 미니맥스 값은 $\sigma^2\Lambda_c^2$이다. 가우시안에서 정확한 미니맥스 최적성을 얻으려면 임계적인 헤비테일이 필요하다. 즉, 끝점 평균에서 절대 모멘트는 정확히 $p<3$일 때만 유한하며, $\Pr(W>t)=\Theta(t^{-3}/\sqrt{\log t})$이다. 코시 혼합(Cauchy-mixture) 강건화는 2차 모멘트를 최대 $1/(1-\eta)$배만 증가시키면서 모든 양의 차수 절대 모멘트를 유한하게 만든다. 유한 지지집합의 퍼블릭 랜덤성과 유한한 디코더 평균으로는 $\mathbb R$ 상에서 정확한 비편향성을 달성할 수 없지만, 정확히 $R$개의 공유 랜덤 비트를 사용하는 유계 출력(bounded-output) 근사는 미니맥스 상수로 수렴하는 명시적인 바이어스 및 2차 모멘트 경계를 갖는다. 마지막으로, 좌표 할당(coordinate allocation)은 가우시안 그래디언트 쿼리당 정확히 $B$비트를 전달한다. Kim의 연속 이차 하드 패밀리(continuous quadratic hard family)에서, 기대 최적화 보장은 $(\sigma,d,B,\varepsilon)$에 대한 의존성 측면에서 하한과 일치하며, 유한 분산 고확률 경계(high-probability bound)는 로그 수준의 신뢰도 인자만 추가로 발생시킨다.

arXiv:2609.28263v1cs.LG공통 태그 Computational Efficiency, Stochastic Optimization

재해결 없이 온라인 선형 계획을 위한 자원 적응형 확률적 경사하강법

Resource-Adaptive Stochastic Gradient Descent for Online Linear Programming without Re-solving

대규모 언어 모델(LLM) 추론과 검색 서비스의 확대는 온라인 선형 계획 문제의 규모를 키우며, 계산적으로 효율적인 알고리즘을 요구한다. 본 연구는 확률적 온라인 선형 계획을 위한 자원 적응형 확률적 경사하강법(RASGD)을 제안한다. 이 알고리즘은 요청 하나와 현재 재고(inventory)만으로 자원 가격을 갱신하며, 자원 m개에 대해 도착(arrival)마다 O(m) 연산과 메모리만 필요하고 LP나 표본 평균 최적화(sample-average optimization)는 사용하지 않는다. 핵심은 재해결(re-solving)에서 쓰이는 현재 자원 가격 책정 로직을 1차 SGD 갱신으로 표현하는 것이다. 각 도착마다 이중 목적(dual objective)의 잔여 재고 허용량(allowance)을 갱신하고, 스텝 크기(stepsize)는 초기에는 학습을 위해 작아지다가 이후에는 재고 조정 속도에 맞추어 커진다. 표준 비퇴화(non-degeneracy) 조건 하에서 알고리즘은 모든 표본 경로(sample path)에서 실행 가능(feasible)하며, 실현된 분수적 후견 최적(realized fractional hindsight optimum) 대비 O(\log T) 기대 후회(expected regret)를 달성한다. 이는 분포를 알고 계산 제약이 없는 정책에 대한 하한과 일치한다. 분석은 변화하는 자원 수준에서 최적 가격을 추적하지 않고, 고정 참조 가격 주변의 곡률(curvature)을 재고 안정성(inventory stability)으로 전환한다. 수치 실험에서 RASGD는 도착마다 LP 재해결과 견줄 만한 후회를 달성하고, 시험한 1차 기준선(first-order baselines)보다 나으면서 1차 방법의 계산 효율은 유지한다. 이 결과는 RASGD가 대규모 OLP에서 높은 할당 품질을 계산 효율적으로 달성하는 접근임을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.