arXiv:2605.19095 cs.LG

ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models

제출 2026-05-18

한국어 초록

Schedule-Free Learning은 기계학습을 위한 실용적인 언제든지 학습(anytime training) 방법으로서 유망함을 보여 왔으며, 수십 개의 표준 벤치마크 문제에서 성공을 거두었습니다. 그러나 대규모 언어 모델(LLM) 학습에서의 강력한 성능은 작은 규모에서만 입증되었습니다. 우리는 Schedule-Free Learning을 더 큰 배치 크기와 모델 규모로 확장하기 위해 필요한 여러 수정 사항을 확인하고, 대규모 언어 모델 학습을 위한 학습률이 없고 스케줄도 없는 방법인 ScheduleFree+를 제안합니다. 이 방법은 Warmup-Stable-Decay(WSD) 스케줄을 크게 능가합니다. 또한 Schedule-Free Learning은 장시간 학습에서 가장 효과적임을 보이며, 파라미터당 1,000 토큰 조건에서는 최신 SOTA 스케줄보다 31% 더 높은 성능을 달성합니다. Schedule-Free Learning은 사전학습 동안 모델 평균화와 체크포인트 병합을 사용하는 데 대한 이론적 기반을 제공합니다.

요약

대규모 언어 모델(Large Language Model, LLM) 사전학습에서 학습률 스케줄에 대한 의존도를 줄이면서도 성능과 안정성을 동시에 확보하는 것은 오랫동안 중요한 과제로 남아 있었습니다. ScheduleFree+는 이러한 문제의식에서 출발하여, 학습률을 미리 설계하는 방식 대신 평균화, 모멘텀, 가중치 감쇠(weight decay), 그리고 Polyak step size를 하나의 일관된 최적화 틀로 재구성한 방법입니다. 기존 Schedule-Free Learning이 여러 표준 벤치마크에서는 유효했지만 LLM 규모로 확장될수록 약해졌다는 한계를 보완하기 위해, 이 논문은 대형 배치와 대형 모델, 그리고 장기 학습 환경에 맞는 구조적 수정들을 체계적으로 도입합니다. 특히 내부 모멘텀(inner momentum)을 재도입해 큰 배치에서의 발산을 완화하고, 평균화 계수와 가중치 감쇠를 다시 설계하여 그래디언트 노름 drift를 억제함으로써, Warmup-Stable-Decay(WSD)와 같은 전통적 스케줄보다 더 낮은 손실을 달성합니다. 이 접근의 핵심은 “학습률을 없앤다”는 단순한 선언이 아니라, 학습 과정의 동역학을 평균화 중심으로 다시 정의하는 데 있습니다. ScheduleFree+는 현재 반복점과 평균 반복점, 그리고 평가점을 분리해 다루면서, 그래디언트를 계산하는 위치와 최종 모델을 선택하는 기준을 다르게 설정합니다. 이러한 구조는 모델 평균화(model averaging)와 체크포인트 병합(checkpoint merging)을 사전학습 단계에서 이론적으로 정당화한다는 점에서 의미가 크며, 최적화의 실용성과 이론적 해석을 함께 강화합니다. 또한 배치 크기가 커질수록 기존 방식이 겪는 스케일링 한계를 분석하고, 그 원인이 단순히 배치 증가 자체가 아니라 더 큰 스텝을 안정적으로 수용하지 못하는 데 있음을 보입니다. 그 결과, 내부 모멘텀과 역 그래디언트 노름 기반(step size) 보정이 단순한 보조 기법이 아니라, 대규모 학습의 확장성을 좌우하는 핵심 요소임이 드러납니다. 더 나아가 논문은 weight decay가 단순한 규제가 아니라 정규화 층이 있는 신경망에서 유효 학습률(effective learning rate)을 조절하는 장치라는 점을 강조합니다. 너무 작은 weight decay는 그래디언트 노름과 가중치 노름의 불균형을 키워 장기 학습에서 불안정성을 유발할 수 있고, 반대로 너무 큰 값은 학습 동역학을 지나치게 위축시킬 수 있습니다. 이에 따라 ScheduleFree+는 fully-decoupled AdamC와 같은 수정된 업데이트 규칙을 사용하여, 현재 학습률에 과도하게 의존하지 않으면서도 그래디언트 노름을 안정적으로 유지하도록 설계합니다. 여기에 Polyak step size를 LLM 학습에 맞게 변형한 learning-rate-free 규칙을 결합함으로써, 별도의 세밀한 학습률 탐색 없이도 튜닝된 기준선을 능가하는 결과를 제시합니다. 무엇보다 인상적인 점은 이 방법이 장기 학습에서 특히 강하다는 사실입니다. β(베타) 어닐링(annealing)과 가중치 조정(weighting)을 통해 초반의 빠른 감소와 후반의 높은 최종 성능을 함께 노리고, 학습 곡선이 역제곱근 형태로 예측 가능하게 전개된다는 점까지 보여줍니다. 이는 ScheduleFree+가 단지 성능 좋은 옵티마이저가 아니라, 학습 진행과 종료 시점까지 비교적 정확히 추정할 수 있는 운영 가능한 훈련 방법이라는 의미를 갖습니다. 결국 이 논문은 대규모 언어 모델 사전학습에서 “어떤 학습률 스케줄을 쓸 것인가”라는 질문을 넘어, “평균화와 동역학을 어떻게 재설계해야 장기적으로 더 안정적이고 예측 가능한 학습이 가능한가”에 대한 설득력 있는 답을 제시합니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.