PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27581v1cs.LG

Step Law는 소규모 언어 모델에도 전이되는가? 59M 파라미터 미만에서의 실증적 재보정

Does Step Law Transfer to Small-Scale Language Models? An Empirical Recalibration Below 59M Parameters

Step Law는 언어 모델 사전학습 시 최적 피크 학습률 η*와 배치 크기 B*에 대한 멱법칙(power-law) 공식을 제공한다. 원 저자들은 59M~1B 파라미터 모델에서 이를 보정했으며, N < 59M인 소규모 모델 영역은 실증적으로 검증한 적이 없다. 이 영역은 단일 GPU 학습, 해석 가능성 연구, 교육용 실험, 메모리·비용상 더 큰 모델을 쓰기 어려운 환경에서 중요하다. 우리는 Step Law가 소규모 언어 모델에도 전이되는지 검증한다. 세 가지 결과를 가정한다. H1: 원래 계수를 그대로 쓸 수 있다. H2: 멱법칙 형태는 유지되나 계수가 다르다. H3: 이 영역에서는 멱법칙이 최적점을 설명하지 못한다. 모든 실험은 2048 토큰 BPE 어휘, AdamW, warmup-cosine 스케줄을 사용하는 단일 nanoGPT/TinyStories 파이프라인에서 수행했다. 각 (N, D) 셀의 최적점은 평활화된 학습 손실에 대해 log-log 좌표에서 국소 이차 근사를 통해 손실 표면 L(η, B)에서 추출했다. 최종 데이터셋은 서로 다른 (N, D) 셀 29개와 분석에 사용 가능한 run 935개를 포함한다. 주 재적합은 작업 구간 4 <= D/N <= 600에서 25개 셀(815 runs)을 사용한다. 풀링 데이터에서는 H2를 채택한다. 함수 형태는 유지되나 계수는 원 논문과 다르다. η*(N, D) = 0.0985 N^(-0.508) D^(0.238) (R^2 = 0.834)와 B*(D) = 3.6 × 10^(-4) D^(0.931) (R^2 = 0.950)를 얻었다. Step Law의 구조적 주장인 B*의 N 비의존성은 재현된다(p = 0.87). 다만 B*가 D에 따라 증가하는 기울기는 원 논문의 거의 2배다. Step Law를 직접 전이하면 최적 학습률을 체계적으로 과대 추정한다. η_SL / η*의 중앙값 비는 약 4.0배이며, 범위는 2.4배에서 6.6배이다.