PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15965v1cs.LG

반복 데이터 사전학습 스케일링: 배치 크기, 정규화 및 GPU-시간 트레이드오프

Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs

본 연구에서는 연산량은 풍부하지만 고유한 학습(training) 데이터가 유한하여 동일한 데이터에 대한 반복 학습이 필요한 환경에서의 사전학습(pre-training)을 다룹니다. 먼저 무한 연산량 사전학습(Kim et al. 2026)을 재검토하여, 그 프론티어가 기존에 고정되었거나 개별적으로만 연구되었던 선택 사항들에 결정적으로 의존함을 보입니다. 특히 에포크(epoch) 수와 함께 배치(batch) 크기를 최적화하면 검증 손실(validation loss)과 배치 크기 사이에 U자형 관계가 나타나 일반적인 사전학습보다 더 작은 배치를 선호하게 됨을 밝히며, 이는 소배치 그래디언트(gradient) 노이즈가 암묵적 정규화(implicit regularization)를 제공하기 때문인 것으로 보입니다. 나아가 기존에 단일 패스 가정 하에서 최적화되었던 학습 레시피를 조정할 수 있음을 확인했습니다. 예를 들어 에포크마다 문서를 새로운 시퀀스로 재패킹하는 것, 가중치 공유(weight tying), 그리고 양의 임베딩 가중치 감쇠(positive embedding weight decay) 등이 있습니다. 이후 무한 연산량 가정을 완화합니다. 특히 일반적인 경우보다 작은 배치 크기는 지나치게 긴 순차적 학습 시간을 요구할 수 있으므로, GPU와 시간을 별개의 자원으로 다루어야 할 필요성이 발생합니다. 마감 기한이 촉박할수록 더 큰 배치가 유리하며, 지연 시간 중심의 병렬 처리를 통해 추가 GPU를 투입하여 학습 시간을 단축할 수 있습니다. 그럼에도 불구하고 고정된 시간 예산 내에서도 더 적은 수의 GPU와 작은 배치를 사용하는 것이 더 많은 GPU와 큰 배치를 사용하는 것보다 더 낮은 검증 손실을 달성할 수 있으며, 이는 마감 기한 내에서 GPU 활용도를 극대화하기 위해 데이터 병렬 처리를 늘리는 일반적인 관행에 도전합니다. 종합적으로 본 연구 결과는 반복 데이터 학습에서 충분히 탐구되지 않았던 요인들을 식별하고, 단일 패스 사전학습 대비 학습 레시피와 자원 할당이 어떻게 변화해야 하는지에 대한 구체적인 지침을 제공합니다.

arXiv:2607.01487v1cs.LG

How to Allocate Your Tokens? Scaling Laws with Training Steps and Batch Size

대규모 언어 모델(LLM) 사전학습에서 학습 데이터를 배치 크기(batch size)와 학습 스텝(training steps)으로 명시적으로 분리한 세 항 스케일링 법칙(three-term law)을 제안하며, 이를 통해 최적 배치 크기의 스케일링을 올바르게 복원하고 기존 대비 28% 수준의 학습 실행만으로도 법칙을 안정적으로 피팅할 수 있음을 보인다. 또한 이 법칙은 비최적 배치 크기 환경에서도 성능을 예측할 수 있어 하드웨어 제약이 있는 실제 학습 환경에서도 유용하게 활용될 수 있다.

arXiv:2606.19179v1cs.LG

Compute Efficiency and Serial Runtime Tradeoffs for Stochastic Momentum Methods

Heavy ball (HB), Nesterov 모멘텀, Accelerated SGD (ASGD) [Kidambi et al., 2018]의 변형과 같은 확률적 모멘텀 방법들은 현대 학습에서 널리 사용되지만, 이들의 확률적 이점은 두 가지 별개의 양, 즉 목표 정확도에 도달하는 데 필요한 반복 횟수인 직렬 런타임과 전체 그래디언트 쿼리 또는 FLOP 비용의 역수인 계산 효율성(CE)에 의존합니다. 더 큰 배치는 수축 간극이 배치 크기에 따라 선형적으로 증가할 때에만 CE를 저해하지 않으면서 직렬 런타임을 줄입니다. 우리는 가우시안 공변량을 갖는 일치 선형 회귀에 대해 확률적 HB와 ASGD를 연구하고, 그들의 배치 크기 트레이드오프에 대한 유한 차원 이산 시간 하한을 증명합니다. 첫 번째 결과는 HB가 임의의 스펙트럼에 대해 SGD 대비 CE 프론티어를 개선하지 않음을 보여줍니다. 오히려 HB는 더 큰 배치 크기 윈도우에 걸쳐 SGD 수준의 CE를 유지하여, HB가 결정론적 가속 규모에 도달할 때까지 더 큰 배치가 직렬 런타임을 줄일 수 있도록 합니다. 이 윈도우는 SGD 임계 배치 크기보다 $\sqrtκ$배 더 클 수 있습니다. ASGD의 경우 그 양상은 스펙트럼에 더 의존적입니다. 급격히 감소하는 멱법칙 스펙트럼의 경우, ASGD는 HB/SGD 대비 소배치 CE를 개선하지만, 배치 크기가 증가함에 따라 이 CE 이점을 개선된 직렬 런타임과 교환합니다. 합성 선형 회귀 실험은 천천히 감소하는 스펙트럼에 대한 ASGD와 HB의 거의 겹침과 급격히 감소하는 스펙트럼에 대한 예측된 CE-직렬 트레이드오프를 포함하여 이러한 정성적 체제를 검증합니다.