PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30634v1cs.LG

1단계 그래디언트 지연은 대규모 비동기 파이프라인 병렬화 LLM 사전학습의 장벽이 아니다

One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining

PipeDream-2BW 기반 비동기 파이프라인 병렬화에서 1단계 그래디언트 지연에 의한 성능 저하가 본질적 한계가 아닌 옵티마이저 선택에 달려 있음을 실증적으로 밝히며, AdamW는 심각한 품질 저하를 겪는 반면 Muon은 강한 견고성을 보임을 최초로 체계적으로 분석하였다. 추가로 옵티마이저에 무관한 Error Feedback 기반 보정 기법을 도입하여 10B MoE 모델 학습에서 동기식 학습과 동일한 최종 손실을 달성하였다.