PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.01083v1cs.LG

Staleness-Learning Rate Scaling Laws for Asynchronous RLHF

비동기 RLHF 파이프라인에서 롤아웃 생성과 정책 최적화를 분리할 때 발생하는 오래된 롤아웃(stale rollout)의 영향을 비동기 GRPO 환경에서 분석하여, 스테일니스 지연 S와 학습률 η의 곱에 비례하는 O(S·η) 크기의 서로게이트 그래디언트 편향이 발생함을 이론적으로 증명하였다. 이를 바탕으로 η ≪ min{R_batch/(S·G_upd), R_crit/(T·G_upd)}라는 두 가지 제약 조건을 도출하여, 안정적인 학습률 상한이 스테일니스에 독립적으로 보이는 현상이 horizon-limited 구간에서만 나타나는 이유를 설명하였다.

arXiv:2606.30634v1cs.LG

1단계 그래디언트 지연은 대규모 비동기 파이프라인 병렬화 LLM 사전학습의 장벽이 아니다

One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining

PipeDream-2BW 기반 비동기 파이프라인 병렬화에서 1단계 그래디언트 지연에 의한 성능 저하가 본질적 한계가 아닌 옵티마이저 선택에 달려 있음을 실증적으로 밝히며, AdamW는 심각한 품질 저하를 겪는 반면 Muon은 강한 견고성을 보임을 최초로 체계적으로 분석하였다. 추가로 옵티마이저에 무관한 Error Feedback 기반 보정 기법을 도입하여 10B MoE 모델 학습에서 동기식 학습과 동일한 최종 손실을 달성하였다.

arXiv:2410.05985v4cs.LG

LAYUP: LAYer-wise UPdates를 활용한 비동기 분산 경사하강법

LAYUP: Asynchronous decentralized gradient descent with LAYer-wise UPdates

LayUp은 역전파 중 점진적 층별 업데이트를 비동기적으로 교환하고 무작위 gossip 통신으로 버퍼 없이 갱신을 적용하는 비동기 분산 SGD 방법으로, 매개변수 drift를 줄여 지연 작업자(straggler)에 강건하다. 비전·언어 모델링 실험에서 동기식 데이터 병렬 학습 대비 실 경과 시간 기준 수렴이 최대 약 32% 빠르고, 유사한 통신 효율 알고리즘 대비 최대 약 27% 빠르며 정확도를 유지한다.