PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.13287v1cs.LG

그라디언트 클리핑은 분산 및 연합 비동기 확률적 경사하강법(SGD)을 낙오자(stragglers)에 대해 강건하게 만든다

Clipping Makes Distributed and Federated Asynchronous SGD Robust to Stragglers

비동기 확률적 경사 하강법(ASGD)에서 지연된 워커(stragglers)로 인한 성능 저하 문제를 해결하기 위해, 그라디언트 클리핑(gradient clipping)이 오라클 복잡도(oracle complexity)에서 최대 지연 의존성을 제거함을 이론적으로 입증합니다. 또한 서브-바이불(sub-Weibull) 노이즈 모델을 기반으로 비동기 최적화 분야에서 최초로 높은 확률로의 수렴을 보장합니다.