PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22768v1cs.LG

Factored Gossip DiLoCo: DiLoCo의 블로킹 통신 감소

Factored Gossip DiLoCo: Reducing Blocking Communication in DiLoCo

고대역폭 데이터센터 밖에서도 대규모 분산 학습을 실용적으로 만들려면, 블로킹되고 대용량인 동기화를 줄여야 한다. DiLoCo는 통신 빈도가 낮지만, 외부 동기화는 여전히 대역폭을 많이 소모하며 느린 작업자(straggler)와 일시적 장애에 취약하다. 우리는 mixing/gossip을 통해 정확한 동기화를 근사 동기화로 완화하며, 이는 지연과 통신 장애 하에서도 점진적으로 성능이 저하된다. 이를 통해 DiLoCo 동기화를 staleness 없이 계산과 겹치는 논블로킹(non-blocking) mixing 단계와, 작업자(worker) 간 합의를 강화하는 블로킹 mixing 단계로 인수분해할 수 있으며, 연산 활용률과 최적화 안정성 사이의 조절 가능한 트레이드오프를 얻을 수 있다. 저대역폭 환경에서 최대 10억 매개변수 규모의 언어 모델에 대해, 본 프레임워크는 DiLoCo 대비 연산 활용률을 크게 개선하며, 학습 진행은 DiLoCo와 비슷한 수준에서 거의 동등한 수준까지 이르며, 장애에 더 강건하다.