SCAPE: Accurate and Efficient LLM Training with Extreme Sparse Communication
AdamS 옵티마이저의 1차 모멘트(first-moment) 안정성을 활용해 99% 희소성(sparsity)에서도 모델 품질 손실 없이 통신량을 극단적으로 줄이는 분산 옵티마이저 SCAPE를 제안한다. Megatron-LM에서 구현하여 32개의 NVIDIA GH200 GPU로 Llama-500M 사전학습 시 종단간 학습 시간을 최대 43.3% 단축하고, Llama-1.8B에서는 단계당 최대 3.26배 속도 향상을 달성하면서 LAMBADA, MMLU 등 다운스트림 벤치마크에서 dense AdamW 수준의 성능을 유지했다.