모집단 확장인가 데이터 희석인가? 탈중앙화 학습에서 국소 토폴로지 진화의 역학
Population Scaling or Data Dilution? Dynamics of Local Topology Evolution in Decentralized Learning
탈중앙화 학습(decentralized learning)의 확장은 클라이언트 수 $N$뿐만 아니라 정보 전파 및 합의 역학도 변화시킵니다. 본 논문에서는 데이터 할당, 토폴로지 의존적 혼합(mixing), 통신 용량이 동시에 변할 수 있으므로 $N$의 증가 효과를 단독으로 이해할 수 없다고 주장합니다. 저자들은 $N\in\{10,50,100,200\}$인 CIFAR-10 환경에서 차수(degree)가 2인 Ring, Static Random 그래프, 그리고 친구의 친구(friend-of-friend) 탐색에 기반한 국소 적응형 토폴로지 과정인 LFHE(Local-First Heuristic Evolution)를 비교하며 이러한 결합된 효과를 연구합니다. Ring은 분석적으로 명확한 실패 모드를 제공합니다. Metropolis 스펙트럼 갭이 $Θ(N^{-2})$로 감소하여, 모집단이 증가함에 따라 모델 불일치의 축소가 점진적으로 느려짐을 의미합니다. 실험 결과, 명목상의 국소 데이터셋 크기를 고정하면 고정된 전체 데이터셋을 더 많은 클라이언트에 분할할 때 관찰되는 외견상의 모집단 불이익이 실질적으로 감소하는 것으로 나타났습니다. 나머지 성능 저하는 통신 구조에 크게 의존합니다. Ring은 높은 불일치 상태에 진입하는 반면, Static Random과 LFHE는 합의 상태에 가깝게 유지됩니다. LFHE의 차수 임계값을 높이면 정확도와 합의가 더욱 향상되지만, 모델 전송 비용이 상당히 증가합니다. 이러한 결과는 탈중앙화 확장이 클라이언트 수 단독이 아닌, 결합된 학습 및 통신 역학에 의해 지배된다는 점을 보여줍니다.