모집단 확장인가 데이터 희석인가? 탈중앙화 학습에서 국소 토폴로지 진화의 역학
Population Scaling or Data Dilution? Dynamics of Local Topology Evolution in Decentralized Learning
한국어 초록
탈중앙화 학습(decentralized learning)의 확장은 클라이언트 수 $N$뿐만 아니라 정보 전파 및 합의 역학도 변화시킵니다. 본 논문에서는 데이터 할당, 토폴로지 의존적 혼합(mixing), 통신 용량이 동시에 변할 수 있으므로 $N$의 증가 효과를 단독으로 이해할 수 없다고 주장합니다. 저자들은 $N\in\{10,50,100,200\}$인 CIFAR-10 환경에서 차수(degree)가 2인 Ring, Static Random 그래프, 그리고 친구의 친구(friend-of-friend) 탐색에 기반한 국소 적응형 토폴로지 과정인 LFHE(Local-First Heuristic Evolution)를 비교하며 이러한 결합된 효과를 연구합니다. Ring은 분석적으로 명확한 실패 모드를 제공합니다. Metropolis 스펙트럼 갭이 $Θ(N^{-2})$로 감소하여, 모집단이 증가함에 따라 모델 불일치의 축소가 점진적으로 느려짐을 의미합니다. 실험 결과, 명목상의 국소 데이터셋 크기를 고정하면 고정된 전체 데이터셋을 더 많은 클라이언트에 분할할 때 관찰되는 외견상의 모집단 불이익이 실질적으로 감소하는 것으로 나타났습니다. 나머지 성능 저하는 통신 구조에 크게 의존합니다. Ring은 높은 불일치 상태에 진입하는 반면, Static Random과 LFHE는 합의 상태에 가깝게 유지됩니다. LFHE의 차수 임계값을 높이면 정확도와 합의가 더욱 향상되지만, 모델 전송 비용이 상당히 증가합니다. 이러한 결과는 탈중앙화 확장이 클라이언트 수 단독이 아닌, 결합된 학습 및 통신 역학에 의해 지배된다는 점을 보여줍니다.
원문 초록
Scaling decentralized learning changes not only the number of clients $N$, but also the dynamics of information propagation and consensus. We argue that the effect of increasing $N$ cannot be understood in isolation, because data allocation, topology-dependent mixing, and communication capacity may change simultaneously. We study these coupled effects on CIFAR-10 with $N\in\{10,50,100,200\}$, comparing a degree-two Ring, a Static Random graph, and Local-First Heuristic Evolution (LFHE), a locally adaptive topology process based on friend-of-friend discovery. The Ring provides an analytically transparent failure mode: its Metropolis spectral gap decays as $Θ(N^{-2})$, implying progressively slower contraction of model disagreement as the population grows. Experiments show that holding the nominal local dataset size fixed substantially reduces the apparent population penalty observed when a fixed total dataset is divided among more clients. The remaining degradation depends strongly on communication structure: Ring enters a high-disagreement regime, whereas Static Random and LFHE remain close to consensus. Increasing LFHE's degree threshold further improves accuracy and consensus, but at a substantially higher model-transmission cost. These results show that decentralized scaling is governed by coupled learning and communication dynamics, rather than by the number of clients alone.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
강건하고 비평활 볼록 탈중앙화 학습을 위한 빠르고 효율적인 비동기 고십 알고리즘
Fast and Efficient Asynchronous Gossip Algorithm for Robust and Non-Smooth Convex Decentralized Learning
탈중앙화 비평활 볼록 최적화(non-smooth convex optimization)를 위한 비동기 원쌍대(primal-dual) 방법은 각 노드(node)가 차수(degree)를 $d$라 할 때 $\mathcal{O}(d)$개의 보조 변수를 유지해야 하는 경우가 많습니다. 이러한 차수 의존성은 메모리 요구량을 증가시키며, 특히 밀집 네트워크에서 오래된 정보(stale information)의 영향을 증폭시킬 수 있습니다. 탈중앙화 학습에서 절약형 메모리 관리라는 과제에 착안하여, 본 논문에서는 노드의 차수와 무관하게 노드당 두 개의 변수만 유지하는 비동기 고십(gossip) 기반 원쌍대 알고리즘인 Goal-PD를 제안합니다. Goal-PD가 기저 최적화 문제의 최소화해로 거의 확실히 수렴(almost-sure convergence)함을 규명하고, 목적 함수가 조각별 선형-이차(piecewise linear-quadratic) 형태일 때 선형 수렴함을 증명합니다. 탈중앙화 평균 추정의 경우 쌍별 평균화(pairwise averaging)가 Goal-PD의 특수한 경우임을 보여줌으로써, 제안된 원쌍대 프레임워크와 고전적 고십 알고리즘 간의 직접적인 연결고리를 확립합니다. 중앙값 추정을 비롯한 비평활 목적 함수와 다양한 네트워크 토폴로지에서 합성 및 실제 데이터셋을 대상으로 수행한 실험을 통해, Goal-PD가 설계상 현저히 적은 메모리를 요구하면서도 기존 비동기 베이스라인보다 더 빠르게 수렴함을 보입니다.
Secure Decentralized Federated Learning via Gossip and Virtual Voting
분산 연합학습(DFL, Decentralized Federated Learning)은 노드들이 P2P 가십을 통해 모델 업데이트를 교환함으로써 중앙 서버를 제거하지만, 기존 가십 기반 방법들은 출처 최종성(provenance finality)과 비잔틴(Byzantine) 또는 지연(lazy) 참여자에 대한 복원력이 부족한 경우가 많다. 원장(ledger) 보조 연합학습(FL)은 감사 가능성을 향상시키지만, 블록체인, 샤드, 또는 정산 위원회는 DFL의 지역성과 상충되는 전역 조율 비용을 다시 도입할 수 있다. 본 논문은 모델 전파에 사용되는 동일한 가십 이력으로부터 합의를 도출하는 안전한 DFL 프레임워크인 gspDAG-FL을 제안한다. 노드들은 이웃 노드들과만 모델 페이로드를 교환하는 반면, 풀 노드(full node)들은 이벤트 인증서와 수신자 보증 수락 가십 증명을 수집하고, 간결한 토폴로지 방향성 비순환 그래프(DAG)를 재구성하여 해시그래프(Hashgraph) 방식의 가상 투표와 이후 간결한 풀 노드 인증서를 실행한다. 최종성은 동일한 로컬 매개변수 상태가 아닌, 고유한 모델-출처 튜플에 대해 적용된다. 복원력 향상을 위해 gspDAG-FL은 집계 전에 페이로드 검증, 수락 증명 검증, 그리고 프라이빗 시맨틱 감사를 결합한다. 우리는 적대적 환경을 형식화하고, 제어 평면의 안전성과 조건부 활성성(liveness)을 증명하며, 시변 유효 혼합 하에서 인증된 교란 가십에 대한 수렴 보장을 제시한다. 공정한 홀드아웃 검증/감사 데이터와 최대 \(N=100\)의 네트워크를 사용하여 MNIST 분류와 Penn Treebank 언어 모델링에 대한 실험 결과, gspDAG-FL은 혼합 비잔틴 및 지연 참여 환경에서 조율 병목을 줄이고, 처리량을 향상시키며, 높은 유효하지 않은 출처 탐지를 유지하면서 검증 기반 원장 FL에 근접한 학습 품질을 달성함을 보인다.
시간적 네트워크 상의 분산 연합학습: 이질성의 역할
Decentralised Federated Learning over Temporal Networks: The Role of Heterogeneities
피어투피어(peer-to-peer) 통신 기반의 분산 연합학습(decentralised federated learning)은 단일 장애점 위험 없이 프라이버시를 보존하고 통신 효율적인 학습 과정을 제공하며, 온디바이스(on-device) 머신러닝 모델 학습을 위해 점점 더 많이 제안되고 있다. 그러나 이처럼 완전히 분산된 환경에서 구조적·시간적 불균일성(inhomogeneities)의 역할은 아직 충분히 이해되지 않고 있다. 본 연구에서는 집계(aggregation) 과정에서 모델 파라미터가 지역적으로 평균화될 때 이러한 불균일성의 영향을 규명한다. 분산 연합학습 과정이 초기 단계와 후기의 정상 상태 한계(stationary limit) 모두에서 시간적 네트워크 상의 게으른 랜덤 워크(lazy random-walk) 확산 과정과 동일한 역학에 의해 지배됨을 보인다. 이 대응 관계를 바탕으로, 분산 연합학습에서 일반적으로 사용되는 실험 시나리오가 통신 네트워크에 내재된 시간적·구조적 불균일성을 무시하기 때문에 비현실적으로 빠른 수렴을 초래함을 입증한다. 실제 시간적 네트워크를 분석한 결과, 불균일성이 대부분의 경우 확산, 즉 수렴 과정을 극적으로 지연시킨다는 것을 발견한다.
분산 로컬 그래프를 위한 개인화된 차등 프라이버시 학습을 향하여
Towards Personalized Differentially Private Learning for Decentralized Local Graphs
그래프 구조 데이터는 소셜 플랫폼, 모바일 애플리케이션, 엣지 네트워크 등 분산 환경에서 점점 더 많이 생성·저장되고 있으며, 이러한 환경에서 사용자는 자신의 로컬 그래프 데이터를 직접 관리한다. 그러나 다운스트림 학습 태스크를 위해 이러한 분산 그래프 데이터를 수집·분석하는 과정은 심각한 프라이버시 우려를 야기하는데, 노드와 그 속성에는 민감한 개인 정보가 포함되는 경우가 많기 때문이다. 로컬 차등 프라이버시(LDP)는 신뢰할 수 있는 서버에 의존하지 않는 프라이버시 보존형 데이터 수집의 유망한 해결책으로 부상하였다. 그럼에도 불구하고 기존의 LDP 기반 그래프 학습 방법들은 대부분 사용자 간에 균일한 프라이버시 요구 사항을 가정하며, 실제 시스템에서 흔히 관찰되는 이질적이고 개인화된 프라이버시 선호를 무시한다. 이러한 균일한 처리 방식은 데이터 수집 단계에서 유연하지 못한 노이즈 주입을 초래하여 그래프 데이터의 심각한 왜곡과 이후 분석의 효용 저하로 이어진다. 이 한계를 해결하기 위해 우리는 분산 그래프 데이터를 위한 개인화된 차등 프라이버시 프레임워크인 PPGNN을 제안한다. PPGNN은 분석적 효용을 보존하면서 로컬 교란(perturbation) 단계에서 사용자별 프라이버시 예산을 허용한다. 이질적인 프라이버시 수준과 노이즈 왜곡을 처리하기 위해, 개인화된 교란 메커니즘(PPM)과 가중치 보정 전략 FlexProp으로 구성된 2단계 솔루션을 설계한다. 6개의 실제 그래프 데이터셋에 대한 광범위한 실험을 통해 PPGNN이 분산 그래프 학습 시나리오에서 개인화된 프라이버시 보호와 데이터 효용을 효과적으로 균형 있게 달성함을 입증한다.
Privacy-Preserving and Verifiable Approximate Distributed Coded Computing
Operating Regimes of Decentralized Learning Under Mobility and Bandwidth Constraints
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
11 pages, 6 figures. Accepted as a poster at DynaFront @ NeurIPS 2026