arXiv:2606.28342v1 cs.NI

Operating Regimes of Decentralized Learning Under Mobility and Bandwidth Constraints

Samuele Sabella, Chiara Boldrini, Lorenzo Valerio, Marco Conti, Andrea Passarella

제출 2026-06-01

원문 초록

Decentralized learning is a promising paradigm for collaborative training in mobile and pervasive systems, as it avoids a central coordinator and does not require sharing raw data. Yet, most analyses rely on idealized communication assumptions that break down in wireless settings, where connectivity is intermittent, topology changes due to mobility, and bandwidth is limited. We study decentralized averaging under client asynchrony, time-varying contact graphs, and technology-dependent throughput constraints. We implement a fully decentralized protocol that overlaps synchronization with local training and supports partial tensor-level transfers when contacts end early. Using Random Waypoint mobility and multiple wireless technologies (Bluetooth LE, LTE, and Wi-Fi), we quantify how network dynamics and link capacity impact convergence. We identify three operating regimes: (i) inter-contact time largely dictates convergence via mixing, (ii) partial updates are often well tolerated when contacts are frequent, and (iii) very dense contact patterns can trigger contention, reducing effective throughput. These findings provide a practical lens to reason about decentralized learning deployments over realistic wireless systems, highlighting when improving connectivity, increasing bandwidth, or mitigating contention is most impactful.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.28342v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.05476v2cs.LG공통 태그 Federated Learning, decentralized learning

모집단 확장인가 데이터 희석인가? 탈중앙화 학습에서 국소 토폴로지 진화의 역학

Population Scaling or Data Dilution? Dynamics of Local Topology Evolution in Decentralized Learning

탈중앙화 학습(decentralized learning)의 확장은 클라이언트 수 $N$뿐만 아니라 정보 전파 및 합의 역학도 변화시킵니다. 본 논문에서는 데이터 할당, 토폴로지 의존적 혼합(mixing), 통신 용량이 동시에 변할 수 있으므로 $N$의 증가 효과를 단독으로 이해할 수 없다고 주장합니다. 저자들은 $N\in\{10,50,100,200\}$인 CIFAR-10 환경에서 차수(degree)가 2인 Ring, Static Random 그래프, 그리고 친구의 친구(friend-of-friend) 탐색에 기반한 국소 적응형 토폴로지 과정인 LFHE(Local-First Heuristic Evolution)를 비교하며 이러한 결합된 효과를 연구합니다. Ring은 분석적으로 명확한 실패 모드를 제공합니다. Metropolis 스펙트럼 갭이 $Θ(N^{-2})$로 감소하여, 모집단이 증가함에 따라 모델 불일치의 축소가 점진적으로 느려짐을 의미합니다. 실험 결과, 명목상의 국소 데이터셋 크기를 고정하면 고정된 전체 데이터셋을 더 많은 클라이언트에 분할할 때 관찰되는 외견상의 모집단 불이익이 실질적으로 감소하는 것으로 나타났습니다. 나머지 성능 저하는 통신 구조에 크게 의존합니다. Ring은 높은 불일치 상태에 진입하는 반면, Static Random과 LFHE는 합의 상태에 가깝게 유지됩니다. LFHE의 차수 임계값을 높이면 정확도와 합의가 더욱 향상되지만, 모델 전송 비용이 상당히 증가합니다. 이러한 결과는 탈중앙화 확장이 클라이언트 수 단독이 아닌, 결합된 학습 및 통신 역학에 의해 지배된다는 점을 보여줍니다.

arXiv:2601.20571v3cs.LG공통 태그 Federated Learning, decentralized learning

강건하고 비평활 볼록 탈중앙화 학습을 위한 빠르고 효율적인 비동기 고십 알고리즘

Fast and Efficient Asynchronous Gossip Algorithm for Robust and Non-Smooth Convex Decentralized Learning

탈중앙화 비평활 볼록 최적화(non-smooth convex optimization)를 위한 비동기 원쌍대(primal-dual) 방법은 각 노드(node)가 차수(degree)를 $d$라 할 때 $\mathcal{O}(d)$개의 보조 변수를 유지해야 하는 경우가 많습니다. 이러한 차수 의존성은 메모리 요구량을 증가시키며, 특히 밀집 네트워크에서 오래된 정보(stale information)의 영향을 증폭시킬 수 있습니다. 탈중앙화 학습에서 절약형 메모리 관리라는 과제에 착안하여, 본 논문에서는 노드의 차수와 무관하게 노드당 두 개의 변수만 유지하는 비동기 고십(gossip) 기반 원쌍대 알고리즘인 Goal-PD를 제안합니다. Goal-PD가 기저 최적화 문제의 최소화해로 거의 확실히 수렴(almost-sure convergence)함을 규명하고, 목적 함수가 조각별 선형-이차(piecewise linear-quadratic) 형태일 때 선형 수렴함을 증명합니다. 탈중앙화 평균 추정의 경우 쌍별 평균화(pairwise averaging)가 Goal-PD의 특수한 경우임을 보여줌으로써, 제안된 원쌍대 프레임워크와 고전적 고십 알고리즘 간의 직접적인 연결고리를 확립합니다. 중앙값 추정을 비롯한 비평활 목적 함수와 다양한 네트워크 토폴로지에서 합성 및 실제 데이터셋을 대상으로 수행한 실험을 통해, Goal-PD가 설계상 현저히 적은 메모리를 요구하면서도 기존 비동기 베이스라인보다 더 빠르게 수렴함을 보입니다.

arXiv:2607.08651v1cs.LG공통 태그 Federated Learning, decentralized learning

Secure Decentralized Federated Learning via Gossip and Virtual Voting

분산 연합학습(DFL, Decentralized Federated Learning)은 노드들이 P2P 가십을 통해 모델 업데이트를 교환함으로써 중앙 서버를 제거하지만, 기존 가십 기반 방법들은 출처 최종성(provenance finality)과 비잔틴(Byzantine) 또는 지연(lazy) 참여자에 대한 복원력이 부족한 경우가 많다. 원장(ledger) 보조 연합학습(FL)은 감사 가능성을 향상시키지만, 블록체인, 샤드, 또는 정산 위원회는 DFL의 지역성과 상충되는 전역 조율 비용을 다시 도입할 수 있다. 본 논문은 모델 전파에 사용되는 동일한 가십 이력으로부터 합의를 도출하는 안전한 DFL 프레임워크인 gspDAG-FL을 제안한다. 노드들은 이웃 노드들과만 모델 페이로드를 교환하는 반면, 풀 노드(full node)들은 이벤트 인증서와 수신자 보증 수락 가십 증명을 수집하고, 간결한 토폴로지 방향성 비순환 그래프(DAG)를 재구성하여 해시그래프(Hashgraph) 방식의 가상 투표와 이후 간결한 풀 노드 인증서를 실행한다. 최종성은 동일한 로컬 매개변수 상태가 아닌, 고유한 모델-출처 튜플에 대해 적용된다. 복원력 향상을 위해 gspDAG-FL은 집계 전에 페이로드 검증, 수락 증명 검증, 그리고 프라이빗 시맨틱 감사를 결합한다. 우리는 적대적 환경을 형식화하고, 제어 평면의 안전성과 조건부 활성성(liveness)을 증명하며, 시변 유효 혼합 하에서 인증된 교란 가십에 대한 수렴 보장을 제시한다. 공정한 홀드아웃 검증/감사 데이터와 최대 \(N=100\)의 네트워크를 사용하여 MNIST 분류와 Penn Treebank 언어 모델링에 대한 실험 결과, gspDAG-FL은 혼합 비잔틴 및 지연 참여 환경에서 조율 병목을 줄이고, 처리량을 향상시키며, 높은 유효하지 않은 출처 탐지를 유지하면서 검증 기반 원장 FL에 근접한 학습 품질을 달성함을 보인다.

arXiv:2607.03171v1cs.LG공통 태그 Federated Learning, decentralized learning

시간적 네트워크 상의 분산 연합학습: 이질성의 역할

Decentralised Federated Learning over Temporal Networks: The Role of Heterogeneities

피어투피어(peer-to-peer) 통신 기반의 분산 연합학습(decentralised federated learning)은 단일 장애점 위험 없이 프라이버시를 보존하고 통신 효율적인 학습 과정을 제공하며, 온디바이스(on-device) 머신러닝 모델 학습을 위해 점점 더 많이 제안되고 있다. 그러나 이처럼 완전히 분산된 환경에서 구조적·시간적 불균일성(inhomogeneities)의 역할은 아직 충분히 이해되지 않고 있다. 본 연구에서는 집계(aggregation) 과정에서 모델 파라미터가 지역적으로 평균화될 때 이러한 불균일성의 영향을 규명한다. 분산 연합학습 과정이 초기 단계와 후기의 정상 상태 한계(stationary limit) 모두에서 시간적 네트워크 상의 게으른 랜덤 워크(lazy random-walk) 확산 과정과 동일한 역학에 의해 지배됨을 보인다. 이 대응 관계를 바탕으로, 분산 연합학습에서 일반적으로 사용되는 실험 시나리오가 통신 네트워크에 내재된 시간적·구조적 불균일성을 무시하기 때문에 비현실적으로 빠른 수렴을 초래함을 입증한다. 실제 시간적 네트워크를 분석한 결과, 불균일성이 대부분의 경우 확산, 즉 수렴 과정을 극적으로 지연시킨다는 것을 발견한다.

arXiv:2607.04777v1cs.LG공통 태그 Federated Learning, decentralized learning

분산 로컬 그래프를 위한 개인화된 차등 프라이버시 학습을 향하여

Towards Personalized Differentially Private Learning for Decentralized Local Graphs

그래프 구조 데이터는 소셜 플랫폼, 모바일 애플리케이션, 엣지 네트워크 등 분산 환경에서 점점 더 많이 생성·저장되고 있으며, 이러한 환경에서 사용자는 자신의 로컬 그래프 데이터를 직접 관리한다. 그러나 다운스트림 학습 태스크를 위해 이러한 분산 그래프 데이터를 수집·분석하는 과정은 심각한 프라이버시 우려를 야기하는데, 노드와 그 속성에는 민감한 개인 정보가 포함되는 경우가 많기 때문이다. 로컬 차등 프라이버시(LDP)는 신뢰할 수 있는 서버에 의존하지 않는 프라이버시 보존형 데이터 수집의 유망한 해결책으로 부상하였다. 그럼에도 불구하고 기존의 LDP 기반 그래프 학습 방법들은 대부분 사용자 간에 균일한 프라이버시 요구 사항을 가정하며, 실제 시스템에서 흔히 관찰되는 이질적이고 개인화된 프라이버시 선호를 무시한다. 이러한 균일한 처리 방식은 데이터 수집 단계에서 유연하지 못한 노이즈 주입을 초래하여 그래프 데이터의 심각한 왜곡과 이후 분석의 효용 저하로 이어진다. 이 한계를 해결하기 위해 우리는 분산 그래프 데이터를 위한 개인화된 차등 프라이버시 프레임워크인 PPGNN을 제안한다. PPGNN은 분석적 효용을 보존하면서 로컬 교란(perturbation) 단계에서 사용자별 프라이버시 예산을 허용한다. 이질적인 프라이버시 수준과 노이즈 왜곡을 처리하기 위해, 개인화된 교란 메커니즘(PPM)과 가중치 보정 전략 FlexProp으로 구성된 2단계 솔루션을 설계한다. 6개의 실제 그래프 데이터셋에 대한 광범위한 실험을 통해 PPGNN이 분산 그래프 학습 시나리오에서 개인화된 프라이버시 보호와 데이터 효용을 효과적으로 균형 있게 달성함을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.