PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.05476v2cs.LG

모집단 확장인가 데이터 희석인가? 탈중앙화 학습에서 국소 토폴로지 진화의 역학

Population Scaling or Data Dilution? Dynamics of Local Topology Evolution in Decentralized Learning

탈중앙화 학습(decentralized learning)의 확장은 클라이언트 수 $N$뿐만 아니라 정보 전파 및 합의 역학도 변화시킵니다. 본 논문에서는 데이터 할당, 토폴로지 의존적 혼합(mixing), 통신 용량이 동시에 변할 수 있으므로 $N$의 증가 효과를 단독으로 이해할 수 없다고 주장합니다. 저자들은 $N\in\{10,50,100,200\}$인 CIFAR-10 환경에서 차수(degree)가 2인 Ring, Static Random 그래프, 그리고 친구의 친구(friend-of-friend) 탐색에 기반한 국소 적응형 토폴로지 과정인 LFHE(Local-First Heuristic Evolution)를 비교하며 이러한 결합된 효과를 연구합니다. Ring은 분석적으로 명확한 실패 모드를 제공합니다. Metropolis 스펙트럼 갭이 $Θ(N^{-2})$로 감소하여, 모집단이 증가함에 따라 모델 불일치의 축소가 점진적으로 느려짐을 의미합니다. 실험 결과, 명목상의 국소 데이터셋 크기를 고정하면 고정된 전체 데이터셋을 더 많은 클라이언트에 분할할 때 관찰되는 외견상의 모집단 불이익이 실질적으로 감소하는 것으로 나타났습니다. 나머지 성능 저하는 통신 구조에 크게 의존합니다. Ring은 높은 불일치 상태에 진입하는 반면, Static Random과 LFHE는 합의 상태에 가깝게 유지됩니다. LFHE의 차수 임계값을 높이면 정확도와 합의가 더욱 향상되지만, 모델 전송 비용이 상당히 증가합니다. 이러한 결과는 탈중앙화 확장이 클라이언트 수 단독이 아닌, 결합된 학습 및 통신 역학에 의해 지배된다는 점을 보여줍니다.

arXiv:2601.20571v3cs.LG

강건하고 비평활 볼록 탈중앙화 학습을 위한 빠르고 효율적인 비동기 고십 알고리즘

Fast and Efficient Asynchronous Gossip Algorithm for Robust and Non-Smooth Convex Decentralized Learning

탈중앙화 비평활 볼록 최적화(non-smooth convex optimization)를 위한 비동기 원쌍대(primal-dual) 방법은 각 노드(node)가 차수(degree)를 $d$라 할 때 $\mathcal{O}(d)$개의 보조 변수를 유지해야 하는 경우가 많습니다. 이러한 차수 의존성은 메모리 요구량을 증가시키며, 특히 밀집 네트워크에서 오래된 정보(stale information)의 영향을 증폭시킬 수 있습니다. 탈중앙화 학습에서 절약형 메모리 관리라는 과제에 착안하여, 본 논문에서는 노드의 차수와 무관하게 노드당 두 개의 변수만 유지하는 비동기 고십(gossip) 기반 원쌍대 알고리즘인 Goal-PD를 제안합니다. Goal-PD가 기저 최적화 문제의 최소화해로 거의 확실히 수렴(almost-sure convergence)함을 규명하고, 목적 함수가 조각별 선형-이차(piecewise linear-quadratic) 형태일 때 선형 수렴함을 증명합니다. 탈중앙화 평균 추정의 경우 쌍별 평균화(pairwise averaging)가 Goal-PD의 특수한 경우임을 보여줌으로써, 제안된 원쌍대 프레임워크와 고전적 고십 알고리즘 간의 직접적인 연결고리를 확립합니다. 중앙값 추정을 비롯한 비평활 목적 함수와 다양한 네트워크 토폴로지에서 합성 및 실제 데이터셋을 대상으로 수행한 실험을 통해, Goal-PD가 설계상 현저히 적은 메모리를 요구하면서도 기존 비동기 베이스라인보다 더 빠르게 수렴함을 보입니다.

arXiv:2607.21876v1cs.LG

정적 및 시변 네트워크에서의 분산 감소 Q-학습

Variance-Reduced Q-Learning over Static and Time-Varying Networks

동일한 마르코프 결정 과정(MDP)과 상호작용하는 여러 에이전트가 포함된 분산형 강화학습 문제를 조사한다. 에이전트는 네트워크를 통해 정보를 교환하여 최적 상태-행동 가치 함수를 공동으로 학습할 수 있다. 이 설정을 위해, 각 에포크 내에서 에이전트가 벨만 최적성 연산자를 국소적으로 추정하고 합의 기반 프로토콜을 사용하여 정보를 확산하는 VRDQ라는 새로운 에포크 기반 분산 $Q$-학습 알고리즘을 제안한다. 정적 및 시변 네트워크 모두에 대해, 협력으로부터 선형 속도 향상(linear speedups)을 누리는 VRDQ의 고확률 유한 시간 수렴률을 확립한다. 중요하게도, 표본 복잡도(sample-complexity)에서의 이러한 속도 향상이 $\tilde{O}(1)$의 통신만을 필요로 함을 증명하며, 이는 기존 연구의 통신 비용을 크게 개선한다.

arXiv:2607.08651v1cs.LG

Secure Decentralized Federated Learning via Gossip and Virtual Voting

P2P 가십 통신 이력 자체에서 합의를 도출하는 분산 연합학습(DFL) 프레임워크 gspDAG-FL을 제안하며, 노드 간 모델 페이로드는 이웃에게만 전달하되 풀 노드가 Hashgraph 방식의 가상 투표로 고유 모델-출처 튜플의 최종성을 확정한다. MNIST 분류와 Penn Treebank 언어 모델링 실험에서 비잔틴·지연 참여자가 혼재하는 환경에도 검증 기반 원장 FL에 근접한 학습 품질을 유지하면서 조율 병목을 줄이고 처리량을 향상시킴을 보인다.

arXiv:2410.11378v3cs.LG

신뢰 불필요 개인화 탈중앙화 학습

Trust-free Personalized Decentralized Learning

신뢰 없는 환경에서의 개인화 연합학습을 위해 블록체인 기반 게시판과 LSH·피어 랭킹을 결합한 TPFed 프레임워크를 제안하며, 공개 참조 데이터셋을 활용한 '올인원' 지식 증류 프로토콜로 지식 전달·모델 품질 평가·유사도 검증을 단일 교환으로 동시 처리한다. 광범위한 실험에서 TPFed는 기존 연합학습 기준선 대비 학습 정확도와 적대적 공격에 대한 견고성 모두에서 우수한 성능을 보였다.

arXiv:2607.04777v1cs.LG

분산 로컬 그래프를 위한 개인화된 차등 프라이버시 학습을 향하여

Towards Personalized Differentially Private Learning for Decentralized Local Graphs

분산 환경의 로컬 그래프 데이터에서 사용자마다 다른 프라이버시 요구 사항을 무시하던 기존 LDP 기반 그래프 학습의 한계를 극복하기 위해, 개인화된 교란 메커니즘(PPM)과 가중치 보정 알고리즘 FlexProp으로 구성된 PPGNN 프레임워크를 제안한다. 6개의 실제 그래프 데이터셋과 GCN, GraphSAGE, GAT 등 세 가지 GNN 아키텍처 실험에서 PPGNN은 기존 기법 대비 우수한 성능을 보이며 비프라이버시 상한에 근접한 효용을 달성했다.

arXiv:2607.03171v1cs.LG

시간적 네트워크 상의 분산 연합학습: 이질성의 역할

Decentralised Federated Learning over Temporal Networks: The Role of Heterogeneities

분산 연합학습(decentralised federated learning) 과정이 초기 및 정상 상태 모두에서 시간적 네트워크 위의 lazy random-walk 확산 과정과 동일한 역학으로 지배됨을 이론적으로 규명하고, 실제 시간적 네트워크 분석을 통해 구조적·시간적 불균일성이 수렴을 극적으로 지연시키며 기존 실험 환경이 수렴 속도를 비현실적으로 과대 평가한다는 점을 입증한다.

arXiv:2607.02187v1cs.LG

Privacy-Preserving and Verifiable Approximate Distributed Coded Computing

연합학습(FL)과 분산학습(DL) 환경에서 프라이버시 침해와 악의적 조작을 동시에 방어하기 어렵다는 문제를 해결하기 위해, 모델에 무관한 프라이버시 강화 코딩 기법인 GPBACC를 연합학습의 강건 집계(robust aggregation) 전략 및 분산학습의 근사 decode-and-compare·그룹 테스팅(group testing) 기법과 결합한 통합 프레임워크를 제안한다. 실제 공격 기반 실험을 통해 제안 프레임워크가 프라이버시 유출을 크게 줄이고 능동적 적대자에 대한 복원력을 향상시킴을 실증적으로 검증하였다.

arXiv:2606.28342v1cs.NI

Operating Regimes of Decentralized Learning Under Mobility and Bandwidth Constraints

Decentralized learning is a promising paradigm for collaborative training in mobile and pervasive systems, as it avoids a central coordinator and does not require sharing raw data. Yet, most analyses rely on idealized communication assumptions that break down in wireless settings, where connectivity is intermittent, topology changes due to mobility, and bandwidth is limited. We study decentralized averaging under client asynchrony, time-varying contact graphs, and technology-dependent throughput constraints. We implement a fully decentralized protocol that overlaps synchronization with local training and supports partial tensor-level transfers when contacts end early. Using Random Waypoint mobility and multiple wireless technologies (Bluetooth LE, LTE, and Wi-Fi), we quantify how network dynamics and link capacity impact convergence. We identify three operating regimes: (i) inter-contact time largely dictates convergence via mixing, (ii) partial updates are often well tolerated when contacts are frequent, and (iii) very dense contact patterns can trigger contention, reducing effective throughput. These findings provide a practical lens to reason about decentralized learning deployments over realistic wireless systems, highlighting when improving connectivity, increasing bandwidth, or mitigating contention is most impactful.

arXiv:2409.17754v2cs.LG공식 코드 · Papers with Code

탈중앙화 연합학습 보안을 위한 비잔틴-강건 집계

Byzantine-Robust Aggregation for Securing Decentralized Federated Learning

탈중앙화 연합학습(DFL)에서 중앙 서버 전제의 비잔틴-강건 집계 기법이 보안에 취약한 문제를 해결하기 위해, 다중 필터로 비잔틴 공격을 식별·완화하고 동적 탈중앙 토폴로지의 강건성을 높이는 WFAgg 집계 알고리즘을 제안한다. IID 이미지 분류 실험에서 다양한 비잔틴 공격 하에서도 모델 정확도와 수렴을 유지하며 Multi-Krum·Clustering 등 중앙화 기반 최신 기법을 능가했다.

arXiv:2410.05985v4cs.LG

LAYUP: LAYer-wise UPdates를 활용한 비동기 분산 경사하강법

LAYUP: Asynchronous decentralized gradient descent with LAYer-wise UPdates

LayUp은 역전파 중 점진적 층별 업데이트를 비동기적으로 교환하고 무작위 gossip 통신으로 버퍼 없이 갱신을 적용하는 비동기 분산 SGD 방법으로, 매개변수 drift를 줄여 지연 작업자(straggler)에 강건하다. 비전·언어 모델링 실험에서 동기식 데이터 병렬 학습 대비 실 경과 시간 기준 수렴이 최대 약 32% 빠르고, 유사한 통신 효율 알고리즘 대비 최대 약 27% 빠르며 정확도를 유지한다.

arXiv:2508.05663v5stat.ML

랜덤 워크 학습과 Pac-Man 공격

Random Walk Learning and the Pac-Man Attack

탈중앙화 학습의 랜덤 워크(RW)는 악의적 노드가 방문 RW를 확률적으로 종료해 학습을 은밀히 중단시키는 Pac-Man 공격에 취약하다. 이에 RW 복제로 소멸을 막는 완전 탈중앙화 Average Crossing(AC) 알고리즘을 제안하고, RW 개체군 유계성과 RW-SGD 수렴을 이론적으로 보이며 복제 임계값에 따른 소멸 확률의 상전이를 실험으로 확인한다.