arXiv:2410.10833

Online Client Scheduling and Resource Allocation for Efficient Federated Edge Learning

Zhidong Gao, Zhenxiao Zhang, Yu Zhang, Tongnian Wang, Yanmin Gong, Yuanxiong Guo

제출 2024-09-29

원문 초록

Federated learning (FL) enables edge devices to collaboratively train a machine learning model without sharing their raw data. Due to its privacy-protecting benefits, FL has been deployed in many real-world applications. However, deploying FL over mobile edge networks with constrained resources such as power, bandwidth, and computation suffers from high training latency and low model accuracy, particularly under data and system heterogeneity. In this paper, we investigate the optimal client scheduling and resource allocation for FL over mobile edge networks under resource constraints and uncertainty to minimize the training latency while maintaining the model accuracy. Specifically, we first analyze the impact of client sampling on model convergence in FL and formulate a stochastic optimization problem that captures the trade-off between the running time and model performance under heterogeneous and uncertain system resources. To solve the formulated problem, we further develop an online control scheme based on Lyapunov-based optimization for client sampling and resource allocation without requiring the knowledge of future dynamics in the FL system. Extensive experimental results demonstrate that the proposed scheme can improve both the training latency and resource efficiency compared with the existing schemes.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09745v2cs.AI공통 태그 Stochastic Optimization, Scheduling

SupplyNetPy: 임의 공급망 및 재고 네트워크의 고충실도 모델링과 시뮬레이션을 위한 오픈소스 Python 라이브러리

SupplyNetPy: An Open-Source Python Library for High-Fidelity Modeling and Simulation of Arbitrary Supply Chain and Inventory Networks

본 논문은 임의의 다단계 구조를 갖는 공급망 네트워크의 모델링 및 이산 사건 시뮬레이션을 위한 오픈소스 Python 라이브러리인 SupplyNetPy를 소개한다. 이 라이브러리는 다양한 보충 정책, 부패 가능 재고, 노드(node) 장애, 확률적 수요 및 리드 타임을 지원한다. 모든 컴포넌트는 상속을 통해 확장 가능하다. 사용자는 노드와 링크 속성을 가진 그래프로 공급망을 기술하며, 라이브러리는 시뮬레이션을 처리하고 로그 및 노드·네트워크 수준의 상세 성능 보고서를 제공한다. 본 논문은 SupplyNetPy의 개발 동기, 설계, 주요 기능, 아키텍처와 함께 상세한 검증(validation) 결과(분석적 벤치마크, 상용 도구, 발표된 사례 연구와의 비교)를 제시한다. SupplyNetPy 개발의 핵심 동기는 복잡한 모델의 프로그래밍 방식 생성 및 시뮬레이션으로, 설계 공간 탐험(exploration), 가상 시나리오 분석, 학습(training) 데이터 생성, 공급망 디지털 트윈을 가능하게 하는 데 있다.

arXiv:2610.02355v1cs.LG공통 태그 Stochastic Optimization, Scheduling

적응적 배치가 LLM 사전학습에 도움이 되는 이유는 무엇인가? 비유계 분산의 관점에서

Why Does Adaptive Batching Help LLM Pretraining? A Perspective from Unbounded Variance

학습 중 배치 크기를 늘리는 것은 대규모 언어 모델(LLM) 사전학습에서 흔히 사용되는 방법이지만, 그 성공 이면의 이론적 근거는 잘 이해되지 않고 있다. 확률적 최적화에 대한 분석은 흔히 균일하게 유계인 확률적 그래디언트 분산을 가정하지만, 최근의 증거들은 이 가정이 많은 실제 비convex 문제에서 성립하지 않음을 보여준다. Blum-Gladyshev(BG-0) 노이즈 모델은 분산이 초기화 지점으로부터의 거리에 따라 2차적으로 증가할 수 있도록 허용함으로써 이 가정을 완화하며, 이는 배치 크기 스케줄러가 학습 중 분산 증가를 제어함으로써 도움을 줄 수 있음을 시사한다. 그러나 이러한 증가는 실제로는 지나치게 보수적일 수 있다. 우리는 LLM 사전학습에서의 분산 증가를 실증적으로 조사하였으며, 조정 가능한 증가 지수를 갖는 일반화된 BG 모델이 실제 노이즈 거동을 더 정밀하게 설명한다는 것을 관찰하였다. 이러한 관찰에 기반하여, 우리는 유계 분산($a=0$)과 BG-0 노이즈($a=2$) 사이를 보간하는 일반화된 BG-$a$ 노이즈 모델을 도입한다. $L$-smoothness 하에서, 우리는 증가 지수에 의존하는 오라클 복잡도 $Ω(ε^{-(4+a)})$를 갖는 정보 이론적 하한을 도출하고, 반복(iterate)이 초기화 지점으로부터 멀어질 때 배치 크기를 증가시킴으로써 $ε$ 의존성 측면에서 이에 상응하는 상한을 확립한다. 마지막으로, 우리는 학습 중 동적인 배치 크기 조정을 통해 분산 증가를 제어하는 적응적 배치 스케줄러를 제안한다. C4 데이터셋에서 최대 10억 개 파라미터 규모의 OLMo2 모델을 사전학습하는 실험에서, 우리의 스케줄러는 동일한 토큰 예산 하에서 작은 배치 학습과 큰 배치 학습 모두보다 더 낮은 검증 손실을 달성하면서도, 작은 배치 학습 반복 횟수의 10% 미만만을 사용한다.

arXiv:2610.00234v1cs.AI공통 태그 Stochastic Optimization, Scheduling

상충하는 감독은 역량이 아닌 전념을 이동시킨다: 관례 무관 점수 하에서는 정확히 0이 되는 12.29σ의 배치 효과

Conflicting Supervision Moves Commitment, Not Capability: A 12.29σ arrangement effect that is exactly zero under a convention-agnostic score

둘 다 맞지만 서로 양립할 수 없는 두 가지 관례로 작성된 동일한 문제들로 모델을 학습(training)시키고, 이러한 데이터의 순서가 파라미터에 무엇을 새겨 넣는지 질문해 본다. 학습률 스케줄(learning-rate schedule)은 그 질문에 대한 배경 조건에 불과한 것이 아니다. 그것은 평균화 연산자(averaging operator)이며, 그 해답을 결정한다. 우리는 순서 효과에 배치와 스케줄이 서로 곱해지는 분리된 인수로 들어가는 경계를 증명한다. 배치는 오직 블록 주기(block period)로서만, 스케줄은 종점이 실행 과정의 특정 시점에 얼마나 많은 가중치를 둘 수 있는지로서만 관여한다. 감쇠하는 스케줄(decaying schedule)은 동일한 시점에 큰 보폭(step size)과 수축되지 않은 잔차를 동시에 둘 수 없지만, 상수 스케줄은 마지막 스텝에서 정확히 그렇게 한다. 감쇠가 순서 효과를 완화한다는 점은 사전학습(pre-training)에서 보고된 바 있으나, 그 메커니즘과 분리, 그리고 두 부분에 대한 통제된 측정은 본 연구의 성과이다. 하나의 말뭉치, 하나의 예산으로 경로 외의 모든 것을 고정한 채 10가지 순서로 lr_scheduler_type만 다르고 다른 것은 동일한 군(family) 하에서 두 번 실행하였다. 상수 학습률에서는 내부가 할당에서 0.2221, 11.63의 대비 하한을 차지하며 배치가 얼마나 블록화되어 있는지에 따라 단조성을 띤다. 기발표된 모든 실험군(arm)이 사용하는 단일 코사인 하에서는, 동일한 10개의 실험군이 자체 해상도로는 약 10개를 허용함에도 식별 가능한 2개의 상태를 차지한다. '순서가 중요하다'와 '순서가 중요하지 않다'는 하나의 조절 노브의 양쪽 끝에 해당한다. 경로가 새겨 넣는 것은 모델이 어느 관례에 전념(commit)하는지이며, 어떤 완전 일치(exact-match) 벤치마크도 이를 감지할 수 없다. 12개의 실험군 전반에서 acc_A+acc_B는 9.7% 이내로 일정한 반면 할당 비율은 0.04에서 0.87까지 변동하므로, 본 논문에서 측정하는 12.29-시그마 배치 전환은 관례 무관(convention-agnostic) 지표 하에서는 정확히 0이다. 이러한 보존 법칙은 감쇠군 전체에서 인용된 것으로, 상수 학습률군은 이를 확인하기에 더 노이즈가 많은 환경이다. 프롬프트에 관례를 명시하면 이러한 전환이 붕괴되어 합집합 상한(union ceiling)의 87.5%에 도달한다.

arXiv:2610.01304v1cs.NI공통 태그 Scheduling, Federated Learning

모바일 네트워크 기반 LLM 연합학습: RAN 트랜스포트에서의 문제점과 해결 방안

Federated Learning for LLMs over Mobile Networks: Issues and Solutions in the RAN Transport

연합 LLM 미세조정(fine-tuning)은 네트워크 엣지에서 비공개 및 지리적으로 분산된 데이터를 활용해 대규모 모델을 적응시킬 수 있도록 지원하지만, 액세스 및 트랜스포트 네트워크 전반에 걸쳐 주기적이고 마감 기한에 민감한 통신 워크로드를 유발합니다. 이러한 과제는 무선 가변성, 이동성, 기기 이종성으로 인해 모델 업데이트가 비동기적으로 도착하는 모바일 RAN(무선 접속망)에서 특히 두드러집니다. 이 업데이트들은 동일한 학습 라운드에 속하며 공통의 목적지와 마감 기한을 공유함에도 불구하고, 기존 트랜스포트 네트워크는 이를 개별 기기에서 생성된 독립적인 흐름으로 취급하여 기저의 구조를 가리고 트랜스포트 자원을 효율적으로 프로비저닝하는 능력을 제한합니다. 이러한 불일치는 예측 가능하고 스케줄링 가능한 트래픽 수요에 유리한 광 회선 교환(optical circuit switching) 및 전광(all-photonics) 트랜스포트에서 특히 문제가 됩니다. 본 논문에서는 미래의 RAN이 분산 모델 적응의 통신 구조를 트랜스포트 층(layer)에 노출함으로써 학습 인지형 트래픽 셰이퍼(traffic shaper) 역할을 수행해야 한다고 주장합니다. gNB에서의 인네트워크 집약(in-network aggregation)을 통해, 비동기적인 UE 업데이트는 제한된 크기와 전달 요구사항을 갖는 더 적은 수의 집약 전송으로 변환될 수 있습니다. 이러한 방식으로 정형화되면 연합 LLM 트래픽은 선택적으로 프로비저닝되는 광학 연결에 적합한 후보가 되며, 집약 전송 윈도우 동안 대용량 경로를 설정하고 학습 라운드 사이에는 이를 해제할 수 있습니다. 결과적인 아키텍처는 패킷 기반 모바일 액세스의 유연성과 동적으로 프로비저닝되는 광 용량을 결합하여, 프로그래머블 액세스 및 트랜스포트 네트워크 전반에서 분산 AI 워크로드를 조정하기 위한 보다 폭넓은 접근 방식을 보여줍니다.

arXiv:2609.27199v1cs.LG공통 태그 Stochastic Optimization, Federated Learning

ZO-COSMO: 분산 제로차 최적화를 위한 인덱스 없는 원홉(one-hop) 혼합

ZO-COSMO: Index-Free One-Hop Mixing for Decentralized Zeroth-Order Optimization

분산 제로차 학습에서 희소 통신은 호환 가능한 피어 상태 좌표(peer-state coordinates)를 요구한다. 우리는 이 원홉(one-hop) 조건을 특성화하고, 활성 링크당 $q$개 값을 사용하는 평균 보존 마스크 합의(average-preserving masked consensus)와 이중 쿼리 추정(two-query estimation)을 결합한 \textsf{ZO-COSMO}를 제안한다. 전역 지원(global supports)은 전 이웃 혼합(all-neighbor mixing)에 사용되며, 매칭 업데이트(matching updates)는 각 쌍 내에서만 합의를 요구한다. 매칭 클래스 내에서 날카로운 스칼라당 수축(contraction-per-scalar) 상계를 유도하고, 핵심 및 희소-모멘텀(sparse-momentum) 업데이트에 대한 수렴 보장을 제공한다. 고정된 매칭에서 정확한 모멘트 항등식(moment identities)은 공유 방향이 그래디언트 이질성(gradient-heterogeneity) 상쇄를 어떻게 보존하고 추정 오차와 불일치(disagreement)를 재분배하는지를 특성화한다. 메커니즘 실험은 불균등 곡률, 노이즈, 희소 모멘텀을 다룬다. 추가 실험은 $64$개의 합성 에이전트와 8개의 논리적 Qwen LoRA 워커를 포함한다. 동일한 페이로드 예산에서 Qwen2-7B QNLI는 explicit-index Rand-$k$ 대비 $3.65$ 정확도 포인트를 얻으며, 8-워커 완전 그래프와 링 그래프에서 edge-local 업데이트는 전 이웃 혼합 대비 각각 $3.42$ 및 $2.53$ 포인트를 얻는다. 매칭-first-step 소거(ablation)는 $3.92$ 포인트의 모멘텀 이득을 보여준다. 시드 인식(seed-aware) 및 동일-매칭(same-matching) 대조는 인코딩, 스케줄링, 쿼리 상관(query correlation)을 구분한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.