arXiv:2505.05099

Balancing Client Participation in Federated Learning Using AoI

Alireza Javani, Zhiying Wang

제출 2025-05-08

원문 초록

Federated Learning (FL) offers a decentralized framework that preserves data privacy while enabling collaborative model training across distributed clients. However, FL faces significant challenges due to limited communication resources, statistical heterogeneity, and the need for balanced client participation. This paper proposes an Age of Information (AoI)-based client selection policy that addresses these challenges by minimizing load imbalance through controlled selection intervals. Our method employs a decentralized Markov scheduling policy, allowing clients to independently manage participation based on age-dependent selection probabilities, which balances client updates across training rounds with minimal central oversight. We provide a convergence proof for our method, demonstrating that it ensures stable and efficient model convergence. Specifically, we derive optimal parameters for the Markov selection model to achieve balanced and consistent client participation, highlighting the benefits of AoI in enhancing convergence stability. Through extensive simulations, we demonstrate that our AoI-based method, particularly the optimal Markov variant, improves convergence over the FedAvg selection approach across both IID and non-IID data settings by $7.5\%$ and up to $20\%$. Our findings underscore the effectiveness of AoI-based scheduling for scalable, fair, and efficient FL systems across diverse learning environments.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01304v1cs.NI공통 태그 Scheduling, Federated Learning

모바일 네트워크 기반 LLM 연합학습: RAN 트랜스포트에서의 문제점과 해결 방안

Federated Learning for LLMs over Mobile Networks: Issues and Solutions in the RAN Transport

연합 LLM 미세조정(fine-tuning)은 네트워크 엣지에서 비공개 및 지리적으로 분산된 데이터를 활용해 대규모 모델을 적응시킬 수 있도록 지원하지만, 액세스 및 트랜스포트 네트워크 전반에 걸쳐 주기적이고 마감 기한에 민감한 통신 워크로드를 유발합니다. 이러한 과제는 무선 가변성, 이동성, 기기 이종성으로 인해 모델 업데이트가 비동기적으로 도착하는 모바일 RAN(무선 접속망)에서 특히 두드러집니다. 이 업데이트들은 동일한 학습 라운드에 속하며 공통의 목적지와 마감 기한을 공유함에도 불구하고, 기존 트랜스포트 네트워크는 이를 개별 기기에서 생성된 독립적인 흐름으로 취급하여 기저의 구조를 가리고 트랜스포트 자원을 효율적으로 프로비저닝하는 능력을 제한합니다. 이러한 불일치는 예측 가능하고 스케줄링 가능한 트래픽 수요에 유리한 광 회선 교환(optical circuit switching) 및 전광(all-photonics) 트랜스포트에서 특히 문제가 됩니다. 본 논문에서는 미래의 RAN이 분산 모델 적응의 통신 구조를 트랜스포트 층(layer)에 노출함으로써 학습 인지형 트래픽 셰이퍼(traffic shaper) 역할을 수행해야 한다고 주장합니다. gNB에서의 인네트워크 집약(in-network aggregation)을 통해, 비동기적인 UE 업데이트는 제한된 크기와 전달 요구사항을 갖는 더 적은 수의 집약 전송으로 변환될 수 있습니다. 이러한 방식으로 정형화되면 연합 LLM 트래픽은 선택적으로 프로비저닝되는 광학 연결에 적합한 후보가 되며, 집약 전송 윈도우 동안 대용량 경로를 설정하고 학습 라운드 사이에는 이를 해제할 수 있습니다. 결과적인 아키텍처는 패킷 기반 모바일 액세스의 유연성과 동적으로 프로비저닝되는 광 용량을 결합하여, 프로그래머블 액세스 및 트랜스포트 네트워크 전반에서 분산 AI 워크로드를 조정하기 위한 보다 폭넓은 접근 방식을 보여줍니다.

arXiv:2607.13119v1cs.IT공통 태그 Scheduling, Federated Learning

무선 연합 학습에서 다운링크 모델 브로드캐스트를 위한 혼합 시간 척도 차분 코딩

Mixed-Timescale Differential Coding for Downlink Model Broadcast in Wireless Federated Learning

표준 연합 학습(federated learning) 시스템에서는 매개변수 서버(parameter server)가 매 반복(iteration)마다 참여 장치에 글로벌 모델을 브로드캐스트한다. 연속된 글로벌 모델 간의 시간적 상관관계에 기인하여, 글로벌 모델 전파에 차분 코딩(differential coding)을 적용하면 정보량을 줄일 수 있으며, 이를 통해 더 적은 양자화(quantization) 비트로 통신할 수 있다. 그러나 무선 링크 장애로 인해 장치가 간헐적으로 차분 업데이트를 놓치게 되면 글로벌 모델을 복원하지 못할 수 있다. 그 결과 장치는 구식 모델을 기반으로 로컬 학습(training)을 계속하거나, 다음 전체 모델 브로드캐스트가 가능해질 때까지 유휴 상태로 남게 된다. 이 문제를 해결하기 위해, 참조 모델을 조정하여 두 가지 수준에서 차분 코딩을 수행하는 혼합 시간 척도 차분 코딩(MTDC) 방안을 제안한다. MTDC를 사용하면 장치가 차분 업데이트를 놓치더라도 두 번의 전체 모델 브로드캐스트 사이에서 최신 글로벌 모델을 복원할 수 있다. 또한 MTDC의 연령 인식(age-aware) 변형 설계를 뒷받침하는 수렴(convergence) 분석과, 통신 효율을 더욱 개선하기 위한 장치 스케줄링 정책을 제시한다. 시뮬레이션 결과, 제안한 MTDC 방안은 다운링크 전송 실패가 존재하는 환경에서 유사한 통신 자원 예산 하에서 기준선(baseline) 방법들보다 우수한 학습 성능을 달성함을 보여준다.

arXiv:2607.04218v1cs.LG공통 태그 Scheduling, Federated Learning

이기종 네트워크에서의 무선 전송 연합학습을 위한 채널 적응형 강건 집계

Channel-Adaptive Robust Aggregation for Over-the-Air Federated Learning in Heterogeneous Networks

IoT, 증강 현실, 자율 시스템 등 프라이버시 보호 및 데이터 집약적 애플리케이션에 대한 수요 증가로 인해 연합학습(FL)은 6G 네트워크의 핵심 기반 기술로 자리매김하고 있다. 무선 전송 연합학습(OTA-FL)은 무선 다중 접속 채널의 중첩(superposition) 특성을 활용하여 동시 전송을 통한 효율적인 집계를 구현한다. 기존 방법들은 고정된 집계 스케줄에 의존하며 노이즈, 페이딩(fading), 클라이언트 이질성을 동시에 처리하지 못한다. 우리는 채널 동태성과 애플리케이션 준비 상태에 기반하여 집계를 적응적으로 스케줄링하는 프레임워크인 CHARGE-FL(CHannel-Adaptive Robust agGrEgation)을 제안한다. 맞춤형 최적화 전략과 이중 목적 프리코딩(precoding) 메커니즘을 결합함으로써, CHARGE-FL은 부분 업데이트로 인한 채널 왜곡과 바이어스를 완화하고, 실제 무선 환경에서 뛰어난 정확도, 안정성, 수렴을 달성한다. 실제 무선 환경에서의 실험 결과, CHARGE-FL은 특히 스트래글러(straggler)가 발생하기 쉽고 노이즈가 많은 시나리오에서 최신 OTA-FL 방법들 대비 정확도, 안정성, 수렴을 크게 향상시킴을 보인다.

arXiv:2607.02544v1cs.DC공통 태그 Scheduling, Federated Learning

모든 동기화가 안전한 것은 아니다: 공유 AI 인프라를 위한 보정된 DiLoCo 스케줄링

Not Every Sync Is Safe: Calibrated DiLoCo Scheduling for Shared AI Infrastructure

DiLoCo 방식의 학습은 학습자 아일랜드(learner island)들이 간헐적인 외부 동기화(outer synchronization) 이전에 로컬로 학습하도록 허용함으로써 통신량을 줄이며, 학습이 지연 민감 서빙과 하드웨어를 공유하는 분산된 산업용 AI 플리트(fleet)에 매력적인 방식이다. 이러한 플리트에서의 핵심 질문은 외부 병합(outer merge)이 시스템 비용을 감수할 가치가 있는 시점이 언제인지, 그리고 어떤 윈도우를 지연할지 선택하는 것이 실제로 중요한지에 관한 것이다. 기존 스케줄링 연구들은 워크로드 인식 정책을 고정 주기 기준선과 비교하여 평가하지만, 대부분 타이밍을 예산과 분리하는 제어 조건, 즉 컨트롤러의 동기화 예산은 그대로 따르되 그 자체로는 배포 불가능한 매칭된 무작위 지연(matched random deferral)을 생략한다. 이 생략은 중요한 결과를 초래한다: 제어된 스트레스 테스트와 실제 vLLM 사이드카(sidecar) 재현(replay) 전반에서 매칭된 무작위는 우리가 테스트한 모든 예측 기반 없는 정책과 동률이거나 이를 능가하므로, 더 약한 기준선 대비 보고된 성능 향상을 윈도우 선택에 귀인할 수 없다. 우리는 이 공백을 워크로드 인식 DiLoCo(WA-DiLoCo)로 채운다. WA-DiLoCo는 학습자의 진행 상황과 플리트 압력을 균형 있게 고려하는 점수 기반 컨트롤러와, 매칭된 무작위를 능가할 수 있는 조건을 파악한 뒤 실제로 이를 달성해 보이는 보정 프로토콜(calibration protocol)로 구성된다. 보정을 통해 요청 중복 구조가 드러나는 버스트(bursty) 레짐에서, 온라인 컨트롤러에 1단계 EWMA 버스트 예측을 추가하면 실제 vLLM 사이드카 재현에서 매칭된 무작위를 능가하여 SLO 위반율을 6.54%에서 5.09%로 줄인다(10개 시드 중 8개, $p=0.021$). 배포 불가능한 상한선인 오프라인 Calibrated-WA는 6.26% 대비 4.45%의 잔여 여유를 보여준다. 배포 가능한 교훈은 여전히 프로토콜에 있다: 서빙 SLO 개선을 주장하기 전에 실제 사이드카 효과 크기 이전(effect-size transfer), 비동기화 부하 매칭(no-sync load match), 그리고 매칭된 무작위 포락선(matched-random envelope)을 반드시 보고해야 한다.

arXiv:2607.02137v5cs.LG공통 태그 Scheduling

점수 기반 확산 샘플링을 위한 적응적 재매개변수화 시간

Adaptive Reparametrized Time for Score-Based Diffusion Sampling

본 논문은 학습된 역시간 동역학을 유한한 격자에서 이산화하는 점수 기반 확산 샘플링의 시간 간격 할당을 연구한다. 균일 스케줄과 수작업 스케줄이 표준으로 쓰이지만, 이들의 고정적이고 임의적인 규정은 최적이 아닐 수 있다. 본 논문은 샘플링 시계의 속도를 제어로 취급하여 시간 변환을 학습하는 연속시간 제어 정식화인 적응적 재매개변수화 시간(ART)을 제안한다. 학습된 시계에서의 균일 격자는 확산 시간에서 적응적인 시간 간격을 유도하며, 오일러 오차의 최저차 대리 지표가 할당 목적함수를 정의한다. 그 결과로 얻어지는 고차원 결정론적 제어 문제를 풀기 위해, 스케줄 학습을 연속시간 강화학습으로 전환하는 보조적 무작위 가우시안 정책 정식화인 ART-RL을 도입한다. 최적에서 ART-RL이 ART와 동등함을, 즉 최적 가우시안 정책의 평균이 ART를 푼다는 것을 증명한다. 또한 정책 평가와 정책 개선의 특성화를 확립하고, 구현 가능한 액터-크리틱 갱신을 이끄는 궤적 기반 모멘트 항등식을 유도한다. 통제된 저차원 설정부터 이미지 생성에 이르는 실험은, ART로 학습된 스케줄을 시간 격자만 바꾸어 기존 샘플러에 적용했을 때 동일한 예산에서 강력한 기준선보다 샘플 품질이 일관되게 향상됨을 보여준다. 학습된 스케줄은 또한 재학습 없이 샘플링 예산, 데이터셋, 솔버, 파이프라인, 표현 공간 전반으로 전이되는 폭넓은 일반화 능력을 보인다.

arXiv:2608.23986v4math.OC공통 태그 Scheduling

지능의 그림자 가격: LLM 추론에서의 품질 저하와 재시도 피드백

The Shadow Price of Intelligence: Quality Degradation and Retry Feedback in LLM Inference

대규모 언어 모델 제공자는 연산 자원이 제약되어 있으며, 혼잡에 대한 일반적인 대응은 서비스를 저하시키는 것이다. 즉, 질의를 더 작은 모델로 라우팅하거나, 추론 예산을 줄이거나, 컨텍스트 윈도를 단축한다. 만족스럽지 못한 답을 받은 사용자는 재시도하여 시스템이 바쁜 동안 부하를 늘리거나, 이탈하여 잠재적으로 고객 이탈로 이어진다. 우리는 추론 서비스를 서비스 품질이 제공자의 의사결정인 제어 문제로 모델링한다. 재시도를 서비스율에 포함한 2국면 유체 근사는 닫힌 형태의 궤적과 교차 시간을 제공하므로, 품질 등급에 대한 동적 계획법에 시뮬레이션이 필요하지 않다. 우리는 더 약한 등급이 작업당 에너지는 덜 쓰지만 작업당 용량은 더 쓰는 영역을 규명하고, 유체 모델에서 그러한 등급으로의 반응적 스로틀링이 큐가 해소되지 못하게 할 수 있음을 보인다. 이질적인 고객이 있는 경우 이 문제는 재시도로 부풀려진 용량 계수를 갖는 수송 문제가 되며, 최적 라우팅은 $c\mu$ 유형의 지수를 따르고, 용량 제약의 쌍대는 클래스와 시간별로 질의 하나를 더 처리하는 한계 비용을 제공한다. 우리는 공개 벤치마크 데이터로 보정한 다섯 가지 사례에서 이 방법을 예시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.