선형 이차 레귤레이터를 위한 스칼라 연합학습
Scalar Federated Learning for Linear Quadratic Regulator
본 논문에서는 협력 에이전트(agent)들의 선형 이차 레귤레이터(LQR) 제어에서 공통 정책을 모델 프리(model-free) 방식으로 학습하기 위한 통신 효율적인 연합 알고리즘인 ScalarFedLQR을 제안합니다. 이 방법은 분해된 사영 그래디언트(projected gradient) 메커니즘을 기반으로 구축되며, 각 에이전트는 로컬 0차 그래디언트(zeroth-order gradient) 추정치의 스칼라 사영만을 전송합니다. 서버는 이러한 스칼라 메시지를 집계하여 전역 하강 방향을 재구성함으로써, 에이전트당 업링크 통신량을 정책 차원과 무관하게 O(d)에서 O(1)로 줄입니다. 결정적으로, 사영으로 인해 발생하는 근사 오차는 참여하는 에이전트 수가 증가함에 따라 감소하여 유리한 스케일링(scaling) 법칙을 제공합니다. 즉, 더 큰 규모의 에이전트 집합일수록 더 정확한 그래디언트 복원이 가능해지고, 더 큰 스텝 크기를 허용하며, 고차원임에도 불구하고 더 빠른 선형 수렴(convergence)을 달성합니다. 동질적(homogeneous) 에이전트에 대한 표준 정칙성 조건 하에서 모든 반복 계산값(iterates)은 안정화 상태를 유지하고 평균 LQR 비용은 선형적으로 빠르게 감소합니다. 수치 결과는 이질적이지만 유사한 에이전트 환경에서도 통신량을 대폭 줄이면서 풀 그래디언트(full-gradient) 연합 LQR에 필적하는 성능을 보여줍니다.