arXiv:2503.12137

A State Alignment-Centric Approach to Federated System Identification: The FedAlign Framework

Ertuğrul Keçeci, Müjde Güzelkaya, Tufan Kumbasar

제출 2025-03-15

원문 초록

This paper presents FedAlign, a Federated Learning (FL) framework particularly designed for System Identification (SYSID) tasks by aligning state representations. Local workers can learn State-Space Models (SSMs) with equivalent representations but different dynamics. We demonstrate that directly aggregating these local SSMs via FedAvg results in a global model with altered system dynamics. FedAlign overcomes this problem by employing similarity transformation matrices to align state representations of local SSMs, thereby establishing a common parameter basin that retains the dynamics of local SSMs. FedAlign computes similarity transformation matrices via two distinct approaches: FedAlign-A and FedAlign-O. In FedAlign-A, we represent the global SSM in controllable canonical form (CCF). We apply control theory to analytically derive similarity transformation matrices that convert each local SSM into this form. Yet, establishing global SSM in CCF brings additional alignment challenges in multi input - multi output SYSID as CCF representation is not unique, unlike in single input - single output SYSID. In FedAlign-O, we address these alignment challenges by reformulating the local parameter basin alignment problem as an optimization task. We determine the parameter basin of a local worker as the common parameter basin and solve least square problems to obtain similarity transformation matrices needed to align the remaining local SSMs. Through the experiments conducted on synthetic and real-world datasets, we show that FedAlign outperforms FedAvg, converges faster, and provides improved stability of the global SSM thanks to the efficient alignment of local parameter basins.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02659v2cs.LG공통 태그 State Space Models, Federated Learning

선택적 상태 공간 모델을 활용한 분산 학습: 아키텍처 인지 수렴 분석

Distributed Learning with Selective State Space Models: Architecture-Aware Convergence Analysis

Mamba2와 같은 최신 상태 공간 모델(SSM)은 선형 시간 시퀀스 모델링과 순환 상태 공간 역학을 결합하여 트랜스포머의 강력한 대안을 제시합니다. 그러나 분산 학습 환경에서 SSM의 동작은 여전히 잘 이해되지 않고 있습니다. 특히 기존의 표준 연합학습(federated learning) 방식들은 대부분 아키텍처에 구애받지 않으며(architecture-agnostic), 최신 선택적 SSM의 특징인 안정성, 선택성 및 상태 공간 파라미터화를 고려하지 않습니다. 이를 해결하기 위해 본 논문에서는 단일 층 및 다중 층 선택적 SSM에 대한 아키텍처 인지 그래디언트 및 평활도(smoothness) 경계를 도출하고, FedAvg와 FedProx에 대한 수렴 경계를 도출하여 순환 안정성, 입력 의존적 이산화, 상태 투영 노름(norm)이 연합 최적화에 미치는 영향을 규명합니다. 이어서 분석된 순환을 따르는 학습자(learner)를 활용해 교사 SSM이 생성한 시퀀스 상에서 단일 층 경계를 수치적으로 검증합니다. 이러한 분석을 바탕으로 로컬 학습과 클라이언트 이질성의 영향에 대한 가설을 수립하고, 6개 텍스트 도메인에 걸친 Mamba2 언어 모델링에서 9개의 연합학습 알고리즘을 비교하여 이를 검증합니다. 본 실험들은 SSM 맞춤형 경계가 실제 연합학습 알고리즘의 동작을 해석하는 기초를 어떻게 제공할 수 있는지를 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.