선택적 상태 공간 모델을 활용한 분산 학습: 아키텍처 인지 수렴 분석
Distributed Learning with Selective State Space Models: Architecture-Aware Convergence Analysis
한국어 초록
Mamba2와 같은 최신 상태 공간 모델(SSM)은 선형 시간 시퀀스 모델링과 순환 상태 공간 역학을 결합하여 트랜스포머의 강력한 대안을 제시합니다. 그러나 분산 학습 환경에서 SSM의 동작은 여전히 잘 이해되지 않고 있습니다. 특히 기존의 표준 연합학습(federated learning) 방식들은 대부분 아키텍처에 구애받지 않으며(architecture-agnostic), 최신 선택적 SSM의 특징인 안정성, 선택성 및 상태 공간 파라미터화를 고려하지 않습니다. 이를 해결하기 위해 본 논문에서는 단일 층 및 다중 층 선택적 SSM에 대한 아키텍처 인지 그래디언트 및 평활도(smoothness) 경계를 도출하고, FedAvg와 FedProx에 대한 수렴 경계를 도출하여 순환 안정성, 입력 의존적 이산화, 상태 투영 노름(norm)이 연합 최적화에 미치는 영향을 규명합니다. 이어서 분석된 순환을 따르는 학습자(learner)를 활용해 교사 SSM이 생성한 시퀀스 상에서 단일 층 경계를 수치적으로 검증합니다. 이러한 분석을 바탕으로 로컬 학습과 클라이언트 이질성의 영향에 대한 가설을 수립하고, 6개 텍스트 도메인에 걸친 Mamba2 언어 모델링에서 9개의 연합학습 알고리즘을 비교하여 이를 검증합니다. 본 실험들은 SSM 맞춤형 경계가 실제 연합학습 알고리즘의 동작을 해석하는 기초를 어떻게 제공할 수 있는지를 보여줍니다.
원문 초록
Modern state space models (SSMs), such as Mamba2, provide a compelling alternative to transformers by combining linear-time sequence modeling with recurrent state-space dynamics. However, the behavior of SSMs in distributed learning settings remains poorly understood. In particular, the existing standard federated learning methods are largely architecture-agnostic, and do not account for the stability, selectivity, and state-space parameterization that characterize modern selective SSMs. To address this, we derive architecture-aware gradient and smoothness bounds for single- and multi-layer selective SSMs, and convergence bounds for FedAvg and FedProx, characterizing how recurrent stability, input-dependent discretization, and state projection norms affect federated optimization. We then numerically validate the single-layer bounds on sequences generated by a teacher SSM, using a learner that follows the analyzed recurrence. We use this analysis to formulate expectations about the effects of local training and client heterogeneity, and examine these expectations by comparing nine federated learning algorithms on Mamba2 language modeling across six text domains. These experiments illustrate how SSM-specific bounds can provide a basis for interpreting the behavior of practical federated learning algorithms.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
평활성 상수에는 무엇이 담겨 있는가? 유계 2차 이종성 하 Local SGD의 더 정밀한 수렴률
What's in a Smoothness Constant? Tighter Rates for Local SGD with Bounded Second-order Heterogeneity
Local SGD(연합 평균화(Federated Averaging)로도 알려짐)는 널리 사용되는 분산 최적화(optimization) 알고리즘이다. Local SGD는 실무에서 미니배치 SGD와 같은 대안들보다 종종 더 나은 성능을 보이지만, 이론은 현실적인 데이터 이종성 하에서 로컬 업데이트가 언제·왜 도움이 되는지를 여전히 부분적으로만 설명한다. [Patel et al., 2025]의 최근 연구는 유계 2차 이종성 가정이 강볼록 목적함수에 대한 Local SGD의 효율을 포착한다는 것을 보여 주며, 동일한 원리가 일반 볼록 설정으로 확장된다고 추측한다. 본 논문에서는 유계 2차 이종성 하 일반 볼록 목적함수에 대한 Local SGD의 개선된 수렴 보장을 확립함으로써 이 추측을 증명한다. 또한 이 설정에서 Local SGD에 대한 알려진 최선의 하한을 개선하여, 우리의 상한이 거의 tight함을 보인다. 이러한 결과를 종합하면 Local SGD에 대한 더 날카롭고 세밀한 수렴 이론이 제공된다. 기법의 추가 적용으로, 치환을 사용한 순차 SGD에 대한 하한을 제시하여 2차 이종성이 드문 고곡률(high-curvature) 클라이언트의 영향을 어떻게 포착하는지 보여 준다.
Optimal Sensor Scheduling and Selection for Continuous-Discrete Kalman Filtering with Auxiliary Dynamics
FLsim: A Modular and Library-Agnostic Simulation Framework for Federated Learning
Precision Spatio-Temporal Feature Fusion for Robust Remote Sensing Change Detection
Domain Borders Are There to Be Crossed With Federated Few-Shot Adaptation
Bridging Robustness and Generalization Against Word Substitution Attacks in NLP via the Growth Bound Matrix Approach
토론
이 논문과 연결된 포럼 글이 아직 없습니다.