PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01620v1cs.AI

FedLore: 공유 그래디언트 저랭크 프로젝션을 통한 통신 및 메모리 효율적인 연합학습

FedLore: Communication and Memory Efficient Federated Learning via Shared Gradient Low-Rank Projection

파운데이션 모델의 연합 학습(federated training)은 클라이언트 메모리와 통신 비용의 제약을 받습니다. LoRA 기반 방식들은 저랭크 어댑터(low-rank adapter)를 통해 이러한 비용을 줄이지만, 고정된 랭크 예산(rank budget)으로 인해 적응 능력이 제한될 수 있습니다. 그래디언트 저랭크 최적화는 더 높은 유연성을 제공하지만, 독립적으로 선택된 클라이언트 부분공간은 당사가 '부분공간 파편화(subspace fragmentation)'라 명명한 문제를 야기합니다. 즉, 로컬 프로젝션이 데이터 이질성과 상호작용하여 집계된 방향에 바이어스를 발생시키고, 집계 과정에서 업데이트 랭크와 통신 비용이 증가할 수 있습니다. 따라서 정확한 로컬 그래디언트 압축이 글로벌 강하 방향 보존으로 반드시 이어지지는 않습니다. 본 논문에서는 라운드 내에서 저랭크 최적화 기저를 공유하고 이를 라운드마다 갱신하는 FedLore를 제안합니다. 이 공유 기저는 저랭크 좌표계에서의 정확한 집계를 가능하게 하고 규명된 프로젝션 바이어스를 제거합니다. 또한 부분공간 갱신을 통해 누적 모델 업데이트가 라운드별 랭크 예산을 초과할 수 있도록 합니다. 본 연구는 집계 바이어스를 규명하고, 유계된 그래디언트 이질성 조건과 표준적인 평활도 및 분산 가정 하에 전역 그래디언트 커버리지 조건에서 투영-SGD(projected-SGD) 변형에 대한 $O(T^{-1/2})$ 정상성(stationarity) 경계를 확립합니다. 연합 사전학습을 포함한 비전 및 언어 태스크 실험을 통해, FedLore가 평가된 저랭크 어댑터 베이스라인보다 우수하고 통신 비용과 옵티마이저 상태 메모리를 줄이면서도 전체 매개변수 학습과 동등하거나 이를 능가함을 보입니다.