FedLore: 공유 그래디언트 저랭크 프로젝션을 통한 통신 및 메모리 효율적인 연합학습
FedLore: Communication and Memory Efficient Federated Learning via Shared Gradient Low-Rank Projection
한국어 초록
파운데이션 모델의 연합 학습(federated training)은 클라이언트 메모리와 통신 비용의 제약을 받습니다. LoRA 기반 방식들은 저랭크 어댑터(low-rank adapter)를 통해 이러한 비용을 줄이지만, 고정된 랭크 예산(rank budget)으로 인해 적응 능력이 제한될 수 있습니다. 그래디언트 저랭크 최적화는 더 높은 유연성을 제공하지만, 독립적으로 선택된 클라이언트 부분공간은 당사가 '부분공간 파편화(subspace fragmentation)'라 명명한 문제를 야기합니다. 즉, 로컬 프로젝션이 데이터 이질성과 상호작용하여 집계된 방향에 바이어스를 발생시키고, 집계 과정에서 업데이트 랭크와 통신 비용이 증가할 수 있습니다. 따라서 정확한 로컬 그래디언트 압축이 글로벌 강하 방향 보존으로 반드시 이어지지는 않습니다. 본 논문에서는 라운드 내에서 저랭크 최적화 기저를 공유하고 이를 라운드마다 갱신하는 FedLore를 제안합니다. 이 공유 기저는 저랭크 좌표계에서의 정확한 집계를 가능하게 하고 규명된 프로젝션 바이어스를 제거합니다. 또한 부분공간 갱신을 통해 누적 모델 업데이트가 라운드별 랭크 예산을 초과할 수 있도록 합니다. 본 연구는 집계 바이어스를 규명하고, 유계된 그래디언트 이질성 조건과 표준적인 평활도 및 분산 가정 하에 전역 그래디언트 커버리지 조건에서 투영-SGD(projected-SGD) 변형에 대한 $O(T^{-1/2})$ 정상성(stationarity) 경계를 확립합니다. 연합 사전학습을 포함한 비전 및 언어 태스크 실험을 통해, FedLore가 평가된 저랭크 어댑터 베이스라인보다 우수하고 통신 비용과 옵티마이저 상태 메모리를 줄이면서도 전체 매개변수 학습과 동등하거나 이를 능가함을 보입니다.
원문 초록
Federated training of foundation models is constrained by client memory and communication costs. LoRA-based methods reduce these costs through low-rank adapters, but their fixed rank budget can limit adaptation. Gradient low-rank optimization offers greater flexibility, yet independently chosen client subspaces create a problem we term \emph{subspace fragmentation}: local projections interact with data heterogeneity to bias aggregated directions, while aggregation can increase update rank and communication cost. Thus, accurate local gradient compression need not preserve global descent. We propose \texttt{FedLore}, which shares a low-rank optimization basis within each round and refreshes it across rounds. The shared basis enables exact aggregation in low-rank coordinates and eliminates the identified projection bias. Subspace refresh allows the accumulated model update to exceed the per-round rank budget. We characterize the aggregation bias and establish an $O(T^{-1/2})$ stationarity bound for the projected-SGD variant under a global-gradient coverage condition and standard smoothness and variance assumptions, with bounded gradient heterogeneity. Experiments on vision and language tasks, including federated pre-training, show that \texttt{FedLore} outperforms the evaluated low-rank adapter baselines and matches or exceeds full-parameter training, while reducing communication and optimizer-state memory.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
IoT 보안을 위한 신뢰할 수 있는 연합 TinyML 배포
Reliable Federated TinyML Deployment for IoT Security
사물인터넷(IoT) 기기의 배포가 증가함에 따라 자원 제약이 있는 하드웨어에서 직접 동작하는 프라이버시 보존형 침입 탐지 시스템의 필요성이 커졌습니다. 연합학습(Federated Learning)은 원시 데이터를 공유하지 않고도 협업적 모델 학습을 가능하게 하지만, 기존의 연합 모델은 마이크로컨트롤러급 기기에 배포하기에는 지나치게 크고 불안정한 경우가 많습니다. TinyML 기술은 소형 신경망을 가능하게 하지만 일반적으로 추론 전용 워크로드를 위해 설계됩니다. 본 연구에서는 IoT 환경의 침입 탐지를 위해 연합학습과 TinyML 기반 모델 압축을 결합하는 방안을 조사합니다. 저자들은 연합 학습 파이프라인 내에서 지식 증류, 구조적 가지치기, 양자화를 포함한 압축 전략을 평가합니다. 초기 결과는 학습 안정성이 연합 TinyML 시스템에서 결정적인 역할을 한다는 점을 보여줍니다. 특히, 서버 조율 코사인 학습률 스케줄링(server-coordinated cosine learning-rate scheduling)은 상당한 모델 압축과 효율적인 엣지 배포를 실현하는 동시에 공격 재현율(Attack Recall)을 46.7%에서 93.85%로 향상시킵니다. 이러한 결과는 IoT 기기를 위한 경량화 및 프라이버시 보존형 침입 탐지 시스템 설계에 유용한 통찰을 제공합니다.
OrchNAS: 개인화 연합 엣지 지능을 위한 오케스트레이션 신경 아키텍처 탐색(NAS) 서비스
OrchNAS: Orchestrated Neural Architecture Search Service for Personalised Federated Edge Intelligence
본 논문은 OrchNAS를 제안한다. OrchNAS는 에너지 인식, 개인화, 연합 엣지 지능 프레임워크로, 신경 아키텍처 탐색(NAS) 서비스를 활용하여 이질적인 엣지 환경에 맞는 서비스 적응형 모델을 자동으로 설계한다. 이 프레임워크는 서버 측 NAS 서비스에서 아키텍처 탐색 과정을 조율하여, 엣지 서비스가 장치 수준의 에너지, 연산, 메모리 제약 하에서 개인화된 아키텍처를 도출할 수 있게 한다. 또한 이질적인 서비스 전반에 걸쳐 간결한 전역 표현을 학습하는 에너지 인식 전역 아키텍처 탐색 메커니즘을 도입한다. 점진적·탐욕적·에너지 인식 가지치기(pruning) 전략을 통해 각 서비스가 자원 제약을 만족하는 개인화된 서브넷을 도출할 수 있도록 하는 에너지 효율적 아키텍처 선택 메커니즘을 개발한다. 전역 표현을 보존하면서 서비스 적응형 매개변수를 갱신하는 에너지 효율적 개인화 모델 최적화(optimization) 방안을 제안하며, 원-듀얼(primal-dual) 최적화 메커니즘이 아키텍처 적응 과정에서 엄격한 에너지 예산을 강제한다. 실세계 및 벤치마크 데이터셋에서의 실험을 통해 제안 접근법의 효과를 입증한다.
모델 크기 보간에서의 층 패칭 이해
Understanding Layer Patching in Model Size Interpolation
이진 양자화 신경망 학습은 입력 및 출력 차원으로 매개변수화할 때 W[1]-난해하다
Binary Quantized Neural Network Training Is W[1]-Hard Parameterized by Input and Output Dimensions
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
GaugeQuant: LLM 대칭성으로부터 양자화 최적 기저의 온라인 학습
GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries
토론
이 논문과 연결된 포럼 글이 아직 없습니다.