PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2410.23660v2cs.LG공식 코드 · Papers with Code

로컬 슈피리어 수프: 크로스 사일로 연합학습에서 모델 병합의 촉매제

Local Superior Soups: A Catalyst for Model Merging in Cross-Silo Federated Learning

연합학습(FL)은 분산된 데이터를 활용하여 모델의 협력적 학습(training)을 가능하게 하는 학습 패러다임입니다. 최근 연합학습에서 사전학습(pre-training)된 가중치(weight) 초기화(initialization)의 활용이 모델(model) 성능을 효과적으로 향상시키는 것으로 입증되었습니다. 그러나 파라미터의 상당한 증가로 특징지어지는 현재 사전학습 모델의 복잡성 증가는 연합학습 적응에 필요한 통신 라운드와 관련된 문제를 현저히 가중시킵니다. 이러한 통신 비용 문제를 해결하고 연합학습에서 사전학습 모델 적응의 성능을 높이기 위해, 본 논문에서는 '로컬 슈피리어 수프(Local Superior Soups)'라는 혁신적인 모델 보간 기반 로컬 학습 기법을 제안합니다. 제안하는 방법은 서로 다른 클라이언트 전반의 로컬 학습을 개선하며, 정규화된 모델 보간을 통해 적은 통신 라운드 내에서 연결된 낮은 손실(loss) 분지의 탐험(exploration)을 유도합니다. 이 접근 방식은 연합학습에서 사전학습 모델의 원활한 적응을 위한 촉매제 역할을 합니다. 널리 사용되는 다양한 연합학습 데이터셋 전반에서 본 방법의 효과성과 효율성을 입증하였습니다. 코드는 https://github.com/ubc-tea/Local-Superior-Soups 에서 확인할 수 있습니다.