서버 측 사전학습 확산 모델을 활용한 원샷 연합학습용 학습 불필요 도메인 생성
Training-Free Domain Generation for One-Shot Federated Learning with Server-Side Pre-trained Diffusion Models
한국어 초록
원샷 연합학습(OSFL)은 클라이언트-서버 상호작용을 단 한 번의 통신 라운드로 제한하여 통신 오버헤드를 크게 줄일 수 있다는 점에서 관심이 커지고 있다. 그럼에도 이러한 제한된 상호작용은 이질적인 클라이언트 분포로부터의 학습을 어렵게 만든다. 확산 기반 OSFL 접근법은 클라이언트 분포를 근사하는 데이터를 합성하여 이 문제를 해결하려 한다. 그러나 기존 확산 기반 접근법은 클라이언트에 상당한 계산 비용을 부과하는 경우가 많고, 클라이언트 분포에 부합하는 데이터를 생성하기 위한 효과적인 시각적 안내가 부족하다. 이러한 한계를 해결하기 위해 우리는 서버 측 사전학습 확산 모델을 활용하여 클라이언트 도메인에 부합하는 데이터를 합성하는 학습 불필요 도메인 생성 프레임워크 FedDoG를 제안한다. FedDoG는 고정된 이미지 인코더로 간결한 도메인 표현을 추출하여 클라이언트 측 계산 및 통신 비용을 크게 줄인다. 이 표현은 사전학습된 이미지 조건 어댑터를 통해 확산 모델에 통합되어 도메인 생성을 위한 명시적인 시각적 안내를 제공한다. 합성 데이터의 품질을 더욱 높이기 위해 FedDoG는 도메인 집중도에 따라 시각적 조건화의 강도를 조정하고, 클래스 일관성과 예측 엔트로피를 기준으로 생성된 샘플을 걸러 낸다. 세 가지 벤치마크에서의 실험 결과, FedDoG는 더 높은 품질의 합성 이미지를 생성하고 분류 정확도에서 기존 OSFL 기준선을 능가한다. 또한 FedDoG는 클라이언트 업로드량과 계산 시간을 각각 99.9%와 91.5% 줄인다. 코드는 https://github.com/YXTong17/FedDoG 에서 이용할 수 있다.
원문 초록
One-shot federated learning (OSFL) has attracted increasing attention for its ability to substantially reduce communication overhead by limiting client-server interaction to a single communication round. Nevertheless, this limited interaction makes learning from heterogeneous client distributions challenging. Diffusion-based OSFL approaches seek to address this challenge by synthesizing data that approximate client distributions. However, existing diffusion-based approaches often impose substantial computational costs on clients and lack effective visual guidance to generate data aligned with client distributions. To address these limitations, we propose FedDoG, a training-free Domain Generation framework that leverages server-side pre-trained diffusion models to synthesize data aligned with client domains. FedDoG extracts compact domain representations using a frozen image encoder, substantially reducing client-side computational and communication costs. These representations are incorporated into the diffusion model through a pre-trained image-conditioning adapter, thereby providing explicit visual guidance for domain generation. To further improve the quality of synthetic data, FedDoG adapts the strength of visual conditioning according to domain concentration and filters generated samples based on class consistency and predictive entropy. Experiments on three benchmarks demonstrate that FedDoG generates higher-quality synthetic images and outperforms existing OSFL baselines in classification accuracy. Meanwhile, FedDoG reduces client upload and computation time by 99.9% and 91.5%, respectively. The code is available at https://github.com/YXTong17/FedDoG.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23908v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.