arXiv:2312.17029

FedSDD: Scalable and Diversity-enhanced Distillation for Model Aggregation in Federated Learning

Ho Man Kwan, Shenghui Song

제출 2023-12-28

원문 초록

Recently, innovative model aggregation methods based on knowledge distillation (KD) have been proposed for federated learning (FL). These methods not only improved the robustness of model aggregation over heterogeneous learning environment, but also allowed training heterogeneous models on client devices. However, the scalability of existing methods is not satisfactory, because the training cost on the server increases with the number of clients, which limits their application in large scale systems. Furthermore, the ensemble of existing methods is built from a set of client models initialized from the same checkpoint, causing low diversity. In this paper, we propose a scalable and diversity-enhanced federated distillation scheme, FedSDD, which decouples the training complexity from the number of clients to enhance the scalability, and builds the ensemble from a set of aggregated models with enhanced diversity. In particular, the teacher model in FedSDD is an ensemble built by a small group of aggregated (global) models, instead of all client models, such that the computation cost will not scale with the number of clients. Furthermore, to enhance diversity, FedSDD only performs KD to enhance one of the global models, i.e., the \textit{main global model}, which improves the performance of both the ensemble and the main global model. While partitioning client model into more groups allow building an ensemble with more aggregated models, the convergence of individual aggregated models will be slow down. We introduce the temporal ensembling which leverage the issues, and provide significant improvement with the heterogeneous settings. Experiment results show that FedSDD outperforms other FL methods, including FedAvg and FedDF, on the benchmark datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27202v1cs.CR공통 태그 Knowledge Distillation, Federated Learning

IoT 보안을 위한 신뢰할 수 있는 연합 TinyML 배포

Reliable Federated TinyML Deployment for IoT Security

사물인터넷(IoT) 기기의 배포가 증가함에 따라 자원 제약이 있는 하드웨어에서 직접 동작하는 프라이버시 보존형 침입 탐지 시스템의 필요성이 커졌습니다. 연합학습(Federated Learning)은 원시 데이터를 공유하지 않고도 협업적 모델 학습을 가능하게 하지만, 기존의 연합 모델은 마이크로컨트롤러급 기기에 배포하기에는 지나치게 크고 불안정한 경우가 많습니다. TinyML 기술은 소형 신경망을 가능하게 하지만 일반적으로 추론 전용 워크로드를 위해 설계됩니다. 본 연구에서는 IoT 환경의 침입 탐지를 위해 연합학습과 TinyML 기반 모델 압축을 결합하는 방안을 조사합니다. 저자들은 연합 학습 파이프라인 내에서 지식 증류, 구조적 가지치기, 양자화를 포함한 압축 전략을 평가합니다. 초기 결과는 학습 안정성이 연합 TinyML 시스템에서 결정적인 역할을 한다는 점을 보여줍니다. 특히, 서버 조율 코사인 학습률 스케줄링(server-coordinated cosine learning-rate scheduling)은 상당한 모델 압축과 효율적인 엣지 배포를 실현하는 동시에 공격 재현율(Attack Recall)을 46.7%에서 93.85%로 향상시킵니다. 이러한 결과는 IoT 기기를 위한 경량화 및 프라이버시 보존형 침입 탐지 시스템 설계에 유용한 통찰을 제공합니다.

arXiv:2609.14725v2cs.CV공통 태그 Diversity, Knowledge Distillation

CrossDistill: 궤적 수준 하이브리드 소수 스텝 증류를 통한 품질과 다양성의 균형

CrossDistill: Balancing Quality and Diversity via Trajectory-Level Hybrid Few-Step Distillation

소수 스텝 증류(few-step distillation)는 디퓨전 모델(diffusion model)을 가속화하지만 다양성과 충실도(fidelity) 사이의 균형을 맞춰야 한다: 궤적 기반 증류(trajectory-based distillation)는 모드 커버리지(mode coverage)를 보존하는 반면, 분포 매칭(distribution matching)은 샘플을 선명하게 만들지만 다양성을 감소시킬 수 있다. 우리는 이러한 긴장 관계가 노이즈 영역(noise-regime)에 따라 활용될 수 있음을 보인다: 고노이즈(high-noise) 스텝은 전역적인 모드(global mode)를 대체로 결정하는 반면, 저노이즈(low-noise) 스텝은 국소적인 세부 사항을 정제한다. 우리는 샘플링 궤적을 교차점(crossover point)에서 분할하여 고노이즈 구간에는 궤적 보존(trajectory-preserving) 목적함수를, 저노이즈 구간에는 분포 매칭 목적함수를 적용하고, 이 두 단계를 교차 상태(crossover state)를 통해 결합하는 궤적 수준 하이브리드 증류 프레임워크인 CrossDistill을 제안한다. 손실(loss) 수준 혼합과 달리, 그리고 학습(training) 시점의 2단계 방식(training-time two-stage recipe)을 보완하는 방식으로, CrossDistill은 노이즈 축을 따라 상호 보완적인 목적함수를 명시적으로 할당함으로써, 국소 통계량이 선명해지기 전에 전역적 분기(global branching)가 보존되도록 한다. CrossDistill은 노이즈 수준의 스케줄링 정책(scheduling policy)으로, PCM과 DMD는 플러그인 형태의 구체적 구현(instantiation)이며, 노이즈 분할(noise partition), 교차 결합(crossover coupling), 목적함수 순서(objective ordering)가 핵심 설계 요소이다. 텍스트-투-비디오(text-to-video) 디퓨전 모델에 대한 실험과 이미지-투-비디오(image-to-video)에 대한 정성적 결과는 CrossDistill이 소수 스텝 품질-다양성 프런티어(quality-diversity frontier)를 확장하여, 경쟁력 있는 시각적 충실도를 달성하면서도 시드 수준(seed-level)의 변동성을 유지함을 보여준다.

arXiv:2609.24627v1cs.CV공통 태그 Knowledge Distillation, Federated Learning

FedMust: 다중 장기 CT 분할을 위한 준지도 멀티태스크 학생-교사 연합 학습

FedMust: Semi-supervised Multi-task Student-Teacher Federated Learning for Multi-organ CT Segmentation

심층 학습(deep learning)을 이용한 다중 장기 분할(multi-organ segmentation)은 주석(annotation)이 달린 대량의 환자 데이터를 필요로 하지만, 각 기관에는 충분히 크고 다양한 주석 데이터셋(dataset)이 부족한 경우가 많습니다. 또한 개인정보 보호 제약으로 인해 이러한 한계를 극복하기 위해 기관 간에 환자 데이터를 공유하는 것도 불가능합니다. 더욱이 주석 작업의 노동 집약적인 특성과 다양한 전문성의 부족으로 인해, 기관들은 일반적으로 로컬 데이터의 극히 일부에 대해서만 레이블을 보유하고 있어 레이블이 없는 더 많은 양의 데이터는 활용되지 못한 채 남겨집니다. 본 연구에서는 참여 사이트 전반에서 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터를 모두 활용하여 다중 장기 분할 성능을 개선하기 위해 연합 학습(FL)을 활용하는 유연한 준지도 연합 멀티태스크 학생-교사 프레임워크를 제안합니다. 제안된 프레임워크는 각 통신 라운드마다 로컬 학습(training)을 시작하며, 동일한 태스크에 대한 레이블을 보유한 클라이언트들이 연합을 구성하여 집합된 교사 모델(teacher model)을 생성합니다. 이렇게 생성된 교사 모델은 각 클라이언트의 모든 데이터에 대해 태스크별 특징(feature)을 생성합니다. 이어서 모든 클라이언트는 두 번째 연합을 구성하여 공유 인코더와 모든 분할 태스크에 걸쳐 교사가 생성한 특징을 복제하는 태스크별 디코더를 갖춘 멀티태스크 학생 모델(student model)을 학습시킵니다. 이후 집합된 학생 모델은 로컬 교사 모델을 업데이트하고 다음 학습 라운드를 시작하는 데 사용됩니다. 광범위한 실험을 통해 제안된 방법이 로컬 및 연합 단일 장기 모델 대비 효과적임을 입증하였으며, 클라이언트 전반에 걸쳐 평균 13%의 성능 향상을 달성했습니다. 또한 실험을 통해 멀티태스크 학습과 레이블이 지정되지 않은 데이터의 영향력, 그리고 클라이언트 참여를 위한 레이블 데이터 요구 조건을 완화하는 데 본 프레임워크를 적용할 수 있음을 입증했습니다. 코드는 https://github.com/AshknMrd/FedMust 에서 확인할 수 있습니다.

arXiv:2610.13740v2cs.RO공통 태그 Knowledge Distillation

SmolWAM: 엣지 디바이스 로봇 조작을 위한 잠재 월드-액션 모델

SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

월드-액션 모델(WAM)은 로봇 행동과 미래 관측을 함께 예측하지만, 비디오 확산 백본은 엣지 배포에 비용이 크다. 본 연구는 단일 프레임 인코딩, 어텐션 싱크를 보존한 캐시된 텍스트 특징, 깊이 가지치기, 토큰 압축을 사용하여 20억 파라미터의 Cosmos Policy로부터 도출한 소형 잠재 WAM인 SmolWAM을 제안한다. 28개 트랜스포머 블록 중 12개와 1,008개 토큰으로 SmolWAM은 한 번의 rectified-flow 단계에서 행동과 미래 잠재 변수를 예측한다. A100 GPU 3.6시간의 학습 후, 400개의 LIBERO 에피소드에서 95.5%의 성공률을 달성하며, A100에서 16개 행동 청크당 57ms, 2.3TFLOP, 2.4GiB를 사용하여 5단계 교사 대비 지연 시간은 11배, 메모리는 3.2배 낮다. 월드 헤드는 장면의 움직임을 예측하며, 공동 학습은 행동 전용 어블레이션보다 성공률을 6.2퍼센트포인트 향상시킨다.

arXiv:2610.10854v2cs.LG공통 태그 Knowledge Distillation

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.