pFedES: Model Heterogeneous Personalized Federated Learning with Feature Extractor Sharing
원문 초록
As a privacy-preserving collaborative machine learning paradigm, federated learning (FL) has attracted significant interest from academia and the industry alike. To allow each data owner (a.k.a., FL clients) to train a heterogeneous and personalized local model based on its local data distribution, system resources and requirements on model structure, the field of model-heterogeneous personalized federated learning (MHPFL) has emerged. Existing MHPFL approaches either rely on the availability of a public dataset with special characteristics to facilitate knowledge transfer, incur high computation and communication costs, or face potential model leakage risks. To address these limitations, we propose a model-heterogeneous personalized Federated learning approach based on feature Extractor Sharing (pFedES). It incorporates a small homogeneous feature extractor into each client's heterogeneous local model. Clients train them via the proposed iterative learning method to enable the exchange of global generalized knowledge and local personalized knowledge. The small local homogeneous extractors produced after local training are uploaded to the FL server and for aggregation to facilitate easy knowledge sharing among clients. We theoretically prove that pFedES can converge over wall-to-wall time. Extensive experiments on two real-world datasets against six state-of-the-art methods demonstrate that pFedES builds the most accurate model, while incurring low communication and computation costs. Compared with the best-performing baseline, it achieves 1.61% higher test accuracy, while reducing communication and computation costs by 99.6% and 82.9%, respectively.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류
Private and Distributionally Robust Federated Multiclass Classification
자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.
이상 탐지를 위한 연합 경량 헤드 기반 시계열 트랜스포머 CAN 인코더
Temporal transformer CAN encoder with federated lightweight heads for anomaly detection
현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.
연합 에이전트 최적화
Federated Agent Optimization
대규모 언어 모델(LLM) 에이전트(agent)는 점차 비공개 환경에서 작동하며 작업 수행, 도구 사용, 피드백, 로컬 지식으로부터 가치 있는 경험을 축적하고 있습니다. 그러나 이러한 경험은 여러 조직에 분산되어 있으며 프라이버시 및 독점적 제약으로 인해 직접 공유될 수 없습니다. 에이전트의 역량이 모델(model) 파라미터를 넘어 메모리, 도구, 보상(reward), 기술 및 정형화된 지식으로 확장됨에 따라 기존의 연합학습(federated learning)은 이러한 환경에 불충분합니다. 본 논문에서는 원시 데이터, 완전한 궤적, 비공개 지식을 로컬에 유지하면서 통제된 정보 교환을 통해 분산된 에이전트들이 협력하여 개선할 수 있는 방법을 연구하는 연합 에이전트 최적화(Federated Agent Optimization, FAO)를 정식화합니다. 본 연구는 FAO를 에이전트 유용성, 프라이버시 유출, 통신 비용의 균형을 맞추는 다중 목적 최적화 문제로 정의하고, 정책, 메모리, 도구 사용, 보상, 정형화된 지식 및 기술 전반에 걸쳐 최적화 공간을 체계화합니다. 나아가 비공개 경험을 추상화, 보호, 집합 및 적응시켜 전이 가능한 역량으로 변환하는 방법을 구체화함으로써, 에이전트들이 직접적인 경험 공유 없이도 서로에게서 이점을 얻을 수 있는 통합된 관점을 제공합니다. 마지막으로 FAO의 주요 과제를 식별하고 신뢰할 수 있는 연합 에이전트 시스템을 향한 미래 연구의 유망한 방향들을 제시합니다.
FedMAD: 원격 탐사(Remote Sensing) 이미지 분류를 위한 연합학습(Federated Learning)에서의 변조 인지 방향성 집계
FedMAD: Modulation-Aware Directional Aggregation for Federated Learning in Remote Sensing Image Classification
연합학습(Federated Learning, FL)은 로컬 데이터에 직접 접근하지 않고도 분산된 원격 탐사(Remote Sensing, RS) 이미지 아카이브 전반에 걸쳐 협력적인 모델 학습을 가능하게 하기 때문에 최근 원격 탐사 분야에서 주목받고 있다. 그러나 클라이언트 간 데이터 분포가 이질적인 경우 FL 성능이 크게 저하되는데, 이는 지리적 차이, 계절 변화, 그리고 서로 다른 영상 취득 및 대기 조건으로 인해 흔히 발생한다. 이러한 문제를 해결하기 위해 본 논문에서는 원격 탐사 이미지 분류 문제를 위한 새로운 개인화된 FL 프레임워크(FedMAD로 명명)를 제안한다. 제안된 프레임워크는 전역적으로 전이 가능한 표현을 유지하면서 클라이언트별 특징을 보존하기 위해 전역적으로 공유되는 표현 파라미터와 클라이언트별 적응 파라미터를 분리한다. 이는 경량 변조 모듈과 로컬 배치 정규화 계층을 백본 네트워크에 통합함으로써 달성된다. 전역적으로 공유되는 파라미터는 클라이언트 간에 협력적으로 최적화되지만, 클라이언트별 파라미터는 도메인별 특징적 특성을 보존하기 위해 로컬에 유지된다. 또한 FedMAD는 로컬 변조 업데이트의 정렬 정도에 따라 각 클라이언트에 대한 집계 중요도를 동적으로 조정하는 변조 인지 방향성 집계 전략을 도입한다. 이를 통해 전역 최적화 과정은 이질적인 데이터 분포에서 비롯된 상충하는 클라이언트 업데이트를 억제하는 동시에 일관된 적응 행동을 보이는 클라이언트의 기여도를 강화할 수 있다. BigEarthNet-S2 및 EuroSAT 데이터셋에서 얻은 실험 결과는 이질적인 원격 탐사 데이터 분포 하에서 FedMAD가 최신 FL 알고리즘들과 비교하여 효과적임을 보여준다. 제안된 프레임워크의 코드는 https://git.tu-berlin.de/rsim/fedmad 에서 공개될 예정이다.
FedCKA: 다양한 주행 도메인 전반의 연합 3D 인지를 위한 표현 유도 층 개인화
FedCKA: Representation-Guided Layer Personalization for Federated 3D Perception Across Driving Domains
지능형 차량에서의 강건한 인지는 시간대, 위치 또는 날씨 변화와 같은 도메인 이동(domain shift) 상황에서도 신뢰성을 유지하는 3D 객체 검출기를 필요로 합니다. 그러나 비용이 많이 드는 주석 작업과 드물게 발생하는 이동으로 인해, 일부 환경은 단독 검출기를 학습(training)시키기 위한 충분한 데이터가 부족합니다. 연합 학습(Federated Learning)은 협업 모델(model) 학습을 위한 프라이버시 보존 프레임워크를 제공하여, 클라이언트가 다양한 환경에 걸친 공유 학습의 이점을 누릴 수 있도록 합니다. 하지만 이 프레임워크는 전통적으로 단일 글로벌 합의 모델에 의존하므로, 이질적인 로컬 데이터 분포 전반에서 우수한 성능을 발휘하는 데 어려움을 겪습니다. 모델의 일부 하위 집합을 적응시킴으로써 로컬 조건을 더 잘 포착할 수 있으나, 많은 개인화 접근법은 사전 정의된 층(layer) 분할이나 고정된 개인화 비율에 의존하여 클라이언트별 편차에 대한 적응을 제한합니다. 이러한 경직성을 줄이기 위해, 본 논문에서는 중심화 커널 정렬(CKA) 기반 전략을 통해 개인화와 글로벌화 간의 트레이드오프를 동적으로 다루는 FedCKA를 제안합니다. 구체적으로 FedCKA는 학습 과정 동안 로컬 클라이언트 모델과 글로벌 합의 모델 간의 층별 특징(feature) 유사도를 계산합니다. FedCKA는 층별 유사도 점수를 클라이언트별 집계 마스크로 변환함으로써, 표현 일관성이 있는 층을 선택적으로 공유합니다. nuScenes 기반의 통합 멀티 도메인 벤치마크(benchmark)에서 평가(evaluation)한 결과, FedCKA는 FedBN, FedRep, FedSelect를 포함한 기존 연합 기준선(baseline) 모델들을 능가하며 가장 강력한 기준선 대비 평균 NDS를 7%포인트 향상시키는 것으로 나타났습니다. 이러한 연구 결과는 위치, 날씨 및 조도 변화 전반에 걸쳐 강건한 연합 3D 인지를 위한 비교 벤치마크이자 유망한 방향성을 제시합니다. 코드는 https://github.com/j-verhoog/FedCKA 에서 확인할 수 있습니다.
도메인 수준 적응을 넘어서: 개인화된 연합 비전-언어 모델을 위한 마진 지향적 의미-외형 상호작용 보정
Beyond Domain-Level Adaptation: Margin-Oriented Semantic-Appearance Interaction Correction for Personalized Federated Vision-Language Models
연합 매개변수 효율적 미세조정(Federated parameter-efficient fine-tuning)은 분산된 클라이언트가 원시 데이터를 공유하거나 전체 백본을 업데이트하지 않고도 사전학습된 비전-언어(vision-language) 모델을 적응시킬 수 있도록 지원합니다. 그러나 이 방식의 효과는 클라이언트 간의 도메인 이질성(domain heterogeneity)으로 인해 제한됩니다. 기존의 개인화 방법들은 전역적으로 공유되는 지식과 클라이언트 고유의 스타일을 분리하지만, 대체로 각 도메인을 클래스에 무관한 변환으로 취급합니다. 본 논문에서는 이러한 추상화가 불충분함을 보입니다. 고정된 도메인과 연관된 교차 도메인 변위는 의미론적 클래스에 따라 달라지며, 이러한 클래스-도메인 잔차(residual) 중 일부만이 이미지-텍스트 결정 마진을 훼손합니다. 이에 따라 본 연구는 마진 지향적 의미-외형 상호작용 보정(Margin-Oriented Semantic-Appearance Interaction Correction, MOSAIC)을 제안합니다. MOSAIC은 먼저 학습에서 도출된 클래스-도메인 잔차가 실제 클래스보다 경쟁 텍스트 프로토타입을 선호하는지 측정하는 결정 인식 유해성 점수를 구성합니다. 그런 다음 클래스 인자와 잔차 기저는 전역적으로 공유되고 도메인 인자는 클라이언트 전용으로 유지되는 저순위 잔차 어댑터를 통해 세분화된 클래스-도메인 상호작용을 모델링합니다. 또한 이미지 조건부 게이트가 후보별 보정을 제어하며, 유해 쌍 인식 가중치 재조정은 로컬 최적화 중 결정과 관련된 잔차의 우선순위를 지정합니다. Office31, OfficeHome, DomainNet100에 대한 광범위한 실험을 통해, MOSAIC이 평가된 모든 도메인 이동(domain-shift) 및 결합 도메인-레이블 이동 환경 전반에서 매크로 클라이언트 Top-1 정확도를 일관되게 향상함을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.