arXiv:2410.03315v2 cs.LG

영향 지향 개인화 연합 학습

Influence-Oriented Personalized Federated Learning

Yue Tan, Guodong Long, Jing Jiang, Chengqi Zhang

제출 2024-10-04

한국어 초록

연합 학습(Federated learning, FL)은 서로 다른 행동과 선호를 가진 클라이언트들이 데이터 프라이버시를 훼손하지 않고 협력적으로 학습할 수 있는 머신러닝 패러다임이다. 일반적인 FL 방법은 매개변수 집계에 고정 가중치에 의존하는 경우가 많아 클라이언트 간 상호 영향을 간과한다. 실제로는 선호나 배경이 유사한 클라이언트들이 서로에게 더 유용한 지식을 제공할 수 있으며, 이를 활용하면 로컬 성능을 개선할 수 있다. 그러나 이러한 교차-클라이언트 영향을 어떻게 정량화할지, 개인화 집계에 이를 어떻게 활용할지는 아직 충분히 탐구되지 않았다. 이 공백을 메우기 위해, 우리는 클라이언트 수준(Client-level) 및 클래스 수준(Class-level) 영향을 정량적으로 측정하여 각 클라이언트에 대한 적응형 매개변수 집계를 실현하는 영향 지향 연합 학습 프레임워크(FedC^2I)를 제안한다. 핵심 아이디어는 정교하게 설계된 영향 벡터(influence vector)와 영향 행렬(influence matrix)을 통해 FL 시스템 내 클라이언트 간 영향을 명시적으로 모델링하는 것이다. 구체적으로 FedC^2I는 영향 벡터를 통해 클라이언트 수준 영향을 정량화하고, 클라이언트가 다른 클라이언트로부터 지식을 선택적으로 습득할 수 있게 하며, 특징 표현(feature representation) 레이어의 집계를 안내한다. 한편 영향 행렬은 클래스 수준 영향을 더 세밀하게 포착하여 개인화된 분류기(classifier) 집계를 달성한다. non-IID 설정에서 FedC^2I의 성능을 기존 연합 학습 방법과 비교 평가하였으며, 결과는 효과성, 견고성(robustness), 해석 가능성(interpretability) 측면에서 우리 방법의 우수성을 보여준다.

원문 초록

Federated learning (FL) is a machine learning paradigm where clients with different behaviors and preferences can learn collaboratively without compromising data privacy. Typical FL methods often rely on fixed weighting for parameter aggregation, thereby neglecting the mutual influence among clients. In practice, clients with similar preferences or backgrounds may provide more useful knowledge to each other, which can be leveraged to improve local performance. However, how to quantify such cross-client influence and how to exploit it for personalized aggregation remain underexplored. To address this gap, we propose an influence-oriented Federated learning framework which quantitatively measures Client-level and Class-level Influence to realize adaptive parameter aggregation for each client (FedC^2I for short). Our core idea is to explicitly model the inter-client influence within an FL system via the well-crafted influence vector and influence matrix. Specifically, FedC^2I incorporate influence vectors to quantify client-level influence, enables clients to selectively acquire knowledge from others, and guides the aggregation of feature representation layers. Meanwhile, the influence matrix captures class-level influence in a more fine-grained manner to achieve personalized classifier aggregation. We evaluate the performance of FedC^2I against existing federated learning methods under non-IID settings, and the results demonstrate the superiority of our method in terms of effectiveness, robustness, and interpretability.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2410.03315v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2604.00050v3cs.LG공통 태그 Federated Learning, Personalized Federated Learning

언어 모델의 작업 중심 개인화 연합 미세조정

Task-Centric Personalized Federated Fine-Tuning of Language Models

연합학습(Federated Learning, FL)은 다양한 작업에 대한 분산되고 비공개적인 데이터셋을 이용해 언어 모델을 학습시키는 유망한 기법으로 부상했다. 그러나 이질적인 작업에서 학습된 모델들을 집계하면 개별 클라이언트의 전체 성능이 저하되는 경우가 많다. 이 문제를 해결하기 위해 개인화 연합학습(Personalized FL, pFL)은 각 클라이언트의 데이터 분포에 맞춘 모델을 만드는 것을 목표로 한다. 이러한 접근법들은 로컬 성능을 향상시키지만, 일반적으로 다음 두 가지 측면에서 견고성이 부족하다: (i) 일반화(generalization): 클라이언트가 보지 못한 작업에 대해 예측을 수행해야 하거나 데이터 분포의 변화에 직면하는 경우, (ii) 클라이언트 내 작업 간섭(intra-client tasks interference): 단일 클라이언트의 데이터가 로컬 학습 중 서로 간섭할 수 있는 여러 분포를 포함하는 경우. 이 두 가지 과제를 해결하기 위해, 우리는 각 클라이언트가 아니라 각 작업에 대해 특화된 모델을 구축하는 클러스터링 기반 pFL인 FedRouter를 제안한다. FedRouter는 어댑터(adapter)를 특정 작업과 연결하기 위해 두 가지 클러스터링 메커니즘을 사용하여 모델을 개인화한다. 로컬 클러스터링은 어댑터를 작업 데이터 샘플과 연관시키고, 글로벌 클러스터링은 서로 다른 클라이언트의 유사한 어댑터들을 연관시켜 작업 중심의 개인화된 모델을 구성한다. 또한, 우리는 생성된 클러스터를 기반으로 테스트 샘플을 최적의 어댑터로 라우팅하는 평가 라우터(evaluation router) 메커니즘을 제안한다. 멀티태스크 데이터셋에서 기존 접근법들과 우리의 방법을 비교하는 실험에서, FedRouter는 이러한 어려운 시나리오에서 강한 복원력을 보여주며, 작업 간섭 상황에서는 최대 6.1%, 일반화 평가에서는 최대 136%의 상대적 성능 향상을 달성했다.

arXiv:2603.19617v2cs.LG공통 태그 Federated Learning, Personalized Federated Learning

제약이 있는 개인화 학습을 위해 보장이 제공되는 국소 페널티 기반 교차 추정 연합 학습법

A Locally Penalized Cross-Estimate Federated Method with Guarantees for Constrained Personalized Learning

연합 학습(Federated Learning, FL)은 분산 최적화(distributed optimization) 문제를 해결하기 위한 통신 효율적인 프레임워크입니다. 표준 FL 방식은 로컬 업데이트를 모든 에이전트(agent)가 공유하는 단일 글로벌 모델(model)로 집계하여 사실상 합의를 강제합니다. 그러나 이종(heterogeneous) 로컬 제약 조건 하에서는 공통의 실행 가능한(feasible) 모델이 지나치게 제한적이거나 아예 존재하지 않을 수 있습니다. 기존의 제약 조건 기반 FL 방식은 대부분 이러한 공유 모델 구조를 유지하므로, 에이전트별로 상이한 실행 가능 집합이 주어지는 환경에서의 개인화를 직접적으로 다루지 못합니다. 본 연구에서는 협력적 목적 함수를 통해 모델들을 결합하면서 각 에이전트에 서로 다른 실행 가능한 모델을 할당하는 제약 조건 기반 개인화 연합 학습 문제를 다룹니다. 이를 위해 국소 페널티 기반 교차 추정 연합 평균화(Locally Penalized Cross-Estimate Federated Averaging, PCE-FedAvg)를 제안합니다. 이 방식에서 각 에이전트는 자체 모델과 다른 에이전트들의 모델에 대한 추정치를 포함하는 다중 블록 벡터를 유지하며, 실행 가능성 페널티는 자신의 블록에만 국소적으로 적용합니다. 서버는 해당하는 블록들을 개별적으로 집계하므로, 에이전트가 로컬 제약 집합을 명시적으로 공개할 필요 없이 개인화를 보존할 수 있습니다. 임의의 $ε>0$에 대해, 본 논문은 유한 시간(finite-time) 상한 및 하한 부최적성(suboptimality) 경계와 에이전트별 제곱 비실행가능성(squared infeasibility) 경계를 확립하여, 각각 $\mathcal{O}(ε^{-2})$ 및 $\mathcal{O}(ε^{-1})$의 통신 복잡도를 도출합니다. MNIST 및 CIFAR-10에 대한 실험은 이러한 이론적 결과를 뒷받침합니다.

arXiv:2610.00693v1cs.CV공통 태그 Federated Learning, Personalized Federated Learning

FedMAD: 원격 탐사(Remote Sensing) 이미지 분류를 위한 연합학습(Federated Learning)에서의 변조 인지 방향성 집계

FedMAD: Modulation-Aware Directional Aggregation for Federated Learning in Remote Sensing Image Classification

연합학습(Federated Learning, FL)은 로컬 데이터에 직접 접근하지 않고도 분산된 원격 탐사(Remote Sensing, RS) 이미지 아카이브 전반에 걸쳐 협력적인 모델 학습을 가능하게 하기 때문에 최근 원격 탐사 분야에서 주목받고 있다. 그러나 클라이언트 간 데이터 분포가 이질적인 경우 FL 성능이 크게 저하되는데, 이는 지리적 차이, 계절 변화, 그리고 서로 다른 영상 취득 및 대기 조건으로 인해 흔히 발생한다. 이러한 문제를 해결하기 위해 본 논문에서는 원격 탐사 이미지 분류 문제를 위한 새로운 개인화된 FL 프레임워크(FedMAD로 명명)를 제안한다. 제안된 프레임워크는 전역적으로 전이 가능한 표현을 유지하면서 클라이언트별 특징을 보존하기 위해 전역적으로 공유되는 표현 파라미터와 클라이언트별 적응 파라미터를 분리한다. 이는 경량 변조 모듈과 로컬 배치 정규화 계층을 백본 네트워크에 통합함으로써 달성된다. 전역적으로 공유되는 파라미터는 클라이언트 간에 협력적으로 최적화되지만, 클라이언트별 파라미터는 도메인별 특징적 특성을 보존하기 위해 로컬에 유지된다. 또한 FedMAD는 로컬 변조 업데이트의 정렬 정도에 따라 각 클라이언트에 대한 집계 중요도를 동적으로 조정하는 변조 인지 방향성 집계 전략을 도입한다. 이를 통해 전역 최적화 과정은 이질적인 데이터 분포에서 비롯된 상충하는 클라이언트 업데이트를 억제하는 동시에 일관된 적응 행동을 보이는 클라이언트의 기여도를 강화할 수 있다. BigEarthNet-S2 및 EuroSAT 데이터셋에서 얻은 실험 결과는 이질적인 원격 탐사 데이터 분포 하에서 FedMAD가 최신 FL 알고리즘들과 비교하여 효과적임을 보여준다. 제안된 프레임워크의 코드는 https://git.tu-berlin.de/rsim/fedmad 에서 공개될 예정이다.

arXiv:2610.01510v1cs.CV공통 태그 Federated Learning, Personalized Federated Learning

FedCKA: 다양한 주행 도메인 전반의 연합 3D 인지를 위한 표현 유도 층 개인화

FedCKA: Representation-Guided Layer Personalization for Federated 3D Perception Across Driving Domains

지능형 차량에서의 강건한 인지는 시간대, 위치 또는 날씨 변화와 같은 도메인 이동(domain shift) 상황에서도 신뢰성을 유지하는 3D 객체 검출기를 필요로 합니다. 그러나 비용이 많이 드는 주석 작업과 드물게 발생하는 이동으로 인해, 일부 환경은 단독 검출기를 학습(training)시키기 위한 충분한 데이터가 부족합니다. 연합 학습(Federated Learning)은 협업 모델(model) 학습을 위한 프라이버시 보존 프레임워크를 제공하여, 클라이언트가 다양한 환경에 걸친 공유 학습의 이점을 누릴 수 있도록 합니다. 하지만 이 프레임워크는 전통적으로 단일 글로벌 합의 모델에 의존하므로, 이질적인 로컬 데이터 분포 전반에서 우수한 성능을 발휘하는 데 어려움을 겪습니다. 모델의 일부 하위 집합을 적응시킴으로써 로컬 조건을 더 잘 포착할 수 있으나, 많은 개인화 접근법은 사전 정의된 층(layer) 분할이나 고정된 개인화 비율에 의존하여 클라이언트별 편차에 대한 적응을 제한합니다. 이러한 경직성을 줄이기 위해, 본 논문에서는 중심화 커널 정렬(CKA) 기반 전략을 통해 개인화와 글로벌화 간의 트레이드오프를 동적으로 다루는 FedCKA를 제안합니다. 구체적으로 FedCKA는 학습 과정 동안 로컬 클라이언트 모델과 글로벌 합의 모델 간의 층별 특징(feature) 유사도를 계산합니다. FedCKA는 층별 유사도 점수를 클라이언트별 집계 마스크로 변환함으로써, 표현 일관성이 있는 층을 선택적으로 공유합니다. nuScenes 기반의 통합 멀티 도메인 벤치마크(benchmark)에서 평가(evaluation)한 결과, FedCKA는 FedBN, FedRep, FedSelect를 포함한 기존 연합 기준선(baseline) 모델들을 능가하며 가장 강력한 기준선 대비 평균 NDS를 7%포인트 향상시키는 것으로 나타났습니다. 이러한 연구 결과는 위치, 날씨 및 조도 변화 전반에 걸쳐 강건한 연합 3D 인지를 위한 비교 벤치마크이자 유망한 방향성을 제시합니다. 코드는 https://github.com/j-verhoog/FedCKA 에서 확인할 수 있습니다.

arXiv:2610.01625v1cs.CV공통 태그 Federated Learning, Personalized Federated Learning

도메인 수준 적응을 넘어서: 개인화된 연합 비전-언어 모델을 위한 마진 지향적 의미-외형 상호작용 보정

Beyond Domain-Level Adaptation: Margin-Oriented Semantic-Appearance Interaction Correction for Personalized Federated Vision-Language Models

연합 매개변수 효율적 미세조정(Federated parameter-efficient fine-tuning)은 분산된 클라이언트가 원시 데이터를 공유하거나 전체 백본을 업데이트하지 않고도 사전학습된 비전-언어(vision-language) 모델을 적응시킬 수 있도록 지원합니다. 그러나 이 방식의 효과는 클라이언트 간의 도메인 이질성(domain heterogeneity)으로 인해 제한됩니다. 기존의 개인화 방법들은 전역적으로 공유되는 지식과 클라이언트 고유의 스타일을 분리하지만, 대체로 각 도메인을 클래스에 무관한 변환으로 취급합니다. 본 논문에서는 이러한 추상화가 불충분함을 보입니다. 고정된 도메인과 연관된 교차 도메인 변위는 의미론적 클래스에 따라 달라지며, 이러한 클래스-도메인 잔차(residual) 중 일부만이 이미지-텍스트 결정 마진을 훼손합니다. 이에 따라 본 연구는 마진 지향적 의미-외형 상호작용 보정(Margin-Oriented Semantic-Appearance Interaction Correction, MOSAIC)을 제안합니다. MOSAIC은 먼저 학습에서 도출된 클래스-도메인 잔차가 실제 클래스보다 경쟁 텍스트 프로토타입을 선호하는지 측정하는 결정 인식 유해성 점수를 구성합니다. 그런 다음 클래스 인자와 잔차 기저는 전역적으로 공유되고 도메인 인자는 클라이언트 전용으로 유지되는 저순위 잔차 어댑터를 통해 세분화된 클래스-도메인 상호작용을 모델링합니다. 또한 이미지 조건부 게이트가 후보별 보정을 제어하며, 유해 쌍 인식 가중치 재조정은 로컬 최적화 중 결정과 관련된 잔차의 우선순위를 지정합니다. Office31, OfficeHome, DomainNet100에 대한 광범위한 실험을 통해, MOSAIC이 평가된 모든 도메인 이동(domain-shift) 및 결합 도메인-레이블 이동 환경 전반에서 매크로 클라이언트 Top-1 정확도를 일관되게 향상함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.