Visual Prompt Based Personalized Federated Learning
원문 초록
As a popular paradigm of distributed learning, personalized federated learning (PFL) allows personalized models to improve generalization ability and robustness by utilizing knowledge from all distributed clients. Most existing PFL algorithms tackle personalization in a model-centric way, such as personalized layer partition, model regularization, and model interpolation, which all fail to take into account the data characteristics of distributed clients. In this paper, we propose a novel PFL framework for image classification tasks, dubbed pFedPT, that leverages personalized visual prompts to implicitly represent local data distribution information of clients and provides that information to the aggregation model to help with classification tasks. Specifically, in each round of pFedPT training, each client generates a local personalized prompt related to local data distribution. Then, the local model is trained on the input composed of raw data and a visual prompt to learn the distribution information contained in the prompt. During model testing, the aggregated model obtains prior knowledge of the data distributions based on the prompts, which can be seen as an adaptive fine-tuning of the aggregation model to improve model performances on different clients. Furthermore, the visual prompt can be added as an orthogonal method to implement personalization on the client for existing FL methods to boost their performance. Experiments on the CIFAR10 and CIFAR100 datasets show that pFedPT outperforms several state-of-the-art (SOTA) PFL algorithms by a large margin in various settings.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FedMAD: 원격 탐사(Remote Sensing) 이미지 분류를 위한 연합학습(Federated Learning)에서의 변조 인지 방향성 집계
FedMAD: Modulation-Aware Directional Aggregation for Federated Learning in Remote Sensing Image Classification
연합학습(Federated Learning, FL)은 로컬 데이터에 직접 접근하지 않고도 분산된 원격 탐사(Remote Sensing, RS) 이미지 아카이브 전반에 걸쳐 협력적인 모델 학습을 가능하게 하기 때문에 최근 원격 탐사 분야에서 주목받고 있다. 그러나 클라이언트 간 데이터 분포가 이질적인 경우 FL 성능이 크게 저하되는데, 이는 지리적 차이, 계절 변화, 그리고 서로 다른 영상 취득 및 대기 조건으로 인해 흔히 발생한다. 이러한 문제를 해결하기 위해 본 논문에서는 원격 탐사 이미지 분류 문제를 위한 새로운 개인화된 FL 프레임워크(FedMAD로 명명)를 제안한다. 제안된 프레임워크는 전역적으로 전이 가능한 표현을 유지하면서 클라이언트별 특징을 보존하기 위해 전역적으로 공유되는 표현 파라미터와 클라이언트별 적응 파라미터를 분리한다. 이는 경량 변조 모듈과 로컬 배치 정규화 계층을 백본 네트워크에 통합함으로써 달성된다. 전역적으로 공유되는 파라미터는 클라이언트 간에 협력적으로 최적화되지만, 클라이언트별 파라미터는 도메인별 특징적 특성을 보존하기 위해 로컬에 유지된다. 또한 FedMAD는 로컬 변조 업데이트의 정렬 정도에 따라 각 클라이언트에 대한 집계 중요도를 동적으로 조정하는 변조 인지 방향성 집계 전략을 도입한다. 이를 통해 전역 최적화 과정은 이질적인 데이터 분포에서 비롯된 상충하는 클라이언트 업데이트를 억제하는 동시에 일관된 적응 행동을 보이는 클라이언트의 기여도를 강화할 수 있다. BigEarthNet-S2 및 EuroSAT 데이터셋에서 얻은 실험 결과는 이질적인 원격 탐사 데이터 분포 하에서 FedMAD가 최신 FL 알고리즘들과 비교하여 효과적임을 보여준다. 제안된 프레임워크의 코드는 https://git.tu-berlin.de/rsim/fedmad 에서 공개될 예정이다.
FedCKA: 다양한 주행 도메인 전반의 연합 3D 인지를 위한 표현 유도 층 개인화
FedCKA: Representation-Guided Layer Personalization for Federated 3D Perception Across Driving Domains
지능형 차량에서의 강건한 인지는 시간대, 위치 또는 날씨 변화와 같은 도메인 이동(domain shift) 상황에서도 신뢰성을 유지하는 3D 객체 검출기를 필요로 합니다. 그러나 비용이 많이 드는 주석 작업과 드물게 발생하는 이동으로 인해, 일부 환경은 단독 검출기를 학습(training)시키기 위한 충분한 데이터가 부족합니다. 연합 학습(Federated Learning)은 협업 모델(model) 학습을 위한 프라이버시 보존 프레임워크를 제공하여, 클라이언트가 다양한 환경에 걸친 공유 학습의 이점을 누릴 수 있도록 합니다. 하지만 이 프레임워크는 전통적으로 단일 글로벌 합의 모델에 의존하므로, 이질적인 로컬 데이터 분포 전반에서 우수한 성능을 발휘하는 데 어려움을 겪습니다. 모델의 일부 하위 집합을 적응시킴으로써 로컬 조건을 더 잘 포착할 수 있으나, 많은 개인화 접근법은 사전 정의된 층(layer) 분할이나 고정된 개인화 비율에 의존하여 클라이언트별 편차에 대한 적응을 제한합니다. 이러한 경직성을 줄이기 위해, 본 논문에서는 중심화 커널 정렬(CKA) 기반 전략을 통해 개인화와 글로벌화 간의 트레이드오프를 동적으로 다루는 FedCKA를 제안합니다. 구체적으로 FedCKA는 학습 과정 동안 로컬 클라이언트 모델과 글로벌 합의 모델 간의 층별 특징(feature) 유사도를 계산합니다. FedCKA는 층별 유사도 점수를 클라이언트별 집계 마스크로 변환함으로써, 표현 일관성이 있는 층을 선택적으로 공유합니다. nuScenes 기반의 통합 멀티 도메인 벤치마크(benchmark)에서 평가(evaluation)한 결과, FedCKA는 FedBN, FedRep, FedSelect를 포함한 기존 연합 기준선(baseline) 모델들을 능가하며 가장 강력한 기준선 대비 평균 NDS를 7%포인트 향상시키는 것으로 나타났습니다. 이러한 연구 결과는 위치, 날씨 및 조도 변화 전반에 걸쳐 강건한 연합 3D 인지를 위한 비교 벤치마크이자 유망한 방향성을 제시합니다. 코드는 https://github.com/j-verhoog/FedCKA 에서 확인할 수 있습니다.
도메인 수준 적응을 넘어서: 개인화된 연합 비전-언어 모델을 위한 마진 지향적 의미-외형 상호작용 보정
Beyond Domain-Level Adaptation: Margin-Oriented Semantic-Appearance Interaction Correction for Personalized Federated Vision-Language Models
연합 매개변수 효율적 미세조정(Federated parameter-efficient fine-tuning)은 분산된 클라이언트가 원시 데이터를 공유하거나 전체 백본을 업데이트하지 않고도 사전학습된 비전-언어(vision-language) 모델을 적응시킬 수 있도록 지원합니다. 그러나 이 방식의 효과는 클라이언트 간의 도메인 이질성(domain heterogeneity)으로 인해 제한됩니다. 기존의 개인화 방법들은 전역적으로 공유되는 지식과 클라이언트 고유의 스타일을 분리하지만, 대체로 각 도메인을 클래스에 무관한 변환으로 취급합니다. 본 논문에서는 이러한 추상화가 불충분함을 보입니다. 고정된 도메인과 연관된 교차 도메인 변위는 의미론적 클래스에 따라 달라지며, 이러한 클래스-도메인 잔차(residual) 중 일부만이 이미지-텍스트 결정 마진을 훼손합니다. 이에 따라 본 연구는 마진 지향적 의미-외형 상호작용 보정(Margin-Oriented Semantic-Appearance Interaction Correction, MOSAIC)을 제안합니다. MOSAIC은 먼저 학습에서 도출된 클래스-도메인 잔차가 실제 클래스보다 경쟁 텍스트 프로토타입을 선호하는지 측정하는 결정 인식 유해성 점수를 구성합니다. 그런 다음 클래스 인자와 잔차 기저는 전역적으로 공유되고 도메인 인자는 클라이언트 전용으로 유지되는 저순위 잔차 어댑터를 통해 세분화된 클래스-도메인 상호작용을 모델링합니다. 또한 이미지 조건부 게이트가 후보별 보정을 제어하며, 유해 쌍 인식 가중치 재조정은 로컬 최적화 중 결정과 관련된 잔차의 우선순위를 지정합니다. Office31, OfficeHome, DomainNet100에 대한 광범위한 실험을 통해, MOSAIC이 평가된 모든 도메인 이동(domain-shift) 및 결합 도메인-레이블 이동 환경 전반에서 매크로 클라이언트 Top-1 정확도를 일관되게 향상함을 입증합니다.
한 라운드면 충분하다: 태스크 이질적 다중 레이블 의료 이미지 분류를 위한 해석적 연합 학습
One Round Is All You Need: Analytic Federated Learning for Task-Heterogeneous Multi-Label Medical Image Classification
연합 학습(FL)은 여러 임상 기관이 환자 데이터를 중앙 집중화하지 않고 공유 질병 분류기를 협력적으로 학습할 수 있게 한다. 그러나 실제로는 각 기관이 자신의 전문 분야 내 병리만 주석하므로, 연합은 태스크 이질성(task heterogeneity) 하에서 운영된다. 각 클라이언트는 목표 질병 카테고리의 엄격한 부분집합에 대한 레이블만 보유하며, 나머지 클래스는 해당 사이트에서 전혀 관측되지 않는다. 기존 그래디언트 기반 FL 방법은 이 설정에서 수백 번의 통신 라운드가 필요해 수렴하고, 누락된 클래스 레이블이 체계적인 거짓 음성(false-negative) 바이어스를 도입하여 원칙적인 메커니즘 없이는 모델이 교정할 수 없기 때문에 실패한다. 우리는 태스크 이질성 하의 다중 레이블 의료 이미지 분류를 위한 해석적 연합 학습 프레임워크를 제안한다. 제안 방법은 반복적 그래디언트 최적화를 세 가지 폐형(closed-form) 연산으로 대체한다. 균형 레이블 투영(balanced label projection)은 양성 및 음성 기여의 총 질량을 동등하게 정규화하여 클래스 불균형 바이어스를 중화하고, 클래스별 절대 집계 법칙(per-class absolute aggregation law)은 주석을 제공한 클라이언트가 업로드한 충분 통계(sufficient statistics)로부터 각 질병 카테고리에 대한 최적 릿지 회귀(ridge-regression) 분류기를 독립적으로 조립하며, 선택적 해석적 의사 레이블(pseudo-label) 정제 라운드는 신뢰도 필터링된 교사 분류기로부터 누락 클래스 지식을 주석하지 않은 클라이언트에 전파한다. 전체 절차는 태스크 이질성의 정도나 참여 클라이언트 수와 관계없이 최대 두 번의 통신 라운드만 필요하다. ChestXray14에서 점진적으로 심각해지는 네 가지 누락 클래스 구성 하에서의 실험은, 제안 방법이 최첨단 연합 다중 레이블 방법 FedMLP를 최대 18.44 BACC 포인트 및 13.24 AUC 포인트만큼 일관되게 능가하며 통신을 줄인다는 것을 보여준다.
Vision Transformer 연합 LoRA에서 층별 전역 랭크 발견을 위한 스펙트럴 변환
Spectral Transformation for Layer-wise Global Rank Discovery in Federated LoRA for Vision Transformers
Vision Transformer(ViT)를 저랭크 어댑터(LoRA)로 미세조정하면 연합 설정에서 더 나은 통신 효율을 기대할 수 있지만, 기존 집계 전략은 근본적인 한계에 직면한다. 이러한 LoRA 인수들을 독립적으로 평균내는 것은 수학적으로 일관되지 않아 교차항 집계 오류를 유발한다. 반면, 서버에서 로컬 어댑터를 연결하여 이질적인 클라이언트 랭크를 보존하는 접근법은 다운로드 비용을 크게 증가시키며, 종종 클라이언트에서 전역 LoRA 업데이트를 사전학습 가중치에 병합해야 하므로 재초기화 지연과 불안정한 수렴을 야기한다. 다른 접근법은 밀집 가중치 업데이트를 재구성하거나 집계 오류를 정제하기 위한 보조 모델을 학습함으로써 서버 측 오버헤드를 더욱 증가시킨다. 본 연구에서는 이러한 과제들을 통합 설계 내에서 해결하는 SpecTraL(층별 전역 랭크 발견을 위한 스펙트럴 변환, spectral transformation for layer-wise global rank discovery)을 제안한다. SpecTraL은 클라이언트의 로컬 LoRA 모듈을 쌓고, 쌓인 어댑터에 대해 저랭크 잠재 공간에서 직접 직교 정규 Householder 변환을 수행하여, 전역 업데이트의 밀집 재구성과 서버에서의 보조 정제를 모두 제거한다. 무작위 행렬 이론(Random Matrix Theory)의 Spiked Covariance Model을 활용하여, SpecTraL은 전역 합의 신호를 non-IID 노이즈로부터 해석적으로 분리하고, 수동 하이퍼파라미터 튜닝 없이 최적의 층별 전역 랭크를 발견한다. 후속 라운드에서 로컬 랭크를 맞추기 위해, 클라이언트가 잔차 LoRA 차원을 사전학습 기본 모델에 다시 병합하지 않고도 통합할 수 있는 패딩 인식(padding-aware) 초기화 프레임워크를 도입한다. DomainNet 및 NICO++에서 ViT-B/16과 ViT-L/16의 연합 미세조정 실험은 정확도-통신 트레이드오프 개선, 서버 연산 감소, 랭크 선택을 위한 하이퍼파라미터 탐색 제거를 보여준다. 코드는 https://github.com/DASS-Lab-Group/SpecTraL 에서 이용할 수 있다.
Dual‑detector Re‑optimization for Federated Weakly Supervised Video Anomaly Detection Via Adaptive Dynamic Recursive Mapping
토론
이 논문과 연결된 포럼 글이 아직 없습니다.