UniFed: A Unified Framework for Federated Learning on Non-IID Image Features
원문 초록
How to tackle non-iid data is a crucial topic in federated learning. This challenging problem not only affects training process, but also harms performance of clients not participating in training. Existing literature mainly focuses on either side, yet still lacks a unified solution to handle these two types (internal and external) of clients in a joint way. In this work, we propose a unified framework to tackle the non-iid issues for internal and external clients together. Firstly, we propose to use client-specific batch normalization in either internal or external clients to alleviate feature distribution shifts incurred by non-iid data. Then we present theoretical analysis to demonstrate the benefits of client-specific batch normalization. Specifically, we show that our approach promotes convergence speed for federated training and yields lower generalization error bound for external clients. Furthermore, we use causal reasoning to form a causal view to explain the advantages of our framework. At last, we conduct extensive experiments on natural and medical images to evaluate our method, where our method achieves state-of-the-art performance, faster convergence, and shows good compatibility. We also performed comprehensive analytical studies on a real-world medical dataset to demonstrate the effectiveness.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
도메인 수준 적응을 넘어서: 개인화된 연합 비전-언어 모델을 위한 마진 지향적 의미-외형 상호작용 보정
Beyond Domain-Level Adaptation: Margin-Oriented Semantic-Appearance Interaction Correction for Personalized Federated Vision-Language Models
연합 매개변수 효율적 미세조정(Federated parameter-efficient fine-tuning)은 분산된 클라이언트가 원시 데이터를 공유하거나 전체 백본을 업데이트하지 않고도 사전학습된 비전-언어(vision-language) 모델을 적응시킬 수 있도록 지원합니다. 그러나 이 방식의 효과는 클라이언트 간의 도메인 이질성(domain heterogeneity)으로 인해 제한됩니다. 기존의 개인화 방법들은 전역적으로 공유되는 지식과 클라이언트 고유의 스타일을 분리하지만, 대체로 각 도메인을 클래스에 무관한 변환으로 취급합니다. 본 논문에서는 이러한 추상화가 불충분함을 보입니다. 고정된 도메인과 연관된 교차 도메인 변위는 의미론적 클래스에 따라 달라지며, 이러한 클래스-도메인 잔차(residual) 중 일부만이 이미지-텍스트 결정 마진을 훼손합니다. 이에 따라 본 연구는 마진 지향적 의미-외형 상호작용 보정(Margin-Oriented Semantic-Appearance Interaction Correction, MOSAIC)을 제안합니다. MOSAIC은 먼저 학습에서 도출된 클래스-도메인 잔차가 실제 클래스보다 경쟁 텍스트 프로토타입을 선호하는지 측정하는 결정 인식 유해성 점수를 구성합니다. 그런 다음 클래스 인자와 잔차 기저는 전역적으로 공유되고 도메인 인자는 클라이언트 전용으로 유지되는 저순위 잔차 어댑터를 통해 세분화된 클래스-도메인 상호작용을 모델링합니다. 또한 이미지 조건부 게이트가 후보별 보정을 제어하며, 유해 쌍 인식 가중치 재조정은 로컬 최적화 중 결정과 관련된 잔차의 우선순위를 지정합니다. Office31, OfficeHome, DomainNet100에 대한 광범위한 실험을 통해, MOSAIC이 평가된 모든 도메인 이동(domain-shift) 및 결합 도메인-레이블 이동 환경 전반에서 매크로 클라이언트 Top-1 정확도를 일관되게 향상함을 입증합니다.
데이터 이질성 하에서 프라이버시 보존 연합 프롬프트 튜닝을 향하여: 부분공간 분해 전문가 접근법
Towards Privacy-Preserving Federated Prompt Tuning under Data Heterogeneity: A Subspace-Decomposed Expert Approach
연합 프롬프트 튜닝(FPT)은 경량 프롬프트를 사용하여 비전-언어 모델(VLM)의 협력적 적응을 가능하게 한다. 기존 방법들은 종종 국소 차분 프라이버시(DP) 하에서 분할 프롬프트 설계를 통해 이질성과 프라이버시를 다루며, 전역 전이를 위한 공유 프롬프트와 지역 적응을 위한 비공개 프롬프트를 결합한다. 그러나 단일 공유 프롬프트는 다양한 전이 가능 지식을 과도하게 평활화하여 개인화와 일반화 사이의 균형을 약화시킬 수 있다. 다중 전문가 프롬프트(MEP)는 이러한 다양성을 더 잘 포착할 수 있지만, 통신 공간을 확대하여 DP 노이즈와 통신 비용을 증가시키고, 견고한 전문가 구성을 더 어렵게 만든다. 본 연구는 FedSEPT, 즉 프라이버시를 보존하는 연합 부분공간 분해 전문가 프롬프트 튜닝(Federated Subspace-decomposed Expert Prompt Tuning)을 제안한다. 구체적으로, 부분공간 분해 전문가 모델링(SEM)을 사용하여 공유 저랭크 요인, 고정된 공개 기저, 비공개 잔차로 여러 프롬프트 전문가를 매개변수화함으로써, 통신과 DP perturbation을 컴팩트한 요인 공간으로 제한하면서 공통 좌표계에서 직접적인 서버 집계를 가능하게 한다. 또한 인스턴스 인식 전문가 융합(IEF)을 설계하였는데, 이는 온디바이스 라우팅을 통해 의미적으로 상보적인 전문가들을 적응적으로 결합하고, 캐시된 전문가별 텍스트 특징을 사용하여 효율적인 로짓 수준 융합을 수행한다. 11개의 이질적 벤치마크에 대한 광범위한 실험 결과, 동일한 프라이버시 제약 하에서 FedSEPT가 강력한 기준선들보다 지역 적응과 전역 일반화 사이의 더 나은 절충을 달성함을 보여준다.
FM$^2$: 이질적 다중 모달 의료 영상을 위한 통합 연합 파운데이션 모델
FM$^2$: Unified Federated Foundation Models for Heterogeneous Multimodal Medical Imaging
의료 영상용 파운데이션 모델 구축은 여러 기관 간 데이터 풀링(pooling)을 요구하지만, 프라이버시 규정으로 인해 중앙 집중식 집계가 금지된다. 기존 연합 파운데이션 모델은 자연 이미지 모델을 파인튜닝하여 의료 도메인 전이 성능이 낮거나, 단일 모달리티 내에서 처음부터 학습하여 작업을 통합할 유연성이 부족하다. 우리는 영상 모달리티 이질성(Imaging Modality Heterogeneity)이라는 미개척 과제를 식별한다. 여기서 클라이언트는 두 가지 구조적 체제에서 동작한다: 겹침(Overlapped, 공유 모달리티와 이질적 레이블 분포)과 비겹침(Non-overlapped, 클라이언트마다 완전히 분리된 모달리티). 우리는 FM$^2$를 제안한다. 이는 핵심 백본을 처음부터 학습하여 의료 도메인 충실도를 보존하면서, 선택적으로 생의학 사전학습 인코더를 비전-언어 정렬에 통합하는 통합 프레임워크이다. FM$^2$는 각 클라이언트에 이중 전문가 혼합(MoE) 모듈(개인화된 범주 지식을 위한 클래스별 MoE와 공유 교차 모달리티 표현을 위한 도메인별 MoE)을 장착하고, 모달리티별 전문가 파라미터를 명시적으로 정렬하는 이질적 모달리티 정렬(HMA) 정규화를 결합한다. 이를 통해 증명 가능한 $O(1/\sqrt{T})$ 수렴 및 일반화 보장을 제공한다. FM$^2$는 또한 캡션 강화 학습(CEL)을 포함한다. 여기서 로컬에 보관된 GPT-4o 생성 캡션이 텍스트 의미적 다리로 작용하여 분리된 모달리티를 가진 클라이언트 간 표현 전이를 가능하게 하며, 연합 의료 VQA로의 확장성을 보여준다. 우리의 MIMH 벤치마크(분류 및 CEL)와 실제 의료 VQA 데이터셋에 대한 실험은 세 가지 작업 모두에서 최신 연합 기준선 대비 일관된 우수성과 강한 모달리티 외 일반화를 확인한다.
FedCausal-Dyn: 동적 특징 드리프트 하의 연합학습을 위한 인과-동적 패러다임
FedCausal-Dyn: A Causal-Dynamic Paradigm for Federated Learning under Dynamic Feature Drift
본 논문은 연합학습(federated learning)에서 동적 특징(feature) 드리프트(drift)라는 난제를 다룬다. 이는 데이터 분포가 클라이언트 간, 그리고 시간에 걸쳐 변화하는 현상으로, 금융 기술과 같은 실세계 응용에서 흔히 발생한다. 기존 접근법들은 정적 드리프트를 가정하는 경우가 많아 비정상(non-stationary) 환경에서의 효과가 제한적이다. 이를 극복하기 위해 우리는 인과-동적 패러다임에 기반한 새로운 연합학습 프레임워크 FedCausal-Dyn을 제안한다. 핵심 혁신은 인과-도메인 특징 분리(causal-domain feature separation)로, 전문화된 프로젝션 헤드와 적대적 학습(adversarial training)을 통해 도메인 불변 인과 특징을 허위적(spurious)이고 도메인 특화적인 변동으로부터 분리한다. 이를 통해 신뢰성 있는 동적 프로토타입 집계(reliable and dynamic prototype aggregation)가 가능해지며, 전역 집계 전에 추정된 신뢰도에 따라 로컬 클래스 프로토타입에 가중치를 부여한다. 나아가 인과-특징 기반 협력적 정규화(causal-feature guided collaborative regularization)를 도입하여 프로토타입 대조 정렬(prototype contrastive alignment)과 도메인 불변성을 하나의 통합 목적 함수로 결합한다. 세 가지 연합 도메인 일반화 벤치마크에 대한 광범위한 실험을 통해 FedCausal-Dyn이 일관되게 최고 수준의 성능을 달성하며, 가장 높은 평균 정확도와 가장 안정적인 결과를 보임을 입증한다. 절제 연구(ablation study)를 통해 각 구성 요소의 핵심적인 기여가 확인된다. 본 연구는 동적 특징 드리프트 하의 연합학습에 대한 견고하고 원칙적인 해결책을 제시한다.
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
Peak-End-Net: 피크-엔드 규칙(peak-end rule)에서 영감을 받은 일반화 가능한 비디오 미적 평가 프레임워크
Peak-End-Net: A Peak-End Rule Inspired Framework for Generalizable Video Aesthetic Assessment
비디오 미적 평가(VAA)는 비디오가 미적으로 얼마나 만족스러운지 예측하는 것을 목표로 하지만, 다른 시각 평가 작업에 비해 훨씬 덜 탐구되어 왔다. 그 발전은 대규모 벤치마크(benchmark)의 부족뿐 아니라, 인간 지각에 의해 형성되는 미적 판단의 내재적 주관성에 의해서도 저해된다. 본 논문에서는 심리학적 관점에서 VAA를 재검토하고, 사람들이 시간적 경험을 주로 두드러진 순간(salient moments)과 끝(end)에 따라 판단하는 경향이 있다고 제안하는 피크-엔드 규칙에서 영감을 받은 경량이며 해석 가능한 프레임워크인 Peak-End-Net을 제안한다. 이 직관에 기반하여, 먼저 사전학습된 IAA 헤드를 도입하여 프레임별 미적 사전 신호(aesthetic priors)를 생성함으로써 이미지 미적 평가(IAA)에서 VAA로 지식을 전이한다. 이는 미적으로 두드러진 순간을 식별하고 피크-엔드 규칙 기반 시간적 집계(temporal aggregation)를 안내하는 대리 신호(surrogate signals) 역할을 한다. 또한 비디오가 시간에 따라 미적으로 어떻게 변화하는지 더 포착하기 위해, 고립된 순간을 넘어 시간적 진행(temporal progression)을 모델링하는 미적 리듬 인코더(aesthetic rhythm encoder)를 설계한다. 또한 분포 이동(distribution shift) 하에서의 견고성(robustness)을 향상시키기 위해 동적 게이트 융합(dynamic gated fusion) 메커니즘을 통해 전체 평가를 정제한다. 우리 방법은 고정된 비전 트랜스포머(ViT) 위에 구축되며, 학습 가능한 매개변수가 소량만 필요하여 확장 가능하고 매개변수 효율적(parameter-efficient)이다. VADB에서의 도메인 내(in-domain) 평가와 DIVIDE-3K에서의 교차 도메인(cross-domain) 테스트를 포함한 두 기존 VAA 벤치마크에 대한 광범위한 실험은, 우리 접근법이 최신(state-of-the-art) 성능을 달성함을 보여주며, VAA를 위한 심리학적 기반(psychologically grounded) 모델링의 가치를 확인한다. 코드와 모델은 https://github.com/AMAP-ML/Peak-End-Net 에서 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.