GIFAIR-FL: A Framework for Group and Individual Fairness in Federated Learning
원문 초록
In this paper we propose \texttt{GIFAIR-FL}: a framework that imposes \textbf{G}roup and \textbf{I}ndividual \textbf{FAIR}ness to \textbf{F}ederated \textbf{L}earning settings. By adding a regularization term, our algorithm penalizes the spread in the loss of client groups to drive the optimizer to fair solutions. Our framework \texttt{GIFAIR-FL} can accommodate both global and personalized settings. Theoretically, we show convergence in non-convex and strongly convex settings. Our convergence guarantees hold for both $i.i.d.$ and non-$i.i.d.$ data. To demonstrate the empirical performance of our algorithm, we apply our method to image classification and text prediction tasks. Compared to existing algorithms, our method shows improved fairness results while retaining superior or similar prediction accuracy.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FedPCD: 우선순위 제약 기반 연합 집계
FedPCD: Priority-Constrained Federated Aggregation
연합학습(FL)은 분산된 클라이언트 데이터로부터 공유 글로벌 모델을 최적화하는 것을 목표로 합니다. 이러한 방식은 평균 성능에는 효과적이지만, 특히 통계적으로 이질적인(heterogeneous) 데이터 분포 하에서는 클라이언트 간에 불공정한 성능을 초래할 수 있습니다. 기존의 공정성 인식 및 다중 목적 연합학습 방법들은 클라이언트 재가중치 부여(re-weighting), 그래디언트(gradient) 보정, 또는 공통 하강(common-descent) 정식화를 통해 이를 다루지만, 종종 글로벌 최적화 방향을 변경하거나 클라이언트의 목적을 대칭적으로 취급합니다. 본 논문에서는 글로벌 최적화 목적과 클라이언트 보호를 분리하는 우선순위 제약 연합 최적화 프레임워크인 FedPCD를 제안합니다. FedPCD는 기존의 연합 집계를 기본(primary) 목적으로 보존하면서, 클라이언트 성능 제약을 충족하는 데 필요한 최소한의 보정만을 허용합니다. 이질적인 연합학습 벤치마크 전반에서 FedPCD는 최신(SOTA) 베이스라인들을 일관되게 능가하여 모든 구성에서 가장 높은 글로벌 정확도를 달성하고 거의 모든 구성에서 하위 10% 클라이언트 정확도를 선도했습니다. 나아가 FedPCD는 글로벌 정확도와 클라이언트 성능 변동성 사이에서 경쟁력 있는 트레이드오프를 유지합니다. 이러한 트레이드오프를 넘어, FedPCD는 훨씬 적은 통신 라운드로 동등하거나 우수한 성능에 도달하며 더 빠른 실증적 수렴을 입증합니다.
연합 사회적 공정 k-평균 군집화를 위한 머신 언러닝
Machine Unlearning for Federated Socially Fair k-Means Clustering
연합 군집화(federated clustering)는 여러 병원에 걸친 환자 층화(patient stratification) 및 분산된 금융 데이터셋 전반의 고객 세분화와 같은 응용 분야를 지원할 수 있습니다. 책임감 있는 인공지능(Responsible AI)은 인구통계학적 집단의 공정한 대표성을 보장하고, GDPR의 잊힐 권리(right to erasure)와 같은 권리에서 비롯된 데이터 삭제 지원을 요구합니다. 이러한 목표들은 상호작용합니다. 즉, 레코드를 삭제하면 집단 간의 균형이 바뀌고 남아 있는 모집단의 군집화 결과가 변경될 수 있습니다. 본 연구에서는 가장 가까운 중심점까지의 최대 집단 평균 제곱 거리를 최소화하는 것을 목표로 하는 연합 사회적 공정 $k$-평균($k$-means)에 대한 정확한 머신 언러닝(exact machine unlearning)을 연구합니다. 본 접근법은 각 집단별로 독립된 로컬 요약(summary)을 유지하므로, 글로벌 공정성 가중치가 변경되더라도 영향을 받지 않은 기관의 요약은 유효하게 유지됩니다. 두 집단의 경우, 이상적인 샘플링 하에서 클라이언트 집단 비율과 무관한 초기화(initialization) 근사 보장을 증명하며, 동일 시드 재생(same-seed replay)이 재학습을 정확히 재현함을 보입니다. 재사용의 이점은 전체 클라이언트가 탈퇴할 때 가장 두드러집니다. 3개의 데이터셋에 걸쳐 재생 방식은 초기화 전용 모델(model)에 대해 재학습보다 $35.8\times$ 더 빠르며, 최악 집단 비용을 개선하는 1회 및 2회의 공정 정제 라운드 적용 시에도 각각 $2.4\times$ 및 $1.7\times$ 더 빠른 속도를 유지합니다. 개별 레코드 삭제의 경우 성능 향상은 약 $1.06\times$로 미미하며, 캐시된 할당을 검증하는 비용이 절감되는 비용보다 더 클 수 있습니다. 이러한 결과는 정확한 언러닝이 계산을 유익하게 재사용할 수 있는 영역을 보여줍니다. 코드 및 재현성 자료는 https://github.com/arareddy/mufsc 에서 확인할 수 있습니다.
FedMAD: 원격 탐사(Remote Sensing) 이미지 분류를 위한 연합학습(Federated Learning)에서의 변조 인지 방향성 집계
FedMAD: Modulation-Aware Directional Aggregation for Federated Learning in Remote Sensing Image Classification
연합학습(Federated Learning, FL)은 로컬 데이터에 직접 접근하지 않고도 분산된 원격 탐사(Remote Sensing, RS) 이미지 아카이브 전반에 걸쳐 협력적인 모델 학습을 가능하게 하기 때문에 최근 원격 탐사 분야에서 주목받고 있다. 그러나 클라이언트 간 데이터 분포가 이질적인 경우 FL 성능이 크게 저하되는데, 이는 지리적 차이, 계절 변화, 그리고 서로 다른 영상 취득 및 대기 조건으로 인해 흔히 발생한다. 이러한 문제를 해결하기 위해 본 논문에서는 원격 탐사 이미지 분류 문제를 위한 새로운 개인화된 FL 프레임워크(FedMAD로 명명)를 제안한다. 제안된 프레임워크는 전역적으로 전이 가능한 표현을 유지하면서 클라이언트별 특징을 보존하기 위해 전역적으로 공유되는 표현 파라미터와 클라이언트별 적응 파라미터를 분리한다. 이는 경량 변조 모듈과 로컬 배치 정규화 계층을 백본 네트워크에 통합함으로써 달성된다. 전역적으로 공유되는 파라미터는 클라이언트 간에 협력적으로 최적화되지만, 클라이언트별 파라미터는 도메인별 특징적 특성을 보존하기 위해 로컬에 유지된다. 또한 FedMAD는 로컬 변조 업데이트의 정렬 정도에 따라 각 클라이언트에 대한 집계 중요도를 동적으로 조정하는 변조 인지 방향성 집계 전략을 도입한다. 이를 통해 전역 최적화 과정은 이질적인 데이터 분포에서 비롯된 상충하는 클라이언트 업데이트를 억제하는 동시에 일관된 적응 행동을 보이는 클라이언트의 기여도를 강화할 수 있다. BigEarthNet-S2 및 EuroSAT 데이터셋에서 얻은 실험 결과는 이질적인 원격 탐사 데이터 분포 하에서 FedMAD가 최신 FL 알고리즘들과 비교하여 효과적임을 보여준다. 제안된 프레임워크의 코드는 https://git.tu-berlin.de/rsim/fedmad 에서 공개될 예정이다.
Evaluating the Performance of TAAF for image classification models
FewVS: A Vision-Semantics Integration Framework for Few-Shot Image Classification
Attention Feature Fusion Network via Knowledge Propagation for Automated Respiratory Sound Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.