arXiv:2312.16638

Fault Tolerant Serverless VFL Over Dynamic Device Environment

Surojit Ganguli, Zeyu Zhou, Christopher G. Brinton, David I. Inouye

제출 2023-12-27

원문 초록

Vertical Federated learning (VFL) is a class of FL where each client shares the same set of samples but only owns a subset of the features. Usually, VFL assumes perfect hardware and communication capabilities. However, this assumption hinders the broad deployment of VFL, particularly on a network of edge devices, which are heterogeneous in their in-situ capabilities while any device may connect/disconnect from the network over time. To address this gap, we study the test time performance of VFL under dynamic network conditions, which we call DN-VFL. We first formalize DN-VFL, including a message passing distributed inference algorithm, the corresponding risk, and a serverless setup. We develop a novel DN-VFL approach called Multiple Aggregation with Gossip Rounds and Simulated Faults (MAGS) that synthesizes replication, gossiping, and selective feature omission to improve performance significantly over baselines. Furthermore, we propose metrics and extensively analyze MAGS using a simulated sensor network. The results show that naively using VFL for DN-VFL is not the best approach. Rather, MAGS present a better alternative to handle changes in the network during inference.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.20282v3cs.CV공통 태그 Federated Learning, Vertical Federated Learning

비전 모델은 정말 잊는가? 수직 연합 학습에서 시각적 언러닝의 표현 수준 인증을 통한 새로운 발견

Do Vision Models Truly Forget? New Findings from Representation-Level Certification of Visual Unlearning in Vertical Federated Learning

수직 연합 학습(VFL)에서의 머신 언러닝(unlearning)은 점점 더 주목받고 있지만, 기존 방법들은 출력 수준 지표만으로 망각을 인증한다. 우리는 Mirage라는 표현 수준 감사 프레임워크를 도입하여 이러한 선행 연구들에 이의를 제기한다. Mirage는 네 가지 상호 보완적인 진단으로 구성된다: 선형 프로브 복구(LPR), 중심화 커널 정렬(CKA), 특징 분리 가능성 점수, 그리고 층별 복구 분석. 최근 VFL 언러닝 프로토콜을 따른 7개 데이터셋과 7개 기준선 방법에 걸친 광범위한 실험을 통해 세 가지 핵심 발견을 밝혀냈다: (1) 망각 격차(forgetting gap): 출력 수준 인증을 통과한 방법들도 여전히 표현에 상당한 클래스 구조를 유지하며, LPR은 재학습 기준선보다 최대 15.4점 높다; CKA는 이러한 모델들이 재학습 참조보다 원본에 구조적으로 더 가깝다는 것을 보여주고, 분리 가능성 점수는 지속적인 기하학적 판별을 나타낸다. (2) 언러닝 삼중 딜레마(unlearning trilemma): 기존 방법 중 고유용성, 출력 수준 망각, 표현 수준 망각을 동시에 달성하는 방법은 없다. (3) 클래스-샘플 비대칭(class-sample asymmetry): 클래스 수준 망각은 강한 표현 흔적을 남기는 반면(여러 데이터셋에서 LPR이 96%를 초과), 샘플 수준 망각은 우연과 구별할 수 없을 정도이다(LPR은 약 50%); 층별 분석은 잔류 클래스 정보가 네트워크 깊이 전반에 걸쳐 지속됨을 추가로 보여준다. 이러한 발견은 연합 학습 언러닝 연구에서 표현 인식 평가 표준의 필요성을 촉구한다. 코드는 https://github.com/YuZhenyuLindy/Mirage에서 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.