arXiv:2103.00958

Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating

Qingsong Zhang, Bin Gu, Cheng Deng, Heng Huang

제출 2021-03-01

원문 초록

Vertical federated learning (VFL) attracts increasing attention due to the emerging demands of multi-party collaborative modeling and concerns of privacy leakage. In the real VFL applications, usually only one or partial parties hold labels, which makes it challenging for all parties to collaboratively learn the model without privacy leakage. Meanwhile, most existing VFL algorithms are trapped in the synchronous computations, which leads to inefficiency in their real-world applications. To address these challenging problems, we propose a novel {\bf VF}L framework integrated with new {\bf b}ackward updating mechanism and {\bf b}ilevel asynchronous parallel architecture (VF{${\textbf{B}}^2$}), under which three new algorithms, including VF{${\textbf{B}}^2$}-SGD, -SVRG, and -SAGA, are proposed. We derive the theoretical results of the convergence rates of these three algorithms under both strongly convex and nonconvex conditions. We also prove the security of VF{${\textbf{B}}^2$} under semi-honest threat models. Extensive experiments on benchmark datasets demonstrate that our algorithms are efficient, scalable and lossless.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.20282v3cs.CV공통 태그 Federated Learning, Vertical Federated Learning

비전 모델은 정말 잊는가? 수직 연합 학습에서 시각적 언러닝의 표현 수준 인증을 통한 새로운 발견

Do Vision Models Truly Forget? New Findings from Representation-Level Certification of Visual Unlearning in Vertical Federated Learning

수직 연합 학습(VFL)에서의 머신 언러닝(unlearning)은 점점 더 주목받고 있지만, 기존 방법들은 출력 수준 지표만으로 망각을 인증한다. 우리는 Mirage라는 표현 수준 감사 프레임워크를 도입하여 이러한 선행 연구들에 이의를 제기한다. Mirage는 네 가지 상호 보완적인 진단으로 구성된다: 선형 프로브 복구(LPR), 중심화 커널 정렬(CKA), 특징 분리 가능성 점수, 그리고 층별 복구 분석. 최근 VFL 언러닝 프로토콜을 따른 7개 데이터셋과 7개 기준선 방법에 걸친 광범위한 실험을 통해 세 가지 핵심 발견을 밝혀냈다: (1) 망각 격차(forgetting gap): 출력 수준 인증을 통과한 방법들도 여전히 표현에 상당한 클래스 구조를 유지하며, LPR은 재학습 기준선보다 최대 15.4점 높다; CKA는 이러한 모델들이 재학습 참조보다 원본에 구조적으로 더 가깝다는 것을 보여주고, 분리 가능성 점수는 지속적인 기하학적 판별을 나타낸다. (2) 언러닝 삼중 딜레마(unlearning trilemma): 기존 방법 중 고유용성, 출력 수준 망각, 표현 수준 망각을 동시에 달성하는 방법은 없다. (3) 클래스-샘플 비대칭(class-sample asymmetry): 클래스 수준 망각은 강한 표현 흔적을 남기는 반면(여러 데이터셋에서 LPR이 96%를 초과), 샘플 수준 망각은 우연과 구별할 수 없을 정도이다(LPR은 약 50%); 층별 분석은 잔류 클래스 정보가 네트워크 깊이 전반에 걸쳐 지속됨을 추가로 보여준다. 이러한 발견은 연합 학습 언러닝 연구에서 표현 인식 평가 표준의 필요성을 촉구한다. 코드는 https://github.com/YuZhenyuLindy/Mirage에서 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.