HashVFL: Defending Against Data Reconstruction Attacks in Vertical Federated Learning
원문 초록
Vertical Federated Learning (VFL) is a trending collaborative machine learning model training solution. Existing industrial frameworks employ secure multi-party computation techniques such as homomorphic encryption to ensure data security and privacy. Despite these efforts, studies have revealed that data leakage remains a risk in VFL due to the correlations between intermediate representations and raw data. Neural networks can accurately capture these correlations, allowing an adversary to reconstruct the data. This emphasizes the need for continued research into securing VFL systems. Our work shows that hashing is a promising solution to counter data reconstruction attacks. The one-way nature of hashing makes it difficult for an adversary to recover data from hash codes. However, implementing hashing in VFL presents new challenges, including vanishing gradients and information loss. To address these issues, we propose HashVFL, which integrates hashing and simultaneously achieves learnability, bit balance, and consistency. Experimental results indicate that HashVFL effectively maintains task performance while defending against data reconstruction attacks. It also brings additional benefits in reducing the degree of label leakage, mitigating adversarial attacks, and detecting abnormal inputs. We hope our work will inspire further research into the potential applications of HashVFL.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비전 모델은 정말 잊는가? 수직 연합 학습에서 시각적 언러닝의 표현 수준 인증을 통한 새로운 발견
Do Vision Models Truly Forget? New Findings from Representation-Level Certification of Visual Unlearning in Vertical Federated Learning
수직 연합 학습(VFL)에서의 머신 언러닝(unlearning)은 점점 더 주목받고 있지만, 기존 방법들은 출력 수준 지표만으로 망각을 인증한다. 우리는 Mirage라는 표현 수준 감사 프레임워크를 도입하여 이러한 선행 연구들에 이의를 제기한다. Mirage는 네 가지 상호 보완적인 진단으로 구성된다: 선형 프로브 복구(LPR), 중심화 커널 정렬(CKA), 특징 분리 가능성 점수, 그리고 층별 복구 분석. 최근 VFL 언러닝 프로토콜을 따른 7개 데이터셋과 7개 기준선 방법에 걸친 광범위한 실험을 통해 세 가지 핵심 발견을 밝혀냈다: (1) 망각 격차(forgetting gap): 출력 수준 인증을 통과한 방법들도 여전히 표현에 상당한 클래스 구조를 유지하며, LPR은 재학습 기준선보다 최대 15.4점 높다; CKA는 이러한 모델들이 재학습 참조보다 원본에 구조적으로 더 가깝다는 것을 보여주고, 분리 가능성 점수는 지속적인 기하학적 판별을 나타낸다. (2) 언러닝 삼중 딜레마(unlearning trilemma): 기존 방법 중 고유용성, 출력 수준 망각, 표현 수준 망각을 동시에 달성하는 방법은 없다. (3) 클래스-샘플 비대칭(class-sample asymmetry): 클래스 수준 망각은 강한 표현 흔적을 남기는 반면(여러 데이터셋에서 LPR이 96%를 초과), 샘플 수준 망각은 우연과 구별할 수 없을 정도이다(LPR은 약 50%); 층별 분석은 잔류 클래스 정보가 네트워크 깊이 전반에 걸쳐 지속됨을 추가로 보여준다. 이러한 발견은 연합 학습 언러닝 연구에서 표현 인식 평가 표준의 필요성을 촉구한다. 코드는 https://github.com/YuZhenyuLindy/Mirage에서 공개되어 있다.
DRAGD: A Federated Unlearning Data Reconstruction Attack Based on Gradient Differences
VeFIA: An Efficient Inference Auditing Framework for Vertical Federated Collaborative Software
Efficient Vertical Federated Learning Method for Ridge Regression of Large-Scale Samples via Least-Squares Solution
Catastrophic Data Leakage in Vertical Federated Learning
FLsim: A Modular and Library-Agnostic Simulation Framework for Federated Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.