Self-supervised Cross-silo Federated Neural Architecture Search
원문 초록
Federated Learning (FL) provides both model performance and data privacy for machine learning tasks where samples or features are distributed among different parties. In the training process of FL, no party has a global view of data distributions or model architectures of other parties. Thus the manually-designed architectures may not be optimal. In the past, Neural Architecture Search (NAS) has been applied to FL to address this critical issue. However, existing Federated NAS approaches require prohibitive communication and computation effort, as well as the availability of high-quality labels. In this work, we present Self-supervised Vertical Federated Neural Architecture Search (SS-VFNAS) for automating FL where participants hold feature-partitioned data, a common cross-silo scenario called Vertical Federated Learning (VFL). In the proposed framework, each party first conducts NAS using self-supervised approach to find a local optimal architecture with its own data. Then, parties collaboratively improve the local optimal architecture in a VFL framework with supervision. We demonstrate experimentally that our approach has superior performance, communication efficiency and privacy compared to Federated NAS and is capable of generating high-performance and highly-transferable heterogeneous architectures even with insufficient overlapping samples, providing automation for those parties without deep learning expertise.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
vFedProtoQNAS: 가상 연합 학습을 위한 프로토타입 기반 개인화 양자 신경망 아키텍처 탐색
vFedProtoQNAS: Prototype-Guided Personalized Quantum Neural Architecture Search for Virtual Federated Learning
양자 연합 학습(Quantum Federated Learning, QFL)은 리소스가 제한된 디바이스의 분산된 개인 프라이빗 데이터를 바탕으로 소형 양자 신경망(Quantum Neural Network, QNN)을 협력적으로 학습(training)하기 위한 유망한 접근 방식으로 떠올랐습니다. 그러나 디바이스 성능의 차이로 인해 단일 공유 QNN 아키텍처를 모든 클라이언트에 일괄 적용하기는 어렵습니다. 개인화 양자 신경망 아키텍처 탐색(Quantum Neural Architecture Search, QNAS)을 사용하면 각 클라이언트가 디바이스 맞춤형 QNN을 선택할 수 있지만, 구조적으로 서로 다른 QNN 아키텍처 전반에 걸쳐 파라미터를 평균화하면 의미론적으로 일치하지 않는 회로 연산들이 섞이게 됩니다. 이를 해결하기 위해 가상 FL을 위한 프로토타입 기반 개인화 QNAS(vFedProtoQNAS)를 제안합니다. 이 방식에서는 클라이언트 간에 모델(model) 파라미터를 집계하지 않으며, 클래스별 프로토타입 공유를 통해 연합 협력을 달성합니다. 각 클라이언트는 클라이언트 맞춤형 QNN을 독립적으로 탐색 및 학습하고, 잠재 표현으로부터 클래스별 로컬 프로토타입을 계산한 후, 서버의 글로벌 프로토타입을 연합 의미 앵커(anchor)로 활용하여 이를 개선합니다. 실험을 통해 vFedProtoQNAS가 FedAvg 대비 정확도를 3.70% 향상시키고 클래스 일관적인 표현 정렬을 개선함을 입증합니다.
OrchNAS: 개인화 연합 엣지 지능을 위한 오케스트레이션 신경 아키텍처 탐색(NAS) 서비스
OrchNAS: Orchestrated Neural Architecture Search Service for Personalised Federated Edge Intelligence
본 논문은 OrchNAS를 제안한다. OrchNAS는 에너지 인식, 개인화, 연합 엣지 지능 프레임워크로, 신경 아키텍처 탐색(NAS) 서비스를 활용하여 이질적인 엣지 환경에 맞는 서비스 적응형 모델을 자동으로 설계한다. 이 프레임워크는 서버 측 NAS 서비스에서 아키텍처 탐색 과정을 조율하여, 엣지 서비스가 장치 수준의 에너지, 연산, 메모리 제약 하에서 개인화된 아키텍처를 도출할 수 있게 한다. 또한 이질적인 서비스 전반에 걸쳐 간결한 전역 표현을 학습하는 에너지 인식 전역 아키텍처 탐색 메커니즘을 도입한다. 점진적·탐욕적·에너지 인식 가지치기(pruning) 전략을 통해 각 서비스가 자원 제약을 만족하는 개인화된 서브넷을 도출할 수 있도록 하는 에너지 효율적 아키텍처 선택 메커니즘을 개발한다. 전역 표현을 보존하면서 서비스 적응형 매개변수를 갱신하는 에너지 효율적 개인화 모델 최적화(optimization) 방안을 제안하며, 원-듀얼(primal-dual) 최적화 메커니즘이 아키텍처 적응 과정에서 엄격한 에너지 예산을 강제한다. 실세계 및 벤치마크 데이터셋에서의 실험을 통해 제안 접근법의 효과를 입증한다.
Collate: 지연 시간이 중요한 엣지 시스템을 위한 협력적 신경망 학습
Collate: Collaborative Neural Network Learning for Latency-Critical Edge Systems
연합학습(FL)은 여러 클라이언트가 협력하여 모델을 학습할 수 있도록 하여 데이터 프라이버시를 보호하면서 각 클라이언트의 학습 데이터를 확대하고 높은 정확도를 달성한다. 그러나 실시간 엣지 시스템에 FL을 배포할 때, 시스템 간 디바이스의 이질성은 추론 모델의 성능에 심각한 영향을 미친다. 기존 FL 최적화 연구들은 학습 효율성 향상에 집중하지만, 특히 지연 시간 제약이 있는 경우 추론 속도 향상에는 실패한다. 본 연구에서는 여러 엣지 시스템의 지연 시간 제약을 동시에 충족하기 위해 이질적인 모델을 협력적으로 학습하는 새로운 학습 프레임워크인 Collate를 제안한다. 각 로컬 모델의 아키텍처를 지연 시간 제약 하에서 높은 정확도로 조정하기 위한 동적 제로화-복원(zeroizing-recovering) 방법을 설계하였다. 또한, 하나의 학습 과정만으로 서로 다른 시스템의 지연 시간 제약을 만족하면서 높은 정확도를 유지하며 모든 이질적인 로컬 모델을 집계하는 프로토 보정(proto-corrected) 연합 집계 방식을 도입하였다. 광범위한 실험 결과, 최신 기법들과 비교하여 지연 시간 제약 하에서 확장된 모델은 평균 1.96%의 정확도 향상을, 축소된 모델 또한 추가적인 학습 오버헤드 없이 평균 3.09%의 정확도 향상을 달성함을 확인하였다. 관련 코드와 데이터는 https://github.com/ntuliuteam/Collate 에서 공개될 예정이다.
비전 모델은 정말 잊는가? 수직 연합 학습에서 시각적 언러닝의 표현 수준 인증을 통한 새로운 발견
Do Vision Models Truly Forget? New Findings from Representation-Level Certification of Visual Unlearning in Vertical Federated Learning
수직 연합 학습(VFL)에서의 머신 언러닝(unlearning)은 점점 더 주목받고 있지만, 기존 방법들은 출력 수준 지표만으로 망각을 인증한다. 우리는 Mirage라는 표현 수준 감사 프레임워크를 도입하여 이러한 선행 연구들에 이의를 제기한다. Mirage는 네 가지 상호 보완적인 진단으로 구성된다: 선형 프로브 복구(LPR), 중심화 커널 정렬(CKA), 특징 분리 가능성 점수, 그리고 층별 복구 분석. 최근 VFL 언러닝 프로토콜을 따른 7개 데이터셋과 7개 기준선 방법에 걸친 광범위한 실험을 통해 세 가지 핵심 발견을 밝혀냈다: (1) 망각 격차(forgetting gap): 출력 수준 인증을 통과한 방법들도 여전히 표현에 상당한 클래스 구조를 유지하며, LPR은 재학습 기준선보다 최대 15.4점 높다; CKA는 이러한 모델들이 재학습 참조보다 원본에 구조적으로 더 가깝다는 것을 보여주고, 분리 가능성 점수는 지속적인 기하학적 판별을 나타낸다. (2) 언러닝 삼중 딜레마(unlearning trilemma): 기존 방법 중 고유용성, 출력 수준 망각, 표현 수준 망각을 동시에 달성하는 방법은 없다. (3) 클래스-샘플 비대칭(class-sample asymmetry): 클래스 수준 망각은 강한 표현 흔적을 남기는 반면(여러 데이터셋에서 LPR이 96%를 초과), 샘플 수준 망각은 우연과 구별할 수 없을 정도이다(LPR은 약 50%); 층별 분석은 잔류 클래스 정보가 네트워크 깊이 전반에 걸쳐 지속됨을 추가로 보여준다. 이러한 발견은 연합 학습 언러닝 연구에서 표현 인식 평가 표준의 필요성을 촉구한다. 코드는 https://github.com/YuZhenyuLindy/Mirage에서 공개되어 있다.
Efficient Vertical Federated Learning Method for Ridge Regression of Large-Scale Samples via Least-Squares Solution
Catastrophic Data Leakage in Vertical Federated Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.