덤으로 얻는 차분 프라이버시: 다중 안테나 기지국 환경의 다중 접속 페이딩 채널 기반 연합 학습
Differential Privacy as a Perk: Federated Learning over Multiple-Access Fading Channels with a Multi-Antenna Base Station
한국어 초록
연합 학습(FL)은 학습(training) 과정에서 원시 데이터를 교환할 필요를 없애 프라이버시를 보존하는 분산 학습 패러다임입니다. 아날로그 무선 연산(AirComp) 기반 무선 전송을 사용하는 전형적인 엣지 환경의 연합 학습인 무선 연합 학습(AirFL)에서는, 내재된 채널 잡음이 노이즈가 섞인 글로벌 집계로 인해 학습 성능을 저하시키는 동시에 차분 프라이버시(DP)로 정량화되는 프라이버시 보호 메커니즘을 위한 자연스러운 무작위성(randomness) 원천을 제공한다는 점에서 독특한 '양날의 검(frenemy)' 역할을 합니다. 그럼에도 불구하고, 단순한 채널 모델이나 제한된 유형의 손실(loss) 함수를 가정한 기존 연구들은 주로 단일 라운드 또는 수렴하지 않는 프라이버시 손실 상한을 통한 (로컬) DP 향상만을 고려했기 때문에 이러한 채널 열화를 효과적으로 활용하는 것은 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 사용자 수준 DP 요구 조건을 만족해야 하는 다중 안테나 기지국(BS) 기반 다중 접속 페이딩 채널 환경의 AirFL을 연구합니다. 유사한 환경에서 일반적으로 DP를 보장하려면 인공 잡음(AN)을 주입해야 한다고 주장한 최근 연구와 달리, 본 연구는 인공 잡음을 전혀 사용하지 않고도 DP를 하나의 '덤(perk)'으로 확보할 수 있음을 입증합니다. 구체적으로, 모델(model) 파라미터에 대한 일반적인 유계 도메인 가정 하에서 수렴(convergence)하는 새로운 DP 상한을 도출함과 동시에, 일반적인 매끄러운 비볼록(non-convex) 손실 함수 환경에서의 수렴 상한도 도출합니다. 이어 수신 빔포밍과 전력 할당을 최적화하여 최적의 수렴-프라이버시 트레이드오프를 규명하며, 학습 성능을 저하시키지 않고도 DP를 달성할 수 있는 명시적 조건들을 밝혀냅니다. 마지막으로, 광범위한 수치 결과를 통해 본 논문의 이론적 발견들을 검증합니다.
원문 초록
Federated Learning (FL) is a distributed learning paradigm that preserves privacy by eliminating the need to exchange raw data during training. In its prototypical edge instantiation with underlying wireless transmissions enabled by analog over-the-air computing (AirComp), referred to as \emph{over-the-air FL (AirFL)}, the inherent channel noise plays a unique role of \emph{frenemy} in the sense that it degrades training due to noisy global aggregation while providing a natural source of randomness for privacy-preserving mechanisms, formally quantified by \emph{differential privacy (DP)}. It remains, nevertheless, challenging to effectively harness such channel impairments, as prior arts, under assumptions of either simple channel models or restricted types of loss functions, mostly considering (local) DP enhancement with a single-round or non-convergent bound on privacy loss. In this paper, we study AirFL over multiple-access fading channels with a multi-antenna base station (BS) subject to user-level DP requirements. Despite a recent study, which claimed in similar settings that artificial noise (AN) must be injected to ensure DP in general, we demonstrate, on the contrary, that DP can be gained as a \emph{perk} even \emph{without} employing any AN. Specifically, we derive a novel bound on DP that converges under general bounded-domain assumptions on model parameters, along with a convergence bound with general smooth and non-convex loss functions. Next, we optimize over receive beamforming and power allocations to characterize the optimal convergence-privacy trade-offs, which also reveal explicit conditions in which DP is achievable without compromising training. Finally, our theoretical findings are validated by extensive numerical results.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류
Private and Distributionally Robust Federated Multiclass Classification
자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.
연합 학습에서의 다중 에이전트 프라이버시 게임: 통합 평균장 관점
Multi-Agent Privacy Game in Federated Learning: A Unified Mean-Field View
연합 학습은 데이터를 중앙에 모으지 않고 분산된 클라이언트 간 협력적 모델 학습을 가능하게 하지만, 공유되는 모델 업데이트가 로컬 데이터셋에 관한 정보를 유출할 수 있어 프라이버시는 여전히 지속적인 우려 사항이다. 기존 프라이버시 보존 방법들은 클라이언트 업데이트에 보정된 노이즈를 주입하여 합성 보장을 제한하거나, 클라이언트의 프라이버시 선택을 다중 에이전트 게임으로 공식화하는데, 클라이언트 수가 증가할수록 내시 균형(Nash equilibrium)을 구하기 어렵게 만든다. 우리는 프라이버시 보존 연합 학습을 평균장(mean-field) 프라이버시 게임으로 공식화함으로써 이 두 연구 계열을 잇는다. 각 클라이언트는 단일 평균장 통계량을 통해서만 모집단과 상호작용하면서 자신의 프라이버시 예산을 전략적으로 선택한다. 평균장 극한은 임의로 많은 클라이언트에 대해 다루기 쉬운 균형을 제공하고, 이질적인 클라이언트 선호를 수용하며, log-Sobolev 수축을 통해 지수적으로 감쇠하는 프라이버시 보장을 상속한다. 이 프레임워크는 동질적인 특수 경우로서 엔트로피 프라이버시 기준선을, 유한 모집단 경우로서 다중 에이전트 프라이버시 게임을 복원한다. 2차 회귀, 로지스틱 회귀, MNIST에 대한 실험은 제안 프레임워크가 동질 기준선이 표현할 수 없는 개인화된 프라이버시 보장을 제공하면서 엔트로피 기준선의 프라이버시-유틸리티 트레이드오프를 달성함을 보여준다.
개인화와 프라이버시의 균형을 맞춘 프라이버시 보존 추천 시스템
Privacy Preserving Recommender Systems Balancing Personalization with Privacy
개인화 추천 시스템은 현대 이커머스 및 소매 플랫폼의 핵심이지만, 일반적으로 상세한 사용자 상호작용 데이터의 중앙집중식 저장에 의존하여 상당한 프라이버시 및 규제 문제를 야기한다. GDPR, CCPA, CPRA와 같은 규정의 요구가 증가함에 따라, 조직은 추천 품질을 크게 저하시키지 않으면서 사용자 프라이버시를 보존하는 추천 시스템을 개발해야 한다. 본 연구는 연합 학습(federated learning), 차등 프라이버시(differential privacy), 코호트 수준 모델링(cohort-level modeling), 프라이버시 인식 지능형 에이전트(privacy-aware intelligent agents)를 결합한 프라이버시 보존 추천 프레임워크를 제시하고 평가한다. 이 프레임워크는 원시 사용자 데이터를 분산 상태로 유지하면서 모델 업데이트에 수학적으로 제한된 노이즈를 도입한다. 고객 클릭스트림 및 구매 행동을 모사하는 합성 소매 데이터셋(dataset)에서 실험을 수행했다. 추천 품질은 여러 차등 프라이버시 예산에 걸쳐 클릭률(CTR), 정밀도@K(Precision@K), 재현율@K(Recall@K), 정규화 할인 누적 이득(NDCG@K)으로 평가했다. 다양한 프라이버시 제약 하에서 행렬 분해(matrix factorization), 신경망 협업 필터링(neural collaborative filtering), GRU4Rec을 평가하고 프라이버시와 유틸리티(utility) 간의 트레이드오프를 분석한다. 추천 성능, 순위 안정성, 프라이버시-유틸리티 트레이드오프, 공정성(fairness) 지표를 시각화하는 대화형 Streamlit 대시보드를 개발했다. 결과는 제안 프레임워크가 중간 수준의 프라이버시 예산(약 ε≈5)에서 경쟁력 있는 추천 품질을 유지함을 보여주며, 강력한 프라이버시 보장이 추천 효과에 제한적인 영향만으로 달성될 수 있음을 입증한다. 본 연구는 개인화, 규제 준수, 비즈니스 목표의 균형을 맞추는 프라이버시 보존 추천 시스템 배포를 위한 실용적 프레임워크를 제공하며, 차세대 AI 기반 소매 플랫폼을 위한 확장 가능한 접근법을 제시한다.
프라이버시를 고려한 협력적 분산 베이지안 최적화
Privacy-Aware Collaborative and Distributed Bayesian Optimization
우리는 원시 데이터 교환 없이 중앙 집중식 성능에 부합하는 분산 베이지안 최적화(Bayesian optimization)를 위한 협력적 메타학습(meta-learning) 프레임워크를 제안한다. 그래디언트 공유가 클라이언트 관측값을 유출하며, 탐색이 수렴하고 쿼리가 최적점 근방에 집중될수록 유출이 심화됨을 보인다. 차등 프라이버시(differential privacy) 방어 기법을 평가하고 그 프라이버시-유용성 트레이드오프를 분석한다.
차등 프라이버시를 결합한 등변 양자 클러스터링: 이종 민감 데이터셋 전반에 걸친 매개변수 효율적 프라이버시 보존 분석
Equivariant Quantum Clustering with Differential Privacy: Parameter-Efficient Privacy-Preserving Analysis Across Heterogeneous Sensitive Datasets
프라이버시 보존 클러스터링은 헬스케어, 사이버보안, 엔터프라이즈 응용 분야에서 민감 데이터를 분석하는 데 필수적이며, 데이터 기밀성 유지와 분석 성능 간의 균형이 요구된다. 본 논문은 대칭성 인식 양자 회로와 차등 프라이버시(differential privacy)를 통합하여 프라이버시-유용성 트레이드오프를 개선하는 매개변수 효율적 프레임워크인 등변 양자 클러스터링(EQC, Equivariant Quantum Clustering)을 제안한다. EQC는 p4m 등변 매개변수 공유를 적용하여 정보성 특징 표현을 유지하면서 회로 복잡도를 줄인다. 본 프레임워크는 세 가지 프라이버시 민감 데이터셋인 NSL-KDD, CERT Insider Threat v6.2, 합성 MIMIC-III 임상 데이터셋을 대상으로 평가되었다. NSL-KDD 벤치마크에서 EQC는 프라이버시 예산 ε = 1.0, δ = 10^-5 조건 하에 클러스터링 정확도 79.3%를 달성하는 동시에 멤버십 추론 공격(membership inference attack) 성공률을 38.3%로 낮추어, 대표적인 고전적·양자 기반 비교 모델들을 능가하였다. 에이블레이션 연구(ablation study)는 성능 향상이 주로 매개변수 효율적 회로 설계와 차등 프라이버시의 결합에서 비롯됨을 보여준다. 실험 결과는 EQC가 이종 민감 데이터셋 전반에 걸쳐 안전하고 프라이버시를 보존하는 클러스터링을 위한 실용적인 양자 준비 프레임워크를 제공함을 입증한다.
Differentially Private Natural Gradient Descent
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
20 pages, 8 figures