arXiv:2607.05866v1 cs.LG

Differentially Private Natural Gradient Descent

Pan Li, Kai Chen, Shuai Chang, Shengzhi Zhang, Peizhuo Lv, Jinwen He

제출 2026-07-07

원문 초록

Under a fixed privacy budget, the utility of differentially private (DP) training is ultimately determined by its optimization efficiency. Standard first-order DP optimizers such as DP-SGD rely solely on local gradients and ignore the underlying loss curvature. This geometric blindness causes severe zigzagging in ill-conditioned landscapes, squandering precious privacy budgets on inefficient iterations. Practitioners are thus trapped in a bind: either stop training prematurely or inject massive per-step noise, both of which critically compromise final model utility. Natural Gradient Descent (NGD) resolves this by preconditioning gradients with curvature, aligning updates with the loss geometry and extracting more efficient signal from every noisy step, offering a principled pathway to break the privacy-utility bottleneck. Despite its theoretical appeal, directly integrating NGD with DP introduces fundamental challenges: curvature estimation itself consumes prohibitive privacy budgets, isotropic DP operations conflict with the anisotropic scaling of NGD, and the inverse curvature catastrophically amplify parameter updates in flat directions, causing training instability. We propose DP-NGD, a practical framework that systematically addresses these obstacles by decoupling curvature estimation from private data, reconciling isotropic DP constraints with anisotropic second-order optimization via a whitened-space mechanism, and dynamically clamping the curvature to stabilize training. Extensive experiments on standard benchmarks demonstrate that DP-NGD achieves state-of-the-art accuracy, breaking through the utility ceilings of first-order baselines while delivering up to a $10\times$ convergence speedup under the same privacy budget.

요약

차분 프라이버시(DP) 학습에서 DP-SGD의 기하학적 맹점(곡률 무시로 인한 비효율적 수렴)을 해결하기 위해, 공개 보조 데이터로 곡률을 추정하고 F⁻¹/²-whitened 공간에서 등방성 DP 연산을 비등방성 자연 경사 업데이트로 변환하는 DP-NGD 프레임워크를 제안한다. 동적 곡률 클램핑으로 학습 안정성을 확보한 DP-NGD는 표준 벤치마크에서 동일 프라이버시 예산 하에 최대 10배의 수렴 가속과 최신 정확도를 달성했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.05866v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13631v1cs.LG공통 태그 Privacy Preserving, Federated Learning, differential privacy

프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류

Private and Distributionally Robust Federated Multiclass Classification

자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.

arXiv:2609.27658v1cs.LG공통 태그 Stochastic Optimization, Privacy Preserving, Federated Learning

노이즈 감소와 바이어스 보정을 통한 프라이빗 분산 최적화

Private Decentralized Optimization with Noise Reduction and Bias Correction

프라이빗 분산 학습은 이질적인 데이터 환경에서 샘플링 노이즈, 프라이버시 노이즈, 그리고 분산 바이어스의 영향을 받는다. 본 논문은 Private Recursive Decentralized Optimization(PRDO)을 제안한다. PRDO는 동일 배치 그래디언트 차이를 이용한 재귀적 추정(recursive estimation)으로 샘플링 노이즈와 프라이버시 노이즈에 의한 추정 오차를 줄이고, Exact Diffusion 구성 요소로 데이터 이질성에서 비롯되는 분산 바이어스를 보정한다. 본 분석은 노드 간 데이터 이질성이 균일하게 유계라는 가정 없이 비볼록(nonconvex) 수렴 바운드를 도출한다. 또한 재귀적 그래디언트 차이가 프라이빗 Exact Diffusion보다 엄밀하게 더 낮은 쿼리 민감도(query sensitivity)를 갖게 되는 충분 조건을 제시하고, 이 조건을 엄밀하게 만족하는 예시를 함께 제시한다. 실험 결과, 평가한 베이스라인 대비 정확도가 향상됨을 확인하였다.

arXiv:2607.23029v1cs.LG공통 태그 Privacy Preserving, Federated Learning, differential privacy

연합 학습에서의 다중 에이전트 프라이버시 게임: 통합 평균장 관점

Multi-Agent Privacy Game in Federated Learning: A Unified Mean-Field View

연합 학습은 데이터를 중앙에 모으지 않고 분산된 클라이언트 간 협력적 모델 학습을 가능하게 하지만, 공유되는 모델 업데이트가 로컬 데이터셋에 관한 정보를 유출할 수 있어 프라이버시는 여전히 지속적인 우려 사항이다. 기존 프라이버시 보존 방법들은 클라이언트 업데이트에 보정된 노이즈를 주입하여 합성 보장을 제한하거나, 클라이언트의 프라이버시 선택을 다중 에이전트 게임으로 공식화하는데, 클라이언트 수가 증가할수록 내시 균형(Nash equilibrium)을 구하기 어렵게 만든다. 우리는 프라이버시 보존 연합 학습을 평균장(mean-field) 프라이버시 게임으로 공식화함으로써 이 두 연구 계열을 잇는다. 각 클라이언트는 단일 평균장 통계량을 통해서만 모집단과 상호작용하면서 자신의 프라이버시 예산을 전략적으로 선택한다. 평균장 극한은 임의로 많은 클라이언트에 대해 다루기 쉬운 균형을 제공하고, 이질적인 클라이언트 선호를 수용하며, log-Sobolev 수축을 통해 지수적으로 감쇠하는 프라이버시 보장을 상속한다. 이 프레임워크는 동질적인 특수 경우로서 엔트로피 프라이버시 기준선을, 유한 모집단 경우로서 다중 에이전트 프라이버시 게임을 복원한다. 2차 회귀, 로지스틱 회귀, MNIST에 대한 실험은 제안 프레임워크가 동질 기준선이 표현할 수 없는 개인화된 프라이버시 보장을 제공하면서 엔트로피 기준선의 프라이버시-유틸리티 트레이드오프를 달성함을 보여준다.

arXiv:2607.13328v1cs.CR공통 태그 Privacy Preserving, Federated Learning, differential privacy

개인화와 프라이버시의 균형을 맞춘 프라이버시 보존 추천 시스템

Privacy Preserving Recommender Systems Balancing Personalization with Privacy

개인화 추천 시스템은 현대 이커머스 및 소매 플랫폼의 핵심이지만, 일반적으로 상세한 사용자 상호작용 데이터의 중앙집중식 저장에 의존하여 상당한 프라이버시 및 규제 문제를 야기한다. GDPR, CCPA, CPRA와 같은 규정의 요구가 증가함에 따라, 조직은 추천 품질을 크게 저하시키지 않으면서 사용자 프라이버시를 보존하는 추천 시스템을 개발해야 한다. 본 연구는 연합 학습(federated learning), 차등 프라이버시(differential privacy), 코호트 수준 모델링(cohort-level modeling), 프라이버시 인식 지능형 에이전트(privacy-aware intelligent agents)를 결합한 프라이버시 보존 추천 프레임워크를 제시하고 평가한다. 이 프레임워크는 원시 사용자 데이터를 분산 상태로 유지하면서 모델 업데이트에 수학적으로 제한된 노이즈를 도입한다. 고객 클릭스트림 및 구매 행동을 모사하는 합성 소매 데이터셋(dataset)에서 실험을 수행했다. 추천 품질은 여러 차등 프라이버시 예산에 걸쳐 클릭률(CTR), 정밀도@K(Precision@K), 재현율@K(Recall@K), 정규화 할인 누적 이득(NDCG@K)으로 평가했다. 다양한 프라이버시 제약 하에서 행렬 분해(matrix factorization), 신경망 협업 필터링(neural collaborative filtering), GRU4Rec을 평가하고 프라이버시와 유틸리티(utility) 간의 트레이드오프를 분석한다. 추천 성능, 순위 안정성, 프라이버시-유틸리티 트레이드오프, 공정성(fairness) 지표를 시각화하는 대화형 Streamlit 대시보드를 개발했다. 결과는 제안 프레임워크가 중간 수준의 프라이버시 예산(약 ε≈5)에서 경쟁력 있는 추천 품질을 유지함을 보여주며, 강력한 프라이버시 보장이 추천 효과에 제한적인 영향만으로 달성될 수 있음을 입증한다. 본 연구는 개인화, 규제 준수, 비즈니스 목표의 균형을 맞추는 프라이버시 보존 추천 시스템 배포를 위한 실용적 프레임워크를 제공하며, 차세대 AI 기반 소매 플랫폼을 위한 확장 가능한 접근법을 제시한다.

arXiv:2607.11600v1cs.LG공통 태그 Privacy Preserving, Federated Learning, differential privacy

프라이버시를 고려한 협력적 분산 베이지안 최적화

Privacy-Aware Collaborative and Distributed Bayesian Optimization

우리는 원시 데이터 교환 없이 중앙 집중식 성능에 부합하는 분산 베이지안 최적화(Bayesian optimization)를 위한 협력적 메타학습(meta-learning) 프레임워크를 제안한다. 그래디언트 공유가 클라이언트 관측값을 유출하며, 탐색이 수렴하고 쿼리가 최적점 근방에 집중될수록 유출이 심화됨을 보인다. 차등 프라이버시(differential privacy) 방어 기법을 평가하고 그 프라이버시-유용성 트레이드오프를 분석한다.

arXiv:2610.13768v1stat.ML공통 태그 Privacy Preserving, differential privacy

픽셀에서 프라이버시에 민감한 특징까지: 재구성 경계를 위한 정보 이론적 프레임워크

From Pixels to Privacy-Sensitive Features: An Information-Theoretic Framework for Reconstruction Bounds

공격자(adversary)는 DP-SGD로 학습(training)된 모델(model)에서 무엇을 복원할 수 있는가? $(\varepsilon,δ)$ 보장은 이 질문에 직접적인 답을 주지 않는다. 우리는 학습 전에 계산할 수 있으며, 학습 중 매개변수(parameter) 궤적을 관찰하고 다른 모든 학습 레코드와 학습 레코드가 추출된 모집단 분포를 알고 있는 공격자에게도 적용되는 왜곡 경계를 도출한다. 분석자는 오차를 측정하는 표현(representation)을 선택할 수 있어, 경계가 주어진 응용에서 프라이버시에 민감한 재구성 측면을 목표로 하도록 할 수 있다. 우리의 정보 이론적 프레임워크는 두 가지 기여를 분리한다: 조건부 상호 정보량(conditional mutual information)을 통해 측정되는, 학습으로 드러나는 레코드에 대한 정보와, 소스 엔트로피(source entropy)를 통해 측정되는, 데이터 분포에 이미 존재하는 불확실성이다. 속도-왜곡 이론(rate-distortion theory)은 이 둘을 결합하여 모든 재구성 공격의 기대 오차에 대한 하한을 제공한다. DP-SGD의 경우, 유출 경계는 샘플링 비율과 노이즈 배수(noise multiplier)에만 의존하며, 소스 엔트로피는 유한 샘플 신뢰도를 갖는 샘플로부터 하한이 추정된다. 직교 블록 구성은 결과 경계가 고차원 이미지에 대해서도 유의미하도록 유지한다. 우리는 이 프레임워크를 픽셀 공간과 LPIPS 특징(feature) 공간에서 구체화하여, 우리가 아는 한 LPIPS로 직접 측정한 재구성 왜곡에 대한 최초의 하한을 얻는다. 다양한 이미지 데이터셋(dataset)에서 이 경계는 경험적으로 권장되는 프라이버시 예산 범위 내 및 그 이상에서 자명하지 않은 불가피한 기대 재구성 오차를 입증한다. 실험은 이 경계를 강력한 재구성 공격과 비교하고, 남아 있는 격차의 주요 원인을 규명한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.