원문 초록
Training with differential privacy (DP) guarantees dataset members that they cannot be identified by users of the released model. However, those data providers, and, in general, the public, lack methods to efficiently verify that models trained on their data satisfy DP guarantees. The amount of compute needed to verify DP guarantees for current algorithms scales with the amount of computation required to train the model. In this paper we design the first DP algorithm with near optimal privacy-utility trade-offs but whose DP guarantees can be verified cheaper than training. We focus on DP stochastic convex optimization (DP-SCO), where optimal privacy-utility trade-offs are known. Here we show we can obtain tight privacy-utility trade-offs by privately minimizing a series of regularized objectives and only using the standard DP composition bound. Crucially, this method can be verified with much less compute than training. This leads to the first known DP-SCO algorithm with near optimal privacy-utility whose DP verification scales better than training cost, significantly reducing verification costs on large datasets.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2512.04008v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류
Private and Distributionally Robust Federated Multiclass Classification
자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.
노이즈 감소와 바이어스 보정을 통한 프라이빗 분산 최적화
Private Decentralized Optimization with Noise Reduction and Bias Correction
프라이빗 분산 학습은 이질적인 데이터 환경에서 샘플링 노이즈, 프라이버시 노이즈, 그리고 분산 바이어스의 영향을 받는다. 본 논문은 Private Recursive Decentralized Optimization(PRDO)을 제안한다. PRDO는 동일 배치 그래디언트 차이를 이용한 재귀적 추정(recursive estimation)으로 샘플링 노이즈와 프라이버시 노이즈에 의한 추정 오차를 줄이고, Exact Diffusion 구성 요소로 데이터 이질성에서 비롯되는 분산 바이어스를 보정한다. 본 분석은 노드 간 데이터 이질성이 균일하게 유계라는 가정 없이 비볼록(nonconvex) 수렴 바운드를 도출한다. 또한 재귀적 그래디언트 차이가 프라이빗 Exact Diffusion보다 엄밀하게 더 낮은 쿼리 민감도(query sensitivity)를 갖게 되는 충분 조건을 제시하고, 이 조건을 엄밀하게 만족하는 예시를 함께 제시한다. 실험 결과, 평가한 베이스라인 대비 정확도가 향상됨을 확인하였다.
연합 학습에서의 다중 에이전트 프라이버시 게임: 통합 평균장 관점
Multi-Agent Privacy Game in Federated Learning: A Unified Mean-Field View
연합 학습은 데이터를 중앙에 모으지 않고 분산된 클라이언트 간 협력적 모델 학습을 가능하게 하지만, 공유되는 모델 업데이트가 로컬 데이터셋에 관한 정보를 유출할 수 있어 프라이버시는 여전히 지속적인 우려 사항이다. 기존 프라이버시 보존 방법들은 클라이언트 업데이트에 보정된 노이즈를 주입하여 합성 보장을 제한하거나, 클라이언트의 프라이버시 선택을 다중 에이전트 게임으로 공식화하는데, 클라이언트 수가 증가할수록 내시 균형(Nash equilibrium)을 구하기 어렵게 만든다. 우리는 프라이버시 보존 연합 학습을 평균장(mean-field) 프라이버시 게임으로 공식화함으로써 이 두 연구 계열을 잇는다. 각 클라이언트는 단일 평균장 통계량을 통해서만 모집단과 상호작용하면서 자신의 프라이버시 예산을 전략적으로 선택한다. 평균장 극한은 임의로 많은 클라이언트에 대해 다루기 쉬운 균형을 제공하고, 이질적인 클라이언트 선호를 수용하며, log-Sobolev 수축을 통해 지수적으로 감쇠하는 프라이버시 보장을 상속한다. 이 프레임워크는 동질적인 특수 경우로서 엔트로피 프라이버시 기준선을, 유한 모집단 경우로서 다중 에이전트 프라이버시 게임을 복원한다. 2차 회귀, 로지스틱 회귀, MNIST에 대한 실험은 제안 프레임워크가 동질 기준선이 표현할 수 없는 개인화된 프라이버시 보장을 제공하면서 엔트로피 기준선의 프라이버시-유틸리티 트레이드오프를 달성함을 보여준다.
평활성 상수에는 무엇이 담겨 있는가? 유계 2차 이종성 하 Local SGD의 더 정밀한 수렴률
What's in a Smoothness Constant? Tighter Rates for Local SGD with Bounded Second-order Heterogeneity
Local SGD(연합 평균화(Federated Averaging)로도 알려짐)는 널리 사용되는 분산 최적화(optimization) 알고리즘이다. Local SGD는 실무에서 미니배치 SGD와 같은 대안들보다 종종 더 나은 성능을 보이지만, 이론은 현실적인 데이터 이종성 하에서 로컬 업데이트가 언제·왜 도움이 되는지를 여전히 부분적으로만 설명한다. [Patel et al., 2025]의 최근 연구는 유계 2차 이종성 가정이 강볼록 목적함수에 대한 Local SGD의 효율을 포착한다는 것을 보여 주며, 동일한 원리가 일반 볼록 설정으로 확장된다고 추측한다. 본 논문에서는 유계 2차 이종성 하 일반 볼록 목적함수에 대한 Local SGD의 개선된 수렴 보장을 확립함으로써 이 추측을 증명한다. 또한 이 설정에서 Local SGD에 대한 알려진 최선의 하한을 개선하여, 우리의 상한이 거의 tight함을 보인다. 이러한 결과를 종합하면 Local SGD에 대한 더 날카롭고 세밀한 수렴 이론이 제공된다. 기법의 추가 적용으로, 치환을 사용한 순차 SGD에 대한 하한을 제시하여 2차 이종성이 드문 고곡률(high-curvature) 클라이언트의 영향을 어떻게 포착하는지 보여 준다.
개인화와 프라이버시의 균형을 맞춘 프라이버시 보존 추천 시스템
Privacy Preserving Recommender Systems Balancing Personalization with Privacy
개인화 추천 시스템은 현대 이커머스 및 소매 플랫폼의 핵심이지만, 일반적으로 상세한 사용자 상호작용 데이터의 중앙집중식 저장에 의존하여 상당한 프라이버시 및 규제 문제를 야기한다. GDPR, CCPA, CPRA와 같은 규정의 요구가 증가함에 따라, 조직은 추천 품질을 크게 저하시키지 않으면서 사용자 프라이버시를 보존하는 추천 시스템을 개발해야 한다. 본 연구는 연합 학습(federated learning), 차등 프라이버시(differential privacy), 코호트 수준 모델링(cohort-level modeling), 프라이버시 인식 지능형 에이전트(privacy-aware intelligent agents)를 결합한 프라이버시 보존 추천 프레임워크를 제시하고 평가한다. 이 프레임워크는 원시 사용자 데이터를 분산 상태로 유지하면서 모델 업데이트에 수학적으로 제한된 노이즈를 도입한다. 고객 클릭스트림 및 구매 행동을 모사하는 합성 소매 데이터셋(dataset)에서 실험을 수행했다. 추천 품질은 여러 차등 프라이버시 예산에 걸쳐 클릭률(CTR), 정밀도@K(Precision@K), 재현율@K(Recall@K), 정규화 할인 누적 이득(NDCG@K)으로 평가했다. 다양한 프라이버시 제약 하에서 행렬 분해(matrix factorization), 신경망 협업 필터링(neural collaborative filtering), GRU4Rec을 평가하고 프라이버시와 유틸리티(utility) 간의 트레이드오프를 분석한다. 추천 성능, 순위 안정성, 프라이버시-유틸리티 트레이드오프, 공정성(fairness) 지표를 시각화하는 대화형 Streamlit 대시보드를 개발했다. 결과는 제안 프레임워크가 중간 수준의 프라이버시 예산(약 ε≈5)에서 경쟁력 있는 추천 품질을 유지함을 보여주며, 강력한 프라이버시 보장이 추천 효과에 제한적인 영향만으로 달성될 수 있음을 입증한다. 본 연구는 개인화, 규제 준수, 비즈니스 목표의 균형을 맞추는 프라이버시 보존 추천 시스템 배포를 위한 실용적 프레임워크를 제공하며, 차세대 AI 기반 소매 플랫폼을 위한 확장 가능한 접근법을 제시한다.
프라이버시를 고려한 협력적 분산 베이지안 최적화
Privacy-Aware Collaborative and Distributed Bayesian Optimization
우리는 원시 데이터 교환 없이 중앙 집중식 성능에 부합하는 분산 베이지안 최적화(Bayesian optimization)를 위한 협력적 메타학습(meta-learning) 프레임워크를 제안한다. 그래디언트 공유가 클라이언트 관측값을 유출하며, 탐색이 수렴하고 쿼리가 최적점 근방에 집중될수록 유출이 심화됨을 보인다. 차등 프라이버시(differential privacy) 방어 기법을 평가하고 그 프라이버시-유용성 트레이드오프를 분석한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.