arXiv:2505.22703v2 cs.LG

Private Rate-Constrained Optimization with Applications to Fair Learning

Mohammad Yaghini, Tudor Cebere, Michael Menart, Aurélien Bellet, Nicolas Papernot

제출 2025-05-28

원문 초록

Many problems in trustworthy ML can be expressed as constraints on prediction rates across subpopulations, including group fairness constraints (demographic parity, equalized odds, etc.). In this work, we study such constrained minimization problems under differential privacy (DP). Standard DP optimization techniques like DP-SGD rely on objectives that decompose over individual examples, enabling per-example gradient clipping and noise addition. Rate constraints, however, depend on aggregate statistics across groups, creating inter-sample dependencies that violate this decomposability. To address this, we develop RaCO-DP, a DP variant of Stochastic Gradient Descent-Ascent (SGDA) that solves the Lagrangian formulation of rate constraint problems. Through careful design, the extra privacy cost incurred by incorporating these constraints in our approach is limited to that of privately estimating a histogram over each mini-batch at every step. We prove the convergence of our algorithm through a novel analysis of SGDA that leverages the linear structure of the dual parameter. Empirical results show that our method Pareto-dominates existing private learning approaches under group fairness constraints and also achieves strong privacy-utility-fairness performance on neural networks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2505.22703v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14607v1cs.LG공통 태그 Fairness, Privacy Preserving, differential privacy

공정성-프라이버시 트레이드오프 감사: 공정성 향상 알고리즘의 하위 집단 수준 효과

Auditing Fairness-Privacy Trade-offs: Subpopulation-Level Effects of Fairness-Enhancing Algorithms

의료, 법 집행, 금융 등 민감한 분야에 배포된 머신러닝(ML) 모델은 유틸리티 요구사항뿐 아니라 공정성과 프라이버시 보장도 충족해야 한다. 기존 연구는 대체로 프라이버시 보존 기법이 공정성에 미치는 영향을 살펴보았지만, 그 역방향 질문—공정성 향상 알고리즘이 프라이버시 유출에 어떤 영향을 미치는지—는 아직 충분히 탐구되지 않았다. 본 연구는 공정성 개입이 하위 집단(subpopulation) 수준에서 멤버십 추론(membership inference) 프라이버시 위험에 어떤 영향을 미치는지에 대한 최초의 포괄적 연구를 제시한다. 하위 그룹(subgroup) 감사를 위해 Likelihood Ratio Attack(LiRA)을 적응하여, 집계 평가가 감추는 프라이버시 불균형을 밝힌다. 또한 차분 프라이버시(Differential Privacy, DP)가 다양한 범주에서 공정성 향상 방법과 어떻게 상호작용하는지 분석하며, DP의 프라이버시 이점과 유틸리티 비용이 하위 집단 전반에 고르게 분포하지 않음을 보인다. 결과는 공정성 개입이 프라이버시 위험을 균일하게 증가시키지 않으며, 그 영향이 모델 아키텍처, 하위 그룹 크기, 완화 전략에 따라 달라짐을 보여준다. 이러한 발견은 공정성, 프라이버시, 유틸리티를 하위 집단 수준에서 공동으로 평가해야 함을 드러내며, 실무에서 이러한 감사를 지원하기 위한 최초의 통합 실증 프레임워크를 제안한다.

arXiv:2607.13328v1cs.CR공통 태그 Fairness, Privacy Preserving, differential privacy

개인화와 프라이버시의 균형을 맞춘 프라이버시 보존 추천 시스템

Privacy Preserving Recommender Systems Balancing Personalization with Privacy

개인화 추천 시스템은 현대 이커머스 및 소매 플랫폼의 핵심이지만, 일반적으로 상세한 사용자 상호작용 데이터의 중앙집중식 저장에 의존하여 상당한 프라이버시 및 규제 문제를 야기한다. GDPR, CCPA, CPRA와 같은 규정의 요구가 증가함에 따라, 조직은 추천 품질을 크게 저하시키지 않으면서 사용자 프라이버시를 보존하는 추천 시스템을 개발해야 한다. 본 연구는 연합 학습(federated learning), 차등 프라이버시(differential privacy), 코호트 수준 모델링(cohort-level modeling), 프라이버시 인식 지능형 에이전트(privacy-aware intelligent agents)를 결합한 프라이버시 보존 추천 프레임워크를 제시하고 평가한다. 이 프레임워크는 원시 사용자 데이터를 분산 상태로 유지하면서 모델 업데이트에 수학적으로 제한된 노이즈를 도입한다. 고객 클릭스트림 및 구매 행동을 모사하는 합성 소매 데이터셋(dataset)에서 실험을 수행했다. 추천 품질은 여러 차등 프라이버시 예산에 걸쳐 클릭률(CTR), 정밀도@K(Precision@K), 재현율@K(Recall@K), 정규화 할인 누적 이득(NDCG@K)으로 평가했다. 다양한 프라이버시 제약 하에서 행렬 분해(matrix factorization), 신경망 협업 필터링(neural collaborative filtering), GRU4Rec을 평가하고 프라이버시와 유틸리티(utility) 간의 트레이드오프를 분석한다. 추천 성능, 순위 안정성, 프라이버시-유틸리티 트레이드오프, 공정성(fairness) 지표를 시각화하는 대화형 Streamlit 대시보드를 개발했다. 결과는 제안 프레임워크가 중간 수준의 프라이버시 예산(약 ε≈5)에서 경쟁력 있는 추천 품질을 유지함을 보여주며, 강력한 프라이버시 보장이 추천 효과에 제한적인 영향만으로 달성될 수 있음을 입증한다. 본 연구는 개인화, 규제 준수, 비즈니스 목표의 균형을 맞추는 프라이버시 보존 추천 시스템 배포를 위한 실용적 프레임워크를 제공하며, 차세대 AI 기반 소매 플랫폼을 위한 확장 가능한 접근법을 제시한다.

arXiv:2610.13631v1cs.LG공통 태그 Privacy Preserving, differential privacy

프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류

Private and Distributionally Robust Federated Multiclass Classification

자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.

arXiv:2610.13768v1stat.ML공통 태그 Privacy Preserving, differential privacy

픽셀에서 프라이버시에 민감한 특징까지: 재구성 경계를 위한 정보 이론적 프레임워크

From Pixels to Privacy-Sensitive Features: An Information-Theoretic Framework for Reconstruction Bounds

공격자(adversary)는 DP-SGD로 학습(training)된 모델(model)에서 무엇을 복원할 수 있는가? $(\varepsilon,δ)$ 보장은 이 질문에 직접적인 답을 주지 않는다. 우리는 학습 전에 계산할 수 있으며, 학습 중 매개변수(parameter) 궤적을 관찰하고 다른 모든 학습 레코드와 학습 레코드가 추출된 모집단 분포를 알고 있는 공격자에게도 적용되는 왜곡 경계를 도출한다. 분석자는 오차를 측정하는 표현(representation)을 선택할 수 있어, 경계가 주어진 응용에서 프라이버시에 민감한 재구성 측면을 목표로 하도록 할 수 있다. 우리의 정보 이론적 프레임워크는 두 가지 기여를 분리한다: 조건부 상호 정보량(conditional mutual information)을 통해 측정되는, 학습으로 드러나는 레코드에 대한 정보와, 소스 엔트로피(source entropy)를 통해 측정되는, 데이터 분포에 이미 존재하는 불확실성이다. 속도-왜곡 이론(rate-distortion theory)은 이 둘을 결합하여 모든 재구성 공격의 기대 오차에 대한 하한을 제공한다. DP-SGD의 경우, 유출 경계는 샘플링 비율과 노이즈 배수(noise multiplier)에만 의존하며, 소스 엔트로피는 유한 샘플 신뢰도를 갖는 샘플로부터 하한이 추정된다. 직교 블록 구성은 결과 경계가 고차원 이미지에 대해서도 유의미하도록 유지한다. 우리는 이 프레임워크를 픽셀 공간과 LPIPS 특징(feature) 공간에서 구체화하여, 우리가 아는 한 LPIPS로 직접 측정한 재구성 왜곡에 대한 최초의 하한을 얻는다. 다양한 이미지 데이터셋(dataset)에서 이 경계는 경험적으로 권장되는 프라이버시 예산 범위 내 및 그 이상에서 자명하지 않은 불가피한 기대 재구성 오차를 입증한다. 실험은 이 경계를 강력한 재구성 공격과 비교하고, 남아 있는 격차의 주요 원인을 규명한다.

arXiv:2609.15039v3cs.CR공통 태그 Privacy Preserving, differential privacy

SpliTEE: GPU 보조 신뢰 실행 환경과 차분 프라이버시의 결합을 통한 빠르고 프라이빗한 LLM 추론

SpliTEE: Fast and Private LLM Inference by Coupling GPU-Assisted Trusted Execution Environments with Differential Privacy

대규모 언어 모델(LLM)에 제공되는 사용자 프롬프트에는 개인정보가 포함될 수 있습니다. 이를 보호하는 한 가지 방법은 신뢰 실행 환경(TEE) 내에서 LLM을 실행하는 것입니다. 그러나 현재 TEE는 LLM 추론에 있어 GPU보다 현저히 느리기 때문에 추론 시간이 오래 걸립니다. 이를 우회하기 위해 Tramèr와 Boneh (2019)는 신경망 추론을 TEE와 신뢰할 수 없는 GPU 간에 분할하는 Slalom을 제안했습니다. 이들은 GPU로 아웃소싱되는 연산의 입력을 암호화합니다. 본 논문에서는 이러한 분할 추론 아키텍처를 LLM 추론으로 확장하고, 대신 차분 프라이버시(DP)를 사용하여 중간 입력을 보호합니다. 먼저 이러한 표현으로부터의 프롬프트 복원 공격에서 80%의 정확도를 보임으로써 중간 표현 마스킹이 필수적임을 입증합니다. 본 논문의 주요 기여는 LLM 추론의 핵심 함수들에 대한 전역 민감도 분석으로, 필요한 DP 노이즈의 크기를 제한하는 것입니다. 암호화와 달리 DP는 양자화를 피할 수 있어 LLM이 부동 소수점 영역에 유지되도록 합니다. 또한 프라이버시 매개변수 입실론(epsilon)의 함수로서 마스킹 및 후속 노이즈 상쇄로 인한 부동 소수점 오차의 상한을 도출하여 동일한 LLM 응답 품질을 유지합니다. 인텔 TDX TEE와 두 가지 LLM(Llama-3.2-3B, Qwen3-4B)을 사용하여 아키텍처를 구현했습니다. 제안하는 분할 실행은 완전한 TDX 기반 추론보다 거의 2배 빠릅니다. 나아가 더 높은 정확도를 달성하면서도 Slalom보다 최대 43% 빠릅니다. 마지막으로 DP 메커니즘을 알고 있는 상태에서도 프롬프트 복원이 무관한 프롬프트에 포함된 것 이상의 정보를 복구할 수 없음을 입증합니다.

arXiv:2610.02504v1cs.AI공통 태그 Privacy Preserving, differential privacy

HXAI: 분산 에너지 시스템에서의 계층적 프라이버시 보호 설명 가능한 AI

HXAI: Hierarchical Privacy-Preserving Explainable AI in Distributed Energy Systems

재생 에너지 발전의 내재적인 간헐성과 확률적인 전력 소비로 인해 전력 수요와 공급의 균형을 맞추는 것이 점점 더 어려워지고 있습니다. 전력망 운영자는 피크 부하를 관리하고 대응형 요금제를 설계하기 위해 가구별 에너지 소비에 대한 세밀하고 의사결정에 유의미한 통찰을 필요로 하지만, 이 수준에서 투명성이 높아지면 심각한 프라이버시 문제가 발생합니다. 설명 가능한 AI(XAI)의 전통적인 방법들은 민감한 정보를 노출할 수 있는 반면, 표준적인 프라이버시 기법들은 설명의 유용성을 저하시키는 경우가 많습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 프라이버시를 보호하면서도 전력망 수준의 수요 관리를 위한 합리적인 설명 가능 분석을 가능하게 하는 계층적 프레임워크인 HXAI를 제안합니다. HXAI는 두 가지 주요 구성 요소로 이루어져 있습니다: (1) 안전한 비공개 환경(environment) 내에서 세밀한 설명을 생성하는 로컬 모델(model), (2) 이러한 설명을 집계하여 전력망 수준의 분석을 지원하는 동시에 유연한 프라이버시 예산 관리를 통해 프라이버시를 보장하는 구역(zonal) 모델. 우리는 운영자의 반복적인 쿼리 하에서 누적 프라이버시 노출을 명시적으로 제한하며, 제안된 프레임워크가 가구의 프라이버시를 침해하지 않으면서도 의사결정에 유의미한 정보를 보존함을 보여줍니다. 시뮬레이션 및 실제 에너지 데이터셋 모두에 대한 실험을 통해, HXAI가 가전제품 수준의 소비 정보는 로컬에 유지되어 전력망 운영자에게 결코 전송되지 않도록 보장하면서도 구역 부하 관리를 위한 유용한 통찰을 제공함을 입증합니다. 우리의 결과는 수치적 오차를 최소화하는 것보다 설명의 의미론적 구조를 보존하는 것이 차분 프라이버시(differential privacy) 하에서 XAI의 핵심임을 보여줍니다. 이 프레임워크는 에너지 관리에서 프라이버시와 설명 가능성을 모두 달성할 수 있는 방법을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.