PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.22703v2cs.LG

Private Rate-Constrained Optimization with Applications to Fair Learning

Many problems in trustworthy ML can be expressed as constraints on prediction rates across subpopulations, including group fairness constraints (demographic parity, equalized odds, etc.). In this work, we study such constrained minimization problems under differential privacy (DP). Standard DP optimization techniques like DP-SGD rely on objectives that decompose over individual examples, enabling per-example gradient clipping and noise addition. Rate constraints, however, depend on aggregate statistics across groups, creating inter-sample dependencies that violate this decomposability. To address this, we develop RaCO-DP, a DP variant of Stochastic Gradient Descent-Ascent (SGDA) that solves the Lagrangian formulation of rate constraint problems. Through careful design, the extra privacy cost incurred by incorporating these constraints in our approach is limited to that of privately estimating a histogram over each mini-batch at every step. We prove the convergence of our algorithm through a novel analysis of SGDA that leverages the linear structure of the dual parameter. Empirical results show that our method Pareto-dominates existing private learning approaches under group fairness constraints and also achieves strong privacy-utility-fairness performance on neural networks.

arXiv:2602.04155v2stat.ML

최대-최소 상대적 개선: 협상 문제로서의 공정 학습

Maximin Relative Improvement: Fair Learning as a Bargaining Problem

여러 하위 집단에 걸쳐 단일 예측기를 배포할 때, 우리는 근본적으로 다른 접근 방식을 제안합니다: 집단 공정성을 하위 집단 간의 협상 문제로 해석하는 것입니다. 이 게임 이론적 관점은 최악의 집단 손실이나 후회를 최소화하는 것과 같은 기존의 강건 최적화 방법들이 고전적 협상 해법에 해당하며 서로 다른 공정성 원칙을 내포하고 있음을 보여줍니다. 우리는 기준선 예측기로부터의 잠재적 감소량에 대한 실제 위험 감소량의 비율인 상대적 개선(relative improvement)을 제안하며, 이는 Kalai-Smorodinsky 해법을 도출합니다. 집단이 서로 다른 잠재적 예측 가능성을 가질 때 비교가 불가능할 수 있는 절대 척도 방법과 달리, 상대적 개선은 척도 불변성과 개별 단조성을 포함한 공리적 정당성을 제공합니다. 우리는 완화된 조건 하에서 유한 표본 수렴 보장을 확립합니다.