랜덤 할당 기반 서브샘플링을 적용한 DP-SGD의 트레이드오프 함수: 빈틈없는 상한 및 하한
Trade-off Functions for DP-SGD with Subsampling based on Random Allocation: Tight Upper and Lower Bounds
$f$-DP 프레임워크 내에서, 각 샘플이 에포크(epoch)당 $M$개의 미니배치 중 정확히 하나에 독립적으로 할당되는 랜덤 할당(random allocation) 기반 서브샘플링을 적용한 차분 프라이버시 확률적 경사하강법(DP-SGD)의 트레이드오프 함수에 대한 빈틈없는(tight) 분석을 도출합니다. 여기서 각 미니배치는 단일 에포크 내 $M$번의 SGD 라운드 중 하나에 대응합니다. 우리의 분석은 명시적인 유효성 조건 하에서 성립하며, 이 조건의 가설들은 결합하여 $σ\geq \sqrt{3/\ln M}$을 강제합니다(여기서 $σ$는 DP 노이즈 승수). 기계 계산은 가능하지만 불투명한 닫히지 않은 암시적 공식(non-closed implicit formulas)을 생성하는 포아송 서브샘플링(Poisson subsampling)에 대한 $f$-DP 분석과 달리, 랜덤 할당은 투명하고 해석 가능한 닫힌 형태(closed-form)의 경계를 제공하는 빈틈없는 분석을 가능하게 합니다. 단일 에포크에 대해 베리-에센 정리(Berry-Esseen theorem)를 통해 도출된 구체적인 경계는 상수 계수 차이 내에서 빈틈없습니다(tight up to constant factors). 단일 에포크($E=1$)에 대해 해당 트레이드오프 함수가 $\geq 1-a-δ$, 즉 이상적인 무작위 추측 대각선 $1-a$보다 단지 $δ$만큼 아래에 있는 계산된 매개변수 설정을 시연합니다. $δ= 1/100$ 및 $σ= 1$의 경우 유의미한 차분 프라이버시를 달성하는 데 약 $M \approx 1.14\times 10^6$ 라운드와 $N \approx 1.14\times 10^7$ 학습 샘플로 충분합니다. 이는 유의미한 DP 보장이 존재할 수 없는 체제인 $σ\leq 1/\sqrt{2 \ln M}$에 대한 최근의 부정적인 결과와 대조됩니다.