랜덤 할당 기반 서브샘플링을 적용한 DP-SGD의 트레이드오프 함수: 빈틈없는 상한 및 하한
Trade-off Functions for DP-SGD with Subsampling based on Random Allocation: Tight Upper and Lower Bounds
한국어 초록
$f$-DP 프레임워크 내에서, 각 샘플이 에포크(epoch)당 $M$개의 미니배치 중 정확히 하나에 독립적으로 할당되는 랜덤 할당(random allocation) 기반 서브샘플링을 적용한 차분 프라이버시 확률적 경사하강법(DP-SGD)의 트레이드오프 함수에 대한 빈틈없는(tight) 분석을 도출합니다. 여기서 각 미니배치는 단일 에포크 내 $M$번의 SGD 라운드 중 하나에 대응합니다. 우리의 분석은 명시적인 유효성 조건 하에서 성립하며, 이 조건의 가설들은 결합하여 $σ\geq \sqrt{3/\ln M}$을 강제합니다(여기서 $σ$는 DP 노이즈 승수). 기계 계산은 가능하지만 불투명한 닫히지 않은 암시적 공식(non-closed implicit formulas)을 생성하는 포아송 서브샘플링(Poisson subsampling)에 대한 $f$-DP 분석과 달리, 랜덤 할당은 투명하고 해석 가능한 닫힌 형태(closed-form)의 경계를 제공하는 빈틈없는 분석을 가능하게 합니다. 단일 에포크에 대해 베리-에센 정리(Berry-Esseen theorem)를 통해 도출된 구체적인 경계는 상수 계수 차이 내에서 빈틈없습니다(tight up to constant factors). 단일 에포크($E=1$)에 대해 해당 트레이드오프 함수가 $\geq 1-a-δ$, 즉 이상적인 무작위 추측 대각선 $1-a$보다 단지 $δ$만큼 아래에 있는 계산된 매개변수 설정을 시연합니다. $δ= 1/100$ 및 $σ= 1$의 경우 유의미한 차분 프라이버시를 달성하는 데 약 $M \approx 1.14\times 10^6$ 라운드와 $N \approx 1.14\times 10^7$ 학습 샘플로 충분합니다. 이는 유의미한 DP 보장이 존재할 수 없는 체제인 $σ\leq 1/\sqrt{2 \ln M}$에 대한 최근의 부정적인 결과와 대조됩니다.
원문 초록
Within the $f$-DP framework, we derive a tight analysis of the trade-off function for Differentially Private Stochastic Gradient Descent (DP-SGD) with subsampling based on random allocation in which each sample is independently assigned to exactly one of $M$ minibatches per epoch, each minibatch corresponding to one of the $M$ SGD rounds within a single epoch. Our analysis holds under an explicit validity condition, whose hypotheses together force $σ\geq \sqrt{3/\ln M}$, where $σ$ is the DP noise multiplier. Unlike $f$-DP analyses for Poisson subsampling, which yield non-closed implicit formulas that can be machine computed but are non-transparent, random allocation admits a tight analysis yielding transparent and interpretable closed-form bounds. For a single epoch, our concrete bounds, derived via the Berry-Esseen theorem, are tight up to constant factors. We demonstrate worked parameter settings for a single epoch ($E=1$) with a corresponding trade-off function $\geq 1-a-δ$, that is, only $δ$ below the ideal random guessing diagonal $1-a$. For $δ= 1/100$ and $σ= 1$, roughly $M \approx 1.14\times 10^6$ rounds and $N \approx 1.14\times 10^7$ training samples suffice to achieve meaningful differential privacy. This is in contrast to recent negative results for the regime $σ\leq 1/\sqrt{2 \ln M}$ for which no significant DP guarantee can exist.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
픽셀에서 프라이버시에 민감한 특징까지: 재구성 경계를 위한 정보 이론적 프레임워크
From Pixels to Privacy-Sensitive Features: An Information-Theoretic Framework for Reconstruction Bounds
공격자(adversary)는 DP-SGD로 학습(training)된 모델(model)에서 무엇을 복원할 수 있는가? $(\varepsilon,δ)$ 보장은 이 질문에 직접적인 답을 주지 않는다. 우리는 학습 전에 계산할 수 있으며, 학습 중 매개변수(parameter) 궤적을 관찰하고 다른 모든 학습 레코드와 학습 레코드가 추출된 모집단 분포를 알고 있는 공격자에게도 적용되는 왜곡 경계를 도출한다. 분석자는 오차를 측정하는 표현(representation)을 선택할 수 있어, 경계가 주어진 응용에서 프라이버시에 민감한 재구성 측면을 목표로 하도록 할 수 있다. 우리의 정보 이론적 프레임워크는 두 가지 기여를 분리한다: 조건부 상호 정보량(conditional mutual information)을 통해 측정되는, 학습으로 드러나는 레코드에 대한 정보와, 소스 엔트로피(source entropy)를 통해 측정되는, 데이터 분포에 이미 존재하는 불확실성이다. 속도-왜곡 이론(rate-distortion theory)은 이 둘을 결합하여 모든 재구성 공격의 기대 오차에 대한 하한을 제공한다. DP-SGD의 경우, 유출 경계는 샘플링 비율과 노이즈 배수(noise multiplier)에만 의존하며, 소스 엔트로피는 유한 샘플 신뢰도를 갖는 샘플로부터 하한이 추정된다. 직교 블록 구성은 결과 경계가 고차원 이미지에 대해서도 유의미하도록 유지한다. 우리는 이 프레임워크를 픽셀 공간과 LPIPS 특징(feature) 공간에서 구체화하여, 우리가 아는 한 LPIPS로 직접 측정한 재구성 왜곡에 대한 최초의 하한을 얻는다. 다양한 이미지 데이터셋(dataset)에서 이 경계는 경험적으로 권장되는 프라이버시 예산 범위 내 및 그 이상에서 자명하지 않은 불가피한 기대 재구성 오차를 입증한다. 실험은 이 경계를 강력한 재구성 공격과 비교하고, 남아 있는 격차의 주요 원인을 규명한다.
무작위성 효율적인 차분 프라이버시를 위한 디더링 가우시안 메커니즘
Dithered Gaussian Mechanism for Randomness-Efficient Differential Privacy
본 논문에서는 노이즈 분포 자체가 아닌 비공개 출력을 이산화하여 차분 프라이버시(differential privacy)를 달성하는 이산 가우시안 메커니즘(discrete Gaussian mechanism)의 대안인 디더링 가우시안 메커니즘(dithered Gaussian mechanism)을 제안합니다. 이러한 이산화를 가우시안 메커니즘의 후처리로 해석함으로써, 본 구조는 유한 정밀도(precision) 부동소수점 출력으로 인해 발생하는 취약점을 방지하는 동시에 표준 가우시안 메커니즘의 프라이버시 보장을 직접 계승합니다. 또한 이 메커니즘은 무작위성(randomness) 측면에서 효율적임을 증명할 수 있습니다. 이산화된 출력값을 직접 샘플링함으로써 프라이버시에 필요한 고품질 무작위 비트의 수를 크게 줄이고 노이즈 수준과 무관하게 만들 수 있습니다. 이는 무작위성을 두 가지 원천으로 분리함으로써 달성됩니다. 즉, 프라이버시에 결정적인 샘플링 단계에 사용되는 고품질 원천과, 무작위 이산화에 필요한 추가 무작위성을 공급하며 공격자에게 알려질 수도 있는 고성능 공개 원천으로 나뉩니다. 이러한 분리를 통해 실질적인 성능 손실(loss) 없이 암호학적으로 안전한 무작위성을 활용할 수 있습니다. 응용 사례로서 DP-SGD를 사용한 모델(model) 학습(training)을 연구하며, 부동소수점 취약점 노출을 줄이면서 암호학적으로 안전한 노이즈 생성을 미미한 실무적 오버헤드로 달성할 수 있음을 보입니다.
Differentially Private Natural Gradient Descent
프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류
Private and Distributionally Robust Federated Multiclass Classification
자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.
SpliTEE: GPU 보조 신뢰 실행 환경과 차분 프라이버시의 결합을 통한 빠르고 프라이빗한 LLM 추론
SpliTEE: Fast and Private LLM Inference by Coupling GPU-Assisted Trusted Execution Environments with Differential Privacy
대규모 언어 모델(LLM)에 제공되는 사용자 프롬프트에는 개인정보가 포함될 수 있습니다. 이를 보호하는 한 가지 방법은 신뢰 실행 환경(TEE) 내에서 LLM을 실행하는 것입니다. 그러나 현재 TEE는 LLM 추론에 있어 GPU보다 현저히 느리기 때문에 추론 시간이 오래 걸립니다. 이를 우회하기 위해 Tramèr와 Boneh (2019)는 신경망 추론을 TEE와 신뢰할 수 없는 GPU 간에 분할하는 Slalom을 제안했습니다. 이들은 GPU로 아웃소싱되는 연산의 입력을 암호화합니다. 본 논문에서는 이러한 분할 추론 아키텍처를 LLM 추론으로 확장하고, 대신 차분 프라이버시(DP)를 사용하여 중간 입력을 보호합니다. 먼저 이러한 표현으로부터의 프롬프트 복원 공격에서 80%의 정확도를 보임으로써 중간 표현 마스킹이 필수적임을 입증합니다. 본 논문의 주요 기여는 LLM 추론의 핵심 함수들에 대한 전역 민감도 분석으로, 필요한 DP 노이즈의 크기를 제한하는 것입니다. 암호화와 달리 DP는 양자화를 피할 수 있어 LLM이 부동 소수점 영역에 유지되도록 합니다. 또한 프라이버시 매개변수 입실론(epsilon)의 함수로서 마스킹 및 후속 노이즈 상쇄로 인한 부동 소수점 오차의 상한을 도출하여 동일한 LLM 응답 품질을 유지합니다. 인텔 TDX TEE와 두 가지 LLM(Llama-3.2-3B, Qwen3-4B)을 사용하여 아키텍처를 구현했습니다. 제안하는 분할 실행은 완전한 TDX 기반 추론보다 거의 2배 빠릅니다. 나아가 더 높은 정확도를 달성하면서도 Slalom보다 최대 43% 빠릅니다. 마지막으로 DP 메커니즘을 알고 있는 상태에서도 프롬프트 복원이 무관한 프롬프트에 포함된 것 이상의 정보를 복구할 수 없음을 입증합니다.
HXAI: 분산 에너지 시스템에서의 계층적 프라이버시 보호 설명 가능한 AI
HXAI: Hierarchical Privacy-Preserving Explainable AI in Distributed Energy Systems
재생 에너지 발전의 내재적인 간헐성과 확률적인 전력 소비로 인해 전력 수요와 공급의 균형을 맞추는 것이 점점 더 어려워지고 있습니다. 전력망 운영자는 피크 부하를 관리하고 대응형 요금제를 설계하기 위해 가구별 에너지 소비에 대한 세밀하고 의사결정에 유의미한 통찰을 필요로 하지만, 이 수준에서 투명성이 높아지면 심각한 프라이버시 문제가 발생합니다. 설명 가능한 AI(XAI)의 전통적인 방법들은 민감한 정보를 노출할 수 있는 반면, 표준적인 프라이버시 기법들은 설명의 유용성을 저하시키는 경우가 많습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 프라이버시를 보호하면서도 전력망 수준의 수요 관리를 위한 합리적인 설명 가능 분석을 가능하게 하는 계층적 프레임워크인 HXAI를 제안합니다. HXAI는 두 가지 주요 구성 요소로 이루어져 있습니다: (1) 안전한 비공개 환경(environment) 내에서 세밀한 설명을 생성하는 로컬 모델(model), (2) 이러한 설명을 집계하여 전력망 수준의 분석을 지원하는 동시에 유연한 프라이버시 예산 관리를 통해 프라이버시를 보장하는 구역(zonal) 모델. 우리는 운영자의 반복적인 쿼리 하에서 누적 프라이버시 노출을 명시적으로 제한하며, 제안된 프레임워크가 가구의 프라이버시를 침해하지 않으면서도 의사결정에 유의미한 정보를 보존함을 보여줍니다. 시뮬레이션 및 실제 에너지 데이터셋 모두에 대한 실험을 통해, HXAI가 가전제품 수준의 소비 정보는 로컬에 유지되어 전력망 운영자에게 결코 전송되지 않도록 보장하면서도 구역 부하 관리를 위한 유용한 통찰을 제공함을 입증합니다. 우리의 결과는 수치적 오차를 최소화하는 것보다 설명의 의미론적 구조를 보존하는 것이 차분 프라이버시(differential privacy) 하에서 XAI의 핵심임을 보여줍니다. 이 프레임워크는 에너지 관리에서 프라이버시와 설명 가능성을 모두 달성할 수 있는 방법을 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.