PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13768v1stat.ML

픽셀에서 프라이버시에 민감한 특징까지: 재구성 경계를 위한 정보 이론적 프레임워크

From Pixels to Privacy-Sensitive Features: An Information-Theoretic Framework for Reconstruction Bounds

공격자(adversary)는 DP-SGD로 학습(training)된 모델(model)에서 무엇을 복원할 수 있는가? $(\varepsilon,δ)$ 보장은 이 질문에 직접적인 답을 주지 않는다. 우리는 학습 전에 계산할 수 있으며, 학습 중 매개변수(parameter) 궤적을 관찰하고 다른 모든 학습 레코드와 학습 레코드가 추출된 모집단 분포를 알고 있는 공격자에게도 적용되는 왜곡 경계를 도출한다. 분석자는 오차를 측정하는 표현(representation)을 선택할 수 있어, 경계가 주어진 응용에서 프라이버시에 민감한 재구성 측면을 목표로 하도록 할 수 있다. 우리의 정보 이론적 프레임워크는 두 가지 기여를 분리한다: 조건부 상호 정보량(conditional mutual information)을 통해 측정되는, 학습으로 드러나는 레코드에 대한 정보와, 소스 엔트로피(source entropy)를 통해 측정되는, 데이터 분포에 이미 존재하는 불확실성이다. 속도-왜곡 이론(rate-distortion theory)은 이 둘을 결합하여 모든 재구성 공격의 기대 오차에 대한 하한을 제공한다. DP-SGD의 경우, 유출 경계는 샘플링 비율과 노이즈 배수(noise multiplier)에만 의존하며, 소스 엔트로피는 유한 샘플 신뢰도를 갖는 샘플로부터 하한이 추정된다. 직교 블록 구성은 결과 경계가 고차원 이미지에 대해서도 유의미하도록 유지한다. 우리는 이 프레임워크를 픽셀 공간과 LPIPS 특징(feature) 공간에서 구체화하여, 우리가 아는 한 LPIPS로 직접 측정한 재구성 왜곡에 대한 최초의 하한을 얻는다. 다양한 이미지 데이터셋(dataset)에서 이 경계는 경험적으로 권장되는 프라이버시 예산 범위 내 및 그 이상에서 자명하지 않은 불가피한 기대 재구성 오차를 입증한다. 실험은 이 경계를 강력한 재구성 공격과 비교하고, 남아 있는 격차의 주요 원인을 규명한다.

arXiv:2605.06259v3cs.LG

랜덤 할당 기반 서브샘플링을 적용한 DP-SGD의 트레이드오프 함수: 빈틈없는 상한 및 하한

Trade-off Functions for DP-SGD with Subsampling based on Random Allocation: Tight Upper and Lower Bounds

$f$-DP 프레임워크 내에서, 각 샘플이 에포크(epoch)당 $M$개의 미니배치 중 정확히 하나에 독립적으로 할당되는 랜덤 할당(random allocation) 기반 서브샘플링을 적용한 차분 프라이버시 확률적 경사하강법(DP-SGD)의 트레이드오프 함수에 대한 빈틈없는(tight) 분석을 도출합니다. 여기서 각 미니배치는 단일 에포크 내 $M$번의 SGD 라운드 중 하나에 대응합니다. 우리의 분석은 명시적인 유효성 조건 하에서 성립하며, 이 조건의 가설들은 결합하여 $σ\geq \sqrt{3/\ln M}$을 강제합니다(여기서 $σ$는 DP 노이즈 승수). 기계 계산은 가능하지만 불투명한 닫히지 않은 암시적 공식(non-closed implicit formulas)을 생성하는 포아송 서브샘플링(Poisson subsampling)에 대한 $f$-DP 분석과 달리, 랜덤 할당은 투명하고 해석 가능한 닫힌 형태(closed-form)의 경계를 제공하는 빈틈없는 분석을 가능하게 합니다. 단일 에포크에 대해 베리-에센 정리(Berry-Esseen theorem)를 통해 도출된 구체적인 경계는 상수 계수 차이 내에서 빈틈없습니다(tight up to constant factors). 단일 에포크($E=1$)에 대해 해당 트레이드오프 함수가 $\geq 1-a-δ$, 즉 이상적인 무작위 추측 대각선 $1-a$보다 단지 $δ$만큼 아래에 있는 계산된 매개변수 설정을 시연합니다. $δ= 1/100$ 및 $σ= 1$의 경우 유의미한 차분 프라이버시를 달성하는 데 약 $M \approx 1.14\times 10^6$ 라운드와 $N \approx 1.14\times 10^7$ 학습 샘플로 충분합니다. 이는 유의미한 DP 보장이 존재할 수 없는 체제인 $σ\leq 1/\sqrt{2 \ln M}$에 대한 최근의 부정적인 결과와 대조됩니다.

arXiv:2607.06320v3cs.CR

무작위성 효율적인 차분 프라이버시를 위한 디더링 가우시안 메커니즘

Dithered Gaussian Mechanism for Randomness-Efficient Differential Privacy

본 논문에서는 노이즈 분포 자체가 아닌 비공개 출력을 이산화하여 차분 프라이버시(differential privacy)를 달성하는 이산 가우시안 메커니즘(discrete Gaussian mechanism)의 대안인 디더링 가우시안 메커니즘(dithered Gaussian mechanism)을 제안합니다. 이러한 이산화를 가우시안 메커니즘의 후처리로 해석함으로써, 본 구조는 유한 정밀도(precision) 부동소수점 출력으로 인해 발생하는 취약점을 방지하는 동시에 표준 가우시안 메커니즘의 프라이버시 보장을 직접 계승합니다. 또한 이 메커니즘은 무작위성(randomness) 측면에서 효율적임을 증명할 수 있습니다. 이산화된 출력값을 직접 샘플링함으로써 프라이버시에 필요한 고품질 무작위 비트의 수를 크게 줄이고 노이즈 수준과 무관하게 만들 수 있습니다. 이는 무작위성을 두 가지 원천으로 분리함으로써 달성됩니다. 즉, 프라이버시에 결정적인 샘플링 단계에 사용되는 고품질 원천과, 무작위 이산화에 필요한 추가 무작위성을 공급하며 공격자에게 알려질 수도 있는 고성능 공개 원천으로 나뉩니다. 이러한 분리를 통해 실질적인 성능 손실(loss) 없이 암호학적으로 안전한 무작위성을 활용할 수 있습니다. 응용 사례로서 DP-SGD를 사용한 모델(model) 학습(training)을 연구하며, 부동소수점 취약점 노출을 줄이면서 암호학적으로 안전한 노이즈 생성을 미미한 실무적 오버헤드로 달성할 수 있음을 보입니다.

arXiv:2510.05416v3cs.LG

모델 곡률을 이용한 DP-SGD의 반복 간 노이즈 상관화

Correlating Cross-Iteration Noise for DP-SGD using Model Curvature

차등 프라이버시 확률적 경사하강법(DP-SGD)은 많은 프라이버시 위험을 완화하면서 심층 학습 모델을 학습할 수 있다는 가능성을 제공한다. 그러나 현재 DP-SGD와 일반 SGD 학습 사이에는 큰 정확도 격차가 존재한다. 이로 인해 프라이버시 보존 학습을 개선하는 서로 다른 연구 방향들이 조사되어 왔다. 그러한 연구 중 하나인 DP-MF는 확률적 경사하강법의 서로 다른 반복 간 프라이버시 노이즈를 상관시켜, 이후 반복이 이전 반복에 추가된 노이즈의 일부를 상쇄할 수 있게 한다. 본 논문에서는 이러한 노이즈 상관을 개선하는 방법을 연구한다. 우리는 공개된 비레이블 데이터로부터 추정한 모델 곡률을 사용하여 반복 간 노이즈 상관의 품질을 개선하는 NoiseCurve라는 기법을 제안한다. 다양한 데이터셋, 모델, 프라이버시 매개변수에 대한 실험 결과, NoiseCurve가 계산한 노이즈 상관은 DP-MF에서 사용하는 상관 방식 대비 일관되고 유의미한 정확도 향상을 제공함을 보여준다.

arXiv:2407.08233v3cs.LG

은닉 상태 가정 하에서의 차등 프라이버시 신경망 학습

Differentially Private Neural Network Training Under the Hidden State Assumption

현재 차등 프라이버시 학습 패러다임은 심각한 유틸리티 병목에 직면해 있다. DP-SGD는 학습 단계에 걸친 노이즈 누적로 인해 성능이 저하되는 반면, PATE와 같은 집계 기반 접근법은 분리된 데이터 분할로 인한 데이터 비효율성을 겪는다. 우리는 표현 학습(representation learning)과 프라이버시 강제를 분리하는 프레임워크인 \textbf{차등 프라이버시 분리 학습(DP-DT)}을 제안한다. DP-DT는 노이즈 주입을 가중치 집계 단계로 한정하고, 전역 모델과 지속적으로 동기화되는 보조 모델을 사용하여 비공개 데이터 샤드에서 노이즈 없는 특징 추출을 수행한다. 우리는 Lyapunov 잠재 분석과 Kurdyka--Łojasiewicz 성질을 결합하여, DP-DT가 비볼록 목적 함수 하에서 전역적으로 극한점으로 수렴함을 증명한다. 은닉 상태 가정(Hidden State Assumption) 하에서 적대자가 최종 공개 모델만 관측하는 경우, DP-DT의 프라이버시 손실이 반복에 따라 누적되기보다 상수 경계로 수렴할 수 있음을 추가로 증명한다. 비전 및 언어 벤치마크에 걸친 실험 결과는 DP-DT가 유틸리티 저하를 크게 완화하며 최신(state-of-the-art) 프라이버시-유틸리티 트레이드오프를 달성함을 확인한다.

arXiv:2503.10945v3cs.LG공식 코드 · Papers with Code

머신러닝에서 차분 프라이버시 보장을 보고하기 위한 가우시안 DP

Gaussian DP for Reporting Differential Privacy Guarantees in Machine Learning

DP-SGD와 같은 머신러닝(ML) 알고리즘에 대한 차분 프라이버시(DP) 보장을 보고하는 현재의 관행은 불완전하고 잠재적으로 오해를 초래할 수 있는 그림을 제시합니다. 예를 들어, 어떤 메커니즘에 대해 단일 $(\varepsilon, \delta)$만 알려진 경우, 표준 분석은 학습 데이터 레코드에 대한 매우 정확한 추론 공격이 존재할 수 있음을 보여주지만, 보다 신중한 분석을 통해 살펴보면 대부분의 실용적인 메커니즘에서는 그러한 정확한 공격이 존재하지 않습니다. 이 포지션 페이퍼에서 우리는 ML에서 DP 보장을 전달하는 주요 수단으로 _비점근적_ 가우시안 차분 프라이버시(GDP)를 사용하는 것이 이러한 잠재적 단점을 피할 수 있다고 주장합니다. DP 문헌의 두 가지 최근 발전, 즉 (i) DP-SGD의 프라이버시 프로파일과 $f$-DP 곡선을 임의의 정확도로 계산할 수 있는 오픈소스 수치 어카운턴트, (ii) DP 표현에 대한 의사결정 이론적 메트릭을 활용하여, 우리는 수치 어카운턴트를 사용해 GDP에 대한 비점근적 경계를 제공하는 방법을 보이고, GDP가 해당 메트릭으로 정량화된 오차를 거의 없이 DP-SGD 및 관련 알고리즘의 전체 프라이버시 프로파일을 포착할 수 있음을 보여줍니다. 우리의 주장을 뒷받침하기 위해, 최신 DP 대규모 이미지 분류와 미국 10년 인구조사를 위한 TopDown 알고리즘의 프라이버시 프로파일을 조사하였으며, 모든 경우에서 GDP가 해당 프로파일에 현저히 잘 맞음을 관찰하였습니다. 마지막으로 이 접근 방식의 강점과 약점에 대해 논의하고, GDP로부터 이점을 얻을 수 있는 다른 프라이버시 메커니즘에 대해 논의합니다.

arXiv:2606.12733v1cs.LG

가우스에게 물어보자: 개선된 단일 런 프라이버시 감사

Let's Ask Gauss: Improved One-Run Privacy Auditing

기존 단일 학습 런 기반 프라이버시 감사 방식의 정보 손실 문제를 해결하기 위해, 화이트박스 DP-SGD 환경에서 신호가 점근적으로 가우시안 분포를 따른다는 점을 활용한 감사 프레임워크를 제안합니다. 이 방법은 단일 학습 런만으로 더 타이트한 프라이버시 하한(lower bound)을 도출합니다.