멤버십 추론 공격(membership-inference attack)은 학습 알고리즘의 출력과 타겟 개인(target individual)을 입력받아, 해당 개인이 학습 데이터의 멤버인지 아니면 동일한 분포에서 추출된 독립적인 샘플인지를 판별하려 시도한다. 성공적인 멤버십 추론 공격은 일반적으로 공격자가 학습 데이터가 추출된 분포에 대한 어느 정도의 지식을 가지고 있어야 하며, 이러한 지식은 흔히 해당 분포로부터의 독립적인 참조 샘플(reference sample) 집합을 통해 포착된다. 본 연구에서는 성공적인 공격에 필요한 최소한의 참조 샘플 수인 샘플 복잡도(sample complexity)를 조사함으로써, 공격자가 멤버십 추론을 위해 얼마나 많은 정보를 필요로 하는지를 연구한다. 우리는 이 문제를 가우시안 평균 추정(Gaussian mean estimation)이라는 기본적인 설정에서 연구한다. 이 설정에서 학습 알고리즘은 $d$차원의 가우시안 분포 $\mathcal{N}(μ,Σ)$로부터 $n$개의 샘플을 받아, $\mathbb{E}[\|\hatμ- μ\|^2_Σ]\leq ρ^2 d$를 만족하는 오차 범위 내에서 $\hatμ$를 추정하려 한다. 우리의 결과는 이러한 설정에서 멤버십 추론을 수행할 때, 완전한 정보를 가진 공격자(fully informed attacker)와 경쟁할 수 있는 어떠한 공격을 수행하기 위해서도 $Ω(n + n^2 ρ^2)$개의 샘플이 필요할 수 있음을 보여준다. 우리의 결과는 공격자가 때때로 모델 학습에 사용된 샘플 수보다 훨씬 더 많은 샘플을 필요로 한다는 것을 처음으로 보여준다. 이 결과는 실무에서 사용되는 모든 공격이 $O(n)$개의 샘플만을 사용하는 제한된 형태를 가지며 $ω(n)$개의 샘플로부터는 이득을 얻을 수 없기 때문에, 실무적으로 중요한 함의를 갖는다. 따라서 이러한 공격들은 멤버십 추론의 가능성을 과소평가하고 있을 수 있으며, 분포에 대한 정보를 쉽게 얻을 수 있는 경우 더 나은 공격이 가능할 수도 있다.
멤버십 추론 공격(Membership Inference Attack, MIA)은 데이터로부터 학습된 모델이나 통계량을 통해 학습(training) 데이터 내 민감한 정보가 유출되는지를 경험적으로 평가하기 위해 널리 사용되는 방법입니다. 멤버십 추론(MI) 취약성은 특정 샘플이 학습 데이터에 포함되어 있었는지를 예측하려는 이진 분류기를 통해 평가되는 경우가 많습니다. MIA의 효과를 평가하기 위해 더 큰 데이터셋(dataset)의 무작위 분할을 사용하여 여러 그림자 모델(shadow model)을 학습시킵니다. 그림자 모델을 학습시킨 후에는 해당 그림자 모델을 확보한 모든 샘플에 대해 MI 취약성을 평가할 수 있습니다. MI 취약성을 신뢰성 있게 평가하려면 수많은 그림자 모델이 필요하지만, 이는 계산적으로 불가능할 수 있습니다. 따라서 실제로는 개별 샘플 수준의 취약성을 보고하는 대신 여러 샘플에 걸쳐 집계된 값을 보고하는 경우가 많습니다. 본 논문에서는 전형적인 MIA 평가 파이프라인에서 두 가지 핵심적인 약점을 입증합니다. 첫째, 고정된 상위 집합(superset)에서 그림자 데이터셋을 샘플링하면 유한 표본 바이어스(bias)가 발생하여 취약성 추정치가 부풀려짐을 보입니다. 둘째, 매우 낮은 위양성률(false positive rate, FPR) 영역에서 흔히 사용되는 방식인 여러 개인에 걸친 MIA 점수를 연결하여 진양성률(true positive rate, TPR)을 평가하는 방식이 샘플별 FPR 전반에 걸쳐 보정(calibration)되지 않음을 보입니다. 이 두 가지 약점 모두에 대해 가장 단순한 근사 형태에서는 추가 계산 비용이 전혀 발생하지 않는 해결책을 제안합니다. 또한 추가적인 계산을 통해 취약성 추정의 신뢰성을 더욱 향상할 수 있음을 보입니다.
우리는 출력 샘플을 기반으로 알고리즘의 차분 프라이버시(DP)를 평가하는 새로운 감사기를 제시합니다. 이러한 경험적 감사기는 알고리즘의 정확성과 구현 버그를 확인하는 데 일반적으로 사용됩니다. 대부분의 기존 감사기는 배치(batch) 기반이거나 전통적인 $(\varepsilon,\delta)$-DP 개념을 대상으로 하며, 일반적으로 두 가지 모두에 해당합니다. 본 연구에서는 전체 프라이버시 동작이 단일 트레이드오프 곡선으로 포착되는 표현력이 높은 프라이버시 개념인 $f$-DP로 초점을 전환합니다. 우리의 감사기는 이론과 시뮬레이션에 의해 뒷받침되는 통계적 유의성 보장과 함께 전체 프라이버시 스펙트럼에 걸친 위반을 감지합니다. 무엇보다 중요한 것은, 이전 연구와 대조적으로, 우리의 감사기는 입력으로 사용자가 지정한 샘플 크기를 요구하지 않는다는 점입니다. 오히려 결론을 내리는 데 필요한 거의 최적의 샘플 수를 적응적으로 결정하여, 많은 감사 연구에서 흔히 볼 수 있는 과도하게 큰 샘플 크기를 피합니다. 이러한 샘플링 비용의 감소는 DP-SGD와 같은 비용이 많이 드는 학습(training) 절차에 특히 유리합니다. 우리의 방법은 화이트박스 및 블랙박스 설정을 모두 지원하며 원-런(one-run) 프레임워크에서도 실행할 수 있습니다.
기존 단일 학습 런 기반 프라이버시 감사 방식의 정보 손실 문제를 해결하기 위해, 화이트박스 DP-SGD 환경에서 신호가 점근적으로 가우시안 분포를 따른다는 점을 활용한 감사 프레임워크를 제안합니다. 이 방법은 단일 학습 런만으로 더 타이트한 프라이버시 하한(lower bound)을 도출합니다.