멤버십 추론 취약성 평가의 신뢰성에 대하여
On Reliability of Membership Inference Vulnerability Evaluation
멤버십 추론 공격(Membership Inference Attack, MIA)은 데이터로부터 학습된 모델이나 통계량을 통해 학습(training) 데이터 내 민감한 정보가 유출되는지를 경험적으로 평가하기 위해 널리 사용되는 방법입니다. 멤버십 추론(MI) 취약성은 특정 샘플이 학습 데이터에 포함되어 있었는지를 예측하려는 이진 분류기를 통해 평가되는 경우가 많습니다. MIA의 효과를 평가하기 위해 더 큰 데이터셋(dataset)의 무작위 분할을 사용하여 여러 그림자 모델(shadow model)을 학습시킵니다. 그림자 모델을 학습시킨 후에는 해당 그림자 모델을 확보한 모든 샘플에 대해 MI 취약성을 평가할 수 있습니다. MI 취약성을 신뢰성 있게 평가하려면 수많은 그림자 모델이 필요하지만, 이는 계산적으로 불가능할 수 있습니다. 따라서 실제로는 개별 샘플 수준의 취약성을 보고하는 대신 여러 샘플에 걸쳐 집계된 값을 보고하는 경우가 많습니다. 본 논문에서는 전형적인 MIA 평가 파이프라인에서 두 가지 핵심적인 약점을 입증합니다. 첫째, 고정된 상위 집합(superset)에서 그림자 데이터셋을 샘플링하면 유한 표본 바이어스(bias)가 발생하여 취약성 추정치가 부풀려짐을 보입니다. 둘째, 매우 낮은 위양성률(false positive rate, FPR) 영역에서 흔히 사용되는 방식인 여러 개인에 걸친 MIA 점수를 연결하여 진양성률(true positive rate, TPR)을 평가하는 방식이 샘플별 FPR 전반에 걸쳐 보정(calibration)되지 않음을 보입니다. 이 두 가지 약점 모두에 대해 가장 단순한 근사 형태에서는 추가 계산 비용이 전혀 발생하지 않는 해결책을 제안합니다. 또한 추가적인 계산을 통해 취약성 추정의 신뢰성을 더욱 향상할 수 있음을 보입니다.