이론상 인증, 실무상 붕괴: 암호학적 모델 인증의 가정 간극
Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification
개인정보 보호형 기계학습 감사 프로토콜은 감사자가 모델의 내부 구조나 학습 데이터를 공개하지 않고도 정확도나 공정성(fairness) 같은 속성을 평가할 수 있게 한다. 이로 인해 의료나 금융과 같은 민감한 분야에 배포된 모델을 감사하는 데 특히 매력적이다. 그러나 이러한 프로토콜이 실제 감사 환경에서 의미를 갖으려면, 그 보장은 감사 중의 행동만을 인증하는 것이 아니라 배포 이후 모델이 어떻게 행동할지를 반영해야 한다. 기존 보안 정의는 종종 이 점을 놓친다. 대부분은 고정된 감사 데이터셋에서만 모델 행동을 인증할 뿐, 동일 분포에서 추출된 다른 데이터셋으로 같은 보장이 일반화되는지는 보장하지 않는다. 본 연구에서 보이듯, 이 간극은 모델 제공자가 학습 데이터를 정교하게 조작하여 보안 영지식 증명(ZKP)에 기반한 많은 암호학적 모델 인증(CMC) 방식을 공격할 수 있게 하며, 그 결과 감사 중에는 양호한 행동을 보이지만 실무에서는 병리적(pathological) 행동을 나타내는 모델이 만들어진다. 예를 들어, 공격자가 감사 데이터셋에서 99% 이상의 정확도를 달성한다고 인증받으면서도 동일 분포의 새로운 샘플에서는 30% 미만의 정확도를 보이는 모델을 만들 수 있음을 실증적으로 보여준다. 이 간극을 해소하기 위해 CMC 프레임워크에 맞춘 엄격한 암호학적 보안 개념을 형식화하고, 일반적인 프로토콜 템플릿을 제안하며, 이것이 해당 요구사항을 만족함을 증명한다. 따라서 본 연구 결과는 기존 접근법에 대한 경고적 증거와 함께, 안전하고 개인정보를 보호하는 ML 감사 프로토콜을 설계하기 위한 건설적 지침을 제공한다.