PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17464v1cs.LG

CheckMIABench: 언어 모델에 대한 멤버십 추론 공격의 견고한 기반

CheckMIABench: Firm Foundations For Membership Inference Attacks on Language Models

멤버십 추론 공격(MIAs)은 머신러닝 모델의 프라이버시 특성을 평가하는 대표적인 방법입니다. 언어 모델에 대해 MIAs를 평가하려는 여러 시도가 있었지만, 새로운 기법을 테스트하기 위해 명확한 평가를 구축하는 데 있어 기존 문헌은 수많은 어려움을 겪어왔습니다. 특히, 멤버와 비멤버 세트 간의 미세한 분포 변이는 MIAs의 통계적 타당성을 훼손할 수 있으며, 최근 연구에서는 기본 모델에 접근할 수 없는 "블라인드" 방법이 동일한 벤치마크에서 게시된 방법보다 훨씬 더 우수한 성능을 보일 수 있음을 보여줌으로써 이 문제를 강조했습니다. 본 논문은 학습 중 특정 시점 전후의 학습 데이터가 동일한 분포에서 추출된다는 통찰을 활용하여, 대규모 언어 모델(LLMs)에 대한 MIAs의 원칙에 기반한 평가를 위한 벤치마크를 구축합니다. 따라서 중간 체크포인트와 공개 학습 데이터가 있는 모든 오픈 소스 모델을 MIA 테스트베드로 변환할 수 있습니다. 우리는 70M에서 7B 파라미터에 이르는 Pythia 및 OLMo 모델 패밀리에 대해 게시된 여섯 가지 공격에 우리의 프레임워크를 적용했습니다. 추가적인 프라이버시 연구를 지원하기 위해, 우리는 이 환경에서 공격을 설계하고 구현하기 위한 모듈형 라이브러리를 오픈 소스로 공개합니다: https://github.com/safr-ai-lab/pandora_llm.