arXiv:2609.10611v1 cs.CR

단어 수준 확률 추정을 통한 블랙박스 멤버십 추론

Black-Box Membership Inference via Word-Level Probability Estimation

Shengjie Niu, Yeheng Ge, Jian Huang

제출 2026-09-08

한국어 초록

멤버십 추론 공격(Membership Inference Attack, MIA)은 주어진 텍스트가 모델의 학습 코퍼스에 포함되었는지를 판별하는 것을 목표로 하며, 대규모 언어 모델(LLM)의 프라이버시 위험을 감사하는 핵심 도구로 부상했다. 그러나 기존 MIA의 대부분은 토큰별 로짓(logit) 또는 확률에 대한 접근을 요구하기 때문에, 텍스트 연속 생성 결과만 노출하는 상용(proprietary) LLM에는 실제로 적용할 수 없다. 충분히 연구되지 않은 이 설정을 다루기 위해, 우리는 엄격한 블랙박스 프라이버시 감사를 위한 통계적으로 원리에 기반한 MIA인 Word-level Probability MIA(WPMIA)를 제안한다. WPMIA는 국소 커널 평활(local kernel smoothing)을 결합한 몬테카를로 샘플링으로 단어 수준의 생성 확률을 추정한 뒤, 이 추정치들을 시퀀스 수준의 가능도 추정량으로 집계한다. 나아가 WPMIA는 서로 다른 프리픽스(prefix)를 조건으로 하는 가능도를 구성함으로써 멤버와 비멤버 간의 분포 차이를 증폭한다. 우리는 다양한 오픈소스 LLM에서 WPMIA를 평가하였으며, 기존 블랙박스 베이스라인을 일관되게 능가함을 확인했다. 또한 GPT-5-Chat, Gemini-2.5-Flash, Claude-4.5-Haiku를 포함한 최신 상용 LLM에서도 WPMIA를 평가하여, 이들 모델 전반에서 평균 TPR@5%FPR 42.0을 달성했다. 이러한 결과는 향후 엄격한 블랙박스 멤버십 추론 연구를 위한 탄탄한 토대를 제공한다. 코드는 \href{https://github.com/niusj03/WPMIA}{https://github.com/niusj03/WPMIA}에서 확인할 수 있다.

원문 초록

Membership inference attacks (MIAs) have emerged as critical tools for auditing privacy risks in large language models (LLMs), aiming to determine whether a given text was included in a model's training corpus. However, most existing MIAs require access to per-token logits or probabilities, making them inapplicable in practice to proprietary LLMs that expose only textual continuations. To address this underexplored setting, we propose Word-level Probability MIA (WPMIA), a statistically principled MIA for strict black-box privacy auditing. WPMIA estimates word-level generation probabilities via Monte Carlo sampling with local kernel smoothing, then aggregates these estimates into a sequence-level likelihood estimator. Furthermore, WPMIA constructs the likelihood conditioned on different prefixes, thereby amplifying the distributional differences between members and non-members. We evaluate WPMIA across various open-source LLMs and find that it consistently outperforms existing black-box baselines. Importantly, we also evaluate WPMIA on modern proprietary LLMs, including GPT-5-Chat, Gemini-2.5-Flash, and Claude-4.5-Haiku, achieving an average TPR@5\%FPR of 42.0 across these models. These results offer a sound foundation for future research on strict black-box membership inference. Code is available at \href{https://github.com/niusj03/WPMIA}{https://github.com/niusj03/WPMIA}.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.10611v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.