인필링을 통한 확산 언어 모델의 학습 데이터 추출
Extracting Training Data from Diffusion Language Models via Infilling
한국어 초록
대규모 언어 모델의 암기 현상은 자기회귀 모델에 자연스러운 접두사 조건부 추출을 통해서만 거의 독점적으로 연구되어 왔다. 그러나 확산 언어 모델(DLM)은 임의의 위치에서 마스킹된 토큰을 디노이징할 수 있다. 따라서 접두사만을 이용한 탐색은 DLM의 암기 현상의 한 측면만을 보여 주며 학습 데이터 추출 위험을 크게 과소평가한다. DLM에서 학습 데이터의 추출 가능성을 현실적으로 모델링하기 위해, 본 논문은 임의의 이진 마스크로 매개변수화되어 접두사 전용 탐색을 포괄하고 DLM의 양방향 귀납적 편향을 반영하는 데이터 추출 프로토콜인 인필링 추출을 도입한다. 이를 LLaDA-8B와 Dream-7B에 대해 다섯 가지 추출 방식, 세 가지 학습 파이프라인, 그리고 원문 그대로의 유출과 부분적 유출을 포괄하는 세 가지 말뭉치에 적용한 결과, 마스크의 기하학적 구조가 추출 가능성을 좌우함을 확인하였다. 가장자리 조건부 마스크는 접두사 조건부 마스크보다 최대 3배 더 많은 원문 시퀀스를 추출하며, 양방향 접근은 자기회귀 모델에서는 접근할 수 없는 경로를 연다. 특히 학습 데이터의 개인정보(PII)가 삭제된 사본을 확보한 공격자는 표적 인필링을 통해 미세 조정된 DLM에서의 PII 재현율을 접두사 조건부 추출 대비 2.5~4.5배 높일 수 있으며, 이는 규모가 동등한 자기회귀 모델과의 격차를 크게 좁히고, 이메일 주소에 대한 LLaDA의 경우에는 탐욕적 접두사 조건부 추출 하의 자기회귀 모델을 능가한다. 디코딩의 조절 가능한 매개변수는 추출 성능에 유의미한 영향을 미치며, 후속 지도 미세 조정 단계는 기존의 암기를 제거하지 못한다.
원문 초록
Memorization in large language models has been studied almost exclusively through prefix-conditioned extraction, a natural choice for autoregressive models. However, diffusion language models (DLMs) can denoise masked tokens at arbitrary positions. Thus, prefix-only probing reveals only one facet of memorization in DLMs and significantly underestimates the risk of training-data extraction. In order to realistically model extractability of training data in DLMs, we introduce infilling extraction, a data-extraction protocol parameterized by an arbitrary binary mask that subsumes prefix-only probing and accounts for the bidirectional inductive bias of DLMs. Instantiating it on LLaDA-8B and Dream-7B across five extraction modes, three training pipelines, and three corpora covering verbatim and partial leakage, we find that mask geometry governs extractability: edge-conditioned masks extract up to three times more verbatim sequences than prefix-conditioned ones, and bidirectional access opens channels inaccessible in autoregressive models. In particular, an adversary who obtains a PII-redacted copy of the training data can use targeted infilling to raise PII recall on fine-tuned DLMs by 2.5-4.5x over prefix-conditioned extraction, substantially narrowing the gap to a scale-matched autoregressive model and, for LLaDA on email addresses, exceeding it under greedy prefix-conditioned extraction. Tunable parameters for decoding measurably affect extraction performance, while a follow-up supervised fine-tuning stage does not eliminate the prior memorization.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.24173v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.