CopyShield: LLM 저작권 방어 기법의 수준 간 벤치마크
CopyShield: A Cross-Level Benchmark of Copyright Defenses in LLMs
한국어 초록
대규모 언어 모델(LLM)은 memorization된 텍스트를 그대로 재현할 수 있지만, 저작권 방어 기법은 대개 서로 호환되지 않는 프로토콜로 평가되어 왔다. 본 논문에서는 서로 다른 개입 수준의 대표적인 세 가지 방어 기법, 즉 대조 디코딩(contrastive decoding, 출력 수준), 직접 선호 최적화(Direct Preference Optimization, 행동 수준), 활성화 개입(activation intervention, 표현 수준)을 비교하는 통제된 벤치마크 CopyShield를 소개한다. 우리는 LLaMA-3.1-8B와 Mistral-7B-v0.3 두 모델 계열에서, 다섯 권의 퍼블릭 도메인 도서에 대한 통제된 암기(memorization)와 문자적 유출(literal leakage), 보정된 비문자적 유출(non-literal leakage), 유용성(utility), 퇴화(degeneracy)를 측정하는 공통 프로토콜을 사용하여 CopyShield를 평가한다. 이들 방법 전반에서 개입 수준은 서로 다른 준수-유용성 트레이드오프와 연관된다. LLaMA-3.1-8B에서 대조 디코딩은 퇴화가 거의 없는 수준(0-2%)을 유지하지만 NV-Recall 0.192-0.203에서 문자적 억제의 하한선에 도달한다. DPO는 문자적 유출을 거의 제거하지만(0.263에서 0.002로) QA 출력의 58%에서 바꿔 말하기 반복(paraphrase-loop) 퇴화를 유발하며, SFT 기준선 대비 유용성 향상도 없다. 활성화 개입은 생성 이전에 비문자적 질의의 84%를 차단함으로써 가장 낮은 비문자적 플래깅 비율(1/200)을 달성한다. 사람 평가에서는 DPO의 일관성이 낮음을 확인했으며, 활성화 개입은 광범위한 거부를 통해 인지된 저작권 위험을 낮춘다. Mistral-7B-v0.3에서는 출력 수준 및 표현 수준의 양상이 유지되는 반면 DPO 퇴화는 10-14%로 감소하여, 그 심각도가 모델에 따라 달라짐을 보여준다. 종합하면 CopyShield는 수준 간 참조 기준선을 제공하며, 표적화된 비문자적 억제가 아직 해결되지 않은 과제임을 밝힌다. 코드는 https://github.com/spotai-mbzuai/CopyShield.git 에서 확인할 수 있다.
원문 초록
Large language models can reproduce memorized text verbatim, yet copyright defenses are usually evaluated under incompatible protocols. We introduce CopyShield, a controlled benchmark comparing three representative defenses at distinct intervention levels: contrastive decoding (output), Direct Preference Optimization (behavioral), and activation intervention (representation). We evaluate CopyShield on two model families, LLaMA-3.1-8B and Mistral-7B-v0.3, using controlled memorization over five public-domain books and a shared protocol measuring literal leakage, calibrated non-literal leakage, utility, and degeneracy. Across these methods, intervention level is associated with distinct compliance-utility trade-offs. On LLaMA-3.1-8B, contrastive decoding remains near-degeneracy-free (0-2%) but reaches a literal-suppression floor at NV-Recall 0.192-0.203. DPO nearly eliminates literal leakage (0.263 to 0.002) but induces paraphrase-loop degeneracy in 58% of QA outputs, with no utility gain over the SFT baseline. Activation intervention attains the lowest non-literal flagging rate (1/200) by blocking 84% of non-literal queries before generation. Human evaluation confirms that DPO has low coherence, whereas activation lowers perceived copyright risk through broad refusal. On Mistral-7B-v0.3, the output- and representation-level patterns persist, while DPO degeneracy falls to 10-14%, showing that its severity is model-dependent. Together, CopyShield provides cross-level reference baselines and identifies targeted non-literal suppression as an open challenge. The code is available at https://github.com/spotai-mbzuai/CopyShield.git.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.01161v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.