arXiv:2611.21702v1 cs.CR

오픈 웨이트 LLM 변형 하에서의 워터마크 증거: 저랭크 출력 워터마크에 대한 정확한 경계

Watermark Evidence under Open-Weight LLM Modification: Exact Bounds for Low-Rank Output Watermarks

Prashant Shekhar, Dumindu Samaraweera, Caroline Howard

제출 2026-11-18

한국어 초록

오픈 웨이트 언어 모델은 공개된 가중치가 수정된 후에도 계속 텍스트를 생성할 수 있으며, 워터마크 검증자는 여전히 원래의 기본 모델과 워터마크 모델에 대해 출력을 채점한다. 우리는 이러한 수정이 OpenStamp 방식 검증자가 이용할 수 있는 증거를 어떻게 변화시키는지 연구한다. 각 공유 접두사에서 수정을 다음 토큰 로짓의 잔차로 나타낸다. 잔차 생성공간 제약 하에서 기대 로그우도비 증거에 대한 정확한 유한 어휘 하한을 도출하며, 생성공간만으로 정해지는 날카로운 편차 경계도 함께 도출한다. 또한 명시적인 2차 나머지항을 갖는 공분산 항을 통해 1차 증거 변화를 특성화하고, 목표 증거 수준에 도달하는 데 필요한 잔차 생성공간을 결정한다. 시퀀스 수준 탐지에 대해서는 정확한 조건부 지수 적률 경계를 도출하고, 이를 상위마팅게일 논증 및 분포 무관 순서통계량 허용 경계와 결합한다. 이로써 보정 데이터에서 공격을 선택하고 독립적인 인증 연속 생성문에서 평가한 후의 미탐지 확률에 대한 고신뢰 상한을 얻는다. Llama-2-7B와 Mistral-7B-v0.3에서 OpenStamp를 사용한 실험에서 INT8 양자화와 30% 가지치기는 시험 참양성률 85.6~94.8%를 유지하는 반면, 500단계 LoRA 미세조정은 이를 28.8%와 11.6%로 낮춘다. 공분산 예측은 두 모델 모두에서 측정된 평균 LoRA 증거 변동을 따르며, 160,000개의 시험 접두사에서 나머지항 경계 위반은 없다. 또한 모델별 기본 모델 연속 생성문 500개에서 거짓양성은 0건이다. 이러한 이론적·실험적 결과를 통해 본 연구는 모델 편집·튜닝 공격에 대한 워터마크 강건성의 이해를 높인다.

원문 초록

Open-weight language models can continue generating after their released weights are modified, while a watermark verifier still scores outputs against the original base and marked models. We study how such modifications change the evidence available to an OpenStamp-style verifier. At each shared prefix, we represent the modification as a residual in the next-token logits. We derive an exact finite-vocabulary lower bound on the expected log-likelihood-ratio evidence under a residual-span constraint, along with a sharp span-only deviation bound. We also characterize the first-order evidence shift through a covariance term with an explicit second-order remainder, and determine the residual span needed to reach a target evidence level. For sequence-level detection, we derive an exact conditional exponential-moment bound and combine it with a supermartingale argument and a distribution-free order-statistic tolerance bound. This yields a high-confidence upper bound on miss probability after attack selection on calibration data and evaluation on independent certification continuations. In experiments with OpenStamp on Llama-2-7B and Mistral-7B-v0.3, INT8 quantization and 30% pruning retain test true-positive rates of 85.6-94.8%, while 500-step LoRA fine-tuning lowers them to 28.8% and 11.6%. The covariance prediction tracks the measured mean LoRA evidence drift on both models, with no remainder-bound violations across 160,000 test prefixes. Additionally, we observe zero false positives among 500 base-model continuations per model. Through these theoretical and empirical results, the current research provides a better understanding of watermark robustness to model-editing/tuning attacks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21702v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.