arXiv:2609.03844v1 cs.CR

뒤집고 섞지 마라: 추론 속도로 대규모 언어 모델 워터마킹하기

Flip, Don't Shuffle: Watermarking LLMs at the Speed of Inference

Simone Ceppi, Ignacio Sanchez

제출 2026-09-03

한국어 초록

본 논문에서는 토큰(token)별 독립적인 베르누이 시행(Bernoulli trials)을 통해 그린 리스트(green list) 소속 여부를 결정하는 대규모 언어 모델(LLM)을 위한 새로운 통계적 워터마크인 Stateless Bernoulli Watermarking(SBW)을 소개합니다. KGW의 어휘 순열이나 SynthID의 다층(multi-layer) 토너먼트와 달리, SBW는 카운터 기반 난수 생성기를 상대로 토큰당 단 한 번의 비교만 필요로 하므로, 소속 판별 복잡도를 $O(1)$로 줄이고 중간 메모리 할당(intermediate allocations)이 전혀 없는 단일 커널(kernel) 실행을 가능하게 합니다. 저자들은 이 공식화가 고정 크기 그린 리스트와 동일한 탐지 보증을 유지함을 증명합니다. 즉, 귀무가설 하에서 z-점수 검정(z-score test)은 $\mathcal{N}(0,1)$로 유지됩니다. 이러한 상태 비저장(stateless) 구조는 기존 방식에서는 불가능했던 기능들을 제공합니다. 즉, 전체 어휘 자체 솔트(self-salt) 워터마킹(후보 의존적 시딩으로 전체 어휘에 편향을 줌에도 불구하고 KGW의 자체 솔트보다 6000배 이상 빠르고 SynthID보다 2배 빠름) 및 분산 추론(inference)과의 구조적 호환성을 가능하게 합니다. 엔드투엔드 생성 벤치마크(benchmark)에서 SBW는 모든 배치(batch) 크기에서 1% 미만의 오버헤드만을 추가합니다. 이에 더해 저자들은 이전에는 탐구되지 않았던 워터마크 품질의 한 축으로 해시 함수 설계를 규명하며, GPU-네이티브 Jenkins 해시가 더 다양한 텍스트를 생성하면서도 귀무 보정(null calibration)을 1.8배 개선함을 보여줍니다. 두 가지 시딩 방식과 8개의 $(γ, δ)$ 구성에 걸친 실험을 통해 ROC-AUC 차이가 0.01 미만인 통계적 동등성을 확인합니다.

원문 초록

We introduce Stateless Bernoulli Watermarking (SBW), a new statistical watermark for Large Language Models that determines green list membership through independent per-token Bernoulli trials. Unlike KGW's vocabulary permutation or SynthID's multi-layer tournament, SBW requires only a single comparison per token against a counter-based random number generator, reducing membership complexity to $O(1)$ and enabling single-kernel execution with zero intermediate allocations. We prove that this formulation preserves the same detection guarantees as fixed-size green lists: the z-score test remains $\mathcal{N}(0,1)$ under the null. The stateless architecture enables capabilities unavailable to existing methods: full-vocabulary self-salt watermarking (over 6000$\times$ faster than KGW's self-salt and 2$\times$ faster than SynthID despite biasing the entire vocabulary with candidate-dependent seeding) and architectural compatibility with distributed inference. In end-to-end generation benchmarks, SBW adds less than 1\% overhead at all batch sizes. We additionally identify hash function design as a previously unexplored axis for watermark quality, showing that a GPU-native Jenkins hash improves null calibration by 1.8$\times$ while producing more diverse text. Experiments across two seeding schemes and eight $(γ, δ)$ configurations confirm statistical equivalence with ROC-AUC differences below 0.01.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.03844v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.