Rao-Blackwellized E-Process를 이용한 효율적 온라인 LLM 워터마크 탐지
Efficient Online LLM Watermark Detection via Rao-Blackwellized E-Processes
대규모 언어 모델(LLM)의 배포가 늘어남에 따라, AI 생성 텍스트와 인간이 작성한 콘텐츠를 구별하는 신뢰할 수 있고 효율적인 메커니즘이 필수적이 되었다. 통계적 워터마크(statistical watermarking)는 유망한 해결책으로 떠올랐지만, 기존 방법의 대부분은 일반적으로 고정 구간(fixed-horizon) 절차로, 스트리밍 생성에서 유효한 조기 종료를 배제한다. 본 논문에서는 Rao-Blackwellized e-process에 기반한 anytime-valid 추론을 갖춘 효율적인 온라인 워터마크 탐지 프레임워크를 개발하며, 전체 이력을 저장하지 않고도 재귀적 토큰 수준 증거 업데이트를 가능하게 한다. 특히 Gumbel-max 워터마크에 대해 프레임워크를 구체화하고, 원래의 토큰 수준 종속성 검정 문제를 명시적 귀무 분포(null distribution)를 갖는 pivot-induced 순차 검정 문제로 환원한다. 이론적으로 임의의 선택적 종료(optional stopping) 하에서 anytime-valid 제1종 오류(Type I error) 통제를 증명하고, 워터마크 환경에서 양의 점근적 로그 성장(positive asymptotic log-growth)을 확립하여 제안된 종료 규칙의 일관성(consistency)을 함의한다. 실제 LLM 생성 텍스트에 대한 시뮬레이션과 실험은 엄밀한 anytime-valid 보장을 갖춘 효율적인 온라인 탐지를 보여준다.