PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21958v1stat.ML

Rao-Blackwellized E-Process를 이용한 효율적 온라인 LLM 워터마크 탐지

Efficient Online LLM Watermark Detection via Rao-Blackwellized E-Processes

대규모 언어 모델(LLM)의 배포가 늘어남에 따라, AI 생성 텍스트와 인간이 작성한 콘텐츠를 구별하는 신뢰할 수 있고 효율적인 메커니즘이 필수적이 되었다. 통계적 워터마크(statistical watermarking)는 유망한 해결책으로 떠올랐지만, 기존 방법의 대부분은 일반적으로 고정 구간(fixed-horizon) 절차로, 스트리밍 생성에서 유효한 조기 종료를 배제한다. 본 논문에서는 Rao-Blackwellized e-process에 기반한 anytime-valid 추론을 갖춘 효율적인 온라인 워터마크 탐지 프레임워크를 개발하며, 전체 이력을 저장하지 않고도 재귀적 토큰 수준 증거 업데이트를 가능하게 한다. 특히 Gumbel-max 워터마크에 대해 프레임워크를 구체화하고, 원래의 토큰 수준 종속성 검정 문제를 명시적 귀무 분포(null distribution)를 갖는 pivot-induced 순차 검정 문제로 환원한다. 이론적으로 임의의 선택적 종료(optional stopping) 하에서 anytime-valid 제1종 오류(Type I error) 통제를 증명하고, 워터마크 환경에서 양의 점근적 로그 성장(positive asymptotic log-growth)을 확립하여 제안된 종료 규칙의 일관성(consistency)을 함의한다. 실제 LLM 생성 텍스트에 대한 시뮬레이션과 실험은 엄밀한 anytime-valid 보장을 갖춘 효율적인 온라인 탐지를 보여준다.

arXiv:2607.00224v2math.ST

피벗 통계량 환원 유무에 따른 Gumbel-Max 워터마크 비율 추정의 표본 복잡도

Sample Complexities of Estimating Gumbel--Max Watermark Proportions with and without Reduction to Pivotal Statistics

Gumbel-max 워터마킹 메커니즘 하에서 혼합 문서의 LLM 생성 비율을 추정하는 표본 복잡도(sample complexity) 문제를 다루며, 피벗 통계량만 관측하는 경우 라게르 다항식 추정기를 통해 비모수적 수렴 속도를, 의사난수 벡터까지 완전 관측하는 경우 사건 계수 추정기를 통해 더 빠른 모수적 수렴 속도를 각각 정보이론적 하한과 함께 확립한다. 피벗 환원이 널리 쓰이는 우아한 방법이지만 워터마크 비율 추정에서는 완전 관측 대비 표본 효율성을 손실할 수 있음을 보인다.

arXiv:2606.18430v1cs.LG

서명 필터링: 대규모 언어 모델(LLM)에서 통계적 워터마크 탐지를 위한 경량화된 향상 방법

Signature filtering: a lightweight enhancement for statistical watermark detection in large language models

통계적 워터마크 탐지를 임베딩·생성 과정은 그대로 두고, 탐지 전에 워터마크 검정을 왜곡하는 소수의 서명(signature) 토큰을 혼합 정수 선형 계획법으로 학습해 제거하는 서명 필터링(signature filtering)을 제안한다. Kgw·Sweet·Unigram·Exp 등 4개 워터마크 계열과 6개 LLM 실험에서 약한 신호·낮은 엔트로피 환경의 탐지율을 8~31%에서 78~99%로 끌어올리고, 토큰 교란 스트레스 테스트에서도 오탐을 낮게 유지하며 WinMax 탐지기와 동등하거나 더 나은 성능을 보였다.