PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.25796v4cs.CR

SAMark: 단락 수준 패러프레이즈 견고성을 갖춘 자기 고정(self-anchored) 텍스트 워터마킹

SAMark: A Self-Anchored Text Watermarking with Paragraph-Level Paraphrase Robustness

의미 수준 워터마킹(SWM)은 문장을 기본 단위로 취급하여 텍스트 수정에 대한 견고성을 향상시킨다. 그러나 단락 수준 패러프레이즈(paraphrasing)에 대한 견고성은 여전히 어려운 문제로 남아 있다. 이러한 공격은 문장 순서를 변경함으로써 워터마크 신호를 전역적으로 교란하기 때문이다. 본 연구에서는 SAMark를 제안한다. 이는 의미 공간(semantic space)에 단계 독립적(step-independent) green region을 설정함으로써 문장 순서에 대한 의존성을 제거하는 자기 고정(self-anchored) 워터마킹 프레임워크이다. 탐지성(detectability)을 향상시키기 위해, 워터마크 신호를 증폭하면서 약하게 정렬(aligned)된 후보에서 발생하는 노이즈를 억제하는 다채널 쌍곡(hyperbolic) 스코어링 메커니즘을 도입한다. 또한 단순 n-gram 반복 필터를 넘어 의미적 중복(semantic redundancy)을 다루기 위해 hard filtering과 soft 정규화(regularization)를 결합한 다양성 인식(diversity-aware) 필터링 전략을 제안한다. 실험 결과, SAMark는 일반적인 단락 수준 패러프레이즈 공격 하에서 최대 90.2% TP@FP1%를 달성하며, 평균적으로 가장 강력한 선행 기준선(baseline)보다 30% 이상 우수한 성능을 보인다. 동시에 워터마크가 없는 텍스트와 경쟁할 만한 생성 품질을 유지하며, 기존 방법을 제한하던 견고성-품질 트레이드오프(robustness-quality trade-off)를 깬다. 코드는 https://github.com/Z1zs/SAMark 에서 공개될 예정이다.

arXiv:2507.07871v5cs.CR

무작위 키 선택을 통한 생성 모델의 워터마크 위조 완화

Mitigating Watermark Forgery in Generative Models via Randomized Key Selection

워터마킹(watermarking)은 생성형 AI(GenAI) 제공자가 콘텐츠가 자신의 모델에 의해 생성되었는지 여부를 검증할 수 있게 합니다. 워터마크는 콘텐츠 내의 숨겨진 신호로, 비밀 워터마크 키를 사용하여 그 존재를 탐지할 수 있습니다. 핵심적인 보안 위협은 위조 공격(forgery attack)으로, 공격자가 제공자가 제작하지 않은 콘텐츠에 해당 제공자의 워터마크를 삽입하여 잠재적으로 평판을 훼손하고 신뢰를 저해할 수 있습니다. 기존의 방어 기법은 동일한 콘텐츠에 여러 키를 사용하여 다수의 워터마크를 임베딩(embedding)함으로써 위조에 저항하지만, 이는 모델(model) 효용성을 저하시킬 수 있습니다. 더욱이 공격자가 충분히 많은 워터마크 샘플을 수집할 수 있는 경우 위조는 여전히 위협으로 남습니다. 본 연구에서는 키 대칭적이고 독립적인 탐지기 결과를 조건으로 하여, 블라인드 공격자(blind attacker)의 위조 성공률에 대해 샘플 수와 무관한 상한을 제공하는 방어 기법을 제안합니다. 제안하는 방식은 모델 효용성을 추가로 저하시키지 않습니다. 본 기법은 각 쿼리마다 워터마크 키 선택을 무작위화하고, 정확히 하나의 키에 의해서만 워터마크가 탐지될 때만 해당 콘텐츠를 진짜로 수용합니다. 계산 복잡도 가정에 의존하며 새로운 워터마킹 방식을 처음부터 설계해야 하는 암호학적 워터마크와 달리, 본 방법은 기존의 모든 워터마킹 방식에 적용되어 위조 저항성을 향상시킬 수 있습니다. 본 논문에서는 텍스트 워터마킹에 초점을 맞추지만, 기반이 되는 워터마킹 방식을 블랙박스로 취급하므로 본 방어 기법은 모달리티에 구애받지 않습니다(modality-agnostic). 이를 입증하기 위해 Tree-Ring을 활용한 이미지 워터마킹에 대한 예비 연구도 포함합니다. 이러한 조건부 보장과 별개로, 본 연구에서 평가한 적응형 블라인드 공격자에 대해 키 수 $r=4$일 때 유해 텍스트 위조 성공률이 단일 키 사용 시 최대 $87\%$에서 무시할 수 있는 수준의 계산 오버헤드로 최저 $1\%$까지 떨어짐을 실증적으로 관찰하였으며, 예비 이미지 연구에서는 $100\%$에서 $2\%$로 감소함을 보였습니다.

arXiv:2607.20435v1cs.CL

모델 병합에 강인한 오픈소스 텍스트 LLM 워터마크 만들기

Making Open-Source Text LLM Watermarks Durable Against Merging

오픈소스 LLM(OSM)은 최첨단에 근접한 성능에 도달하고 있어, 선행 연구들은 가중치에 텍스트 워터마킹 알고리즘을 직접 내장하여 생성 텍스트를 추적해 왔다. 그러나 OSM은 사후 학습 수정의 영향을 받으며, 이는 워터마크를 제거하는 것으로 나타났다. 특히 전문가 지식을 결합하고 파국적 망각(catastrophic forgetting)을 방지하는 데 널리 쓰이는 모델 병합(model merging)은 이러한 OSM 워터마크를 강하게 제거한다. 핵심 질문은 이후 병합을 견디는 OSM 워터마크를 어떻게 가능하게 할 것인가이다. 본 연구에서는 모델 병합에 견디는 OSM 워터마크를 설계하는 방법을 최초로 제시한다. 우리는 Merge-Adversarial Training을 제안한다. 이는 이후 모델 병합에 강건하면서 텍스트 워터마크를 모델 가중치로 지식 증류(distillation)하는 적대적 학습(adversarial training) 알고리즘이다. 우리 접근법은 하류(downstream) 성능을 유지하면서 모든 베이스라인을 일관되게 능가한다(예: SLERP에서 TPR@1%FPR 기준 최대 +51 퍼센트 포인트(pp), 평균 +25 pp). 또한 전문가 역량 결합이나 파국적 망각 방지 같은 일반적 사용 사례를 반영한 현실적 병합 시나리오와 3가지 주요 병합 알고리즘에 대해 OSM 워터마크를 최초로 평가한다. 더 넓게 보면, 우리 결과는 적대적 학습이 사후 학습 수정에 대한 OSM 워터마크 내구성을 높이는 신뢰할 수 있는 접근법임을 시사한다.

arXiv:2607.04061v1cs.CL

Telescope: 토큰 반복 확률 측정을 통한 LLM 생성 콘텐츠의 제로샷 탐지 개선

Telescope: Improving Zero Shot Detection of LLM Generated Content By Measuring Token Repetition Probability

대규모 언어 모델(LLM)이 생성한 텍스트와 인간이 작성한 글을 구별하는 것은 중요하면서도 어려운 과제이다. LLM은 인간처럼 글을 쓰도록 학습되지만, 우리는 이 학습이 지울 수 없는 흔적을 남긴다고 가정한다. LLM은 학습 초기 단계에서 토큰 반복에 대한 특히 강한 거부 반응을 발달시킨다. 이 바이어스는 '흔적 휴리스틱(Vestigial Heuristic)'(발달 과정의 인공물)으로서 지속되며 LLM 생성 텍스트에서 활성화되어, LLM과 인간의 글쓰기를 구분하는 요인이 된다. 이 현상을 탐구하기 위해 우리는 모델의 토큰 반복, 즉 $P(s_i | s_{1:i})$를 평가하는 지표인 Telescope Perplexity를 소개한다. 우리의 실증적 연구에 따르면 Telescope Perplexity 시그니처는 사전학습 초기에 나타나며, Telescope Perplexity는 경험적으로 매우 효과적인 제로샷 LLM 탐지를 가능하게 한다. 우리가 새로 도입한 현대적 평가 세트를 포함한 다양한 데이터셋, 참조 모델, 변형 기법에 걸쳐 다른 방법들보다 높은 효율성으로 최첨단 또는 경쟁력 있는 성능을 보임을 입증한다.

arXiv:2605.00348v2cs.CR

Block-wise Codeword Embedding for Reliable Multi-bit Text Watermarking

기존 대규모 언어 모델(LLM) 다중 비트 텍스트 워터마킹은 용량을 우선해 오검출률(FPR)이 치명적으로 높고, 거부 임계값은 검출 민감도(TPR)를 무작위 수준으로 떨어뜨리는 구조적 한계가 있다. BREW는 블록 단위 독립 투표로 메시지를 추정한 뒤 윈도우 이동 검증으로 지정된 코드워드만 확인하는 2단계 방식으로 패러다임을 검증 중심으로 전환했으며, 10% 동의어 치환 공격에서 TPR 0.965·FPR 0.02를 달성해 모델에 무관한 신뢰 가능한 다중 비트 워터마킹을 보여준다.