arXiv:2606.18430v1 cs.LG

서명 필터링: 대규모 언어 모델(LLM)에서 통계적 워터마크 탐지를 위한 경량화된 향상 방법

Signature filtering: a lightweight enhancement for statistical watermark detection in large language models

Chih-Duo Hong, Yen-Pang Chen, Fang Yu

제출 2026-06-16

한국어 초록

통계적 워터마크는 조직이 대규모 언어 모델(LLM) 출력의 출처를 확인하는 데 도움을 주지만, 기존 탐지기는 워터마크 신호가 약하거나 텍스트가 반복적이거나 워터마크가 편집된 경우에 종종 어려움을 겪습니다. 본 연구에서는 워터마크 임베딩(embedding) 및 텍스트 생성을 수정하지 않고 워터마크 탐지를 향상시키는 탐지 시점(detection-time) 모듈인 서명 필터링(signature filtering)을 제안합니다. 이 모듈은 워터마크 테스트의 신뢰도를 떨어뜨리는 소수의 "서명(signature)" 토큰을 학습하여 탐지 수행 전 해당 토큰을 제거합니다. 서명은 진양성률(true positive rate)을 최대화하는 제약 조건 하에 소규모 학습(training) 데이터셋에서 혼합 정수 선형 계획법(mixed-integer linear program)을 해결하여 도출합니다. 또한, 여러 공격자 모델(색맹(color-blind), 색각 적응(color-adaptive), 분포 상관(distributionally correlated))에 대해 유한 샘플(finite-sample) 및 점근적(asymptotic) 경계를 이론적으로 도출합니다. 4개의 잘 알려진 워터마크 계열(Kgw, Sweet, Unigram, Exp), 4개의 벤치마크(benchmark) 말뭉치(C4, MBPP, HumanEval, Code-Search-Net), 6개의 대규모 언어 모델(LLM)(Opt-1.3b, Opt-6.7b, Llama2-13b, Llama3.1-8b, Qwen2.5-14b, Phi-3-medium-14b)을 대상으로 한 실험에서, 2-gram 및 3-gram 서명은 약한 신호 및 낮은 엔트로피(low-entropy) 환경에서 탐지율을 필터링 없이 8~31%에서 필터링 적용 시 78~99%로 향상시켰으며, 오탐(false positive)율은 제어 가능하고 종종 무시할 수 있는 수준으로 유지했습니다. 문장 순서를 뒤섞고 희석(dilution), 삭제, 대체를 통해 25~50%의 토큰을 교란(perturb)하는 스트레스 테스트(stress test)에서, Kgw 스타일 워터마크에 대한 2-gram 필터는 원문 텍스트 탐지 이득의 대부분을 유지했으며, 종종 고급 WinMax 워터마크 탐지기와 동등하거나 더 우수한 성능을 보였습니다. 결론적으로, 서명 필터링은 정보 처리 워크플로우(workflow) 내에서 LLM 텍스트의 워터마크 기반 출처 확인(provenance)을 강화하기 위한 간단하고 확장 가능하며 모델에 구애받지 않는(model-agnostic) 추가 기능을 제공합니다.

원문 초록

Statistical watermarks help organizations attribute large language model (LLM) outputs, yet existing detectors often struggle when watermark signals are weak, texts are repetitive, or watermarks are edited. We propose signature filtering, a detection-time module that enhances watermark detection without modifying watermark embedding and text generation. It learns a small set of ``signature'' tokens whose presence makes watermark tests unreliable, and removes these tokens before detection. The signatures are obtained by solving a mixed-integer linear program on a small training set, with constraints that maximize the true positive rate. We additionally derive finite-sample and asymptotic bounds under several attacker models (color-blind, color-adaptive, and distributionally correlated). On four well-known watermark families (Kgw, Sweet, Unigram, Exp), four benchmark corpora (C4, MBPP, HumanEval, Code-Search-Net), and six LLMs (Opt-1.3b, Opt-6.7b, Llama2-13b, Llama3.1-8b, Qwen2.5-14b, Phi-3-medium-14b), 2- and 3-gram signatures raise detection rates in weak-signal and low-entropy settings from 8~31% without filtering to 78~99% with filtering, while keeping false positives controllable and often negligible. In stress tests where we scramble sentences and perturb 25~50% of tokens by dilution, deletions, and substitutions, 2-gram filters for Kgw-style watermarks preserve most of the clean-text detection gains, often matching or outperforming the advanced WinMax watermark detector. Signature filtering thus provides a simple, scalable, and model-agnostic add-on to strengthen watermark-based provenance checks for LLM text in information processing workflows.

요약

통계적 워터마크 탐지를 임베딩·생성 과정은 그대로 두고, 탐지 전에 워터마크 검정을 왜곡하는 소수의 서명(signature) 토큰을 혼합 정수 선형 계획법으로 학습해 제거하는 서명 필터링(signature filtering)을 제안한다. Kgw·Sweet·Unigram·Exp 등 4개 워터마크 계열과 6개 LLM 실험에서 약한 신호·낮은 엔트로피 환경의 탐지율을 8~31%에서 78~99%로 끌어올리고, 토큰 교란 스트레스 테스트에서도 오탐을 낮게 유지하며 WinMax 탐지기와 동등하거나 더 나은 성능을 보였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18430v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00663v2cs.AI공통 태그 Adversarial Robustness, Large Language Model

LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제

Backdoor Containment via Expert Quarantine and Shutdown in LLMs

백도어가 삽입된 대규모 언어 모델(LLM)은 정상 입력에서는 정상적으로 동작하면서 숨겨진 트리거가 주어지면 공격자가 지정한 출력을 생성할 수 있다. 기존 방어 기법은 학습 이전, 학습 중, 학습 이후, 추론 시점의 네 단계에 걸쳐 있으며, 두 가지 기본 전략 중 하나를 공유한다. 하나는 (오염된 데이터를 걸러내거나 최적화 중 그 습득을 차단하여) 백도어 학습을 억제하는 것이고, 다른 하나는 완전히 백도어가 형성된 모델이 만들어진 뒤에 (모델 가중치를 복구하거나 입력을 게이팅하여) 학습한 다음 정화하는 것이다. 우리는 세 번째 전략으로 '학습하되 유도하라(learn, but channel)'를 제안한다. 이는 학습 중 백도어 형성을 허용하되, 이를 배포 시 비활성화할 수 있도록 지정된 격리 구성요소로 유도하는 것이다. 이를 위해 정규화로 유도되는 MoE 유사 환경에서 구축한 계산 효율적 격리 전략인 Quarantined Expert Shutdown(QES)을 제안한다. 구체적으로, 오염된 데이터셋이 주어지면 QES는 Transformer 기반 언어 모델에 라우팅되는 전문가별 LoRA 분기와 경량 라우터를 추가하고, 보조 라우팅 목표를 사용하여 트리거 조건부 동작을 지정된 전문가로 끌어들이면서 다른 곳에서는 정상 능력을 보존한다. 배포 시 완화는 격리된 전문가의 라우팅 가중치를 0으로 만드는 상수 시간의 단일 연산으로 귀결되며, 트리거 검사나 추가 가중치 업데이트가 필요하지 않다. 실험적으로 우리의 방법은 두 가지 과제, 세 가지 공격, 네 가지 모델 계열에 걸친 대부분의 설정에서 공격 성공률(ASR)을 100%에서 0-10%로 낮추며, 하위 과제 성능은 대체로 보존되거나 소폭만 영향을 받는다. 이러한 결과는 '학습하되 유도하라'가 생성형 LLM의 백도어 격리에서 이전에 탐구되지 않은 체제임을 확립한다.

arXiv:2610.00685v2cs.AI공통 태그 Adversarial Robustness, Large Language Model

영공간 투영을 통한 LoRA 미세조정 LLM의 백도어 정제

Backdoor Purification for LoRA-Tuned LLMs via Null-Space Projection

대규모 언어 모델(LLM)과 파라미터 효율적 미세조정(PEFT) 방법이 빠르게 채택됨에 따라 백도어 공격의 위험이 더욱 심각해졌다. 기존의 백도어 정화 방법은 일반적으로 트리거에 대한 사전 지식, 깨끗한 참조에 대한 접근, 또는 공격적인 재학습과 같은 강한 가정 중 적어도 하나에 의존하며, 포괄적인 평가가 부족한 경우가 많다. 이러한 제약은 실제 적용 가능성을 크게 제한한다. 이러한 문제를 극복하기 위해, 본 연구는 이러한 가정 없이, 심지어 의심되는 파라미터의 사후 재학습 없이 LoRA로 튜닝된 LLM을 정화하는 방법을 제안한다. 우리의 목표는 (i) 기반 모델의 일반 능력과 (ii) 어댑터를 통해 학습된 새로운 하위 과제 기술을 모두 보존하면서 공격 성공률(ASR)을 크게 낮추는 것이다. 일련의 검토를 통해 텍스트 분류 환경의 단일 레이어에서 생성 과제의 전체 파라미터 LLM에 이르기까지 접근법을 점진적으로 확장한다. 신중한 데이터 선별과 특징 근사를 통해 충실도가 높은 백도어 방향을 추출하고, 각 레이어 또는 헤드에 대해 입력 및 출력 채널 모두에서 직교 영공간(null space)을 구성하여 LoRA 업데이트를 그 위로 사영한다. 실험적으로, 우리의 영공간 사영 방법은 하위 과제 적응 중에도 기반 모델의 정상 성능과 어댑터가 학습한 능력을 보존하면서 ASR을 거의 100%에서 10% 미만으로 낮춘다.

arXiv:2610.02432v2cs.CR공통 태그 Adversarial Robustness, Large Language Model

입력 시퀀스 변화에 대한 대규모 언어 모델(LLM)의 강건성 평가 및 개선

Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations

프로덕션 시스템에서 운영되는 대규모 언어 모델(LLM)은 프롬프트 인젝션(prompt injection), 트로이목마(trojan, 백도어), 그리고 자동 품질 지표 조작 공격에 직면한다. 본 논문은 적대적 입력 시퀀스 변화에 대한 LLM의 강건성을 평가하고 개선하기 위한 모델, 방법, 알고리즘을 개발한다. 우리는 작은 입력 교란(perturbation) 하에서 단계별 출력 분포 간의 Jensen-Shannon 발산(divergence)에 기반한 생성적 강건성 지표인 R_stab(f)를 제안한다. 국소적(localized) 공격에 대해서는 V(h) <= 1 - R_class(h)를 증명하며, 여기서 R_class(h)는 의사결정 연산자 h가 작은 교란 하에서도 자신의 결정을 유지할 확률이다. 비국소적(non-localized) 공격에 대해서는 보정된(calibrated) 경험적 모델을 제안한다. LLM-as-a-judge 시스템에 대해서는 적응형 진화 블랙박스 공격인 ASA를 개발했으며, 이는 최대 73.8%의 공격 성공률(ASR)을 달성하고 오픈 모델 간 전이(transfer) 시에도 최대 62.6%를 기록한다. Trojan Detection Challenge 2023 데이터(Pythia-1.4B)에서는 대리(surrogate) 트리거가 REASR ~0.99에 도달하는 반면, 실제 트리거에 대한 재현율은 기준선 ~0.14에 비해 ~0.17에 불과하다. SaTML CTF 2024에서는 다층(multi-layer) 방어를 우회하는 네 가지 유형을 체계화했으며, 이를 통해 ASR을 90%에서 15~25%로 감소시켰다. 5~7개의 이질적(heterogeneous) 모델로 구성된 위원회(committee)는 Gemma-3-4B의 ASR을 47~55퍼센트포인트 감소시켜, 7개 모델 사용 시 19.3%까지 낮춘다. Model Context Protocol(MCP) 기반 에이전트형(agentic) 시스템에 대해서는, 호출당 0.1ms 미만으로 HMAC으로 보호된 패킷을 사용해 도구 호출(tool call)을 증명(attest)하는 AttestMCP와 Commit Boundary 격리 패턴을 제안한다. 847개 시나리오로 구성된 MCPBench 벤치마크(benchmark)에서 이들 방법은 평균 ASR을 53.7%에서 12.4%로 감소시킨다. 이 방법들은 JudgeGuard 및 TrojanArmor 소프트웨어 스위트와 MCPSec 모듈로 구현되었다.

arXiv:2610.10650v1cs.CL공통 태그 Text Generation, Large Language Model

대규모 언어 모델(LLM)을 활용한 교통 관리 계획서 작성 지원: WisDOT WisTMP 시스템 사례 연구

Large Language Model-Assisted Preparation of Transportation Management Plans: A Case Study with WisDOT WisTMP System

공사 구간은 교통 인프라에서 매우 중요하면서도 위험한 요소로, 안전성과 이동성을 보장하기 위해 세심하게 설계된 교통 관리 계획서(TMP)가 필수적입니다. 그러나 TMP 작성은 여전히 많은 노동력이 소요되며 실무자의 전문성에 크게 의존하고 있습니다. 본 논문에서는 WisDOT WisTMP 시스템을 적용 환경으로 삼아 TMP 내용 생성을 자동화하는 대규모 언어 모델(LLM) 기반 프레임워크를 제안합니다. 이 프레임워크는 다양한 모델 규모에 걸쳐 여러 오픈소스 LLM을 미세조정(fine-tuning)하고, 데이터 보안을 보장하기 위해 이를 로컬 환경에 배포합니다. 모델 학습을 지원하기 위해, 과거 WisTMP 문서의 PDF 파일을 JSON 형식의 구조화된 질문-답변 쌍으로 변환하여 도메인 특화 데이터셋을 구축합니다. 실험 결과에 따르면 미세조정은 표준 텍스트 생성 지표 전반에서 성능을 크게 향상시키는 것으로 나타났습니다. 추가적인 섹션별 및 전략 수준 분석 결과, LLM이 전반적으로 우수한 성능을 달성함에도 불구하고 전략을 과도하게 생성하는 경향이 있으며, 프로젝트별 타당성 근거 및 정확한 비용 추정치를 생성하는 데 어려움을 겪는 것으로 드러났습니다. 또한, 모델 규모를 7B/8B에서 14B로 확장해도 성능 향상은 제한적이었습니다. 이러한 결과는 TMP 작성 효율성을 개선할 수 있는 LLM의 잠재력을 보여주는 동시에, LLM 지원 기반 TMP 개발에 남아 있는 과제들을 강조합니다. 소스 코드와 데모 영상은 https://zihaosheng.github.io/TMP-LLM/ 에서 공개될 예정입니다.

arXiv:2610.10742v1cs.CR공통 태그 Adversarial Robustness, Large Language Model

BRANCH: 다중 스캐너 AI 가드레일 우회 기법

BRANCH: Bypassing Multi-Scanner AI Guardrails

AI 시스템이 핵심 추론 엔진으로 대규모 언어 모델(LLM)에 점점 더 많이 의존함에 따라 프롬프트 주입(prompt injection) 및 탈옥(jailbreak)의 표적이 되고 있습니다. 가드레일은 모델의 입력과 출력을 모니터링하고 검증하지만, 개별적이고 특정 작업에만 집중된 탐지 방식으로 인해 분류상 허점이 발생하여 우회 공격에 취약해집니다. 이에 대응하여 다양한 유형의 악의적 지시를 협력적으로 탐지하는 다중 스캐너 기반 가드레일 시스템이 등장했으며, 분류 경계를 아우르는 공유 잠재 표현으로 인해 기존의 우회 기법들은 효과를 거두지 못하고 있습니다. 본 논문에서는 다중 스캐너 가드레일 시스템을 위해 설계된 우회 방법론인 BRANCH를 제안합니다. 이 방법은 개별 스캐너에 적대적 섭동(adversarial perturbation)을 동적으로 적용하는 분기 트리 탐색(branching tree search) 방식을 활용하며, 전체 가드레일 시스템 스캐너 전반의 종합적인 개선도를 기반으로 후속 섭동 최적화 및 기법 선택을 수행함으로써 우회 평가와 공격 신호 최적화를 효과적으로 분리합니다. 연구 결과, BRANCH는 120개 시나리오의 6개 가드레일 시스템 전반에서 우회 내 의미적 맥락을 보존하면서도 기존 기법 대비 72% 적은 쿼리와 4.5배 단축된 실제 소요 시간(wallclock time)으로 100% 공격 성공률을 달성함을 입증했습니다. 또한 BRANCH로 생성된 우회 입력이 8개의 상용 블랙박스 가드레일을 포함한 29개의 미확인(unseen) 가드레일로 전이되어, 추가 최적화 없이도 일부 사례에서 공격 성공률이 최대 100%까지 향상됨을 보여줍니다.

arXiv:2610.11005v1cs.AI공통 태그 Adversarial Robustness, Large Language Model

서사적 래핑이 대규모 언어 모델(LLM) 거절에 미치는 영향: 다국어 벤치마크 및 방어 기법

How Narrative Wrapping Affects LLM Refusal: A Cross-Language Benchmark and Defense

안전성(safety)이 정렬(alignment)된 언어 모델은 직접 제시된 유해한 요청은 거절하는 경우가 많지만, 롤플레잉이나 서사적 래퍼(narrative wrapper) 내에 포함된 동일한 요청에는 답변을 제공합니다. 본 연구에서는 언어와 사용역(register) 전반에 걸쳐 이러한 취약점을 측정합니다. Qwen3-1.7B에 대한 공격 성공률은 영어에서 이미 89.4%, 현대 중국어에서 93.0%에 달하며, 한문(Classical Chinese)에서는 95.7%에 이릅니다. 연구진은 이러한 취약점을 체계적으로 연구하기 위한 벤치마크인 GUISE를 구축했습니다. GUISE에는 영어, 현대 중국어, 한문으로 구성된 병렬 요청, 일치하는 유해-무해 쌍, 평가를 위해 따로 떼어둔 래퍼 유형, 그리고 경고 후 답변(warn-then-answer)하는 응답을 공격 성공으로 간주하는 보다 엄격한 기준이 포함됩니다. 표현(representation) 분석 결과, 언어와 사용역은 유해 요청 표현을 모델의 거절 방향에서 약간만 벗어나게 만드는 반면, 서사적 래퍼는 훨씬 더 멀리 벗어나게 만듭니다. 이에 연구진은 유해 요청 표현을 거절 방향과 정렬시키는 회전 목적함수, 경고 후 답변 응답 대신 완전히 거절하도록 훈련하는 확약(commitment) 목적함수를 선호도 최적화(preference optimisation)와 결합한 AXIS를 제안합니다. Qwen3-1.7B, Qwen3-4B, GLM-4-9B 전반에 걸쳐 AXIS는 비교된 방법들 중 안전성과 사용성(usability) 결합 점수에서 가장 높은 결과를 달성했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.