arXiv:2110.12948

Generating Watermarked Adversarial Texts

Mingjie Li, Hanzhou Wu, Xinpeng Zhang

제출 2021-10-25

원문 초록

Adversarial example generation has been a hot spot in recent years because it can cause deep neural networks (DNNs) to misclassify the generated adversarial examples, which reveals the vulnerability of DNNs, motivating us to find good solutions to improve the robustness of DNN models. Due to the extensiveness and high liquidity of natural language over the social networks, various natural language based adversarial attack algorithms have been proposed in the literature. These algorithms generate adversarial text examples with high semantic quality. However, the generated adversarial text examples may be maliciously or illegally used. In order to tackle with this problem, we present a general framework for generating watermarked adversarial text examples. For each word in a given text, a set of candidate words are determined to ensure that all the words in the set can be used to either carry secret bits or facilitate the construction of adversarial example. By applying a word-level adversarial text generation algorithm, the watermarked adversarial text example can be finally generated. Experiments show that the adversarial text examples generated by the proposed method not only successfully fool advanced DNN models, but also carry a watermark that can effectively verify the ownership and trace the source of the adversarial examples. Moreover, the watermark can still survive after attacked with adversarial example generation algorithms, which has shown the applicability and superiority.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21804v1cs.CR공통 태그 Text Generation, Adversarial Attack

Speculative Decoding에서 수용 붕괴를 유발하는 적대적 프롬프트

Adversarial Prompts for Acceptance Collapse in Speculative Decoding

speculative decoding과 같은 무손실 가속 기법은 draft 모델과 target 모델 간의 동적 토큰 수준 정렬에 의존하여 상당한 추론 속도 향상을 약속한다. 그러나 이러한 의미적 동등성 보장은 심각한 운영 취약점을 가린다. draft-target 정렬은 체계적으로 공격될 수 있다. 본 논문에서는 ADSD를 제안한다. 저희가 아는 한, 이는 draft 확률 질량을 target이 수용할 가능성이 낮은 토큰 쪽으로 밀어 검증자(verifier) 수용(acceptance)을 붕괴시키는 최초의 프롬프트 접미사 공격이다. ADSD는 비대칭 speculative 수용 규칙에서 파생된 검증자 정렬 대리(surrogate)인 Soft-Collapse와, 명백한 태스크 손상을 억제하는 target 보존 목적 함수를 함께 사용한다. ADSD는 매우 효과적인 적대적 접미사를 성공적으로 생성한다. GSM8K 데이터셋에서 본 공격은 태스크 품질을 유지하면서 평균 샘플링 시간을 62.3% 증가시킨다. 또한 이러한 취약점이 서로 다른 도메인, speculative decoding 전략, 모델 아키텍처 전반에 존재함을 보인다.

arXiv:2607.20472v1cs.AI공통 태그 Text Generation, Adversarial Attack

견고한 크리틱: 다중 턴 공격으로부터 LLM 방어

Robust Critics: Defending LLMs Against Multi-Turn Attacks

사용자가 언어 모델에게 유해한 내용을 물어볼 때, 그것이 진짜 공격인지 아니면 오해에서 비롯된 선의의 질문인지 판단하기 어렵다. 이러한 모호성은 LLM 안전성의 핵심 과제 중 하나이다. 최악을 가정하는 모델은 정당한 사용자에게 피해를 주고, 최선을 가정하는 모델은 쉽게 악용된다. 이 문제는 다중 턴 대화에서 더욱 심화되는데, 공격자의 진짜 의도는 여러 번의 교환에 걸쳐서야 서서히 드러날 수 있지만, 기존 안전성 프레임워크는 문맥적 bandit 방식을 적용하여 대화의 궤적을 무시한다. 이를 위해 우리는 대화의 매 턴마다 사용자 의도를 추론함으로써 이 문제를 해결하는 프레임워크인 Dialogue Critic Guided Sampling(DCGS)를 제안한다. 안전하거나 위험한지에 대한 고정된 규칙을 적용하는 대신, DCGS는 전체 대화 이력을 바탕으로 사용자 의도가 무엇일 가능성이 높은지 학습하고 이에 따라 응답을 생성한다. 형식적으로, 우리는 적대적 대화를 마르코프 결정 과정으로 모델링하고, 개별 토큰 수준과 발화(전체 응답) 수준 모두에서 가치 및 후회(regret) 기반 크리틱을 학습하며, 행동-가치(action-value) 크리틱을 통해 후보 응답을 점수화한다. 우리는 이러한 추론 시점 재가중화가 기본 정책의 지수 기울임(exponential tilting)을 근사함을 증명하며, 이는 임의의 유한 후보 풀에 대해 기대 수익(expected return)의 개선을 보장하는데, 이는 그룹 상대적(group-relative) 목적함수가 갖지 못하는 성질이다. CARES-18k, WildJailbreak, Redbench, Harmbench에서 평가한 결과, DCGS는 적대적 대화 과제에서 강력한 견고성 기준선 및 최첨단(frontier) 모델들을 능가한다. DCGS는 최첨단 모델에도 전이되어, 미세조정 없이 그들의 견고성을 향상시킨다.

arXiv:2607.20473v1cs.AI공통 태그 Text Generation, Adversarial Attack

대규모 언어 모델에서의 불완전 프롬프트 탈옥

Incomplete Prompt Jailbreaks in Large Language Models

대규모 언어 모델(LLM)은 유해한 요청에 대한 안전장치를 갖춘 오픈 가중치(open-weight) 모델로 점점 더 많이 공개되고 있다. 그럼에도 불구하고 문장 완성(sentence completion)은 불완전한 유해 프롬프트에 취약한 상태로 남아 있다. 본 연구에서는 이 현상을 불완전 프롬프트 탈옥(incomplete prompt jailbreak, IPJ)으로 형식화하고, 불완전한 프롬프트가 언제 어떻게 유해한 연속 생성을 유발하는지에 대한 체계적인 실증적 특성 분석을 제공한다. 우리는 불완전한 문장 연속 생성과 관련된 다양한 attractor 유형을 분석하고, LLM이 문장 종료까지 거부(refusal)를 체계적으로 지연한다는 것을 보인다. 또한 매개변수 튜닝을 통해 불완전한 유해 프롬프트를 거부하도록 모델을 학습시키는 것이 불충분하며, 콘텐츠 도메인과 attractor 유형 모두에 걸쳐 일반화하지 못한다는 것을 입증한다. 세밀한 제어를 가능하게 하기 위해, 우리는 두 가지 기능적 뉴런인 종료(termination) 뉴런과 연속(continuation) 뉴런을 식별한다. 문장 완성에서 이들의 역할을 명확히 함으로써, 보다 정밀하고 견고한 IPJ 방어를 위한 뉴런 수준 개입의 잠재력을 강조한다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

arXiv:2607.21067v2cs.CL공통 태그 Text Generation

PrefReward: 개인화 텍스트 생성을 위한 사용자 선호 행렬 학습

PrefReward: Learning User Preference Matrix for Personalized Text Generation

대규모 언어 모델(LLM)은 사용자 이력과 문맥 단서를 활용하여 개인화된 콘텐츠를 생성하는 데 뛰어난 능력을 보여 왔다. 그러나 기존 개인화 접근법 대부분은 모델 파라미터 내부의 암묵적 표현에 의존하므로 사용자별 선호를 해석하거나 긴 문맥 의존성을 효과적으로 처리하기 어렵다. 이러한 문제를 해결하기 위해, 구조화된 선호 행렬을 통해 사용자 스타일을 명시적으로 모델링하고 이를 보상 신호로서 디코딩 과정에 통합하는 새로운 선호 인식 생성 프레임워크 PrefReward를 제안한다. PrefReward는 두 단계로 구성된다. (1) 개인의 문체 경향을 요약하는 사용자별 선호 행렬을 추출하고, (2) KL 발산 기반 보상 함수를 통해 이 행렬로 생성을 안내한다. LongLaMP 데이터셋에 대한 실험에서 PrefReward는 생성 품질과 개인화 해석 가능성 모두에서 검색 기반 베이스라인 및 컨텍스트 스티어링 방법을 능가하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.