대조적 프로토타입 구조를 통한 대규모 언어 모델의 탈옥 탐지
Jailbreak Detection on Large Language Models via Contrastive Prototype Structures
한국어 초록
탈옥 시도와 유해 프롬프트는 대규모 언어 모델의 안전한 배포에 여전히 과제로 남아 있다. 본 연구는 대조 학습으로 얻은 표현이 별도의 下流 분류기를 학습하지 않고도 안전성 탐지를 뒷받침할 수 있는지 살펴본다. 이에 이진 안전성 레이블을 사용하여 유해 프로토타입과 무해 프로토타입을 구성하고 프로토타입 간 상대 거리로 예측을 수행하는 Jailbreak Detection with Prototype Inference(JDPI)를 제안한다. JDPI는 인코더 적응, 프로토타입 구성, 검증에 이진 안전성 레이블만을 사용한다. 본 실험 설정에서 JDPI는 하위 분류기를 학습하기 위한 별도의 분할을 두지 않으므로 분류기 기준선(방법 A)보다 적은 수의 레이블 예제를 사용한다. 서로 다른 입력 형식을 다루는 네 가지 벤치마크에서 대조 미세조정은 JDPI의 탐지 정확도를 9.1~18.0%p 향상시킨다. 동일한 인코더를 사용할 때 JDPI는 한 벤치마크에서 약간 더 높은 ROC-AUC를 달성하며, 네 벤치마크 전체에서 기준선과의 차이가 0.017 이내이다. 데이터셋별 적응을 적용하면 JDPI는 네 벤치마크 전반에서 공개된 Llama Guard 3-8B 기준선보다 ROC-AUC가 0.173~0.310 높다. TomGibbs에서의 다중 턴 재현 실험에서 JDPI는 대화가 진행됨에 따라 누적된 사용자 이력을 활용하며, 현재 턴만 사용할 때보다 높은 대화 수준 정확도를 달성한다. 12개의 방향성 전이 전반에서 JDPI는 정확도 기준으로 분류기를 평균 1.59%p 앞서, 더 강한 데이터셋 간 강건성을 보인다.
원문 초록
Jailbreak attempts and harmful prompts remain a challenge for the safe deployment of large language models. We study whether contrastively learned representations can support safety detection without training an additional downstream classifier. We propose Jailbreak Detection with Prototype Inference (JDPI), which uses binary safety labels to construct harmful and benign prototypes and makes predictions from relative prototype distances. JDPI uses only binary safety labels for encoder adaptation, prototype construction, and validation. In our setup, it uses fewer labeled examples than the classifier baseline (Method A) by avoiding the separate split used to train the downstream classifier. Across four benchmarks covering different input formats, contrastive fine-tuning improves JDPI's detection accuracy by 9.1-18.0 percentage points. Using the same encoder, JDPI achieves slightly higher ROC-AUC on one benchmark and stays within 0.017 of the baseline across all four. With dataset-specific adaptation, JDPI exceeds the released Llama Guard 3-8B baseline by 0.173-0.310 in ROC-AUC across the four benchmarks. In multi-turn replay on TomGibbs, JDPI uses accumulated user history as the conversation unfolds, achieving higher conversation-level accuracy than when it uses the current turn alone. Across 12 directed transfers, JDPI outperforms the classifier by an average of 1.59 percentage points in accuracy, demonstrating stronger cross-dataset robustness.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24936v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.