PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02302v1cs.CR

의도 은닉 탈옥: 구성적 공격을 위한 정보이론적 프레임워크

Intent-Hiding Jailbreaks: An Information-Theoretic Framework for Compositional Attacks

최근 연구에 따르면 대규모 언어 모델(LLM)은 무해한 태스크와의 구성을 통해 유해한 의도를 은닉하는 탈옥(jailbreak) 공격에 취약할 수 있음이 나타났습니다. 단독으로는 거부되는 유해한 요청도 겉보기에 무해한 더 큰 질의 내에 포함되면 다른 응답을 유도할 수 있습니다. 본 연구에서는 이러한 구성적 의도 은닉 탈옥을 정보이론적 관점에서 연구합니다. 본 공식화는 각 태스크를 유해하다고 판단될 추정 확률과 연계합니다. 전체 태스크 집합에 대한 평균은 유해 의도의 사전 확률을 정의하고, 대상 태스크를 포함하는 선택된 번들에 대한 평균은 사후 확률을 정의합니다. 이러한 평균들이 일치하도록 보조 태스크를 선택하는 방식(이를 사전-사후 일치라고 부름)은 번들 내에 유해 대상이 남아있음에도 추정 의도를 변경되지 않은 상태로 유지합니다. 질의 생성이 최적화의 일부인지 여부에 따라 달라지는 두 가지 설정을 연구합니다. 질의 독립적 설정에서는 최종 질의에서 태스크가 어떻게 표현될지와 무관하게 태스크를 선택합니다. 번들 크기 제약 하에서 정확한 사전-사후 일치는 계산적으로 어렵다는 점을 보이고, 분수 가중치에 대한 최적의 워터 필링(water-filling) 해법을 도출하며, 규정된 안전성(safety) 임계값을 만족하는 가장 작은 번들의 특성을 밝힙니다. 질의 의존적 설정에서는 태스크 선택과 질의 구성을 공동으로 고려하며, 결과 질의에 대해 의도 은폐와 대상 보존을 평가합니다. 번들 크기, 질의 생성기, 여러 오픈소스 모델 전반에서 탈옥 효과와 대상 행동 보존을 평가합니다. 이러한 결과는 평가된 탐색 예산 하에서 구성적 질의가 직접 요청 기준선(baseline)을 넘어 대상 행동을 유도할 수 있음을 보여주는 동시에, 번들 크기가 증가함에 따라 여러 모델에서 응답 수준의 대상 보존이 감소하는 경향이 있다는 트레이드오프를 밝혀냅니다.