TACS: LLM 탈옥 접미사 최적화를 위한 궤적 인식 후보 선택
TACS: Trajectory-Aware Candidate Selection for LLM Jailbreak Suffix Optimization
그래디언트(gradient) 기반 탈옥 접미사(jailbreak suffix) 최적화 방법은 일반적으로 현재 손실(loss)이 가장 낮은 후보를 유지하는 방식으로 접미사를 업데이트합니다. 본 논문에서는 이러한 자연스러워 보이는 설계가 근본적으로 근시안적임을 보여줍니다. 현재 단계의 프록시 하에서 더 우수해 보이는 후보들이 탐색 후반부에서 더 나은 탈옥 결과를 내지 못하는 경우가 빈번하며, 이는 선택 단계에서의 보상 해킹(reward hacking)의 일종임을 밝혀냅니다. 이는 후보 생성뿐만 아니라 후보 선택 자체가 접미사 최적화의 숨겨진 병목점임을 시사합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 탈옥 접미사 최적화를 위한 궤적 인식 후보 선택 프레임워크인 TACS를 제안합니다. TACS는 즉각적인 손실만으로 후보를 선택하는 대신 단계별 평가를 궤적 인식 프록시로 보강하고, 참조 정책 정규화(regularization) 및 판별자(discriminator)로 추정된 카이제곱 보정을 통해 선택을 안정화함으로써 현재 단계를 넘어서도 효과적으로 유지되는 선택을 유도합니다. HarmBench에 대한 실험 결과, TACS는 동일한 탐색 예산 하에서 강력한 베이스라인들을 지속적으로 능가하여 공격 성공률을 대폭 향상시키는 동시에 탐색 전반에 걸쳐 더욱 안정적인 최적화 동작을 보였습니다. 본 연구 결과는 근시안적 후보 선택으로 인해 발생하는 선택 단계의 보상 해킹을 완화하는 것이 탈옥 접미사 최적화를 개선하는 데 결정적임을 강조합니다.