Modern large language models (LLMs) operate in interactive multi-turn settings, making multi-turn jailbreaking a realistic threat model and an important setting for automated red teaming. A core challenge in learning multi-turn jailbreak attackers is credit assignment: different turns contribute differently to the final outcome, yet existing learning signals are often too coarse to identify their individual contributions. We propose decomposed credit GRPO (DC-GRPO), a unified turn-level credit assignment framework for Group Relative Policy Optimization in multi-turn jailbreak learning. DC-GRPO assigns a separate group-relative learning signal to each turn by combining immediate and future credit, avoiding the credit misassignment induced by broadcasting a single trajectory-level score across the dialogue. We instantiate this framework with static and dynamic weighting rules that differ in how the two credit sources are balanced while sharing the same turn-level structure. Across four victim LLMs and three benchmarks, DC-GRPO achieves up to 98.26% average ASR_5@3, substantially outperforming the state-of-the-art methods, including SEMA (86.58%) and TROJail (86.23%), demonstrating the effectiveness of our turn-level group-relative credit assignment. Warning: This paper contains examples of harmful content.
가중치 공개(open-weight) 대규모 언어 모델(LLM)을 보호하기 위한 최근의 방어 기법들은 적대적 사용을 방지하는 것을 목표로 한다. 이러한 방어 기법의 기저에는 유해한 새로운 동작이 모델 탈옥(jailbreaking)을 통해 유도되기보다는 미세조정(fine-tuning)을 통해 학습된다는 가정이 깔려 있다. 그러나 사전학습된 LLM은 이미 여러 영역에 걸쳐 상당한 유해 지식을 인코딩하고 있어 중요한 의문을 제기한다. 공격자가 미세조정을 전혀 거치지 않고도 보호된 모델을 탈옥시켜 유해한 사용을 달성할 수 있는가? 본 논문에서는 가중치 공개 보호 장치가 잘 알려져 있음에도 불구하고 이러한 방어 기법을 대상으로 체계적으로 평가되지 않았던 더 단순한 전략들에 취약함을 보여준다. 구체적으로, 그래디언트(gradient) 기반 최적화에 의존하지 않는 두 가지 저비용 공격인 제거(abliteration)와 프리필링(prefilling)을 평가한다. 세 가지 유해성 평가 벤치마크(BeaverTails, HarmBench, AdvBench)에 걸쳐 이러한 공격들은 보호된 가중치 공개 모델에 대한 공격 성공률을 10% 미만에서 16%~96% 범위로 증가시킨다. 이러한 취약점을 완화하기 위해 저자들은 학습 과정에 제거 기반 목적 함수를 결합한 제거 저항 튜닝(ART, abliteration-resistant tuning)을 도입한다. ART는 기존 방어 기법 위에 중첩 적용될 수 있으며, 제거, 프리필링 및 이들의 결합 공격 성공률을 10%~20% 감소시킨다. 이러한 결과는 가중치 공개 모델의 공격 표면이 이전에 규명된 것보다 더 넓으며, 보호 방어 기법에 대한 평가가 적대적 미세조정을 넘어 더 다양한 공격 전략을 포함해야 함을 시사한다.
파운데이션 모델 안전성 벤치마크는 출판 당시의 AI 위험을 포착한다. 모델이 개선되고 정부가 새로운 AI 안전성 법률을 제정함에 따라, 위험 분류 체계는 더 이상 포괄적이지 않게 되고 공격 프롬프트는 효과를 잃는다. 우리는 AIR-BENCH 2024의 자가 진화형 후속작인 AIR-BENCH Live를 제시한다. 자동화된 업데이트 파이프라인은 정부 규제를 모니터링하고 새로운 정책을 현재의 4단계 위험 분류 체계에 대해 분류하며, 기존 범주에 매칭하거나 새로운 세분화된 범주를 제안한다. 그다음, 다중 에이전트(multi-agent), 페르소나 기반 프롬프트 생성 알고리즘이 최소한의 인간 검토로 현실적이고 다국어 프롬프트를 생성하며, 현대적인 jail breaking 기법으로 개선할 여지를 남긴다. 이 알고리즘은 레거시 프롬프트를 개편하고 새로운 범주에 대한 프롬프트를 생성하는 데 사용된다. 현재 버전에서 파이프라인은 벤치마크를 314개에서 335개의 세분화된 위험으로 확장했으며, 21개의 새로운 범주는 7개 관할권에 걸친 31개의 진정으로 새로운 정책 조항에서 도출되었다. 최근 14개 모델을 평가한 결과, (자체 행동 기준으로 판단된 모델들 사이에서 0.17에서 0.89까지) 넓은 안전성 격차가 있음을, 현대화된 프롬프트가 2024년 세트보다 평균 0.06점 더 어렵다는 점(가장 큰 하락은 가장 순응적인 모델들에 집중됨)을, 그리고 대부분의 모델이 비영어 프롬프트에서 소폭 덜 안전하다는 점을 발견한다. 새로운 규제를 지속적으로 흡수하고 프롬프트를 재생성함으로써, AIR-BENCH Live는 빠르게 변화하는 분야와 함께 진화하도록 설계되었다.
기존 텍스트 코퍼스에서 파생된 일반 토큰과 달리, 특수 토큰은 대규모 언어 모델(LLM)의 미세조정 과정에서 구조화된 대화를 주석하기 위해 인위적으로 생성된다. 이 토큰들은 학습 데이터의 메타데이터 역할을 하며, LLM이 일관되고 문맥을 인식하는 응답을 생성하도록 지시하는 데 핵심적인 역할을 한다. 우리는 특수 토큰이 악용되어 네 가지 공격 원시기(primitive)를 구성할 수 있음을 보여주며, 이를 통해 악의적인 사용자가 온라인 LLM 서비스의 내부 안전성 정렬(alignment)을 신뢰성 있게 우회하고 최신(SOTA) 외부 콘텐츠 검열 시스템을 동시에 우회할 수 있음을 입증한다. 게다가, 학계에서 제안된 바와 같이 특수 토큰을 완전히 제거하는 입력 정화(sanitization)와 같은 공격적인 방어 메커니즘은 예상보다 효과가 낮아 이 위협에 대응하기가 어렵다는 것을 발견했다. 이는 토크나이저의 임베딩 공간에서 의미적으로 유사한 일반 토큰으로 특수 토큰을 대체하면 이러한 방어를 우회할 수 있기 때문이다. 우리는 MetaBreak라 명명한 방법을 실험실 환경과 상용 LLM 플랫폼 모두에서 체계적으로 평가했다. 콘텐츠 검열이 배치되지 않은 경우, 우리의 접근법은 SOTA 프롬프트 엔지니어링 기반 솔루션과 유사한 탈옥 성공률을 달성한다. 그러나 콘텐츠 검열이 있는 경우 MetaBreak는 SOTA 솔루션인 PAP와 GPTFuzzer보다 각각 11.6% 및 34.8% 더 높은 성능을 보인다. 마지막으로, MetaBreak는 프롬프트 엔지니어링과 근본적으로 다른 전략을 사용하므로 두 접근법은 시너지 효과를 낼 수 있다. 특히 PAP와 GPTFuzzer에 MetaBreak를 결합하면 탈옥 성공률이 각각 24.3% 및 20.2% 향상된다.
대규모 언어 모델(LLM)이 조작된 어시스턴트 측 컨텍스트인 프리필(prefill)을 인식하고 저항하는 능력을 분석한 결과, 최신 모델들이 상당한 수준의 감지 및 기본 동작 복귀 능력을 보임을 확인했습니다. 이는 정렬(alignment) 평가나 제어 프로토콜 등 프리필 기반 방법들의 유효성에 영향을 미칠 수 있음을 시사합니다.