TRACE: 다중 턴 안전성을 위한 궤적 리턴 귀속 및 대조적 소거
TRACE: Trajectory Return Attribution and Contrastive Erasure for Multi-Turn Safety
안전성 정렬(safety alignment)을 거친 대규모 언어 모델(LLM)은 유해한 단일 요청은 종종 거부하지만, 동일한 목표가 여러 턴에 걸쳐 분산되면 요청에 순응하곤 합니다. 선호도 목적함수는 단일 프롬프트에 대한 전체 응답을 평가하므로, 해당 학습 손실만으로는 이전에 보지 못한 대화 이력에서의 위험을 제어할 수 없습니다. 본 연구의 분석에서는 지도 학습된 단일 턴 컨텍스트에서의 억제가 다중 턴 궤적 위험에 대한 상한(bound)을 산출하기 위한 충분조건을 제시합니다. 이 경계는 커버리지, 전이 여유(transfer slack), 누출을 고려하며, 학습된 정책의 컨텍스트에서 평가된 기본 정책 위험 예산 대비 수축(contraction)을 특성화합니다. TRACE(Trajectory Return Attribution and Contrastive Erasure)는 이러한 원리를 토큰 수준의 목적함수로 전환합니다. 안전한 응답에서 각 토큰은 거부 귀속 어드밴티지(refusal-attributable advantage)의 할인된 리턴에 의해 가중치가 부여됩니다. 이 어드밴티지는 고정된 참조 모델과 거부 기능이 제거된(refusal-ablated) 사본을 비교함으로써, 앞선 응답 토큰이 이후의 거부 관련 증거로부터 크레딧을 받을 수 있도록 합니다. 거부된 응답의 격차가 큰 위치에서 TRACE는 소거 대상에서 관측된 토큰과 정책이 선택한 대안을 결합합니다. 그래디언트 노름 페널티는 유지 세트(retain set)를 대체합니다. 5개의 오픈 가중치 모델과 7개의 다중 턴 공격에 걸쳐, TRACE는 총 35개의 모든 모델 및 공격 조합에서 가장 낮은 공격 성공률(ASR)을 기록했으며, MMLU 및 HellaSwag에서 평가된 모델 유용성 하락은 최대 1.23점에 불과했습니다. 소스 코드는 보충 자료에서 확인할 수 있습니다.