RAS: 거부 정렬을 통한 LLM 안전성 측정
RAS: Measuring LLM Safety Through Refusal Alignment
오픈 웨이트 거대 언어 모델의 반복적인 안전성 평가에는 서로 관련된 다수의 체크포인트에 대해 응답을 생성하고 판정하는 과정이 필요하다. 우리는 5단계 SafeVec 절차로 계산되는, 유해 요청 거부에 대한 표현 기반의 참조 상대적 지표인 RAS(Refusal Alignment Score)를 소개한다. SafeVec은 정렬된 참조 모델로부터 계층별 거부 방향을 추출하고, 관련 대상 모델에서 그 정렬 정도를 측정하며, 참조 모델과 보정 모델의 행동적 공격 성공률(ASR)을 이용하여 0에서 100 사이의 점수를 보정한다. 이후의 대상 모델 점수 산출에는 입력 순전파만 사용된다. Llama, Gemma, Qwen 계열에서 따로 떼어 둔 18개 변형 모델에 걸쳐 RAS는 $100(1-\mathrm{ASR})$과 상관관계를 보이며(Pearson 0.934, Spearman 0.851) 83.0%의 쌍별 순서 일치도를 달성한다. Llama 참조 모델에 대한 다섯 가지 프롬프트 구성에 걸쳐 방향들의 평균 코사인 유사도는 0.939이다. 보정 ASR을 이미 확보한 경우, 설정 비용을 포함한 다섯 개 대상 모델의 평가는 규정된 행동 프로토콜 대비 3.2배에서 80.5배의 속도 향상을 달성한다. 이러한 결과는 거부 정렬이 관련 체크포인트를 선별하고 행동 감사의 우선순위를 정하는 데 효율적인 신호임을 뒷받침한다.