은닉 상태 유사도로 예방접종 프롬프팅 이후의 행동 재발현 예측하기
Hidden-State Similarity Predicts Re-Elicitation After Inoculation Prompting
한국어 초록
범위가 좁은 유해 과제로 미세조정하면 모델이 학습 분포를 벗어나 유해 행동을 일반화하는 창발적 비정렬이 나타날 수 있다. 예방접종 프롬프팅은 학습 중 원치 않는 행동을 명시적으로 유도해 이 효과를 줄일 수 있다. 그러나 최근 연구에 따르면 평가 프롬프트에 학습 문맥의 단서가 들어 있으면 그 행동이 다시 나타날 수 있다. 이 연구는 어떤 특징이 그러한 프롬프트를 효과적인 유발 요인으로 만드는지 살펴본다. 예방접종 프롬프트와의 텍스트 유사성만으로는 재발현을 완전히 예측할 수 없었다. 예방접종 문맥에서 생성된 활성화 상태와 비슷한 상태가 나타날 때 억제된 행동이 다시 나타날 가능성이 더 높았다. 이 결과는 예방접종 프롬프팅이 조건부 비정렬을 어떻게 바꾸는지 이해하는 데 도움이 된다. 또한 활성화 공간 분석으로 어떤 평가 프롬프트에서 억제된 행동이 여전히 나타날 수 있는지 파악할 수 있음을 시사한다.
원문 초록
Fine-tuning on narrow harmful tasks can cause emergent misalignment, where models generalize harmful behavior beyond the training distribution. Inoculation prompting can reduce this effect by explicitly eliciting the undesired behavior during training, but recent work shows that the behavior can reappear when evaluation prompts contain cues from the training context. We study what makes such prompts effective triggers. We find that, surprisingly, textual similarity to the inoculation prompt is an incomplete predictor. Instead, prompts are more likely to re-elicit suppressed behavior when they induce activation states similar to those produced by the inoculation context. These findings advance our understanding of how inoculation prompting modulates conditional misalignment, and suggest that activation space analysis can help identify when suppressed behaviors remain accessible under eval-time prompts.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23096v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.