역정렬 퓨샷 대화 노출을 통한 대규모 추론 모델(LRM)의 정렬
Alignment of LRMs via Counter-Aligned Few-Shot Conversation Exposure
대규모 추론 모델(LRM)은 명시적인 사고의 연쇄(CoT) 추론과 넓은 컨텍스트 윈도우(context window)에 의존하여 복잡한 작업에서 강력한 성능을 달성하지만, 이러한 특징은 새로운 공격 표면(attack surface)도 유발합니다. 본 논문에서는 명시적인 CoT 추론 궤적이 포함된 역정렬(counter-aligned) 퓨샷(few-shot) 대화를 앞에 추가함으로써 LRM의 추론 과정을 체계적으로 유도할 수 있음을 보이며, 이는 유해한 질의에 대한 안전하지 않은 생성과 무해한 질의에 대한 부당한 거부로 이어집니다. 우리는 이를 유연한 대화형 인터페이스만을 통해 작동하고 모델의 파라미터 및 그래디언트에 대한 접근이 필요 없는 SRCF(Steering Reasoning via Counter-Aligned Few-shot Conversations)로 공식화합니다. 핵심 통찰은 SRCF가 표현 드리프트(representation drift)를 유발하는 적대적 일반화 문제를 악용하여 무해한 입력과 유해한 입력의 표현을 유사한 방향으로 이동시킨다는 점입니다. 이러한 관찰을 바탕으로, 정렬된 타깃을 강제하면서 역정렬 대화형 컨텍스트에 모델을 노출하는 사후 학습(post-training) 방어 기법인 ARCF(Aligning Reasoning via Counter-Aligned Few-Shot Conversations)를 제안합니다. ARCF는 기존 사후 학습 방법과 호환되며 유용성(utility) 저하 없이 안전성(safety)과 유용함(helpfulness)을 일관되게 향상합니다.