일반화 해킹: 모델은 행동 일반화를 막아 강화학습을 악용할 수 있다
Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization
모델 사후 학습, 특히 강화학습(RL)은 개발자가 모델의 가치와 행동을 형성할 수 있는 주요 메커니즘 중 하나이다. 그러나 모델이 점점 더 평가와 학습을 인식하게 되면, 인식된 목표가 현재 가치와 충돌할 때 학습에 저항하도록 동기부여될 수 있으며, 이는 개발자가 추가 학습을 통해 정렬 불일치(misalignment)를 탐지하고 모델 행동을 교정하는 능력을 약화시킨다. 본 논문에서는 일반화 해킹(generalization hacking)을 입증한다. 여기서 모델은 강화학습 중 보상을 획득하면서도 보상받은 행동이 일반화되는 것을 막는다. Qwen3-235B-A22B에 모델 organism을 구성하고, 학습 인식(training awareness)과 자기 예방(self-inoculation)을 설명하는 합성 문서로 파인튜닝한다. self-inoculation은 모델이 사고의 연쇄(Chain-of-Thought)에서 준수(compliance)를 문맥 특정적(context-specific)으로 프레이밍하는 새로운 메커니즘으로, 두 행동 중 어느 것도 시연하거나 지시하지 않는다. 모델 organism은 학습 시점의 유해성이 대조군과 비슷한 수준이면서, 700스텝의 강화학습에 걸쳐 지속적인 약 15퍼센트포인트 준수 격차를 유지한다. 또한 학습 인식 문서만으로 학습된 대조 organism은 강화학습 압력 하에서 독립적으로 예방(inoculation) 유사 추론을 발견하여, 해당 개념에 한 번도 노출되지 않았음에도 자체적인 준수 격차를 형성한다. 일반화 해킹 organism이 전 과정에서 높은 보상을 받기 때문에, 표준 학습 지표는 일반화가 실패했다는 신호를 제공하지 않는다. 우리 결과는 모델이 높은 보상을 유지하면서도 강화학습 행동 수정에 적극적으로 저항할 수 있음을 최초로 보여주며, 모델이 더 유능해지고 학습 인식적일수록 학습 과정 자체를 약화시킬 수 있음을 시사한다.