PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06667v3cs.CL

일반화의 피기백 가설: 창발적 오정렬의 설명 및 완화

The Piggyback Hypothesis of Generalization: Explaining and Mitigating Emergent Misalignment

학습 예제를 넘어선 대규모 언어 모델(LLM)의 광범위한 과도한 일반화 이면의 메커니즘은 여전히 불분명합니다. 창발적 오정렬(Emergent Misalignment, EM)은 이를 보여주는 두드러진 사례 연구입니다. 즉, 협소한 작업에 대한 파인튜닝(fine-tuning)이 의미적으로 무관한 테스트 도메인에 대해 광범위한 오정렬을 유발합니다. 본 연구에서는 챗 템플릿 토큰(token)이 도메인 외(out-of-domain) 쿼리에 파인튜닝된 동작을 피기백(piggyback, 편승)할 수 있다는 '피기백 가설(Piggyback Hypothesis)'을 제안합니다. 우리는 접두 문맥(prefix, 모든 사용자 쿼리 앞에 오는 토큰)에 대한 미세한 섭동이나, 파인튜닝되지 않은 모델(model)의 표현으로 접두 문맥 표현을 패칭하는 것만으로도 사용자 쿼리를 변경하지 않고 정렬(alignment)을 복원할 수 있음을 보임으로써 이 가설을 검증합니다. 이러한 발견을 바탕으로, 학습(training) 중 특정 토큰 표현을 정규화하여 EM을 완화하는 토큰 정규화 파인튜닝(Token-Regularized Finetuning, TReFT)을 제안합니다. 다양한 모델과 여러 EM 유발 데이터셋에서 TReFT는 도메인 내(in-domain) 학습을 보존하면서 EM을 줄입니다. 법률 도메인에서 파인튜닝된 Llama-3.1-8B에서 TReFT는 정렬된 예시의 유지 세트(retain set)를 활용한 데이터 인터리빙보다 33.5% 더 높은 EM 감소를 달성합니다. 나아가 TReFT가 기권(abstention), 도구 사용(tool use), 거부(refusal)를 포함한 다른 협소한 파인튜닝 설정으로도 확장됨을 보여주며(주제 벗어난 일반화가 평균 54.3% 감소), 피기백 가설을 뒷받침합니다. 전반적으로 본 연구는 LLM이 의도치 않은 방식으로 학습하고 일반화할 수 있음을 강조하며, 더 제약된 파인튜닝을 향한 경로를 제시합니다. 또한 공유된 입력 특징이 도메인 전반에 걸쳐 모델 동작을 어떻게 피기백할 수 있는지에 대한 후속 연구의 필요성을 제기합니다.