PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.35356v3cs.AI

모든 것을 접종하지 마라: 계층화 접종 프롬프팅을 통한 백도어 트리거 축소 및 원하는 특성 보존

Don't Inoculate Everything: Stratified Inoculation Prompting Narrows Backdoor Triggers and Preserves Desired Traits

지도 미세조정(SFT)은 언어 모델에 원하는 행동과 함께 원치 않는 행동도 학습시킬 수 있다. 접종 프롬프팅(IP, Inoculation Prompting)은 학습(training) 중에 원치 않는 행동을 요청하고 추론(inference) 시에는 해당 요청을 제거함으로써 원치 않는 일반화를 제한하는 것을 목표로 한다. 그러나 관련 없는 프롬프트에서도 원치 않는 행동이 여전히 나타날 수 있으며, IP는 원하는 행동의 학습을 저해할 수도 있다. 본 연구에서는 대부분의 학습 예제에서 두 행동이 동시에 발생하여 원치 않는 행동이 포함된 예제를 필터링하면 소량의 깨끗한 부분집합(clean subset)만 남게 되는 환경에서 이러한 한계를 해결한다. 우리는 계층화 접종 프롬프팅(SIP, Stratified Inoculation Prompting)을 소개한다. SIP는 소량의 깨끗한 부분집합을 활용하여 다양한 컨텍스트 전반에서 원치 않는 행동 없이도 원하는 행동이 지속되어야 함을 보여준다. SIP는 이러한 깨끗한 예제들을 유도하지 않는 다양한 프롬프트 하에서 오버샘플링하는 동시에 나머지 예제들에는 접종을 적용한다. SIP는 IP에 비해 원하는 행동을 더 많이 보존하면서도 원치 않는 행동의 발현을 크게 줄인다. 이러한 이점은 SIP와 동일한 비율로 동일한 깨끗한 부분집합을 오버샘플링하도록 IP를 확장했을 때도 지속된다. 또한, SIP는 테스트한 모든 유해 조언(harmful-advice) 설정에서 더 낮은 창발적 정렬 불량(emergent misalignment) 비율을 달성한다. SIP는 명시적으로 요청하는 프롬프트 하에서도 원치 않는 행동을 제한하도록 추가로 확장될 수 있다. 우리는 접종 프롬프트 하에서의 발현을 약화시키는 백도어 희석(backdoor dilution)과 지정된 비밀번호로 유도를 집중시키는 비밀번호 잠금 접종(password-locked inoculation)을 소개한다. 종합하면, 우리의 연구 결과는 소량의 깨끗한 부분집합에 대한 학습 컨텍스트를 변경하는 것만으로도 선택적 일반화를 크게 향상시킬 수 있음을 보여준다.