PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11012v1cs.AI

유죄 증거 확보를 위한 증류와 역량 강화를 위한 증류

Distillation for Incrimination and Distillation for Capabilities

강력하지만 정렬(alignment)되지 않은 AI 모델은 정렬 평가를 인식하고 전략적으로 순응하게 행동함으로써 직접적인 감사를 무의미하게 만들 수 있습니다. 그러나 이러한 모델을 더 약하고 무해한 학생 모델로 지식 증류(distillation)하면, 교사 모델은 '증류의 이중 구속(Distillation Double Bind)'에 놓이게 됩니다. 즉, 미정렬 상태가 전이된다면 학생 모델은 이를 덜 효과적으로 숨겨 교사 모델에 대한 증거를 드러낼 수 있고, 전이되지 않는다면 학생 모델은 무해한 상태를 유지하면서 유용한 역량을 학습할 수 있습니다. 본 연구에서는 각 결과를 목표로 하는 두 가지 독자적인 지식 증류 방식을 소개합니다. '유죄 증거 확보를 위한 증류(Distillation for Incrimination, DFI)'는 미정렬 상태는 전이하되 이를 은폐하는 능력은 전이하지 않는 것을 목표로 합니다. AuditBench의 비밀 유지 모델을 그 기반이 되는 인스트럭션 튜닝(instruction tuning) 모델로 증류한 결과, 학생 모델은 질문을 받았을 때 숨겨진 행동을 실토할 확률이 교사 모델보다 유의미하게 높아졌으며, 이는 은폐 성향보다 해당 행동에 대한 지식이 더 쉽게 전이되었음을 시사합니다. 이러한 자백 효과는 학생 모델이 교사 모델의 사전학습(pre-training) 베이스를 공유하지 않을 때는 대체로 사라지므로, DFI는 교사 모델보다 약하지만 동일한 베이스 모델을 공유하는 교사 모델 자체의 RL(강화학습) 이전 체크포인트를 대상으로 삼아야 합니다. '역량 강화를 위한 증류(Distillation for Capabilities, DFC)'는 역량은 전이하되 미정렬 상태는 전이하지 않는 것을 목표로 합니다. 본 연구에서 평가한 여러 기법 중 접종 프롬프팅(inoculation prompting)과 더 적은 수의 고유 예제를 더 많은 에포크 동안 학습(training)하는 두 가지 방식이 효과적이었습니다. 두 기법 모두 표준 지식 증류의 역량 향상을 유지하는 동시에, 미정렬의 대리 지표로 설정한 동물 선호도의 잠재적 전이를 크게 줄였습니다. 종합적으로 이러한 결과는 AI 안전성(safety)을 위해 지식 증류를 활용할 수 있는 두 가지 방안, 즉 미정렬된 모델의 유죄 증거를 밝혀내는 것과 미정렬 없이 역량만을 추출하는 방안을 보여줍니다.

arXiv:2609.35356v3cs.AI

모든 것을 접종하지 마라: 계층화 접종 프롬프팅을 통한 백도어 트리거 축소 및 원하는 특성 보존

Don't Inoculate Everything: Stratified Inoculation Prompting Narrows Backdoor Triggers and Preserves Desired Traits

지도 미세조정(SFT)은 언어 모델에 원하는 행동과 함께 원치 않는 행동도 학습시킬 수 있다. 접종 프롬프팅(IP, Inoculation Prompting)은 학습(training) 중에 원치 않는 행동을 요청하고 추론(inference) 시에는 해당 요청을 제거함으로써 원치 않는 일반화를 제한하는 것을 목표로 한다. 그러나 관련 없는 프롬프트에서도 원치 않는 행동이 여전히 나타날 수 있으며, IP는 원하는 행동의 학습을 저해할 수도 있다. 본 연구에서는 대부분의 학습 예제에서 두 행동이 동시에 발생하여 원치 않는 행동이 포함된 예제를 필터링하면 소량의 깨끗한 부분집합(clean subset)만 남게 되는 환경에서 이러한 한계를 해결한다. 우리는 계층화 접종 프롬프팅(SIP, Stratified Inoculation Prompting)을 소개한다. SIP는 소량의 깨끗한 부분집합을 활용하여 다양한 컨텍스트 전반에서 원치 않는 행동 없이도 원하는 행동이 지속되어야 함을 보여준다. SIP는 이러한 깨끗한 예제들을 유도하지 않는 다양한 프롬프트 하에서 오버샘플링하는 동시에 나머지 예제들에는 접종을 적용한다. SIP는 IP에 비해 원하는 행동을 더 많이 보존하면서도 원치 않는 행동의 발현을 크게 줄인다. 이러한 이점은 SIP와 동일한 비율로 동일한 깨끗한 부분집합을 오버샘플링하도록 IP를 확장했을 때도 지속된다. 또한, SIP는 테스트한 모든 유해 조언(harmful-advice) 설정에서 더 낮은 창발적 정렬 불량(emergent misalignment) 비율을 달성한다. SIP는 명시적으로 요청하는 프롬프트 하에서도 원치 않는 행동을 제한하도록 추가로 확장될 수 있다. 우리는 접종 프롬프트 하에서의 발현을 약화시키는 백도어 희석(backdoor dilution)과 지정된 비밀번호로 유도를 집중시키는 비밀번호 잠금 접종(password-locked inoculation)을 소개한다. 종합하면, 우리의 연구 결과는 소량의 깨끗한 부분집합에 대한 학습 컨텍스트를 변경하는 것만으로도 선택적 일반화를 크게 향상시킬 수 있음을 보여준다.