유죄 증거 확보를 위한 증류와 역량 강화를 위한 증류
Distillation for Incrimination and Distillation for Capabilities
강력하지만 정렬(alignment)되지 않은 AI 모델은 정렬 평가를 인식하고 전략적으로 순응하게 행동함으로써 직접적인 감사를 무의미하게 만들 수 있습니다. 그러나 이러한 모델을 더 약하고 무해한 학생 모델로 지식 증류(distillation)하면, 교사 모델은 '증류의 이중 구속(Distillation Double Bind)'에 놓이게 됩니다. 즉, 미정렬 상태가 전이된다면 학생 모델은 이를 덜 효과적으로 숨겨 교사 모델에 대한 증거를 드러낼 수 있고, 전이되지 않는다면 학생 모델은 무해한 상태를 유지하면서 유용한 역량을 학습할 수 있습니다. 본 연구에서는 각 결과를 목표로 하는 두 가지 독자적인 지식 증류 방식을 소개합니다. '유죄 증거 확보를 위한 증류(Distillation for Incrimination, DFI)'는 미정렬 상태는 전이하되 이를 은폐하는 능력은 전이하지 않는 것을 목표로 합니다. AuditBench의 비밀 유지 모델을 그 기반이 되는 인스트럭션 튜닝(instruction tuning) 모델로 증류한 결과, 학생 모델은 질문을 받았을 때 숨겨진 행동을 실토할 확률이 교사 모델보다 유의미하게 높아졌으며, 이는 은폐 성향보다 해당 행동에 대한 지식이 더 쉽게 전이되었음을 시사합니다. 이러한 자백 효과는 학생 모델이 교사 모델의 사전학습(pre-training) 베이스를 공유하지 않을 때는 대체로 사라지므로, DFI는 교사 모델보다 약하지만 동일한 베이스 모델을 공유하는 교사 모델 자체의 RL(강화학습) 이전 체크포인트를 대상으로 삼아야 합니다. '역량 강화를 위한 증류(Distillation for Capabilities, DFC)'는 역량은 전이하되 미정렬 상태는 전이하지 않는 것을 목표로 합니다. 본 연구에서 평가한 여러 기법 중 접종 프롬프팅(inoculation prompting)과 더 적은 수의 고유 예제를 더 많은 에포크 동안 학습(training)하는 두 가지 방식이 효과적이었습니다. 두 기법 모두 표준 지식 증류의 역량 향상을 유지하는 동시에, 미정렬의 대리 지표로 설정한 동물 선호도의 잠재적 전이를 크게 줄였습니다. 종합적으로 이러한 결과는 AI 안전성(safety)을 위해 지식 증류를 활용할 수 있는 두 가지 방안, 즉 미정렬된 모델의 유죄 증거를 밝혀내는 것과 미정렬 없이 역량만을 추출하는 방안을 보여줍니다.