증류 게임: 적응형 평가와 효율적인 방어
The Distillation Game: Adaptive Evaluations & Efficient Defenses
증류(distillation) 공격은 모델 제공자에게 배포상의 트레이드오프를 만든다: 모델을 더 유용하게 만드는 바로 그 출력이 모델을 더 쉽게 모방하게 만들 수도 있다. 우리는 효용이 제약된 교사(teacher)와 적응형 학생(student) 간의 미니맥스 게임을 통해 이 트레이드오프를 연구한다. 우리의 프레임워크는 다루기 쉬운 일방적 대응 규칙들을 도출한다: 학생이 고가치 예제의 가중치를 재조정하는 적응형 평가 규칙과, 증류에 가장 유용한 출력을 억제하는 교사 측 방어 템플릿이다. 예제 가치에 대한 저비용 프록시(proxy)로부터, 우리는 Product-of-Experts(PoE)를 도출한다. 이는 생성 과정에서 교사와 프록시 학생을 결합하는, 순전파(forward-pass)만으로 작동하는 단순한 방어 기법이다. 실험적으로, 적응형 평가는 큰 수동(passive)-적응(adaptive) 간극을 드러낸다: 최신 방어 기법들에 대해, 적응형 학생은 GSM8K와 MATH에서 수동 평가가 암시하는 것보다 상당히 더 많은 능력을 회복한다. 이러한 더 강력한 평가 하에서, 고비용 방어 기법과 PoE 사이의 겉보기 강건성(robustness) 격차는 상당히 좁아지며, 동시에 PoE는 훨씬 더 저비용을 유지하면서 더 높은 품질의 추론 과정(reasoning trace)을 보존한다. 전반적으로, 우리의 결과는 강력한 증류를 막기가 여전히 어렵다는 것을, 그리고 항증류(antidistillation) 연구의 진전은 수동적 학생이 아니라 적응형 학생을 기준으로 평가되어야 한다는 것을 시사한다. 코드는 다음 주소에서 확인할 수 있다: https://github.com/ysfalh/distillation-game.