어떤 토큰을, 어떤 순서로, 얼마나 빠르게? 온폴리시 증류 목적함수의 이론적 분석
Which Tokens, in What Order, and How Fast? A Theoretical Analysis of On-Policy Distillation Objectives
한국어 초록
온폴리시 증류(OPD)는 학생 언어 모델이 자신이 생성한 출력을 바탕으로 교사 모델에 맞추도록 학습시킨다. OPD를 사용할 때는 시퀀스 수준과 토큰 수준 중 어느 쪽에 적용할지, 그리고 어떤 발산을 최소화할지를 선택해야 한다. 그러나 실무에서 OPD가 널리 채택되고 있음에도, 주어진 상황에 어떤 OPD 목적함수가 적합한지에 대한 형식적 이해는 제한적이다. 이러한 공백을 해소하기 위해, OPD 목적함수의 선택이 어떤 토큰이, 어떤 순서로, 얼마나 효율적으로 우선시되는지를 어떻게 좌우하는지 이론적으로 분석한다. 분석 결과, 시퀀스 수준 OPD는 근시안적 토큰 수준 목적함수가 피하는 미래 일치 편향을 보인다. 이 편향은 역방향 학습 순서를 유도하는데, 시퀀스 수준 OPD는 먼저 뒤쪽 토큰 위치에서 교사에 맞추며, 앞쪽 위치에서는 교사 하에서 확률이 낮아 바람직하지 않은 경우가 많은 토큰을 선호할 수 있다. 발산의 선택에 대해서는, 이것이 OPD의 경사 기반 최적화 적합성에 강한 영향을 미침을 증명한다. 특히 순방향 KL 발산은 양호한 목적함수 지형을 가지는 반면, 역방향 KL과 같은 다른 $f$-발산은 학생과 교사가 멀리 떨어져 있을 때에도 기울기 소실을 겪을 수 있다. 언어 모델 사후 학습 설정 전반에서, 이러한 이론적 발견이 어떤 OPD 목적함수가 바람직한지에 대해 갖는 함의를 보이며, 학생, 교사, 당면 과제 사이의 상호작용을 고려하는 것의 중요성을 강조한다.
원문 초록
On-policy distillation (OPD) trains a student language model to match a teacher model based on its own generations. When using OPD, one must choose whether to apply it at the sequence or token level and which divergence to minimize. However, despite the wide adoption of OPD in practice, the formal understanding of which OPD objective is appropriate for a given setting is limited. Toward addressing this gap, we theoretically analyze how the choice of OPD objective governs which tokens are prioritized, in what order, and how efficiently. Our analysis reveals that sequence-level OPD exhibits a future agreement bias, which myopic token-level objectives avoid. This bias induces a reverse learning order, in which sequence-level OPD first matches the teacher at later token positions, while at earlier positions it can favor tokens that are improbable under the teacher, and thus often undesirable. As for the choice of divergence, we prove that it strongly influences the amenability of OPD to gradient-based optimization. In particular, while the forward KL divergence enjoys a well-behaved objective landscape, other $f$-divergences, such as reverse KL, can suffer from vanishing gradients even when the student and teacher are far apart. Across language model post-training settings, we demonstrate the implications of these theoretical findings for which OPD objective is preferable, highlighting the importance of accounting for the interplay between the student, teacher, and task at hand.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23397v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.