arXiv:2610.21337v5 cs.LG

온폴리시 증류는 모든 롤아웃을 끝까지 수행해야 하는가?

Does On-Policy Distillation Need to Complete Every Rollout?

Zhengxin Zhang, Maosen Tang, Ning Wang, Changhao Li, Jingren Zhou, Bo Dai, Sainyam Galhotra, Alex Townsend, Claire Cardie

제출 2026-11-17

한국어 초록

온폴리시 증류(OPD)는 학생이 생성한 롤아웃에 대한 피드백을 통해 교사의 지식을 학생에게 전달하지만, 완전한 롤아웃을 생성하고 토큰별 교사 피드백을 계산하는 데는 많은 연산 비용이 든다. 기존의 절단 방법은 롤아웃을 일찍 멈춰 연산을 절약한다. 그러나 이들은 절단된 토큰 그래디언트를 보정하지 않아 그래디언트 추정에 편향이 생기고 Vanilla OPD의 원래 학습 목표가 바뀐다. 더욱이 절단 결정은 감독 품질에 대한 가정이나 여러 설정에 일반화되지 않을 수 있는 기준에 의존한다. 우리는 학생 롤아웃을 무작위로 절단하고 그로 인한 샘플링 편향을 블록 단위 역확률 가중(IPW)으로 보정하여 OPD를 가속하는 확률적 절단 온폴리시 증류(STOPD)를 제안한다. 각 학습 단계에서 생성 전에 롤아웃마다 정지 위치를 샘플링하고, 학생이 그 위치 또는 자연 종료까지 생성하도록 한다. 생성된 모든 토큰에 대해 교사 피드백을 얻고, 가중치를 제어하면서 뒤쪽 토큰이 유지될 낮은 확률을 보상하기 위해 블록 단위 IPW를 사용한다. 우리는 이 가중이 기댓값에서 Vanilla OPD의 그래디언트 합을 보존함을 증명하고, SGD, Adam, Muon에 대한 한 단계 갱신 오차의 상계를 도출한다. 우리는 여러 교사-학생 모델 쌍, 과제 영역, 옵티마이저에 걸쳐 STOPD를 평가한다. STOPD는 Vanilla OPD와 비슷한 정확도를 유지하면서 생성 토큰을 25-48% 줄이고 1.3-2.2배의 학습 속도 향상을 달성한다.

원문 초록

On-policy distillation (OPD) transfers teacher knowledge to a student through feedback on student-generated rollouts, but generating complete rollouts and computing per-token teacher feedback are computationally expensive. Existing truncation methods save computation by stopping rollouts early. However, they do not compensate for truncated token gradients, which biases the gradient estimates and changes Vanilla OPD's original training objective. Furthermore, their truncation decisions rely on assumptions about supervision quality or criteria that may not generalize across settings. We introduce Stochastic Truncated On-Policy Distillation (STOPD), which accelerates OPD by randomly truncating student rollouts and correcting the resulting sampling bias with blockwise inverse-probability weighting (IPW). At each training step, we sample a stopping position for each rollout before generation and let the student generate until that position or natural termination. We obtain teacher feedback on every generated token and use blockwise IPW to compensate for the lower probability of retaining later tokens while controlling the weights. We prove that this weighting preserves Vanilla OPD's gradient sum in expectation and derive one-step update-error bounds for SGD, Adam, and Muon. We evaluate STOPD across multiple teacher-student model pairs, task domains, and optimizers. STOPD reduces generated tokens by 25-48% while maintaining accuracy comparable to Vanilla OPD, achieving 1.3-2.2x training speedups.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.21337v5제출 시각 미확인
  2. arXiv:2610.21337v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.