arXiv:2610.07874v1 cs.LG

부정 정책 롤아웃을 활용한 온-정책 증류

On-Policy Distillation with Negative-Policy Rollouts

Jaehui Hwang, Dongyoon Han, Sangdoo Yun, Byeongho Heo

제출 2026-10-06

저자 비고

arXiv Comments

25 pages, 7 figures, 24 tables

한국어 초록

온-정책 증류(On-policy distillation, OPD)는 학생 모델이 자체 롤아웃(rollout)에서 더 우수한 교사 모델로부터 토큰 수준의 감독을 받는 사후 학습(post-training) 방법으로 널리 연구되어 왔습니다. 최근 연구들은 증류의 목적이 교사 모델을 모방하는 데 집중된 상태를 유지하면서도, 대안적인 증류 보상(reward) 공식화 및 교사 모델 구성을 통해 OPD를 개선했습니다. 그러나 더 우수한 교사 모델이 학생 모델과 제한된 분포 중첩(distributional overlap)을 가질 경우, 이러한 긍정적 지침(positive guidance)은 불충분한 학습 신호를 제공할 수 있습니다. 본 연구에서는 성능과 능력이 더 낮은 부정 정책(negative policy)의 롤아웃으로 교사 감독을 보완하여, 해당 부정 정책이 학생 모델을 위한 부정적 기준점 역할을 하도록 하는 Negative-Policy OPD(NP-OPD)를 소개합니다. NP-OPD는 증류 보상 공식을 수정하는 대신 롤아웃 단계에 부정 정책을 도입하여, 교사 모델보다 부정 정책이 선호하는 토큰을 지속적으로 공급함으로써 학습 전반에 걸쳐 교사 감독에 계속 노출되도록 합니다. 이를 통해 OPD에 사용되는 긍정적 교사 감독을 유지하면서 부정 정책 롤아웃을 통한 명시적인 부정 신호를 제공합니다. 광범위한 실험을 통해 NP-OPD가 모델 규모, 생성 모드, 추론 도메인 및 다양한 OPD 변형 전반에 걸쳐 OPD 성능을 향상시킴을 보여줍니다. 나아가 분석 결과, NP-OPD가 교사 모델보다 부정 정책이 선호하는 토큰을 효과적으로 억제하고 학생 모델을 부정 정책으로부터 멀어지게 함을 확인했습니다. 이러한 결과는 부정 정책 롤아웃을 통해 부정적 신호를 도입하는 본 설계 방식을 뒷받침하며, OPD에서 롤아웃 정책의 역할에 대한 새로운 통찰을 제공합니다. 코드는 https://github.com/naver-ai/np-opd 에서 제공될 예정입니다.

원문 초록

On-policy distillation (OPD) has been widely studied as a post-training method in which a student model obtains token-level supervision from a stronger teacher on its own rollouts. Recent studies have improved OPD through alternative distillation reward formulations and teacher configurations, while the objective of distillation remains centered on mimicking the teacher. However, when a stronger teacher has limited distributional overlap with the student, such positive guidance can provide insufficient learning signals. In this work, we introduce Negative-Policy OPD (NP-OPD), which complements teacher supervision with rollouts from a lower-performing, lower-capability negative policy that serves as a negative reference for the student. Rather than modifying the distillation reward formulation, NP-OPD introduces the negative policy at the rollout stage, continuously supplying tokens preferred by the negative policy over the teacher so that they remain exposed to teacher supervision throughout training. This provides an explicit negative signal through negative-policy rollouts while preserving the positive teacher supervision used in OPD. Through extensive experiments, we show that NP-OPD improves OPD across model scales, generation modes, reasoning domains, and different OPD variants. Furthermore, our analyses show that NP-OPD effectively suppresses tokens preferred by the negative policy over the teacher and moves the student away from the negative policy. These results support our design of introducing negative signals through negative-policy rollouts and provide new insight into the role of the rollout policy in OPD. Code will be available at https://github.com/naver-ai/np-opd.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07874v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.