RISE: 자기 외삽 정책 증류를 통한 재귀적 개선
RISE: Recursive Improvement via Self-Extrapolating Policy Distillation
한국어 초록
온-정책(on-policy) 증류(OPD)는 언어 모델 사후 학습을 위한 조밀한 토큰별 감독 신호를 제공하지만, 그 효과는 교사(teacher) 모델의 품질로 인해 제한됩니다. 외부 교사 모델은 분포 불일치를 겪으며, 특권적 조건화(privileged conditioning)를 사용하는 자기 증류는 문맥 내 학습(ICL) 능력에 의해 한계가 있습니다. 본 논문에서는 모델 자체의 RLVR 학습 궤적으로부터 직접 합성 교사를 구축하는 RISE(Recursive Improvement via Self-Extrapolating Policy Distillation)를 제안합니다. 매개변수 공간 또는 출력 로짓 공간에서 현재 체크포인트와 후행 앵커 사이의 변위를 외삽함으로써, RISE는 어떠한 외부 모델이나 특권적 조건화 없이도 희소한 결과 유도 매개변수 업데이트를 조밀한 토큰 수준의 목표로 변환합니다. RISE는 상호 보완적인 루프에서 RLVR과 OPD를 결합합니다. 결과 보상은 외삽을 올바른 추론 방향으로 유도하고(grounding), 외삽된 교사는 토큰 수준의 결정을 정제합니다. 또한 학생 모델이 개선됨에 따라 교사 모델이 매 반복마다 갱신되므로, 증류는 일회성 압축 단계가 아닌 재귀적 개선 메커니즘이 됩니다. 수학적 추론, 다중 영역 STEM, 코드 생성 및 멀티턴 에이전트 태스크를 포괄하는 실험을 통해, RISE가 모든 환경에서 RLVR 전용 학습 및 온-정책 자기 증류를 능가함을 보입니다.
원문 초록
On-policy distillation (OPD) provides dense, per-token supervision for language model post-training, but its effectiveness is bottlenecked by teacher quality: external teachers suffer from distribution mismatch, while self-distillation with privileged conditioning is limited by in-context learning capacity. We propose \textbf{RISE} (\textbf{R}ecursive \textbf{I}mprovement via \textbf{S}elf-\textbf{E}xtrapolating Policy Distillation), which constructs a synthetic teacher directly from the model's own RLVR training trajectory. By extrapolating the displacement between the current checkpoint and a trailing anchor---in parameter space or output logit space---RISE converts a sparse outcome-induced parameter update into a dense token-level target, without any external model or privileged conditioning. RISE combines RLVR and OPD in a complementary loop: outcome rewards ground the extrapolation toward correct reasoning, while the extrapolated teacher refines token-level decisions. Moreover, since the teacher is refreshed every iteration as the student improves, distillation becomes a recursive improvement mechanism rather than a one-shot compression step. Experiments spanning mathematical reasoning, multi-domain STEM, code generation, and multi-turn agentic tasks show that RISE outperforms RLVR-only training and on-policy self-distillation across all settings.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.05295v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.