한국어 초록
온-정책(on-policy) 사후 학습(post-training)은 대규모 언어 모델(LLM)이 자체 궤적(trajectory)으로부터 학습하여 성능을 향상시킬 수 있지만, 비용이 많이 드는 롤아웃(rollout) 생성을 필요로 합니다. 본 연구에서는 고정된 시연(demonstration) 데이터가 더 우수한 지도(supervision)를 통해 경쟁력 있는 오프-정책(off-policy) 학습을 지원할 수 있는지 질문을 던집니다. 우리의 전제는 시연 데이터의 유용성이 학습 궤적뿐만 아니라, 지도가 연속적인 생성 경로 간의 유익한 선호도를 제공하고 이러한 안내를 학습 중인 추론 결정과 연결하는지 여부에도 달려 있다는 것입니다. 본 논문에서는 시연 데이터를 단계 정렬된 분포적 지도(distributional supervision)로 변환하는 롤아웃 없는 자가 증류(self-distillation) 기법인 단계 정렬 특권 지식 증류(Step-Aligned Privileged Distillation, SAPD)를 소개합니다. SAPD의 핵심 통찰은 참조 솔루션을 구분되지 않는 단순 문맥으로 취급하는 대신, 참조 솔루션의 알려진 진행 과정을 활용하여 각 추론 전환을 타깃팅된 특권적 안내(privileged guidance)와 연결하는 것입니다. 수학적 추론 벤치마크에서 SAPD는 온-정책 강화학습(RL) 및 자가 증류 방식과 경쟁력 있는 성능을 유지하면서 지도 미세조정(SFT)과 라벨 스무딩(label smoothing)을 평균적으로 능가합니다. 분석 결과는 문맥 의존적인 분포적 안내의 가치와 특권 정보를 현재 단계에 정렬하는 것의 이점을 모두 뒷받침합니다. 또한 SAPD는 도메인 외(out-of-domain) 코딩 성능을 대체로 유지하며, 온-정책 베이스라인 대비 약 2배 빠른 학습 루프 속도 향상을 달성합니다. 이러한 발견은 정교하게 구축된 지도를 통해 완전한 오프-정책 사후 학습이 경쟁력 있고 계산 효율적인 대안이 될 수 있음을 시사합니다. 코드 링크: https://github.com/Miaow-Lab/SAPD.
원문 초록
On-policy post-training can improve large language models by learning from their own trajectories, but requires costly rollout generation. We ask whether fixed demonstrations can support competitive off-policy learning through better supervision. Our premise is that their usefulness depends not only on the training trajectories, but also on whether supervision provides informative preferences among continuations and connects this guidance to the reasoning decision being learned. We introduce Step-Aligned Privileged Distillation (SAPD), a rollout-free self-distillation method that turns demonstrations into step-aligned distributional supervision. Its key insight is to use the known progression of a reference solution to associate each reasoning transition with targeted privileged guidance, rather than treating the solution as undifferentiated context. On mathematical reasoning benchmarks, SAPD outperforms supervised fine-tuning and label smoothing on average while remaining competitive with on-policy reinforcement learning and self-distillation. Analyses support both the value of context-dependent distributional guidance and the benefit of aligning privileged information with the current step. SAPD also largely preserves out-of-domain coding performance and achieves approximately 2x training-loop speedups over the on-policy baselines. These findings suggest that carefully constructed supervision can make fully off-policy post-training a competitive and computationally efficient alternative. Our code is available at https://github.com/Miaow-Lab/SAPD.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
preprint