Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones?
원문 초록
Distilling large language models (LLMs) typically involves transferring the teacher model's responses through supervised fine-tuning (SFT). However, this approach neglects the potential to distill both data (output content) and reward signals (quality evaluations). Extracting reliable reward signals directly from teacher models is challenging, as LLMs are optimized for generation rather than evaluation, often resulting in biased or inconsistent assessments. To address this limitation, we propose a novel distillation pipeline that transfers both responses and rewards. Our method generates pseudo-rewards through a self-supervised mechanism that leverages the inherent structure of both teacher and student responses, enabling reward learning without explicit external evaluation. The reward model subsequently guides reinforcement learning (RL), allowing iterative refinement of the student model after an SFT warm-up phase. Experiments on GSM8K and MMLU-PRO demonstrate that our method consistently outperforms traditional SFT-based approaches, enabling student models to surpass the performance of their teachers. This work highlights the potential for scalable, efficient distillation through structured self-supervised reward learning, reducing dependence on external reward supervision.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
any4: Learned 4-bit Numeric Representation for LLMs
IRanker: Towards Ranking Foundation Model
한 단계 더 어렵게, 지나치지 않게: GRPO에서 커리큘럼 난이도 점진적 확장의 이점과 한계
A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO
커리큘럼 학습(Curriculum learning)은 일반적으로 학습 샘플을 쉬운 것부터 어려운 순서로 구성합니다. GRPO에서는 중간 난이도 샘플이 유익한 그룹 상대적 학습 신호를 생성할 가능성이 더 높기 때문에 온라인 선택 시 매력적이며, 이를 우선시하면 학습 효율성을 향상시킬 수 있습니다. 그러나 이러한 샘플을 지속적으로 선택하는 것이 최종 모델 성능의 극대화로 이어지는지, 또는 더 어려운 샘플로 점진적으로 나아가는 것이 학습에 도움이 될 수 있는지는 여전히 불분명합니다. 한편, 정책(policy)이 발전함에 따라 샘플 난이도 또한 변화하므로, 고정된 난이도 추정치는 현재 정책과 불일치할 수 있습니다. 따라서 본 연구에서는 현재 정책에 따라 샘플 난이도를 재추정하고, 쉬운 것부터 어려운 것으로 진행하는 커리큘럼 학습의 원리에 착안하여 활성 난이도 구간을 점진적으로 더 어려운 샘플 쪽으로 전환하는 단계별 커리큘럼을 설계하고 평가합니다. GSM8K 실험 결과, 지속적인 중간 난이도 선택이 가장 우수한 성능을 달성하지는 못하는 것으로 나타났습니다. 3개의 무작위 시드 전반에 걸쳐, 적당히 더 어려운 난이도 구간으로 진행했을 때 테스트 정확도는 고정 중간 커리큘럼의 $0.6449 \pm 0.0024$와 비교하여 $0.6591 \pm 0.0077$로 향상되었습니다. 그러나 난이도 구간을 더 어렵게 추가로 확장하면 정확도가 $0.6405 \pm 0.0053$으로 감소합니다. 이러한 결과는 단계별 난이도 확장이 지속적인 중간 난이도 선택보다 뛰어난 성능을 보일 수 있지만, 그 이점이 단조적이지는 않음을 보여줍니다. 따라서 효과적인 GRPO 커리큘럼은 중간 난이도를 넘어 확장함으로써 이점을 얻을 수 있지만, 지나치게 어려운 샘플로의 과도한 진행은 피해야 합니다.
LearnAlign: Reasoning Data Selection for Reinforcement Learning in Large Language Models Based on Improved Gradient Alignment
Slimming Down LLMs Without Losing Their Minds
DAC: A Dynamic Attention-aware Approach for Task-Agnostic Prompt Compression
토론
이 논문과 연결된 포럼 글이 아직 없습니다.