Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning
원문 초록
Reinforcement learning (RL) has emerged as a powerful paradigm for enhancing reasoning capabilities in large language models, but faces a fundamental asymmetry in computation and memory requirements: inference is embarrassingly parallel with a minimal memory footprint, while policy updates require extensive synchronization and are memory-intensive. To address this asymmetry, we introduce PODS (Policy Optimization with Down-Sampling), a framework that strategically decouples these phases by generating numerous rollouts in parallel but updating only on an informative subset. Within this framework, we develop max-variance down-sampling, a theoretically motivated method that selects rollouts with maximally diverse reward signals. We prove that this approach has an efficient algorithmic solution, and empirically demonstrate that GRPO with PODS using max-variance down-sampling achieves superior performance over standard GRPO on the GSM8K benchmark.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
IRanker: Towards Ranking Foundation Model
한 단계 더 어렵게, 지나치지 않게: GRPO에서 커리큘럼 난이도 점진적 확장의 이점과 한계
A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO
커리큘럼 학습(Curriculum learning)은 일반적으로 학습 샘플을 쉬운 것부터 어려운 순서로 구성합니다. GRPO에서는 중간 난이도 샘플이 유익한 그룹 상대적 학습 신호를 생성할 가능성이 더 높기 때문에 온라인 선택 시 매력적이며, 이를 우선시하면 학습 효율성을 향상시킬 수 있습니다. 그러나 이러한 샘플을 지속적으로 선택하는 것이 최종 모델 성능의 극대화로 이어지는지, 또는 더 어려운 샘플로 점진적으로 나아가는 것이 학습에 도움이 될 수 있는지는 여전히 불분명합니다. 한편, 정책(policy)이 발전함에 따라 샘플 난이도 또한 변화하므로, 고정된 난이도 추정치는 현재 정책과 불일치할 수 있습니다. 따라서 본 연구에서는 현재 정책에 따라 샘플 난이도를 재추정하고, 쉬운 것부터 어려운 것으로 진행하는 커리큘럼 학습의 원리에 착안하여 활성 난이도 구간을 점진적으로 더 어려운 샘플 쪽으로 전환하는 단계별 커리큘럼을 설계하고 평가합니다. GSM8K 실험 결과, 지속적인 중간 난이도 선택이 가장 우수한 성능을 달성하지는 못하는 것으로 나타났습니다. 3개의 무작위 시드 전반에 걸쳐, 적당히 더 어려운 난이도 구간으로 진행했을 때 테스트 정확도는 고정 중간 커리큘럼의 $0.6449 \pm 0.0024$와 비교하여 $0.6591 \pm 0.0077$로 향상되었습니다. 그러나 난이도 구간을 더 어렵게 추가로 확장하면 정확도가 $0.6405 \pm 0.0053$으로 감소합니다. 이러한 결과는 단계별 난이도 확장이 지속적인 중간 난이도 선택보다 뛰어난 성능을 보일 수 있지만, 그 이점이 단조적이지는 않음을 보여줍니다. 따라서 효과적인 GRPO 커리큘럼은 중간 난이도를 넘어 확장함으로써 이점을 얻을 수 있지만, 지나치게 어려운 샘플로의 과도한 진행은 피해야 합니다.
LearnAlign: Reasoning Data Selection for Reinforcement Learning in Large Language Models Based on Improved Gradient Alignment
DAC: A Dynamic Attention-aware Approach for Task-Agnostic Prompt Compression
High-Throughput Distributed Reinforcement Learning via Adaptive Policy Synchronization
Personalized Exercise Recommendation with Semantically-Grounded Knowledge Tracing
토론
이 논문과 연결된 포럼 글이 아직 없습니다.