RollVerify: 롱테일 롤아웃 강화학습에서 효율성과 정확도의 간극 좁히기
RollVerify: Bridging Efficiency and Accuracy in Long-Tail Rollout Reinforcement Learning
한국어 초록
강화학습(RL)은 대규모 언어 모델(LLM)의 추론 및 일반화 능력을 향상하는 데 매우 중요합니다. 강화학습은 대규모 롤아웃(rollout)에 의존하는데, 컨텍스트 윈도우(context window)가 커짐에 따라 롤아웃의 길이가 점점 더 롱테일(long-tail) 분포를 띱니다. 온-정책(on-policy) 학습에서 이러한 롱테일 롤아웃은 GPU 버블을 유발하여 시스템 활용도를 떨어뜨리고 강화학습의 확장성을 제한할 수 있습니다. 비동기식 또는 부분 롤아웃 방식은 동기화를 완화하여 처리량을 개선하지만, 최종 정확도를 저해할 수 있는 오래된 오프-정책(off-policy) 샘플(궤적)을 필연적으로 도입하게 됩니다. 기존 접근법들은 주로 학습 중 오프-정책 샘플의 가중치를 재조정(reweighting)하여 이러한 오프-정책 문제를 완화하지만, 완전한 온-정책 학습과 비교했을 때 여전히 성능 격차가 남을 수 있습니다. 본 연구에서는 학습 도중 수동적으로 샘플의 가중치를 재조정하는 대신, 샘플이 학습에 들어가기 전에 능동적으로 검증하고 수정하는 부분 롤아웃 기반의 경량 강화학습 프레임워크인 RollVerify를 제안합니다. 구체적으로, 부분 생성된 궤적의 오프-정책 편차를 정량화하기 위해 오프-정책 이동 지표인 OPS를 도입합니다. RollVerify는 OPS 제약 조건을 바탕으로 시퀀스 수준 및 토큰(token) 수준의 검증을 모두 수행하여 궤적의 유효하지 않은 접미사를 식별하고 잘라냅니다. 이를 통해 부분 롤아웃의 효율성 이점을 보존하면서도 모델의 정확도를 보호하는 고품질 샘플을 생성합니다. 수학 및 도구 기반 수학적 추론에 대한 실험 결과, RollVerify는 학습 비용을 줄이면서도 온-정책 학습에 필적하는 정확도를 달성함을 보여줍니다. 또한 코드 생성에 대한 추가 결과는 수학 영역을 넘어선 예비적 증거를 제공합니다.
원문 초록
Reinforcement learning is crucial for improving large language models' reasoning and generalization. It relies on massive rollouts whose lengths become increasingly long-tailed as context windows grow. In on-policy training, these long-tail rollouts can result in GPU bubbles, reducing system utilization and limiting RL scalability. Asynchronous or partial-rollout methods improve throughput by relaxing synchronization, but inevitably introduce stale off-policy samples (trajectories) that may hurt final accuracy. Existing approaches mainly mitigate this off-policy issue by reweighting off-policy samples during training, yet they can still leave a performance gap compared to fully on-policy training. In this work, rather than passively reweighting samples during training, we propose RollVerify, a lightweight RL framework built on partial rollout that actively verifies and repairs samples before they enter training. Specifically, it introduces an off-policy shift metric OPS, to quantify the off-policy deviation of partially generated trajectories. Guided by the OPS constraint, RollVerify performs both sequence-level and token-level verification to identify and truncate invalid suffixes of trajectories. This yields high-quality samples that protect the models' accuracy while preserving the efficiency gains of partial rollout. Experiments on mathematical and tool-assisted mathematical reasoning show that RollVerify achieves accuracy comparable to on-policy training while reducing training cost. Additional code-generation results provide preliminary evidence beyond mathematics.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.