BoT-GRPO: 토큰 주머니 집계를 통한 추론용 고효율 프로세스 보상 강화학습
BoT-GRPO: Efficient Process-Reward RL for Reasoning via Bag-of-Token Aggregation
한국어 초록
강화학습(RL)은 이제 대규모 언어 모델(LLM)에서 추론 능력을 이끌어내는 데 핵심적인 역할을 하지만, 널리 사용되는 그룹 상대 정책 최적화(GRPO) 알고리즘에서는 롤아웃(rollout) 내의 모든 토큰이 동일한 어드밴티지(advantage)를 부여받습니다. 본 연구에서는 가치 네트워크(value network)의 비용을 들이지 않고 수렴을 가속화하며 최종 품질을 향상시키는, 효율적인 프로세스 감독(process supervision) 방안을 모색합니다. 이를 위해 길이 불변 '토큰 주머니(bag of tokens)' 집계를 통해 GRPO를 토큰 수준 보상 모델로 확장하는 BoT-GRPO(Bag-of-Tokens Group Relative Policy Optimization)를 제안합니다. 이 방법은 여러 롤아웃에 걸쳐 모든 토큰 수준 보상을 수집하고, 각 보상에 원래 시퀀스 길이의 역수를 가중치로 부여한 뒤 가중치가 적용된 그룹 통계를 기준으로 토큰별 어드밴티지를 계산합니다. BoT-GRPO는 크리틱이 필요 없는(critic-free) 방식이며, 토큰 수준 보상을 활용할 수 있는 환경이라면 기존 GRPO를 완벽히 대체(drop-in replacement)할 수 있습니다. React 프론트엔드 코드 생성 작업에서 BoT-GRPO는 GRPO보다 최대 $1.9\times$ 빠르게 $80\%$ 컴파일 비율에 도달하며, 최신 GRPO 변형 모델(GSPO, DAPO, PURE)보다 더 빠르게 수렴하는 동시에 더 높은 최종 컴파일 비율과 VLM 평가 승률을 달성합니다. 두 번째 작업인 AIME 수학적 추론에서는 BoT-GRPO가 절반의 스텝만으로 GRPO 대비 최대 $8.1\%$의 절대적 Pass@$k$ 향상을 보여줍니다. 두 작업 모두에서 추론 계열과 비추론 계열의 베이스 모델 패밀리(Qwen2.5-3B, SmolLM3-3B, Phi-4-mini-reasoning)를 대상으로 알고리즘 성능을 비교합니다. 또한 본 실험은 보상 모델 자체에 대한 실용적인 지침을 제시합니다. 즉, 보상의 풍부함보다 안정성이 더 중요하며, 노이즈가 있는 대안들이 학습을 정체시키는 반면 정제되고 경계가 명확하며(bounded) 안정적인 세분화된 신호는 일관되게 학습을 가속화합니다.
원문 초록
Reinforcement learning is now central to eliciting reasoning in large language models, while in the popular algorithm Group Relative Policy Optimization (GRPO) every token in a rollout receives the same advantage. We ask how to make process supervision efficient: accelerating convergence and improving final quality without the cost of value networks. We propose Bag-of-Tokens Group Relative Policy Optimization (BoT-GRPO), which extends GRPO to token-level reward models through a length-invariant "bag of tokens" aggregation: it collects all token-level rewards across rollouts, weights each by the inverse of its source sequence length, and computes per-token advantages relative to weighted group statistics. BoT-GRPO is critic-free, and is a drop-in replacement wherever GRPO is used when token-level reward is available. On React front-end code generation, BoT-GRPO reaches $80\%$ compile rate up to $1.9\times$ faster than GRPO and converges faster than modern GRPO variants (GSPO, DAPO, PURE) while reaching higher final compile and VLM-judged win rates. On a second task, AIME mathematical reasoning, BoT-GRPO delivers absolute Pass@$k$ gains up to $8.1\%$ over GRPO in half the steps. For both tasks we compare the algorithm's performance on reasoning vs. non-reasoning base-model families (Qwen2.5-3B, SmolLM3-3B, Phi-4-mini-reasoning). Our experiments also yield a practical recipe for the reward model itself: reward stability matters more than richness: clean, bounded, stable fine-grained signals consistently accelerate learning where noisier alternatives stall.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Published at the COLM 2026 Workshop on Efficient Reasoning