arXiv:2607.02869v1 cs.LG

Reward Granularity in RLVR: Comparing Process and Outcome Reward Structures for Mathematical Reasoning in Small Language Models

Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

제출 2026-07-03

한국어 초록

검증 가능한 보상을 활용한 강화학습(RLVR)은 언어 모델의 수학적 추론 능력을 향상시키는 유망한 패러다임으로 부상하였다. 그러나 대부분의 RLVR 연구는 최종 답변에만 보상을 부여하는 결과 기반 보상 방식을 채택하고 있어, 단계별 과정 감독(process rewards)의 영향은 특히 희소한 피드백 환경에서 자기 교정 능력이 부족한 소형 모델에 대해 충분히 탐구되지 않은 상태다. 본 연구에서는 GSM8K 데이터셋에서 Group Relative Policy Optimization(GRPO)으로 파인튜닝된 Qwen2.5-0.5B에 다섯 가지 보상 조건을 적용하여 체계적으로 비교한다: 강화학습 미적용 기준선, 과정 보상만 적용, 결과 보상만 적용, 그리고 세 가지 하이브리드 가중치($λ\in \{0.9, 0.5, 0.1\}$ 과정 보상 가중치). 과정 보상만 적용한 감독 방식은 테스트 정확도 63.73%를 달성한 반면, 결과 보상만 적용한 방식은 53.75%에 그쳐 약 10퍼센트포인트의 차이를 보였으며, 동시에 단계 유효성이 높고 정답 사고의 연쇄 길이와의 편차가 낮은 추론 경로를 생성하였다. 하이브리드 보상은 일반적으로 과정 보상 가중치와 양의 상관관계를 보였으나, 한 가지 주목할 만한 이례적 현상이 관찰되었다: 낮은 과정 보상/높은 결과 보상 구성($λ=0.1$)이 순수 결과 보상 감독보다 낮은 성능을 보여, 상충하는 최적화 신호가 발생함을 시사한다. GPT-4o를 판별 모델로 활용한 오류 분석에 따르면 실패 양상 분포에서 뚜렷한 차이가 나타났다: 과정 보상 모델은 구조적으로 비일관적이지만 산술적으로 근거 있는 추론 경로를 생성하는 반면, 결과 보상 모델은 간결하지만 도출 오류가 발생하기 쉬운 사고 연쇄를 생성한다. 본 연구 결과는 보상 세분성이 RLVR의 1차적 설계 결정 사항임을 입증하며, 과정 수준의 감독이 소형 언어 모델에서 정확도와 추론 경로 충실도 모두를 실질적으로 향상시킴을 보여준다.

원문 초록

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a promising paradigm for improving mathematical reasoning in language models. Yet most RLVR work rewards only the final answer (outcome-based rewards), leaving the impact of step-level process supervision (process rewards) underexplored especially for small models that lack the capacity to self-correct under sparse feedback. We systematically compare five reward conditions applied to Qwen2.5-0.5B fine-tuned with Group Relative Policy Optimization (GRPO) on GSM8K: a no-RL baseline, process-only, outcome-only, and three hybrid weightings ($λ\in \{0.9, 0.5, 0.1\}$ process weight). Process-only supervision achieves 63.73% test accuracy versus 53.75% for outcome-only, a nearly 10-percentage point gap while yielding reasoning traces with higher step validity and lower deviation from ground-truth chain length. Hybrid rewards generally correlate positively with process weight, with one notable anomaly: the low-process / high-outcome configuration ($λ=0.1$) underperforms pure outcome supervision, suggesting conflicting optimization signals. Error analysis using GPT-4o as a judge reveals distinct failure mode distributions: process models generate structurally inconsistent but arithmetically grounded traces, while outcome models produce concise but derivation-error-prone chains. Our results demonstrate that reward granularity is a first-order design decision for RLVR, with process-level supervision substantially improving both accuracy and trace fidelity in small language models.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.02869v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13594v1cs.AI공통 태그 Reinforcement Learning, Math, Large Language Model

MENTOR: 온-정책 교육적 개입을 통한 실패로부터의 학습

MENTOR: Learning from Failure with On-Policy Pedagogical Intervention

검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.

arXiv:2610.01140v2cs.AI공통 태그 Math, Large Language Model, Mathematical Reasoning

ReSolve: 선택적 생성 조정을 통한 후보 추론 재사용

ReSolve: Reusing Candidate Reasoning through Selective Generative Moderation

여러 해법을 샘플링하는 것은 최종 답변뿐만 아니라 중간 연역 과정과 미완성된 논증에도 연산량을 소모합니다. 본 논문에서는 선택적 생성 조정(selective generative moderation)을 통해 이러한 후보 추론 과정을 재사용하는, 학습(training)이 필요 없는 추론(inference) 절차인 ReSolve를 소개합니다. 답변 분포 제어기는 후보 간 의견이 일치하지 않거나 파싱 가능한 답변이 부족할 때 모델을 호출하여 기존 유도 과정을 검토하게 한 뒤, 생성된 해법을 유계 루프(bounded loop)에 통합합니다. 독립적으로 샘플링된 두 개의 후보 풀로 평가한 130개의 경시대회 수학 문제에서 Hybrid 점수 체계 기준, ReSolve는 동일한 4개의 후보에 대한 투표 방식이 기록한 91개 및 92개와 비교해 각각 100개와 99개의 정답을 얻었으며, 두 풀 모두에서 해당 투표 대비 정답이 오답으로 바뀐 경우는 없었습니다. 8개 샘플을 사용한 자기 일관성(self-consistency)은 실질적으로 훨씬 더 많은 토큰을 소비하면서 94개 및 96개의 정답을 얻은 반면, ReSolve는 두 평가에서 토큰을 각각 46.3% 및 47.2% 적게 사용했습니다. 정답 키, 투표 수, 상태별 출력 제한 규칙은 유지한 채 가시적인 유도 과정을 제거한 통제된 절제 연구(ablation)에서는 연산량이 증가했음에도 정답 수가 100개에서 93개로 감소하여 정확도가 떨어졌습니다. 선택적 조정과 항상 켜져 있는 균일(Uniform) 조정은 모두 97개의 문제를 해결했으나, 선택성을 적용함으로써 조정 토큰을 약 54%, 전체 파이프라인 토큰을 6.2% 줄였습니다. 이러한 결과는 후보 추론 과정이 재사용 가능한 추론 연산이라는 점을 뒷받침합니다. 다만 추가 샘플링 대비 정확도 우위나 특화된 경로 지침의 뚜렷한 이점을 입증하지는 않습니다.

arXiv:2610.03548v1cs.AI공통 태그 Reinforcement Learning, Math, Large Language Model

최첨단 추론 데이터 생성을 위한 재귀적 하네스 자기 개선

Recursive Harness Self-Improvement for Frontier Reasoning Data Synthesis

점진적으로 더 어려운 추론 문제를 생성하려면 태스크 분포가 진화함에 따라 적응하는 합성 절차가 필요합니다. 기존의 태스크 수준 재귀는 생성된 문제를 시드(seed)로 재사용하지만 구축 하네스(construction harness)는 변경하지 않고 그대로 유지합니다. 본 논문에서는 추론 데이터 합성에서 재귀적 하네스 자기 개선(recursive harness self-improvement, RSI)을 위한 프레임워크인 태스크-하네스 공진화(task-harness co-evolution)를 제안합니다. 온라인 자기 개선은 생성 과정 중 솔버(solver)의 중간 실패를 재사용 가능한 스킬로 변환합니다. 사후(post-task) 자기 개선은 각 배치 이후 스킬, 프롬프트, 워크플로를 수정하며, 제한된 비용 증가 범위 내에서 더 어렵고 유효한 태스크를 생성할 때만 후보를 채택합니다. 모델 가중치와 검증 기준은 고정된 상태로 유지됩니다. 수학, 코딩, 과학 전반에서 14회의 진화 라운드에 걸쳐 평균 솔버 정확도가 100.0%에서 54.8%로 감소합니다. 어블레이션 연구에 따르면 두 업데이트 일정을 결합할 경우 고정 하네스 재귀나 단일 일정만을 사용할 때보다 더 어려운 태스크가 생성됨을 보여줍니다. 이렇게 생성된 데이터는 다운스트림 SFT 및 GRPO 성능을 향상시킵니다. 특히 합성된 1만 개의 수학 예제로 파인튜닝(fine-tuning)된 27B 학생 모델은 APEX에서 62.5%의 mean-16 정확도를 달성하여 일부 최첨단(frontier) 참조 모델과 경쟁력 있는 성능을 보입니다. 이러한 결과는 다운스트림 학습 가치를 지닌 점점 더 도전적인 데이터를 생성하기 위해 태스크와 함께 합성 하네스를 적응시키는 방식을 뒷받침합니다.

arXiv:2610.01080v1cs.AI공통 태그 Math, Large Language Model, Mathematical Reasoning

가치 유도 정보 탐색을 통한 수학적 추론 능력 향상

Improving Math Reasoning through Value-guided Informative Search

검증 가능한 보상 기반 강화학습(RLVR)은 대규모 언어 모델(LLM)의 수학적 추론 능력을 크게 향상시켰습니다. 최근 연구들은 궤적의 다양성을 높이기 위해 RLVR 롤아웃에 탐색 기법을 도입하고 있으나, 다양성만으로는 탐색으로 유도된 롤아웃 정책이 현재 정책보다 반드시 개선된다고 보장할 수 없습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 유한 예산 검벨 탐색(finite-budget Gumbel search)을 청크 단위의 수학적 추론에 맞게 조정한 학습 프레임워크인 APIVIS를 제안합니다. APIVIS는 각 롤아웃 그룹 내에서 직접 생성한 응답과 탐색을 거친 응답을 결합하여, 탐색을 통해 발견된 개선 사항이 정보 가치가 높은 상대적 보상을 생성하도록 합니다. 나아가 탐색으로 개선된 토큰에 선택적 지도를 적용함으로써, 균일한 그룹 보상으로 인해 GRPO가 비효율적이 되는 상황에서도 학습 신호를 보존합니다. 본 연구는 정확한 가치 기반 선택이 탐색된 각 상태에서 검증기 기대 보상을 개선하며, 유계 가치 추정 오차(bounded value-estimation error) 하에서의 근사적 보장과 함께 이러한 보장이 전체 롤아웃 정책으로 확장됨을 보입니다. 널리 인정받는 수학적 추론 벤치마크와 다양한 모델 규모에서 진행된 실험을 통해 경쟁력 있는 탐색 기반 방식 대비 상당한 성능 향상을 입증하여 APIVIS의 유효성을 검증합니다.

arXiv:2610.13672v2cs.CL공통 태그 Math, Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.