한국어 초록
검증기(verifier) 기반 강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 강력한 패러다임으로 자리 잡았습니다. 다중 턴(multi-turn) 환경에서 모델은 각 턴 이후 검증기 점수를 수신하고 출력을 반복적으로 개선합니다. 이러한 점수는 조밀한 피드백을 제공하지만, 조밀한 신용(credit)을 직접적으로 제공하지는 않습니다. 점수는 현재 출력의 품질을 측정하는 반면, 신용은 현재 턴이 개선 궤적을 어떻게 변화시키는지를 측정해야 하기 때문입니다. 본 논문에서는 검증기 기반 다중 턴 강화학습을 위한 턴 수준 신용 할당 방법인 TCPO를 제안합니다. TCPO는 신용 할당을 '점수-신용 변환'으로 공식화하고 기준 기반 비교를 통해 턴 수준 어드밴티지(advantage)를 구성합니다. 회고적 신용(retrospective credit)은 최선의 이전 상태 대비 즉각적인 진전 및 후퇴를 포착하고, 사후 지연 신용(hindsight delayed credit)은 추후 보상으로 이어지는 개선되지 않은 턴을 식별하며, 선택적 고정 히스토리 반사실적 추정(selective fixed-history counterfactual estimation)은 동일한 히스토리 하에서 의외성(surprisal)이 높은 턴을 정제합니다. 수학 추론, 코드 생성, AppWorld 에이전트 작업에 대한 실험 결과, TCPO는 모델 규모, 작업 도메인, 검증기 유형 전반에서 가장 강력한 베이스라인들과 동등하거나 개선된 성능을 보였습니다. TCPO는 Qwen3-4B 및 DeepSeek-R1-Distill-Llama-8B에서 최고 또는 공동 최고의 최적 턴 Pass@8을 달성하고, 성공까지의 턴 수를 줄이며, 다중 턴 에이전트 성능을 향상시킵니다. 이러한 결과는 점수-신용 변환이 검증기 기반 다중 턴 정책 최적화의 핵심 요소임을 보여줍니다.
원문 초록
Verifier-guided reinforcement learning has become a powerful paradigm for improving LLM reasoning. In multi-turn settings, models receive a verifier score after each turn and iteratively refine their outputs. Although such scores provide dense feedback, they do not directly provide dense credit: a score measures the quality of the current output, while credit should measure how the current turn changes the refinement trajectory. We propose TCPO, a turn-level credit assignment method for verifier-guided multi-turn RL. TCPO casts credit assignment as score-to-credit conversion and constructs turn-level advantages through reference-based comparisons: retrospective credit captures immediate progress and regression relative to the best prior state; hindsight delayed credit identifies non-improving turns with later payoff; and selective fixed-history counterfactual estimation refines high-surprisal turns under the same history. Experiments on math reasoning, code generation, and AppWorld agent tasks show that TCPO improves or matches the strongest baselines across model scales, task domains, and verifier types. TCPO achieves the best or tied-best best-turn Pass@8 on Qwen3-4B and DeepSeek-R1-Distill-Llama-8B, reduces turns to success, and improves multi-turn agent performance. These results highlight score-to-credit conversion as a central ingredient for verifier-guided multi-turn policy optimization.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.01667v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.