arXiv:2609.39247v2 cs.LG

크리틱을 더 신뢰하기

Trust the Critic More

Kaiyue Wen, Luke Bailey, Arvind Mahankali, Tengyu Ma

제출 2026-09-30

한국어 초록

표준 언어 모델(LM) 강화학습(RL) 알고리즘은 긴 롤아웃(rollout)의 모든 토큰에 최종 보상으로 결정되는 동일한 어드밴티지(advantage)를 부여합니다. 액터-크리틱(Actor-critic) 방식은 더 세분화된 신용 할당(credit assignment)을 제공할 수 있지만, 학습된 크리틱은 LLM을 RL로 학습시킬 때 신뢰하기에는 일반적으로 너무 부정확하다고 여겨집니다. 최근 연구들에서는 크리틱이 존재하더라도 기준선(baseline) 추정에만 사용되므로, 모든 궤적(trajectory)을 최종 보상에 도달할 때까지 끝까지 롤아웃해야 합니다. 본 연구에서는 모든 궤적을 완료될 때까지 롤아웃할 필요를 없애는 액션 청킹 기반 액터-크리틱(AC2, Actor-Critic with Action Chunking)을 소개합니다. AC2는 대신 과거 궤적 접두사(prefix)의 짧은 연속 구간인 액션 청크(action chunk)에 신용을 할당합니다. 학습된 크리틱은 각 액션 청크의 끝에서 도달한 상태를 평가하여, 정책(policy)이 최종 보상을 관찰하지 않고도 업데이트될 수 있도록 합니다. 우리는 세 가지 설계 선택을 통해 크리틱 기반 신용 할당의 신뢰성을 확보합니다. 첫째, 특정 문제에서 크리틱이 충분히 정확할 때에만 해당 문제에 크리틱 기반 업데이트를 사용하는 국소 준비도(local readiness)를 도입합니다. 둘째, 가능한 경우 이전의 성공적인 롤아웃에서 얻은 참조 솔루션을 크리틱에 제공합니다. 셋째, 개별 토큰 대신 1만 개 토큰 크기의 액션 청크 단위로 신용을 할당하여 크리틱이 평가할 궤적의 더 유의미한 부분을 제공합니다. 우리는 AC2를 사용하여 FineProofs-RL에서 Qwen3-4B를 학습(training)하고 IMO-ProofBench에서 평가합니다. AC2는 2.5배 적은 디코딩 FLOPs를 사용하면서도 GRPO의 최고 검증(validation) 점수인 18.5%를 능가합니다. 이러한 이득은 두 가지 요인에서 비롯됩니다. (1) AC2는 이 점수에 도달하는 데 25% 적은 학습 스텝을 필요로 하며, (2) 정책이 모든 궤적을 완료될 때까지 지속할 필요가 없으므로 각 스텝마다 더 적은 수의 토큰을 생성합니다. 개념적으로 본 연구는 모든 궤적을 완료될 때까지 롤아웃할 필요성을 제거할 수 있음을 입증하며, LLM RL 알고리즘을 위해 기존에 탐색되지 않았던 광범위한 설계 공간을 새롭게 열어줍니다.

원문 초록

Standard language model RL algorithms credit every token of a long rollout with the same advantage determined by the terminal reward. Actor-critic methods can provide finer-grained credit assignment, but learned critics are generally considered too inaccurate to trust when training LLMs with RL. In recent works, even when a critic is present, it is used only for baseline estimation, so every trajectory must be rolled out to its terminal reward. We introduce Actor-Critic with Action Chunking (AC2) that removes the need to roll every trajectory to completion. AC2 instead assigns credit to action chunks: short continuations of prefixes of past trajectories. A learned critic scores the state reached at the end of each action chunk, allowing the policy to update without observing a terminal reward. We make critic-based credit assignment reliable through three design choices. First, we introduce local readiness which uses critic-based updates on a problem only when the critic is sufficiently accurate on that particular problem. Second, when available, we provide the critic with a reference solution from a previous successful rollout. Third, we assign credit over action chunks of 10k tokens rather than individual tokens, giving the critic a more meaningful portion of the trajectory to evaluate. We train Qwen3-4B on FineProofs-RL using AC2 and evaluate on IMO-ProofBench. AC2 exceeds GRPO's peak validation score of 18.5% using 2.5x fewer decoding FLOPs. This gain comes from two sources, (1) AC2 requires 25% fewer training steps to reach this score, and (2) each step generates fewer tokens because the policy does not need to continue every trajectory to completion. Conceptually, we demonstrate that we can remove the need to roll out every trajectory to completion, opening up a large previously unexplored design space for LLM RL algorithms.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.39247v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01080v1cs.AI공통 태그 Math, Large Language Model, reinforcement learning rl

가치 유도 정보 탐색을 통한 수학적 추론 능력 향상

Improving Math Reasoning through Value-guided Informative Search

검증 가능한 보상 기반 강화학습(RLVR)은 대규모 언어 모델(LLM)의 수학적 추론 능력을 크게 향상시켰습니다. 최근 연구들은 궤적의 다양성을 높이기 위해 RLVR 롤아웃에 탐색 기법을 도입하고 있으나, 다양성만으로는 탐색으로 유도된 롤아웃 정책이 현재 정책보다 반드시 개선된다고 보장할 수 없습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 유한 예산 검벨 탐색(finite-budget Gumbel search)을 청크 단위의 수학적 추론에 맞게 조정한 학습 프레임워크인 APIVIS를 제안합니다. APIVIS는 각 롤아웃 그룹 내에서 직접 생성한 응답과 탐색을 거친 응답을 결합하여, 탐색을 통해 발견된 개선 사항이 정보 가치가 높은 상대적 보상을 생성하도록 합니다. 나아가 탐색으로 개선된 토큰에 선택적 지도를 적용함으로써, 균일한 그룹 보상으로 인해 GRPO가 비효율적이 되는 상황에서도 학습 신호를 보존합니다. 본 연구는 정확한 가치 기반 선택이 탐색된 각 상태에서 검증기 기대 보상을 개선하며, 유계 가치 추정 오차(bounded value-estimation error) 하에서의 근사적 보장과 함께 이러한 보장이 전체 롤아웃 정책으로 확장됨을 보입니다. 널리 인정받는 수학적 추론 벤치마크와 다양한 모델 규모에서 진행된 실험을 통해 경쟁력 있는 탐색 기반 방식 대비 상당한 성능 향상을 입증하여 APIVIS의 유효성을 검증합니다.

arXiv:2610.01207v1cs.AI공통 태그 Large Language Model, reinforcement learning rl, credit assignment

에이전트 강화학습을 위한 의존성 인식 보상 형성

Dependency-Aware Reward Shaping for Agentic Reinforcement Learning

강화학습(RL)으로 대규모 언어 모델(LLM)을 학습시킬 때, 종단 보상(terminal reward)은 어떤 스텝이 중요한지에 대한 지침을 거의 제공하지 못합니다. 스텝 단위의 기여도(credit)를 부여하는 일반적인 방법들은 수정되지 않은 실수 위에 쌓인 작업은 낭비되는 반면, 독립적인 작업은 여전히 유효하다는 점을 간과합니다. 최종 성공/실패 보상만 주어질 경우, 실패한 에피소드의 모든 스텝은 비록 진전을 이루었더라도 미래 총 보상이 0이 됩니다. 본 논문에서는 태스크의 진행 상황을 선행 조건 관계로 연결된 술어(predicate)로 표현하고 의존성 그래프상에서 스텝 레벨의 기여도를 할당하는 의존성 인식 보상 형성(Dependency-Aware Reward Shaping, DARS)을 제안합니다. 주석기(annotator)는 각 스텝이 어떤 술어를 검증(verify), 무효화(invalidate) 또는 복구(repair)하는지 표시합니다. 검증된 술어는 가장 가까운 깨진 선행 조건과의 그래프 거리에 따라 할인되며, 독립적인 술어는 영향을 받지 않습니다. 복구 작업은 남아 있는 오류를 기반으로 이러한 가중치를 업데이트하며, 무효화된 술어는 기여도를 다시 얻기 위해 재검증이 필요합니다. 고정된 포텐셜(potential)은 이러한 주석을 부호가 있는 스텝별 보상으로 변환합니다. 공통 보상 및 주석 인터페이스 덕분에 DARS는 롤아웃(rollout) 전략이나 옵티마이저를 변경하지 않고도 GiGPO, ARPO/AEPO와 같은 다양한 추론 및 에이전트 학습 방법에 통합될 수 있습니다. 5가지 태스크 제품군과 1.5B부터 8B까지의 모델 전반에서, DARS는 동일한 예산 및 하네스로 학습된 GiGPO 대비 성공률을 최대 10포인트 향상시키고(ALFWorld), WebShop 태스크 점수와 Search-R1 QA 정확도를 높이며, Python 인터프리터를 활용한 AIME24/25에서의 AEPO 엔트로피 기반 학습을 보완하고, 1.7B 및 4B의 제어된 도구 미사용(tool-free) 추론 비교에서 OmniOPD를 능가합니다. 소거 연구(ablation study)는 스텝 레벨 기여도, 의존성 감쇠, 그래프 토폴로지가 각각 성능에 기여함을 보여줍니다. ALFWorld에서 증류된 8B 주석기는 API 주석기와 동등한 성능을 보여, DARS가 프론티어 판별 모델(frontier judge) 없이도 효율적으로 실행될 수 있도록 합니다. 코드는 https://github.com/JianhuiWei7/DARS 에서 확인할 수 있습니다.

arXiv:2610.01236v1cs.AI공통 태그 Math, Large Language Model, reinforcement learning rl

질문하는 법 배우기: 예산 제약 조건 하에서 SLM-LLM 협업을 위한 정보 획득

Learning to Ask: Information Acquisition for SLM-LLM Collaboration, under a budget

소형 언어 모델(SLM)과 대규모 언어 모델(LLM) 간의 협업은 소형 모델의 효율성과 대형 모델의 강력한 추론 능력을 결합할 기회를 제공합니다. 기존 접근 방식은 주로 이러한 협업을 연산 할당(computation allocation) 문제로 규정하여, 추론 과정의 각 부분을 어떤 모델이 처리해야 할지 결정합니다. 그러나 블랙박스 API 기반 환경에서는 거친 입도(coarse-grained)의 위임이나 모델 전환 간의 반복적인 문맥 전송으로 인해 이러한 패러다임이 비효율적일 수 있습니다. 본 연구에서는 이를 대신하여 SLM-LLM 협업을 API 예산 제약 조건 하의 정보 획득(information acquisition) 문제로 공식화합니다. SLM은 주요 추론 주체로 유지되며 추론 과정 자체를 위임하기보다는 표적화된 질의를 전달함으로써, 필요할 때만 선별적으로 블랙박스 LLM 조언자(advisor)에게 질의합니다. 이러한 전략을 실현하기 위해, 우리는 조언자 호출 여부, 유용한 질의 구성 방법, 그리고 조언자 호출과 정보 활용을 공동으로 개선하여 협업을 추론 과정에 통합하는 방법을 학습하는 3단계 RLVR 프레임워크를 개발합니다. 수학적 추론 및 코딩 작업 전반에서 우리의 접근 방식은 기존 협업 베이스라인 대비 성능-비용 트레이드오프를 개선하며, 일부 환경에서는 오라클(oracle) 문제 수준 라우팅과 일치하거나 이를 능가합니다. 마지막으로, 우리는 추가 학습 없이도 우리의 전략이 다른 조언자 모델 군(family)으로 전이될 수 있음을 보여줍니다.

arXiv:2610.13672v2cs.CL공통 태그 Math, Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2610.15840v1cs.LG공통 태그 Large Language Model, credit assignment

에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수

LLM Value Functions for Credit Assignment in Agentic RL

대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.