롤아웃 시점 개입: 정책의 한계를 넘어 에이전트 강화학습 잠재력 끌어내기
Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits
한국어 초록
강화학습(RL)은 상호작용 환경에서 더 강력한 추론, 계획 및 도구 사용을 가능하게 함으로써 대규모 언어 모델(LLM) 에이전트를 개선하기 위한 핵심 패러다임으로 부상했습니다. 그러나 기존의 에이전트 강화학습 방법은 온-정책(on-policy) 추론 병목 현상으로 인해 근본적인 한계를 지닙니다. 즉, 작업이 모델의 현재 역량 범위를 벗어나면 유효한 궤적이 극도로 희소해져 학습(training)이 붕괴되는 경우가 빈번합니다. 본 연구에서는 정책 고유의 탐험(exploration) 역량을 넘어 성공적인 궤적을 이끌어내도록 설계된 기법인 롤아웃 시점 개입(Rollout-Time Intervention, RTI)을 제안합니다. RTI는 롤아웃 중에 보상 측면의 증거(즉, 평가 루브릭)를 활용하여 오류가 발생한 궤적을 성공적인 궤적으로 변환함으로써, 정책이 자체적으로는 거의 풀지 못하는 작업에 대해 효과적인 학습 신호를 제공합니다. 비록 개입 궤적이 본질적으로 오프-정책(off-policy)에 해당하지만, 과도한 분포 변화(distributional shift)를 보이는 궤적을 걸러내면 정책 최적화(optimization)를 효과적으로 이끌 수 있음을 확인했습니다. 5개 벤치마크에 걸친 광범위한 평가를 통해 RTI가 기존 강화학습 베이스라인을 일관되게 능가하며, 사후학습된 정책이 실질적으로 훨씬 더 강력한 최신 LLM의 성능에 근접하고, 더 중요하게는 기존의 역량 한계를 뛰어넘도록 지원함을 입증했습니다. 코드는 https://github.com/Alibaba-NLP/qqr 에서 이용할 수 있습니다.
원문 초록
Reinforcement learning (RL) has emerged as a key paradigm for improving large language model (LLM) agents, enabling stronger reasoning, planning, and tool-use in interactive environments. However, existing agent RL methods remain fundamentally constrained by an on-policy reasoning bottleneck: when tasks exceed the model's current capability boundary, effective trajectories become extremely sparse and training often collapses. We introduce Rollout-Time Intervention (RTI), a technique designed to elicit successful trajectories beyond the policy's intrinsic exploration capacity. RTI operates by leveraging reward-side evidence (i.e., evaluation rubrics) during rollout to convert erroneous trajectories into successful ones, providing effective learning signals for tasks that the policy rarely solves on its own. Although intervention trajectories are inherently off-policy, we find that they can effectively guide policy optimization when trajectories with excessive distributional shifts are filtered out. Extensive experiments across five benchmarks demonstrate that RTI consistently outperforms RL baselines, enabling the post-trained policy to approach the performance of substantially stronger contemporary LLMs and, more importantly, transcend its original capability boundary. The code is available at https://github.com/Alibaba-NLP/qqr.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
시간 내 완수: 기한을 준수하며 생산적인 시간 제한형 AI 에이전트를 향하여
On the Clock: Towards Punctual and Productive Time-Budgeted AI Agents
본 연구에서는 소형 대규모 언어 모델(LLM) 에이전트가 할당된 실행 시간을 준수하면서 주어진 시간을 생산적으로 활용함으로써, 명시적인 실제 시간(wall-clock time) 예산 하에서 효과적으로 작동할 수 있는지 탐구합니다. 추가 계산 시간이 성능을 의미 있게 향상시킬 수 있는 두 가지 에이전트 벤치마크인 MLE-Bench Lite의 5개 대회에서 Qwen3.6-27B를, Zork I(Jericho)에서 Qwen3-4B를 평가합니다. 예산이 프롬프트에만 명시되는 가장 단순한 설정에서는 에이전트가 명시된 예산을 통제된 시간 활용으로 전환하는 데 실패합니다. 이러한 실패는 하네스(harness)가 타이밍 피드백을 제공하지 않아 발생하는 시간 인지의 공백뿐만 아니라, 행동의 소요 시간을 안정적으로 예측하지 못하고 가용 시간에서 적절한 전략으로 이어지는 학습된 매핑이 부재하기 때문에 발생합니다. 저자들은 두 가지 상호보완적인 개입 방식을 조사합니다. 즉, 시간 정보를 노출하고 마감 기한을 강제하는 하네스 기반 메커니즘과 예산을 인식하는 보상을 적용한 강화학습(RL)입니다. 하네스를 통해 시간 정보를 주입하면 성능의 측정 가능한 손실 없이 Qwen3.6-27B의 예산 준수도가 크게 향상되며, 강제 훅(enforcement hook)을 적용하면 준수도가 더욱 엄격해집니다. GRPO를 활용한 강화학습은 Zork I에서 거의 완벽한 예산 준수를 달성하고 학습 중 보지 못한 미확인(held-out) 예산에도 일반화되지만, MLE-Bench에서 학습되지 않은 하네스 대비 작업 성능을 향상시키지는 못합니다. 에이전트가 예산을 준수하도록 만든 후에도, 추가 시간을 작업 성능 향상에 활용하는 데는 여전히 실패합니다. 강화학습으로 학습된 정책은 종료 시점을 학습하지만 남는 시간을 반복적인 행동으로 채우는 경우가 많으며, 여러 예산에 대한 GRPO 학습은 가장 짧은 예산에 대해 학습된 전략으로 수렴(collapse)하는 경향을 보입니다. 본 연구 결과는 시간 준수와 생산적인 시간 배분 사이의 격차를 드러내며, 이는 예산 조건부 에이전트의 핵심 과제로 남아 있음을 보여줍니다.
인과적 세계 모델은 모듈형 LLM 에이전트에 언제 도움이 되는가
When Do Causal World Models Help Modular LLM Agents
RSIPO: 스킬-정책 공진화를 통한 에이전트 강화학습용 재귀적 자기 개선 정책 최적화
RSIPO: Recursive Self-Improving Policy Optimization for Agentic Reinforcement Learning via Skill-Policy Co-Evolution
최근 에이전트(agent) 강화학습(RL) 분야에서는 긴 지평(long-horizon) 과제에서의 신용 할당(credit assignment)을 개선하는 데 집중하고 있습니다. 유망한 방향 중 하나는 검증 가능한 보상을 활용한 강화학습(RLVR)과 온-정책(on-policy) 자기 증류(OPSD)를 결합하여, 궤적 수준(trajectory-level)의 이점(advantage)과 조밀한 토큰 수준의 감독을 통합하는 것입니다. 이러한 일련의 연구는 학생 정책(student policy)이 생성한 토큰을 평가하기 위해 에이전트 스킬과 같은 특권적 문맥(privileged context)에 교사 모델을 조건화하는 경우가 많습니다. 이러한 진전에도 불구하고, 기존 연구들은 에이전트 스킬의 온-정책적 진화와 교사 감독의 신뢰성을 대체로 간과하고 있습니다. 이를 해결하기 위해, 본 논문에서는 학습 과정 전반에 걸쳐 에이전트 스킬과 정책 모델이 함께 공진화(co-evolve)할 수 있도록 하는 자기 진화형 에이전트 강화학습 프레임워크인 재귀적 자기 개선 정책 최적화(RSIPO)를 제안합니다. 구체적으로 RSIPO는 정책 모델 스스로가 완료된 궤적에서 스킬을 추출할 수 있도록 하며, 궤적 리플레이(trajectory replay)를 통해 스킬 생성 역량을 명시적으로 최적화합니다. 또한 스킬로 강화된 교사의 지도가 때로는 신뢰성이 떨어질 수 있다는 점을 고려하여, 경험적 베이즈 축소(empirical Bayes shrinkage)를 적용해 교사 점수에 대한 학생의 신뢰도를 동적으로 보정합니다. 체화된 상호작용(embodied interaction) 및 검색 기반 에이전트 과제에서 Qwen 계열 모델을 사용한 실험 결과, RSIPO가 비교 대상이 된 모든 기준선 접근법을 능가하는 성능을 보였습니다. Qwen2.5-7B를 기본 모델로 사용했을 때 RSIPO는 ALFWorld에서 평균 98.6%의 성공률을 달성하여, 차상위 기준선 및 표준 GRPO 대비 각각 2.5%와 17.4%의 절대적인 성능 향상을 기록했습니다.
판사 해킹의 속도는 무엇이 결정하는가? 판사 능력 대 정책-판사 간 격차
Who Sets the Pace of Judge Hacking? Judge Capability versus the Policy-Judge Gap
동결된 무참조(reference-free) LLM 판사(judge)를 대상으로 GRPO를 통해 정책(policy)을 학습시킬 때 판사는 더 많은 답변을 수용하지만, 사후 분석 결과 홀드아웃 탐욕적 정확도(held-out greedy accuracy)에서는 아무런 이득도 감지되지 않았습니다. 총 12개의 (정책, 판사) 조합 전체에서 시드 평균 이득은 결코 0.04를 넘지 않았습니다. 동일한 방식으로 정답 보상(gold-reward)을 적용한 대조군에서는 1.5B 정책의 탐욕적 정확도가 +0.054 [0.013, 0.096] 상승했으므로, 이 정책에서 나타난 평탄한 정확도는 판사 보상에 특화된 현상입니다. 반면 0.5B 정책의 경우 정답 보상에서도 감지 가능한 이득이 없었습니다. 확인된 상승세를 보인 네 개 조합에서 학습-롤아웃(training-rollout) 정확도의 초기 상승은 정답 보상 조건에서와 마찬가지로 대부분 샘플링 첨예화(sampling sharpening)에 기인했습니다. 이어서 강화학습(RL)이 판사의 위양성(false positive)을 악용하는 범위와 속도를 결정하는 것이 정책-판사 간 격차인지, 아니면 판사 자체인지를 질문합니다. 0.5B 및 1.5B Qwen2.5 정책을 크기가 최소 동등 이상인 네 가지 판사(Qwen2.5-1.5B/3B/7B, Llama-3.2-3B)에 대해 학습시키고, 1.5B 정책은 더 작은 하나의 판사(Qwen3-0.6B)에 대해서도 학습시켰습니다. 판사 해킹의 깊이(정체기, plateau)는 판사를 따랐습니다. 이는 판사 AUC와 상관관계(12개 조합에서 스피어만 상관계수 -0.69 [-0.94, -0.14])를 보였으며, 동일 계열 내에서는 더 큰 판사가 덜 심하게 속았습니다. 속도(시작 시점, onset)의 경우, 사전에 지정된 두 쌍이 격차 기반 설명과 상충했습니다(사전 지정된 임계값에서 격차가 더 큰 조합이 3.5배 더 일찍 속았습니다). 12개 조합으로는 어느 평가 지표에서도 판사 AUC와 격차를 공식적으로 분리해낼 수 없습니다. 더 작은 판사는 계열과 템플릿에서도 차이가 나긴 하지만, 정책만큼 큰 판사보다 더 일찍 속아 넘어가지 않았습니다. 홀드아웃된 세 판사에 대한 블라인드 테스트에서 해시 잠금된 스텝-0 예측기는 스텝-0 AUC를 능가하지 못했으나, 세 개 조합으로는 둘을 분리해 비교할 수 없습니다. 7-8B 규모에서 세 개 계열의 판사들은 0.37, 0.67, 0.85에서 정체기에 도달했습니다.
에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수
LLM Value Functions for Credit Assignment in Agentic RL
대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.