자기 회고 증류: 사후 경험을 사전 예측력으로 전환하기
Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight
한국어 초록
검증 가능한 보상을 활용한 강화학습(RLVR)은 주로 상호작용 후의 스칼라 결과 보상을 통해 에이전트 경험을 학습 신호로 전환합니다. 그러나 그룹 상대적 목적 함수의 경우, 모든 롤아웃이 동일한 보상을 받으면 해당 궤적이 작업에 필요한 요소와 에이전트가 실패하는 방식에 대한 유용한 정보를 드러낼 수 있음에도 불구하고 이러한 신호가 사라집니다. 우리는 이와 상호보완적인 질문을 던집니다. 사후적 통찰(hindsight)이 에이전트에게 행동하기 전에 무엇을 예측할 수 있었는지를 가르쳐줄 수 있을까요? 우리는 상호작용 이전 시점에서의 예측을 지도하기 위해 사후 경험을 사용하는 전향적 학습(prospective learning)을 도입하고, 이를 자기 회고 증류(Self-Retrospection Distillation, SRD)로 구체화합니다. 직관적으로 완료된 궤적은 유용했을 지식과 피해야 했을 함정을 드러내며, SRD는 이 특권적 사후 통찰을 동일한 정책의 궤적 비인지 사전 예측으로 증류합니다. 사전 예측은 학습 목표로만 기능하며 추론 시 명시적으로 생성될 필요가 없습니다. 10가지 도구 통합 추론 및 장기적 에이전트 작업 전반에서, SRD는 RLVR 및 자기 증류 베이스라인을 보완하여 최대 24.2%p의 성능 향상을 달성합니다. 특히 모델 규모 전반에 걸쳐 롤아웃 그룹의 37~98%가 균일한 보상을 보여 보상 대조가 부족한 경우에도 SRD는 샘플링된 궤적으로부터 학습 신호를 활용할 수 있어 그 이점이 두드러집니다. 그룹의 98%가 전면 실패하는 2B 설정에서 RLVR 학습은 0.0%의 성공률로 끝나는 반면, 동일한 롤아웃 예산 하에서 SRD를 추가하면 60.6%에 도달합니다. 우리의 결과는 사후 에이전트 경험이 행동을 평가하거나 개선하는 것뿐만 아니라 상호작용 이전에 예측적 표현을 형성하는 데에도 유용함을 시사합니다.
원문 초록
Reinforcement learning with verifiable rewards (RLVR) turns agent experience into learning signals primarily through scalar outcome rewards after interaction. For group-relative objectives, however, this signal vanishes when all rollouts receive the same reward, even though their trajectories may reveal useful information about what the task requires and how the agent fails. We ask a complementary question: can hindsight teach an agent what it could have anticipated before acting? We introduce prospective learning, which uses post-hoc experience to supervise foresight predictions from the pre-interaction view, and instantiate it with Self-Retrospection Distillation (SRD). Intuitively, a completed trajectory reveals knowledge that would have been useful and pitfalls that should be avoided; SRD distills this privileged hindsight into trajectory-blind foresight of the same policy. Foresight serves only as a training target and need not be explicitly generated at inference time. Across 10 tool-integrated reasoning and long-horizon agentic tasks, SRD complements RLVR and self-distillation baselines with gains of up to 24.2 pp. Its advantage is especially pronounced when reward contrast is scarce: when 37--98% of rollout groups are reward-uniform across model scales, yet SRD can still exploit learning signal from sampled trajectories. In the 2B setting, where 98% of groups are all-failure, the RLVR training ends up at 0.0% success, while adding SRD reaches 60.6% under the same rollout budget. Our results suggest that post-hoc agent experience is useful not only for evaluating or improving behavior, but also for shaping predictive representations before available interaction.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
검증 가능한 보상을 활용한 강화학습을 위한 분산-최적 상태 리샘플링
Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards
검증 가능한 보상을 활용한 강화학습(RL)은 롤아웃 예산의 상당 부분을 학습 신호를 제공하지 않는 상태에 소비합니다. 본 연구에서는 이를 샘플링 분포 자체에 대한 질문으로 재구성합니다. 즉, 고정된 롤아웃 예산 하에서 어떤 상태 분포가 정책 그래디언트 추정량의 분산을 최소화하는가 하는 점입니다. 이에 대한 해답은 닫힌 형식(closed-form)의 네이만 배분(Neyman allocation), $μ_{\mathrm{var}}^π(s) \propto d^π(s)\,σ_π(s)$으로 도출되며, 이는 GRPO의 그룹 상대적 이점(group-relative advantage)과 자연스럽게 연결되고 외재적으로 부과된 스케줄 없이도 정책이 향상됨에 따라 창발적인 역방향 커리큘럼(reverse curriculum)을 유도합니다. 이러한 원리를 바탕으로, 접두 문맥(prefix) 재생 버퍼와 비용이 들지 않는 분산 프록시를 사용하는 GRPO의 플러그인 수정 기법인 VSR(Variance-driven State Resampling)을 제안합니다. 수학적 추론 벤치마크 및 긴 주기의 에이전트(agentic) 과제(Sokoban, BabyAI)에서 VSR은 업데이트당 생성되는 토큰 수를 줄이면서도 대부분의 벤치마크에서 GRPO 및 GiGPO보다 우수한 성능을 달성합니다.
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수
LLM Value Functions for Credit Assignment in Agentic RL
대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.
LLM을 테스트 시점에 샤프닝할 때의 파워 샘플링에 대한 비판적 고찰
A Critical Look at Power Sampling when Test Time Sharpening LLMs
검증 가능한 보상을 사용한 강화학습(RLVR, Reinforcement Learning with Verifiable Rewards)은 LLM의 추론 능력을 크게 향상시켰지만, 점점 더 많은 증거들이 이 방법이 주로 분포 샤프닝(distribution sharpening)을 수행한다는 것을 시사한다. 즉, 베이스 모델이 이미 생성하는 추론 경로에 확률 질량을 집중시키는 것이다. 따라서 최근 연구들은 마르코프 체인 몬테카를로(Markov Chain Monte Carlo) 또는 순차 몬테카를로(Sequential Monte Carlo)를 통해 파워 분포 $π_α\propto π_{\text{base}}^α$에서 샘플링함으로써, 보상 신호 없이도 RLVR의 성능 향상을 얻고자 한다. 본 연구는 이러한 샘플러들이 현실적인 연산 예산 하에서 $π_α$로 수렴하지 못한다는 것을 보이며, 이들의 성능 향상이 적절한 채점(grading)을 적용한 단순한 Best-of-$N$을 통해 대부분 재현될 수 있음을 보인다. 이는 이러한 샘플러들이 $π_α$를 근사함으로써가 아니라 고확률 시퀀스를 선택함으로써 성공한다는 것을 시사하며, 자연스럽게 다음과 같은 질문을 제기한다: 파워 분포 자체가 추구할 가치가 있는 목표인가? 우리는 베이스 모델을 $π_α$에 맞추어 미세조정(fine-tuning)함으로써 샘플러의 수렴 문제를 완전히 피하는 방식으로 이 가설을 직접 검증한다. 이 전략은 기존 샘플러들보다 목표 분포를 훨씬 더 충실하게 근사함에도 불구하고, 이 전략이 얻는 성능 향상은 노이즈가 많고 특정 모델과 샘플링 과제에 한정된다. 종합적으로, 우리의 결과는 파워 샘플링의 가치가 $π_α$를 충실히 목표로 하는 데 있는 것이 아니라, 베이스 모델이 이미 가능성이 높다고 판단하는 시퀀스를 추출하는 더 단순한 목표에 있음을 시사한다.
LLM 에이전트 학습을 위한 맥락 일치 그룹 정책 최적화
Matched-Context Group Policy Optimization for LLM Agent Training
장기적인(long-horizon) 언어 모델 에이전트를 학습시키려면 희소한 최종 피드백으로부터 중간 결정들에 대한 신용 할당(credit assignment)을 수행해야 합니다. 유한한 형제 롤아웃(sibling rollout) 그룹 내에서 유용한 행동 비교는 해당 행동의 맥락, 두 대안에 대한 증거, 그리고 그 증거가 학습에 어떻게 반영되는지에 따라 달라집니다. 본 연구에서는 이미 수집된 궤적(trajectory)으로부터 가중 행동 선호도를 구축하는 절차인 맥락 일치 그룹 정책 최적화(Matched-Context Group Policy Optimization, MCGPO)를 제안합니다. MCGPO는 행동 전 상태 요약 및 관찰된 루브릭 진행 상황으로 비교 맥락을 정의하며, 이는 작업 규칙에 의해 주석 처리됩니다. 두 행동 지지(two-action support)는 순서화된 정확 및 대략적 매칭 규칙 중에서 선택합니다. 고정 폴드(fixed fold)는 후보 결정들을 선호도 방향을 설정하는 데 사용되는 최종 결과로부터 분리하며, 지지 의존적 증거 가중치는 공유된 GraphGPO 작업 학습과 함께 보조 쌍별(pairwise) 목적 함수를 스케일링합니다. MCGPO는 롤아웃 데이터와 각 응답의 원래 이력을 재사용하여 비평자 없는(critic-free) 학습을 유지합니다. 각각 세 가지 학습 시드를 사용한 6개의 환경-백본 설정 전반에서, MCGPO는 일치된 GraphGPO 대비 평균 성공률을 향상시켰습니다. Qwen2.5-1.5B 및 7B를 사용한 ALFWorld와 WebShop에서 0.47~1.46%포인트 향상되었으며, Qwen3-4B 및 8B를 사용한 WebShop에서는 3.96 및 5.16포인트 향상되었습니다. ALFWorld의 성능 향상은 여유 공간이 제한적인 92% 이상의 기준선 성공률을 기반으로 이루어졌습니다. 통합 성공률은 4개의 Qwen2.5 설정 중 3개에서 향상되었습니다. 3개 시드 요인 제어(factorial controls)는 반대 폴드 증거 및 증거 가중치를 뒷받침하며, 결합 상태-루브릭 매칭은 4개의 표현-제어 설정 모두에서 가장 높은 평균을 달성했습니다.
비동기 Q-러닝에 대한 도달 시간 경계
Hitting-Time Bounds for Asynchronous Q-Learning
우리는 유한 마르코프 결정 과정(Markov decision process)의 단일 궤적(trajectory)으로부터 표준 비동기 Q-러닝의 마지막 반복값(last iterate)을 연구한다. 이 궤적은 상태-행동 연쇄(state-action chain)가 기약적(irreducible)이고 주기적(periodic)일 수 있는 고정된 행동 정책(behavior policy)을 따른다. 할인율(discount factor) $γ$에 대해 $H=(1-γ)^{-1}$로 표기하고, $μ_{\min}$을 최소 정상 상태-행동 확률(stationary state-action probability), $\mathfrak h_\star$를 역방향 상태-행동 연쇄의 최대 기대 적중 시간(hitting time)으로 정의한다. 우리는 $0<\varepsilon\le1$에 대해, 상수 스텝 크기(step size)를 사용하는 0으로 초기화된 Q-러닝이 $\widetilde{O}(H^4/(μ_{\min}\varepsilon^2)+\mathfrak h_\star)$개의 전이(transition)를 사용하여 높은 확률로 최대 $\varepsilon$의 sup-노름(sup-norm) 오차를 달성함을 증명한다. 통계적 항은 표준 Q-러닝의 4차 유효 지평(effective horizon) 의존성을 그대로 유지하며, 초기화 비용은 $\mathfrak h_\star$에 가산적으로 더해진다. 비주기적(aperiodic) 행동 연쇄의 경우, 혼합 시간(mixing time)과의 비교를 통해 $\widetilde{O}(t_{\mathrm{mix}}/μ_{\min})$의 과도 항(transient term)을 얻는다. 경험적 상태-행동 카운트 규칙(empirical state-action count rule)은 이후의 학습 실행(training run)을 위한 상수 스텝 크기를 선택하며, 모델 매개변수, 목표 정확도, 신뢰 수준에 대한 사전 지식 없이도 동일한 비율을 달성한다. 출력값은 마지막 학습 반복값이며, 두 단계 모두 샘플 수에 포함된다. 증명은 두 개의 결정론적 벨만 외피(Bellman envelope)를 사용하여 통계적 오차와 고정 정책 초기화 오차를 분리하며, TD 학습(TD learning)의 역시간 적중 비용 보정(reverse-time hitting-cost compensation)을 상태-행동 전파(state-action propagation)에 맞게 적용한다. 임의의 예측 가능한(predictable) 스텝 크기에 대해 탐험(exploration) 하한이 성립한다. 기존의 통계적 하한 및 파일럿으로 선택된 상수 스텝으로의 확장과 결합하면, 명시된 대규모 샘플 매개변수(parameter) 클래스에서 로그 인자(logarithmic factor)까지 일치하는 평균제곱 비율(mean-square rate)을 얻는다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.