Reward serves as the primary learning signal in reinforcement learning (RL). However, while reward magnitudes are typically held fixed throughout training, their temporal modulation remains underexplored. In this paper, we propose reward inflation, a gradual scaling of rewards over the course of training, and show that it can act as a healthy stimulus for RL. Theoretically, reward inflation induces an implicit recency weighting that upweights recent transitions during policy updates, enabling faster adaptation. We further show that reward inflation suppresses the emergence of dormant neurons by sustaining gradient signals as the policy saturates, suggesting a possible contribution to plasticity preservation. Empirical results on ALE games and MuJoCo tasks corroborate these findings, showing that an appropriate level of reward inflation benefits a broad range of tasks. Finally, we introduce Fed, an adaptive variant that adjusts the inflation level on the fly, and find that it often improves upon fixed inflation. Source code is available at https://github.com/northadventure/RewardInflation.
본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/
순방향-역방향(FB, Forward-Backward) 표현은 저차수 인수분해(low-rank factorization)를 적용하여 연속 공간에서 후속 표현(SR, successor representation)을 학습하기 위한 강력한 프레임워크를 제공합니다. 그러나 연속 환경의 고차수 전이 동역학과 FB 구조의 저차수 병목 사이에는 근본적인 스펙트럼 불일치(spectral mismatch)가 종종 존재하여, 정확한 저차수 표현 학습을 어렵게 만듭니다. 본 연구에서는 이러한 불일치를 완화하는 메커니즘으로서 시간적 추상화(temporal abstraction)를 분석합니다. 전이 연산자(transition operator)의 스펙트럼 특성을 규명함으로써, 시간적 추상화가 고주파 스펙트럼 성분을 억제하는 저역통과 필터(low-pass filter)와 유사하게 작동함을 보입니다. 이러한 억제는 결과적인 가치 함수 오차에 대한 수학적 상한(formal bound)을 유지하면서 유도된 SR의 유효 차수를 줄입니다. 실험적으로, 이러한 정렬이 특히 부트스트래핑(bootstrapping) 시 오차가 발생하기 쉬운 높은 할인율(discount factor) 환경에서 안정적인 FB 학습을 위한 핵심 요인임을 입증합니다. 본 연구 결과는 시간적 추상화가 기저 MDP의 스펙트럼 구조를 형성하고 연속 제어에서 효과적인 장기적(long-horizon) 표현을 가능하게 하는 원리적 메커니즘임을 밝힙니다.
단계별 모델 라우팅(stepwise model routing)은 각 추론 단계를 적합한 모델에 배정함으로써 대규모 추론 모델(LRM)의 효율을 높인다. 최근 방법들은 라우팅을 순차적 의사결정 과정으로 형식화하고 강화학습으로 라우터를 학습한다. 그러나 라우팅을 프로세스로 모델링함에도 불구하고, 라우터는 여전히 결과(outcome) 보상으로 지도된다. 이러한 보상은 최종 답의 정확성만 반영하며 중간 라우팅 결정을 평가하지 못해, 성능과 일반화를 약화시킬 수 있다. 이 공백을 메우기 위해, 우리는 단계별 모델 라우팅을 위한 루브릭 기반 프로세스 보상 프레임워크 RoRo를 제안한다. RoRo는 먼저 다양한 라우팅 궤적을 수집하고, 결과, 비용, 프로세스 품질을 바탕으로 선호 쌍(preference pairs)을 구성한다. 이어 Rubricor가 쿼리별 평가 루브릭을 생성하고 Judge가 이 루브릭 하에서 라우팅 궤적을 채점하도록 교대 최적화(alternating optimization)로 학습한다. 이렇게 얻은 프로세스 보상은 결과 보상과 결합되어 GRPO를 통해 라우팅 정책을 최적화한다. 동일 계열(same-family) 및 교차 계열(cross-family) 설정 모두에서 다섯 개의 추론 벤치마크에 대한 실험은 RoRo가 강력한 기준선들을 일관되게 능가하며 더 나은 정확도-비용 트레이드오프를 달성함을 보여준다.
검증 가능한 보상을 활용한 강화학습은 멀티모달 추론을 크게 발전시켰으나, 모호한 토큰(token) 수준의 기여도 할당(credit assignment) 문제로 인해 여전히 근본적인 한계를 지닙니다. 높은 엔트로피를 지닌 토큰 휴리스틱은 가능성 탐험(exploration)을 촉진하지만, 이를 비디오 추론으로 단순 확장할 경우 모델이 고엔트로피 시각적 활성화에 지나치게 의존하게 되어 추론 과정이 불필요하게 길어지는 경향이 있습니다. 기여도 할당을 위해 반사실적(counterfactual) 기반 시각 토큰 위치 파악에 의존하는 대안적 접근법 역시 정답 도출을 위한 결정적인 추론 단서를 희생하면서 시각적 탐험을 과도하게 우선시하는 경향이 있어, 무의미한 시각적 뉘앙스로 인한 간섭을 심화시킵니다. 나아가 이러한 방법들은 학습(training) 중에 정책(policy)과 함께 동반 진화(co-evolve)하지 못하는 정적 반사실적 전략을 사용합니다. 본 논문에서는 신뢰할 수 있는 토큰 선택과 적응형 반사실적 개입을 공동 최적화하는 동반 진화 프레임워크인 DyCPO를 소개합니다. DyCPO는 다중 역할 의존성 지표를 구축하여 토큰 단위 대조 학습(contrastive learning)에서 시각적 탐험과 정답 관련성 발굴 간의 균형을 맞추는 동시에, 탐험 전용 필러(filler) 토큰과 거짓 시각적 노이즈를 억제합니다. DyCPO는 정적인 반사실적 사전 정보에 의존하는 대신, 모델의 성공 및 실패 롤아웃(rollout)으로부터 반사실적 신호를 동적으로 도출하여 자가 진단 분석과 정책에 맞춘 최적화 목표의 동반 진화를 가능하게 합니다. 복잡한 비디오 추론 및 일반적인 비디오 이해 벤치마크에 대한 광범위한 실험을 통해 일관된 성능 향상을 입증함으로써, DyCPO가 멀티모달 강화학습을 위한 견고한 토큰 수준 기여도 할당 패러다임임을 보여줍니다.
온-정책 자가 증류(OPSD)는 학생 모델 자신의 정책에서 샘플링된 궤적에 대해 조밀한 토큰(token) 수준의 피드백을 제공하며, 이는 강화학습(RL)의 결과 수준 보상보다 더 풍부한 학습(training) 신호가 됩니다. 이 피드백은 학생에게는 주어지지 않는 완전한 참조 해법을 조건으로 하는 교사 모델로부터 생성됩니다. 그러나 참조 해법은 목표를 명시할 뿐 학생의 현재 오류에서 목표로 나아가는 방법을 알려주지는 않으므로, 해법 조건부 지름길 위험(solution-conditioned shortcut risk)을 초래합니다. 본 논문에서는 오류에서 복구로 이어지는 지도(supervision)를 제공하는 온-정책 증류 프레임워크인 적응형 반복 복구 AIR-OPD를 제안합니다. 실패한 응답이 주어지면 가이던스 생성기는 현재 오류에 대한 복구 가이던스를 합성합니다. 학생은 이 가이던스를 바탕으로 온-정책(on-policy) 재시도를 샘플링합니다. 재시도가 여전히 틀릴 경우, 생성기는 새롭게 관찰된 오류에 대한 새로운 복구 가이던스를 생성합니다. 각 라운드마다 고정된 교사는 특권 문맥(privileged context)으로 가이던스를 받아 최신 실패 응답 중 오류와 일치하는 영역에 대해 학생을 지도합니다. 결과 인식 단계별 가중치(Outcome-aware stage weighting)는 초기 복구 단계를 선호하며, 즉각적인 재시도가 검증을 통과한 단계에 가중치를 부여합니다. DAPO-Math-17K 데이터셋으로 AIR-OPD를 학습하고 AIME24, AIME25, HMMT25 및 분포 외(out-of-distribution) 테스트인 MMLU-Pro와 GPQA에서 평가를 진행합니다. 현재 학생 정책의 자체 가이던스와 더 큰 모델(model)의 외부 가이던스라는 두 가지 가이던스 소스를 검토합니다. Qwen3-4B와 Qwen3-8B 모두에서 AIR-OPD는 가장 높은 수학적 추론 평균을 달성하여 가장 강력한 기준선(baseline) 대비 최대 3.6점을 개선하는 동시에, 분포 외 벤치마크에서 기본 모델의 성능을 유지합니다.
학습된 시각적 보상 모델(reward model)은 로봇 정책을 최적화하는 데 점점 더 널리 사용되고 있으나, 보상 모델은 잘못된 객체에 작용하는 실행에 대해서도 과제를 완료한 실행만큼 높은 점수를 부여할 수 있다. 본 연구에서는 이러한 보상을 최적화할 경우 보상과 과제 성공률이 모두 상승하면서도 잘못된 객체에 작용하는 실패가 증폭될 수 있음을 보이며, 따라서 실무자가 일반적으로 모니터링하는 지표들은 정상인 것처럼 보이게 된다. 저자들은 서랍 과제에서 Robometer를 대상으로 확산 정책(diffusion policy)의 모든 디노이저 매개변수를 파인튜닝(fine-tuning)했다. 사전 보상 노출이 없었던 지도학습 정책에서 시작하여 5회의 학습을 수행한 결과, 512개의 평가 시드에서 과제 성공률이 10.2%p 증가하고 잘못된 객체 실패가 10.9%p 증가한 반면, 시뮬레이터의 과제 완료 신호로 학습된 5회의 실행에서는 잘못된 객체 실패를 증폭시키지 않으면서 성공률이 증가했다(차이 9.2%p, 95% CI 5.6~13.0). 이러한 증폭 현상은 이전에 학습된 보상에 대해 최적화되었던 정책, 정책 고유의 확산 샘플러 환경, 초기 정책과의 거리가 일치하는 조건, 그리고 두 개의 크리틱(critic)과 두 개의 최적화 도구를 사용한 제약 조건 정책 실험 전반에서 재발한다. 틸트 모델(tilt model)은 이러한 현상이 발생하는 시점을 설명한다. KL 정규화 최적화 하에서 특정 결과의 빈도는 초기 정책에서의 기대 보상이 모집단 평균을 초과할 때마다 더 높아진다. Robometer는 전반적으로 성공과 실패를 잘 구분하지만(AUROC .81), 잘못된 객체 실패에 대해 성공보다 약간 더 높은 점수를 부여하므로(AUROC .37) 최적화 시 두 결과가 모두 증가한다. 동일한 모델은 과제 성공률이 떨어지는 경우를 포함하여 26개의 제약 조건 설정 전반에 걸친 결과 변화를 예측하며(Spearman .89), Robometer 자체에 공개된 성공-종료 레시피 또한 이러한 오류를 그대로 이어받는다. 동결된 결과 검증기(frozen outcome verifier)는 동일한 최적화의 방향을 요청된 과제로 재조정한다.
본 논문에서는 단계별 안전 제약 조건(step-wise safety constraints)을 갖는 에피소드형 테이블 형식의 제약 마르코프 결정 과정(CMDP)에서의 온라인 학습을 연구합니다. 이러한 환경에서 제약 조건은 실행 가능한 정책 하에서 누적 보상의 분산을 결정하고, 결과적으로 학습 난이도를 형성하는 안전한 부분 그래프(safe subgraph)를 유도합니다. 그러나 이러한 구조를 활용하려면 제약 위반을 제어하면서 어떤 행동이 안전한지 학습해야 합니다. 우리는 후보 안전 부분 그래프를 학습하고 그 안에서 분산 적응형 낙관적 계획을 수행하는 효율적인 알고리즘인 SVAE(Safe Variance-Adaptive Exploration)를 제안합니다. SVAE는 높은 확률로 $K$개의 에피소드에 대해 $\widetilde{\mathcal{O}}(\sqrt{SAH\min\{\mathbb{V}_Σ,K\mathrm{Var}^{\star}\}}+S\sqrt{AH^3\min\{K,\mathcal{C}\}}+S^2AH^2)$ 차수의 누적 후회도(cumulative regret)를 달성하며, 여기서 $H$는 단일 에피소드의 기간(horizon), $S$와 $A$는 각각 상태 및 행동의 수입니다. 여기서 $\mathrm{Var}^{\star}$는 안전한 정책들 중 최대 수익 분산이고, $\mathbb{V}_Σ$는 첫 번째 불안전한 행동을 마주하기 전까지 누적된 분산이며, $\mathcal{C}$는 잠재적으로 안전하다고 잘못 간주된 행동을 제거하는 데 따르는 통계적 복잡도를 나타냅니다. 추가적으로 SVAE는 $\widetilde{\mathcal{O}}(H\sqrt{SAK}+S^2AH^2)$의 단계별 제약 위반과 $K$에 대해 다항 로그(polylogarithmic) 비례하는 갭 의존적(gap-dependent) 위반 상한을 달성합니다. 마지막으로, 이러한 인스턴스 특정 수치들에 대한 의존성이 불가피함을 보여주는 하한(lower bound)을 확립합니다.
주어진 환경(environment) 내에서 최적의 행동 정책(policy)을 찾는 것은 게임, 로보틱스, 에너지 인프라, 통신 네트워크, 다중 에이전트(agent) 시스템 등 다양한 분야에서 널리 연구되어 온 문제이다. 이러한 연구를 지원하기 위해 수많은 벤치마크가 개발되었지만, 대다수는 에이전트의 신체 구조(embodiment, 설계)가 고정되어 있다고 가정하고 정책 학습(policy learning)에만 초점을 맞춘다. 이 가정을 제거하면, 신체 구조와 정책을 개별적으로 최적화하는 것이 최적에 크게 못 미치는(highly suboptimal) 더 넓은 범주의 문제들이 드러난다. 에이전트의 신체 구조는 어떤 제어 정책을 발견할 수 있는지를 강하게 좌우하며, 반대로 최적의 신체 구조는 그것이 허용하는 정책들에 의해 정의된다. 연구 커뮤니티가 이러한 범주의 문제를 명시적이고 체계적으로 연구할 수 있도록 돕기 위해, 우리는 신체 구조와 정책을 공동으로 최적화하기 위한 벤치마크 환경 모음인 Co-Design Gym을 소개한다. 우리의 환경은 로봇 조작(manipulation) 및 이동(locomotion), 다중 로봇 협력, 변형 가능하고 유연한(deformable and soft) 동역학, 비디오 게임, 전력망, 무선 네트워크, F1 레이싱, 다중 에이전트 창고, 최적 제어(optimal control) 등의 분야를 포괄하며, 총 20개의 환경 군(도메인)에서 85개 이상의 서로 다른 공동 설계(co-design) 프리셋을 제공한다. 우리는 또한 대표적인 공동 설계 알고리즘들에 대한 체계적인 평가를 수행하여 현재 기술 수준(state of the art)을 규명한다. 이러한 기여들은 공동 설계 분야에서 누적적이고 비교 가능한 발전을 위한 토대를 마련한다.
대규모 언어 모델(LLM)의 활용이 확대됨에 따라, 이를 다운스트림 작업에 적응시키기 위한 사후 학습의 중요성이 점점 커지고 있다. 그러나 특히 참조 정답이나 실행 가능한 검증기가 없는 분야에서는 신뢰할 수 있는 감독(supervision)을 확보하는 데 여전히 많은 비용이 든다. LLM-as-a-judge는 레이블이 없는 응답에 대해 확장 가능한 유사 보상(pseudo-reward)을 제공하지만, 단일 점수(point score)는 보상의 불확실성을 명시적으로 나타내지 못한다. 이는 유사 보상을 콘포멀하게 보정된(conformally calibrated) 보상 구간으로 표현하려는 동기가 된다. 우리는 제한된 레이블 데이터와 레이블이 없는 프롬프트를 결합하는 반지도(semi-supervised) 사후 학습 프레임워크인 Range-GRPO를 제안한다. Group Relative Policy Optimization(GRPO)에서는 학습 신호가 각 롤아웃 그룹 내에서의 상대적 보상 비교에 의존한다. 제안하는 목적 함수는 보상 구간을 점 보상(point reward)으로 축소하는 대신 쌍별(pairwise)로 비교함으로써, 구간 불확실성이 이러한 신호의 크기와 방향 모두에 영향을 미칠 수 있도록 한다. 이론적 분석을 통해 이러한 차이를 규명하고, 모든 보상 구간이 점으로 축소될 때 제안된 목적 함수가 Dr.GRPO의 어드밴티지(advantage)로 환원됨을 보인다. 실험적으로 Range-GRPO는 평가된 반지도 학습 방법들 중에서 분포 내(in-distribution) 및 분포 외(out-of-distribution) 평균 성능이 가장 높으면서도 더 적은 학습 자원을 필요로 한다.
강화학습(reinforcement learning)에서 일반화 격차(generalization gap), 즉 학습 레벨에서의 리턴(return)에서 홀드아웃(held-out) 레벨에서의 리턴을 뺀 값은 보통 기준점 없이 보고된다. 우리는 이를 실측된 무작위 기준선(random floor), 즉 동일한 평가 하니스(evaluation harness) 하에서 동일한 레벨에 대한 균등 무작위(uniform-random) 정책의 리턴과 비교하여 해석해야 한다고 주장한다.
계산 예산이 제한된 조건(8M 스텝, 16개의 병렬 환경; 세 게임은 25M까지 확장)에서 PPO를 사용한 8개의 ProcGen 환경 실험에서, 이 기준선은 표준적인 수치들이 의미하는 바를 바꾼다. 테스트 시점(test-time)의 행동 규칙(action rule)이 어떤 정책이 측정되는지를 결정한다: miner 환경에서는 샘플링 정책(sampled policy)이 홀드아웃 레벨에서 기준선의 5.1배를 기록하는 반면, 그 argmax 정책은 모든 실행(run)에서 기준선보다 낮은 점수를 기록했으며, 그리디(greedy) 평가는 두 개의 환경을 기준선보다 유의하게 낮은 위치에 놓는다.
수렴(convergence) 진단 지표로 사용할 경우, 가공하지 않은 정책 엔트로피(policy entropy)는 8개 환경 중 6개에서 문제를 표시하지만, 그 엔트로피의 32~66%는 동일한 효과를 갖는 행동들에서 발생한다; 기준선과 비교하면 8개의 샘플링 정책 중 5개는 홀드아웃 레벨에서 명확히 기준선보다 높지만, heist의 정책은 기준선과 구별되지 않는다.
12개의 ProcGen 코드베이스(codebase)에 대한 감사(audit) 결과, 그중 9개는 평가 호출 지점(evaluation call site)에서 명시적인 선택 없이 테스트 시점 행동을 샘플링하는 것으로 나타났다. 우리는 보고되는 모든 격차(gap)가 그 행동 규칙을 명시하고, 평가에 시드(seed)를 고정하며, 분석에 앞서 검정(test) 방법을 명시하고, 두 레벨 집합 모두에 대한 기준선을 함께 보고할 것을 권장한다.
월드 모델(world model)은 실제 세계의 디지털 시뮬라크르를 제공하여, 비용이 많이 드는 실제 환경 배치 이전에 에이전트(agent)를 학습하고 테스트할 수 있도록 돕는다. 각 타임스텝마다 월드 모델은 행동을 입력받아 실제 세계의 통계와 일치하는 관측값 및 보상(reward)을 생성한다. 현재의 결과가 먼 과거의 사건에 의존하는 복잡한 환경에서는 메모리가 필요하다. 흔히 메모리를 늘림으로써 실제 세계와 가상 세계의 최적 에이전트 정책을 정렬(alignment)할 수 있을 만큼 항상 충분히 정확한 모델을 구축할 수 있을 것이라 기대할 수 있다. 본 논문에서는 실제 세계 자체가 고전적(classical)일 때조차도 고전적 월드 모델에 대해서는 이러한 가정이 거짓임을 보인다. 연구진은 모든 유한 고전 모델이 동일한 가능한 궤적 상에서 실패하는 실제 세계들을 구성한다. 즉, 실제 세계가 특정 행동을 명확히 선호할 때 행동을 구분하는 능력을 상실하거나, 차선의 행동에 가장 높은 기대 보상을 반복적으로 부여한다. 또한 기대 보상 추정치에는 사라지지 않는 평균 오차가 지속적으로 남는다. 반면, 이러한 각각의 실제 세계는 단일 큐트리트(qutrit)를 사용하여 해당 환경을 정확히 재현하는 양자 월드 모델을 허용한다. 이 양자 모델의 보상 추정치와 선호 행동은 항상 실제 세계의 것과 일치하여, 실제 세계와 가상 세계의 최적 정책이 완벽하게 정렬되도록 보장한다.
지속적 사후 학습(continual post-training)은 파운데이션 모델이 기존 능력을 보존하면서 새로운 지식을 습득할 수 있도록 합니다. 최근 연구에서는 온-정책(on-policy) 학습이 망각을 완화할 수 있음을 시사하며, 특히 자기 증류(self-distillation)를 매력적인 접근 방식으로 제시합니다. 본 연구에서는 자기 증류 정책 최적화(SDPO)를 통해 이러한 낙관적인 주장을 재검토합니다. 실험 결과에 따르면 SDPO는 교사(teacher) 신호가 안정적이고 잘 정렬되어 있을 때 도메인 내 특화(in-domain specialization)를 가속하지만, 분포 외(out-of-distribution) 일반화에는 어려움을 겪습니다. 지속적 사후 학습에서 SDPO는 더 심한 망각을 보이며 심지어 붕괴(collapse)에 이를 수도 있는 반면, 더 확립된 온-정책 강화학습(RL) 방법인 GRPO는 더 보수적으로 적응하며 이전 능력을 더 잘 보존합니다. 추가 분석을 통해 이러한 실패 원인이 매개변수(parameter) 및 응답 공간에서의 드리프트 증가와, 자기 강화 교사-학생 루프를 통한 고주파 아티팩트(high-frequency artifacts)의 증폭과 연관되어 있음을 밝힙니다. 따라서 온-정책 데이터만으로는 지속적 학습(continual learning)에 불충분합니다. 자기 증류는 교사 타깃이 안정적이고 토큰(token) 수준의 감독이 신뢰할 수 있을 때는 효과적이지만, 지속적 사후 학습을 위한 기본적인 안정화 장치로 간주되어서는 안 됩니다. 코드는 https://github.com/Moenupa/SDPO-CL 에서 확인할 수 있습니다.
인간의 개입(human intervention)은 비전-언어-행동(VLA, Vision-Language-Action) 모델의 사후 학습에 결정적인 교정 신호를 제공합니다. 그러나 복잡한 전신 기구학과 정교한 손 제어로 인해 매끄러운 휴머노이드 개입을 구현하는 것은 상당한 시스템적 과제입니다. 결과적으로 수집된 개입 궤적은 최적이 아닌 경우가 많으며, 인간의 개입을 전문가 감독으로 간주하는 방식은 머뭇거리거나 비효율적이거나 심지어 오류가 있는 행동까지 흡수할 수 있습니다. 이러한 시스템 및 알고리즘적 문제를 모두 해결하기 위해, 본 논문에서는 불완전한 인간 개입을 활용하여 휴머노이드 VLA를 사후 학습하는 강화학습 프레임워크인 ROVE를 제안합니다. 첫째, ROVE는 휴머노이드 조작을 위한 배포 및 개입 데이터를 수집할 수 있는 인간 참여형(human-in-the-loop) 파이프라인을 도입합니다. 둘째, 낙관적 가치 추정(OVE, Optimistic Value Estimation)을 활용하여 다양한 품질이 혼재된 궤적에서 가치가 높은 행동의 우선순위를 정합니다. 가치 추정을 더욱 견고하게 만들기 위해 교차 임바디먼트(cross-embodiment) 인간 경험 비디오를 통합하여 롱테일 실패 및 복구 모드에 대한 풍부한 감독 정보를 제공합니다. 이를 통해 도출된 크리틱(critic)은 유익한 어드밴티지 신호를 생성하여, VLA 액터가 모든 행동을 무차별적으로 모방하는 대신 가치가 높은 행동에 집중하도록 유도합니다. 까다로운 실제 환경의 접촉 집약적이고 정밀한 휴머노이드 조작 태스크에서, ROVE는 경험 학습 베이스라인들을 능가하며 여러 번의 롤아웃-개입 반복 과정에 걸쳐 지속적으로 성능을 향상시킵니다.
본 논문에서는 재귀적 에이전트(recursive agent), 즉 자기 자신의 새로운 인스턴스를 생성하여 하위 작업을 재귀적으로 위임할 수 있는 에이전트를 학습시키기 위한 강화학습 접근법인 재귀적 에이전트 최적화(Recursive Agent Optimization, RAO)를 소개합니다. 재귀적 에이전트는 분할 정복(divide-and-conquer)을 통해 에이전트가 더 긴 컨텍스트로 자연스럽게 확장되고 더 어려운 문제로 일반화될 수 있도록 하는 추론 시점 스케일링(inference-time scaling) 알고리즘을 구현합니다. RAO는 모델이 이러한 재귀적 추론을 최대한 활용할 수 있도록 학습시키는 방법을 제공하며, 에이전트에게 위임 및 소통의 시점과 방법을 가르칩니다. 이러한 방식으로 학습된 재귀적 에이전트는 더 우수한 학습 효율성을 보이고, 모델의 컨텍스트 윈도우(context window)를 넘어서는 작업으로 확장될 수 있으며, 에이전트가 학습된 것보다 훨씬 더 어려운 작업으로 일반화될 수 있을 뿐만 아니라 단일 에이전트 시스템에 비해 총 소요 시간(wall-clock time)을 단축할 수 있음을 확인했습니다.
안전 강화학습(Safe RL)은 안전 제약 조건 하에서 작업 보상을 최적화하는 로봇 제어기를 학습하지만, 관측 섭동(observation perturbation)은 안전 위반을 유발할 수 있습니다. 기존의 안전 지향적 공격은 피해자(victim) 네트워크, 그래디언트, 비평자(critic), 또는 명시적인 사양에 대한 접근을 요구하는 경우가 많은데, 이는 제어기가 블랙박스로 배포되고 나면 거의 충족되지 않는 가정입니다. 본 논문에서는 미지의 안전 강화학습 제어기를 분석하기 위한 시연 기반 관측 공격(demonstration-guided observation attack)을 제안합니다. 이 프레임워크는 역 제약 강화학습(inverse constrained reinforcement learning)을 통해 상태 제약과 대리 정책(surrogate policy)을 복원하고, 시연 전이(transition)로부터 동역학을 학습합니다. 이들의 합성 그래디언트는 피해자 파라미터, 그래디언트 또는 쿼리 없이 유계 관측 섭동을 생성하며, 시연만이 유일한 피해자 특정 정보로 활용됩니다. 피해자당 3개의 예산(budget)을 적용한 4개의 Bullet 작업과 1개의 MetaDrive 지도 전반에서, 본 공격은 15개의 환경-예산 조건 중 12개에서 동일한 접근 권한을 가진 모든 기준선 모델을 능가했으며, 그중 7개 조건에서는 피해자의 보상 및 비용 비평자에 접근할 수 있는 특권 기준 공격(privileged reference attack)마저 능가했습니다. 따라서 안전한 학습을 지원하기 위해 공개된 시연은 배포된 블랙박스 제어기에 대한 공격 표면(attack surface)을 제공합니다. 방어 연구에 따르면 상태 적대적 정규화(state-adversarial regularization)는 공격 비용을 감소시키는 반면, 테스트된 적대적 훈련 및 시연 오염 기법은 일관되지 않은 보호만을 제공하는 것으로 나타났습니다.
강화학습(RL)은 언어 모델에서 추론 능력을 이끌어내기 위한 강력한 패러다임으로 부상했습니다. 그러나 희소 보상(sparse reward)에 의존하는 방식은 모델이 최소한의 피드백만으로 방대한 탐색 공간을 탐색해야 하므로 표본 효율성(sample efficiency)을 크게 떨어뜨립니다. 고전적인 커리큘럼 학습(curriculum learning)은 복잡도를 기준으로 데이터를 정렬하여 이를 완화하고자 하지만, 기존 연구들은 주로 소규모 데이터셋을 대상으로 하여 현대 언어 모델 학습에 일반적인 대규모 설정으로 직접 전이되지 않습니다. 또한, 특정 모델에 적합한 데이터 순서를 파악하기 어려운 경우가 많습니다. 이를 해결하기 위해, 각 후보 문제에 대한 모델의 롤아웃 전반에 걸친 보상의 표준편차를 예측하는 선택기(Selector) 네트워크를 활용하는 적응형 데이터 선택 전략인 골디락스(Goldilocks)를 제안합니다. 이 선택기는 GRPO로 모델을 학습시키는 동안 모델의 현재 능력에 비해 너무 쉽지도 너무 어렵지도 않은 문제(골디락스 원리)에 해당하는, 예측된 보상 변동성이 높은 문제를 우선시합니다. 이미 본 샘플에 대한 모델의 성능을 활용함으로써 선택기는 모델의 진화하는 능력에 지속적으로 적응합니다. OpenMathReasoning 및 Polaris 데이터셋 전반에서 골디락스는 표준 GRPO 대비 일관된 성능 향상을 보였으며, 해당 GRPO 성능에 도달하는 데 최대 78% 적은 최적화 단계를 필요로 했습니다.
터미널을 사용하는 에이전트(agent)는 코딩, 디버깅 및 기타 다단계 터미널 작업에서 강화학습(RL)의 이점을 얻습니다. 이러한 작업에서는 후속 명령어가 이전 명령어에 의해 생성된 정보나 중간 결과에 의존하는 경우가 많습니다. 그러나 기존의 궤적 수준(trajectory-level) 및 단계 수준(step-level) 신용 할당(credit assignment) 방법은 명령어가 최종 결과에 영향을 미치는 읽기-쓰기 의존성을 명시적으로 추적하지 않습니다. 결과적으로 무관한 연산에도 학습(training) 신호가 할당되어 유의미한 단계로부터의 학습을 약화시킬 수 있습니다. 본 논문에서는 명령어 간의 실행 의존성을 활용하여 터미널 에이전트의 신용 할당을 안내하는 의존성 인식 그룹 정책 최적화(Dependency-Aware Group Policy Optimization, DepGPO)를 제안합니다. 구체적으로, 실행 추적(execution trace)으로부터 명령어 의존성 그래프를 구축하고 작업 검증기(task verifier)가 검사한 리소스에서부터 역방향으로 추적합니다. 그런 다음 이러한 경로를 따라 관련 쓰기 작업 및 이를 뒷받침하는 읽기 작업에 신용을 할당하고, 이를 활용해 단계별로 궤적 이점(trajectory advantage)을 재분배합니다. 광범위한 비교 실험과 절제 연구(ablation study)를 통해 DepGPO가 복잡한 터미널 작업에서 작업 성능과 학습 안정성을 향상시킴을 입증합니다.
과학 장치 설계는 채점 기준에 논란의 여지가 없다면 언어 모델 에이전트가 물리를 단순히 기억해내는 대신 직접 수행할 수 있는지를 시험합니다. 저희는 저희가 아는 한 중성자 장치 설계를 위한 최초의 실행 가능한 환경인 NeutronGym을 소개합니다. 에이전트는 검증 도구를 통해 장치를 구축하고, McStas가 구축된 대상을 광선 추적(ray-tracing)하며, 단계별 사다리형 체계가 LLM 판별자(judge) 없이 구문, 런타임, 구조 및 과학적 타당성을 채점합니다. 절차적 패밀리(procedural families)는 에이전트가 설정해야 하는 설계 매개변수를 가진 고정 레이아웃의 무제한 인스턴스를 미공개(held-out) 매개변수 영역과 함께 제공하며, 선별된 부분 집합인 McStasBench는 암기 탐침(memorization probe) 및 샌드박스 뒤에 출판된 장치로부터 도출된 16개 태스크를 추가합니다. 7개 모델은 16개 중 최대 7개만 재현했고, 참조 설계를 검색해낸 모델은 없었으며, 개선 목표를 달성한 모델도 없었습니다. 이 환경은 학습에도 활용될 수 있습니다. 해당 환경의 보상에 대한 강화학습(RL)을 통해 Qwen3-8B는 숨겨진 설계에서 목표가 도출된 패밀리의 미공개 인스턴스에서 성능이 11%에서 77%(두 번째 시드에서는 69%)로 향상되어 학습되지 않은 Qwen3-32B를 능가했으며, 이 방법론은 각각 1개의 시드에서 추가적인 3개의 게이트 패밀리에서도 유효하게 유지되었습니다. 분석을 통해 이러한 성능 향상의 실체를 밝힙니다. 사다리형 평가 체계의 부분 점수가 없으면 성능은 60포인트 급락합니다. 보상만으로 학습된 모델은 에이전트의 시뮬레이션 예산 내에서 닫힌 형태(closed-form)의 물리 공식이 주어졌을 때에만 고전적 옵티마이저가 도달하는 수준에 도달하며(81% 대비 77%로, 이 규모에서는 유의미하게 갈리지 않는 격차), 프론티어 모델은 여전히 98~99%를 해결합니다. 신뢰할 수 있는 결과를 얻기 위해 모델 없는 베이스라인으로도 해결할 수 있었던 4가지 태스크 설계를 제외해야 했으며, 이를 찾아낸 탐침을 함께 공개합니다.
복잡한 동역학으로 인해 해석적(analytical) 전략을 도출하기 어려울 때, 금융 최적 제어 문제에 강화학습(RL)이 점점 더 많이 활용되고 있습니다. 금융 수학 문헌에는 학습을 평가하고 유도할 수 있는 방정식과 제어를 제공하는 이미 풀린 모델들이 많이 존재하며, 본 논문에서는 강화학습이 이러한 결과를 활용할 수 있는지 질문을 던집니다. 우리는 해석적으로 풀린 연속 시간 브로커-트레이더 게임에 근접 정책 최적화(PPO) 에이전트를 배치합니다. PPO는 브로커를 대체하여 정보 트레이더 및 확률적 비정보 주문 흐름과 상호작용하면서 거래 속도를 선택합니다. 우리는 브로커의 연속 시간 보수(payoff)로부터 유한 단계 보상을 도출하고, 격자 세분화(grid refinement)와 정확한 1단계 항등식을 통해 이산적 구현을 검증합니다. 비정보 흐름이 0일 때, 검증을 통해 선택된 PPO-FFNN은 기준 행동(reference action)에 근접합니다. 반면 확률적 비정보 흐름이 존재하는 경우, 지도학습을 통해 액터가 해당 행동을 표현할 수 있음을 확인했음에도 불구하고 테스트된 PPO-FFNN과 PPO-LSTM은 여전히 부정확한 상태를 유지합니다. 몬테카를로 진단에 따르면 크리틱(critic)이 인접한 행동들의 순위를 안정적으로 매기지 못하며, 잠재 기반 보상 형성(potential-based reward shaping) 역시 신뢰할 만한 개선을 제공하지 못합니다. 부분 정보 환경에서는 브로커의 관측 가능한 이력에 기반한 인과적 확실성 등가 제어기(causal certainty-equivalent controller)가 기준 행동에 가깝게 유지되는 반면, PPO는 더 큰 오차와 더 낮은 보수를 보입니다. 마지막으로, 우리는 해석적 정책을 동결하고 체결 비용이 변경된 후 이를 조정하도록 PPO를 학습시킵니다. 비용을 절반으로 줄였을 때 변경된 비용 기준과의 격차를 \(2.22\%\) 좁히는 재현 가능한 개선이 나타납니다. 따라서 해석적 해는 강화학습을 진단하기 위한 벤치마크이자 적응을 위한 유용한 출발 정책을 모두 제공합니다.