대규모 추론 모델을 위한 검증 가능한 보상 기반 강화학습(RLVR)은 분산 감소에 의존하며, 이를 위해서는 신뢰할 수 있는 기준선(baseline)과 각 학습 배치 내 높은 프롬프트 다양성이 모두 요구됩니다. 이는 서로 다른 작업의 프롬프트가 매우 다양한 그래디언트 신호를 유도하는 일반 추론 모델용 멀티 도메인 학습에서 특히 어렵습니다. 기존 접근 방식들은 서로 다른 한계를 보입니다. GRPO는 동일한 프롬프트로부터 얻은 롤아웃의 그룹 평균으로 기준선을 추정하므로, 정확한 기준선을 얻으려면 배치 내 고유 프롬프트 수가 줄어들게 되며, 반면 PPO는 정책 규모의 비평가(critic)를 학습시켜 이러한 절충을 피하지만 학습 비용이 대략 두 배로 증가합니다. 본 논문에서는 모델의 내부 상태를 가치 모델로 변환하는 강화학습 알고리즘인 POISE(Policy Optimization with Internal State Value Estimation)를 제안합니다. 경량 프로브는 순전파 동안 이미 계산된 신호를 읽어 기준선을 예측하며, 정책과 함께 온라인으로 학습됩니다. 그래디언트의 비편향성을 보존하기 위해, 독립적인 롤아웃의 내부 상태로부터 각 롤아웃의 가치를 예측하는 교차 롤아웃 구조를 도입합니다. 6개 도메인의 검증 가능한 보상 말뭉치 전반에 걸친 Qwen3-4B 및 OLMo3-7B-Instruct-DPO 실험에서, POISE는 다른 RLVR 베이스라인들을 능가하는 동시에 더 안정적인 학습을 달성했습니다. 나아가 해당 프로브는 별도의 대규모 언어 모델(LLM) 크기 가치 모델에 필적하는 성능을 보이고, 다양한 작업으로 일반화되며, 정책 규모가 커져도 정확도를 유지합니다. 모델의 내부 표현을 활용함으로써 POISE는 안정적인 정책 최적화를 가능하게 합니다.
오프라인-온라인 강화학습(offline-to-online reinforcement learning)은 범용적인 로봇 조작(robotic manipulation)에 유망하지만, 전체 스택의 복잡성으로 인해 재현 및 진단이 어렵다. 이러한 시스템에서 가치 추정(value estimation)은 정책 개선을 위해 이질적인 데이터의 우선순위를 결정하는 핵심적인 역할을 한다. 그 중요성에도 불구하고, 가치 함수의 신뢰성이 오프라인-온라인 강화학습의 정책 최적화에 어떤 영향을 미치는지에 대한 핵심 질문은 충분히 탐구되지 않았다. 이 질문에 답하기 위해, 우리는 Robo-ValueRL을 제안한다. Robo-ValueRL은 신뢰할 수 있는 가치 추정을 가능하게 하고, 정책 사전학습(pretraining) 및 온라인 개선에 대한 하위 영향을 체계적으로 추적하는 통합 프레임워크이다. 구체적으로, Robo-ValueRL은 이력 조건부(history-conditioned) 가치 추정기를 학습하고, 전역 진행(global-progress) 및 지역 선호(local-preference) 지표를 통해 그 신뢰성을 평가한다. 이렇게 산출된 가치 추정값은 품질 조건부(quality-conditioned) 일관성 정책(consistency-policy) 사전학습과 온라인 롤아웃(rollout)에 대한 잔차 적응 모듈(residual adaptation module)에 전파되어, 가치 신뢰성이 하위 정책 성능에 어떻게 영향을 미치는지 분석하기 위한 통합 테스트베드를 제공한다. 240시간의 오프라인 데모 데이터와 3,000개 이상의 온라인 롤아웃 궤적에 걸친 광범위한 실험을 통해, 하위 성능이 가치 신뢰성과 강하게 연관되어 있음을 보인다. 신뢰할 수 있는 가치 함수는 더 나은 행동 품질 추정값을 제공하여, 가치 기반 오프라인 강화학습이 품질을 고려하지 않는 행동 복제(behavior cloning)보다 더 효과적으로 스케일링될 수 있도록 하며, 고품질 롤아웃 데이터를 우선시함으로써 온라인 개선을 안정화한다. 오프라인 사전학습과 온라인 개선을 통해 신뢰할 수 있는 가치 가이던스를 통합한 결과, 우리 시스템은 밀리미터 수준의 정밀 칩 삽입에서 86%, 범용 블록 분해에서 84%의 성공률을 달성한다. 이러한 발견이 이질적인 로봇 경험으로부터 효과적인 정책 개선을 위한 가치 기반 데이터 활용의 중요성을 부각시키기를 기대한다.
Gaussian Histogram Loss(HL-Gauss)를 강화학습(RL)의 가치 함수 학습에 적용할 때 사전에 고정된 지지 구간(support interval)을 지정해야 하는 문제를 해결하기 위해, 이 연구는 지지 구간의 하한과 상한을 동적으로 학습하는 DySEL 알고리즘을 제안한다. 제약 최적화 문제를 적대적 min-max 게임으로 공식화하여 지지 구간 너비를 최소화하면서도 목표 분포를 충분히 포함하도록 하며, 연속 제어 태스크에서 고정 지지 구간 기반 HL-Gauss와 동등하거나 일부 태스크에서 더 우수한 성능을 달성한다.