MINT: 다단계 오프폴리시 강화학습에서 절단을 위한 만남 시점 지표
MINT: Meeting-time Indicators for Truncation in Multi-Step Off-Policy RL
한국어 초록
많은 다단계 오프폴리시 시간차 방법은 단계별 트레이스 계수의 곱을 통해 정책 불일치를 처리하며, 이로 인해 분산 제어와 장기 신호 사이의 상충이 발생한다. 그 결과 최대 트레이스 길이가 민감한 하이퍼파라미터가 된다. 본 논문에서는 이러한 곱을 이진 정지 지표로 대체하는 MINT(Meeting-time INdicators for Truncation)를 제안한다. 이 지표는 결합된 행동 궤적과 목표 궤적이 처음 만날 때까지는 1이고 그 이후에는 0이다. 참 가치 함수에서 지표의 멱등성은 만남 시점 생존 함수로 결정되는 분산 상한을 도출한다. 실용적인 구현을 위해 단일 표본 행동이 정지 규칙에 대한 모델 비의존적 대리값을 제공하며, 전이 모델이나 혼합 시간 추정이 필요하지 않다. 고정 정책 평가 하에서 상태 결합 연산자와 그 실용적 대리 연산자의 수축에 대한 충분 조건을 각각 유도한다. MuJoCo와 DeepMind Control 과제에서 MINT는 보고된 다단계 기준선들을 능가하며, 주요 MuJoCo 비교는 과제별 상한 길이 조정 없이 공통 상한을 사용한다. 또한 Atari 100k, RWRL, OGBench 실험에서도 MINT의 효과를 보이며, MINT는 백업 지평을 적응적으로 조정하여 과제와 동역학 전반에서 긴 고정 지평 백업에 비해 목표값의 변동성을 줄인다.
원문 초록
Many multi-step off-policy temporal-difference methods handle policy mismatch through products of per-step trace coefficients, leading to a trade-off between variance control and long-horizon signal. The maximum trace length consequently becomes a sensitive hyperparameter. We propose MINT (Meeting-time INdicators for Truncation), which replaces these products with a binary stopping indicator: one until coupled behavior and target trajectories first meet, zero thereafter. At the true value function, the indicator's idempotence yields a variance bound governed by meeting-time survival. For practical implementation, a single sampled action provides a model-free surrogate for the stopping rule, requiring no transition model or mixing-time estimate. We derive separate sufficient conditions for contraction of the state-coupled operator and its practical surrogate under fixed-policy evaluation. On MuJoCo and DeepMind Control tasks, MINT outperforms the reported multi-step baselines; the main MuJoCo comparison uses a common cap without per-task cap-length tuning. We also demonstrate the effectiveness of MINT on Atari 100k, RWRL, and OGBench experiments; MINT adapts the backup horizon to reduce target variability relative to long fixed-horizon backups across tasks and dynamics.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24413v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.