PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.01736v3cs.LG

RSSM 월드 모델에서의 보상 관찰 가능성과 오프라인 체크포인트 선택의 한계

Reward Observability and the Limits of Offline Checkpoint Selection in RSSM World Models

우리는 Gymnasium의 LunarLander-v3에서 인간 시연(human demonstration) 데이터로 학습된 순환 상태공간모델(recurrent state-space model, RSSM) 월드 모델(world model)의 폐루프(closed-loop) 특성을 연구한다. 우리는 학습된 월드 모델을 제로샷(zero-shot) CEM 모델예측제어(model-predictive control, MPC)와 상상(imagination) 내 액터-크리틱(actor-critic, A2C) 학습에 사용한다. 100개의 홀드아웃(held-out) 에피소드로 평가했을 때, 선택된 모델 기반 A2C 정책(월드 모델 체크포인트 280에서 학습됨)은 평균 리턴(mean return) +189.5를 달성하여, 최고의 모델-프리(model-free) A2C 체크포인트(+183.7; 각각 600스텝 및 1000스텝 에피소드 상한)와 대등한 성능을 보이면서도 실제 학습 전이(transition)는 약 65배 더 적게 사용했다. 우리는 또한 월드 모델 MPC를 성공적인 시연 데이터로 학습된 행동 복제(behaviour-cloning, BC) 정책과 비교한다. BC 정책은 확률적(stochastic) 행동 선택 하에서만 MPC의 평균 리턴과 대등한 성능을 보이며, 동일한 20개 에피소드에서 MPC에는 없는 하나의 치명적인(catastrophic) 에피소드가 발생한다. 이어서 우리는 선형화된 잠재 동역학(latent dynamics)의 관측 가능한 부분공간(observable subspace) 내에서 보상 그래디언트(reward gradient)의 유클리드 비율(Euclidean fraction)인 보상 관찰 가능성 비율(Reward Observability Fraction, ROF)을 도입하고, 이후 H개의 관측(observation)이 이 부분공간 내의 모든 방향에 대해서는 피셔 정보(Fisher information)를 가지지만 그와 직교하는 방향에 대해서는 전혀 가지지 않음을 보인다. 그러나 ROF 자체는 잠재 변수(latent)가 어떻게 스케일링(scaling)되는지에 의존한다. 즉, 잠재 변수를 재스케일링(rescaling)하면 모델은 변하지 않지만 ROF는 변하므로, 원시(raw) 수치 수준은 모델 간에 직접 비교할 수 없다. 보상 헤드(reward head)를 사후분포로 보정된(posterior-corrected) 잠재 변수 z에 강제로 연결하면 ROF가 상승하며, 이 상승은 우리가 테스트한 두 실행(run) 쌍에 대한 좌표 불변성(coordinate-invariant) 검증을 통과한다. 마지막으로, 우리는 ROF 또는 다른 오프라인 지표(metric)가 MPC의 폐루프 붕괴(collapse)를 예측할 수 있는지를 검증한다. 붕괴는 동일한 데이터와 설정(configuration)을 가진 학습 실행들 사이에서도 서로 다르게 나타난다. ROF는 이를 예측하지 못하며, 우리가 선별(screening)한 108개의 오프라인 요약 지표(summary) 중 어느 것도 순열 검정(permutation test)을 통과하지 못했고, 가장 유력한 후보조차 새로운 실행에서는 실패한다. 모델과 로그 데이터만으로 붕괴를 오프라인에서 예측하는 문제는 여전히 미해결 과제로 남아 있다.