MSPR: 목표 조건부 강화학습을 위한 다중 스케일 예측 표상
MSPR: Multi-scale Predictive Representations for Goal-conditioned Reinforcement Learning
본 논문은 오프라인 목표 조건부 강화학습(GCRL)에서 강건한 표상 학습(representation learning)을 연구합니다. 특히 희소 보상(sparse reward) 시나리오에서는 인코더가 정책 학습을 불안정하게 만드는 목표 무관 특징(goal-agnostic features)을 학습할 수 있어, 상태와 목표 잠재 변수(latent)를 정렬하는 표상을 학습하기가 어렵습니다. 우리는 국소적인 물리적 동역학부터 장기적인(long-horizon) 목표 지향 구조에 이르기까지 다중 스케일에 걸쳐 환경을 포착하는 정렬 목적함수를 통해 인코더의 표상을 학습함으로써 이 문제를 해결합니다. 구체적으로, 잠재 공간 내에서 목표 지향 정렬을 강화하기 위해 다중 스케일 예측 지도(multi-scale predictive supervision)를 활용하는 프레임워크인 MSPR을 제안합니다. 실험을 통해 MSPR이 시각 및 상태 기반 태스크 모두에서 뛰어난 성능을 보임을 입증합니다. 나아가 본 접근법이 현실적이고 도전적인 데이터 조건에서도 복원력을 유지하며, 매우 다양한 태스크에 걸쳐 최고 수준의 성능(SOTA)을 유지함을 보여줍니다.