고차원 시각적 관측으로부터 학습된 월드 모델(world model)은 에이전트가 픽셀 수준의 재구성을 피하면서 잠재 공간(latent space)에서 직접 의사결정하고 계획(planning)을 수립할 수 있도록 해줍니다. 그러나 DINO 월드 모델(DINO-WM)을 포함한 최근의 잠재 예측 아키텍처(JEPA)는 해결하려는 작업과 무관한 배경 변화 및 시각적 방해 요소(distractor)와 같은 시각적 변동을 포함하는 "느린 특징(slow features)"에 민감하여 테스트 시점의 강건성 저하를 보입니다. 본 연구에서는 제어 관련 상태 동등성을 강제하는 바이시뮬레이션 인코더(bisimulation encoder)로 예측 목적 함수를 보강하여 이 한계를 해결합니다. 이를 통해 느린 특징의 기여를 제한하는 동시에 유사한 전이 역학(transition dynamics)을 가진 상태를 가까운 잠재 상태로 매핑합니다. 우리는 다양한 테스트 시점 배경 변화 및 시각적 방해 요소 환경하의 내비게이션 작업(PointMaze)과 조작 작업(PushT)에서 모델을 평가(evaluation)합니다. 모든 벤치마크(benchmark)에 걸쳐 본 모델은 DINO-WM보다 최대 10배 작은 축소된 잠재 공간에서 작동하면서도 느린 특징에 대한 강건성을 일관되게 향상시킵니다. 또한, 본 모델은 사전학습(pre-training)된 시각적 인코더 선택에 구애받지 않으며, DINOv2, SimDINOv2, iBOT 특징과 결합했을 때도 강건성을 유지합니다.
State abstraction plays a key role in scaling reinforcement learning to complex but structured systems. In studying such systems, a wide range of behavioral structures have been studied in reinforcement learning, including value functions, invariants, bisimulation relations, and behavioral metrics. However, a general principle for determining what structures are provably preserved under state abstraction is still lacking. In this paper, we present a unified framework for defining and analyzing behavioral structures in reinforcement learning. Our framework provides a compositional way to specify behavioral semantics based on local, one-step descriptions of system dynamics. Using this framework, we establish results showing how behavioral structures can be safely transferred between abstract and concrete systems. We further show how to construct quantitative metrics from logical behavioral semantics with soundness guarantees. Together, these results provide a principled foundation for reasoning about behaviors under state abstraction in reinforcement learning and offer reusable definition and proof principles for a broad class of behavioral structures in reinforcement learning.
JEPA 스타일의 결합 임베딩 예측(joint-embedding predictive) 목적함수는 에이전트가 제어할 수 없지만 보상 결정에 중요한 외생적(exogenous) 특징을, 시간적 예측 가능성을 기준으로 표현을 최적화하기 때문에 암묵적으로 버린다는 실패 유형을 통제된 2x2 실험 설계로 격리·측정했다. 보상 레이블이 있는 전이(transition)의 단 2%만으로 구성한 보상 기반(reward-grounded) JEPA 변형이 해당 특징을 선택적으로 유지함을 보이며, 이 효과는 잠재 차원 16~1024 및 두 가지 환경 표면 형태에서 모두 견고하게 유지된다.