오프라인 강화학습(ORL)은 안전하고 샘플 효율적인 배포를 약속하지만, 기존 방법들은 하이퍼파라미터 튜닝을 위해 문서화되지 않은 온라인 상호작용에 의존하며 초기 온라인 성능에 대한 신뢰할 수 있는 완전 오프라인 추정치가 부족하다. 우리는 동역학에 대한 사후분포를 학습하고, 예측 불확실성을 통해 정책 가치를 추정하며, 완전한 오프라인 하이퍼파라미터 선택을 가능하게 하는 완전 오프라인 베이지안 모델 기반 강화학습 방법 SOReL을 제안한다. 또한 이 튜닝 프레임워크를 임의의 모델-프리 및 모델 기반 ORL 알고리즘으로 확장하는 TOReL을 제안한다. 표준 정규성 조건 하에서 베이지안 오프라인 강화학습이 minimax-최적 파라미터적 수렴률을 달성함을 보이는 후회(regret) 분석을 제공한다. 이를 통해 우리의 방법들은 완전 오프라인 강화학습을 위한 실용적이고 이론적으로 근거 있는 프레임워크를 확립한다.
본 논문에서는 현재 세계 상태에서 시작하여 외부 세계 상태의 시퀀스를 예측하도록 설계된 스파이킹 신경망(SNN)을 제시합니다. 이 SNN은 세계 역학(dynamics) 모델을 직접 생성하지 않고, 대신 다음 세계 상태를 예측하도록 학습된 SNN을 포함하며 예측된 세계 상태의 연쇄를 형성하는 데 필요한 모든 메커니즘을 제공합니다. 이러한 메커니즘은 전적으로 스파이킹 기반이며, 스파이킹 뉴런 앙상블(ensemble)로 구현됩니다. 본 논문은 이러한 신경 구조를 설명하고 고전적인 강화학습(RL) 벤치마크인 아타리(ATARI) 핑퐁에서 그 동작을 테스트합니다.
월드 모델은 보통 모델 기반 강화학습(MBRL) 시스템의 구성 요소로 평가되지만, 월드 모델 자체는 단독으로 연구되는 경우가 드뭅니다. Atari Pong에서 다섯 가지 대표적인 시각적 월드 모델 에이전트인 DreamerV3, DIAMOND, TWISTER, Simulus, STORM을 조사합니다. 보고된 에이전트 성능과 일치하도록 각 학습 파이프라인을 재현한 뒤, 학습된 월드 모델을 고정하고 폐루프(closed-loop) 롤아웃 진단으로 평가합니다. 이는 해당 MBRL 에이전트와 별도로 학습된 정책이 각 고정 모델과 상호작용하고, 생성된 영상 궤적을 시각적·동역학적 오류 관점에서 검사하는 방식입니다. 다섯 모델 모두에서 롤아웃은 공 사라짐, 잘못된 공 움직임, 잘못된 공-패들 상호작용 등 명확한 실패를 포함합니다. 시각 궤적을 넘어, 고정된 월드 모델 내부에서만 새 정책을 전적으로 학습한 후 실제 환경에서 평가하는 픽셀 공간 제로샷 MBRL로 추가 평가합니다. 다섯 모델 모두에서, 그렇게 얻은 정책은 해당 원래 MBRL 학습 파이프라인에서 얻은 정책보다 실질적으로 낮은 성능을 보입니다. 그 격차는 DreamerV3에서 특히 큰데, 평균 리턴이 -5.5에서 -20.9로 떨어져 Pong의 최소 리턴인 -21에 근접합니다. Pong의 공과 같은 과제 핵심 개념에 대한 모델링이 불충분한 것이 이러한 실패에 기여할 수 있다고 가설을 세웁니다. 이에 분할된 개념 영역에 적용하는 보조 픽셀 재구성 손실인 Concept-Guided Spatial Regularization(CGSReg)을 제안합니다. 실험 결과 CGSReg는 DreamerV3, DIAMOND, TWISTER에서 폐루프 롤아웃과 픽셀 공간 제로샷 MBRL을 모두 개선합니다. 나머지 모델과 평가 지표에 따라 효과는 달라지며, CGSReg만으로는 모든 월드 모델 병목을 해결하지 못함을 보여줍니다.
모델 기반 강화학습(RL)에서 보상·가치 예측 오차만으로는 플래닝에 영향을 미치는 잠재 롤아웃의 오류를 감지하지 못할 수 있다는 문제를 다루며, 모델 자체의 예측기를 이용해 k-스텝 잠재 pushforward를 관측 가능한 부분집합 F에서 환경과 비교하는 보완적 진단 도구 Operator-on-F를 제안한다. TD-MPC2 크기 스윕 실험에서 보상 예측 오차는 모든 모델 크기에 걸쳐 [0.028, 0.091]로 좁은 범위에 머문 반면, Operator-on-F 오차는 0.28~2.62로 리턴 손실과 -0.90의 높은 순위 상관관계를 보여 가치 동등성(value-equivalence) 지표를 보완함을 입증했다.
환경의 구조와 역학을 학습하는 내부 압축 메커니즘으로서 월드 모델(world model)을 과학적으로 정의하고, 렌더러·시뮬레이터·플래너로 구성된 기능적 분류체계와 함께 옴니모달(omnimodal) 통합 표현을 향한 단계적 개발 로드맵을 제시한다. 모델 기반 강화학습, 구현 로보틱스, 물리적 AI 등 세부 분야에 걸쳐 합의된 정의가 부재한 상황에서, 월드 모델의 핵심 목표를 생성·시뮬레이션이 아닌 고차원 감각 데이터로부터 물리적 지식을 압축하는 정보이론적 문제로 규정한다.
선호 기반 강화학습(Preference-based RL)은 행동의 쌍대 비교를 통해 보상 모델을 학습하는 방법을 제공하여, 명시적인 보상 설계가 필요 없게 합니다. 그러나 기존 방법은 일반적으로 수동적인 데이터 수집에 의존하며, 특히 학습 초기 단계에서 샘플 효율성이 낮다는 문제가 있습니다. 본 연구에서는 보상, 역학(dynamics), 가치 함수의 불확실성을 통합적으로 추론하여 탐험을 능동적으로 유도하는 모델 기반 접근법을 제안합니다. 제안하는 방법인 불확실성 균형 선호 계획(UBP2)은 보상, 역학, 가치 함수 모델의 앙상블을 활용하여, 기대 보상, 종단 가치, 인식론적 불확실성을 결합한 통합 점수를 기준으로 후보 궤적을 평가합니다. 이 목적 함수 하에서의 계획은 임시적인 탐험 휴리스틱 없이 활용과 정보 획득 사이의 명시적인 트레이드오프를 제공합니다. 표준 정칙성 가정 하에서, 유한 수평(finite-horizon) 및 무한 수평(infinite-horizon) 설정 모두에 대해 아선형 후회(sublinear regret) 보장을 입증합니다. 실험 결과, Meta-World 벤치마크에서 UBP2는 모델 프리(model-free) 선호 기반 방법 및 비낙관적(non-optimistic) 모델 기반 기준선(baseline)보다 훨씬 높은 샘플 효율성을 달성하는 것으로 나타났습니다.
세계 모델(world model) 파인튜닝에서 수집 궤적을 조작하면 학습된 동역학을 손상시켜 하류 계획(planning)을 망가뜨릴 수 있는 훈련 시점 취약점을 다루며, SWAAP라는 2단계 데이터 포이즌(data poisoning) 공격을 제안한다. 이 방법은 이중수준 최적화(bilevel optimization)로 저수익 행동을 유도하는 은밀한 적대 목표 세계 모델을 찾고, 소량의 전이 타깃만 수정하는 은밀 제약 그래디언트 매칭으로 구현하며, DMControl·MyoSuite·MetaWorld 등 연속 제어 과제에서 큰 성능 저하를 유발하면서 포이즌 전이를 깨끗한 데이터에 가깝게 유지하여 잔차·CUSUM·TRIM 등 평가된 방어를 우회한다.