오프라인 목표 조건부 강화학습(GCRL)은 다양한 목표 도달 알고리즘을 만들어냈지만, 여러 환경, 목표, 심지어 동일한 작업의 서로 다른 단계 전반에서 항상 최상의 성능을 내는 단일 알고리즘은 존재하지 않습니다. 본 연구에서는 가장 성능이 좋은 단일 정책만을 배포하는 대신, 동결된(frozen) 목표 조건부 정책들의 집합을 포트폴리오로 공동 활용하여 매 상태마다 어떤 정책이 행동해야 할지 결정할 수 있는지를 질문합니다. 각 상태에서 정책을 선택하는 것은 간단하지 않습니다. 각 정책 자체의 가치 함수는 서로 다른 척도를 사용할 수 있고 일부 정책은 가치 함수가 없기 때문에 직접 비교할 수 없습니다. 또한 한 번에 하나의 정책만 실행할 수 있음에도 불구하고, 각 정책이 도달할 가능성이 높은 상태를 바탕으로 정책을 판단해야 합니다. 아울러 제어가 불안정해질 정도로 정책을 너무 자주 전환하는 것도 피해야 합니다. 이러한 과제를 해결하기 위해, 동결된 정책 집합이 입력으로 주어졌을 때 학습된 상태 공간 월드 모델에서 각 동결된 정책을 롤아웃하고, 공유된 목표 조건부 가치 함수로 상상된 미래를 평가하며, 다음 중재(정책 선택) 라운드 전까지 짧은 약정 구간(commitment interval) 동안 가장 높은 점수를 받은 정책을 실행하는 테스트 시간 프레임워크인 월드 모델 정책 중재자(WMPA)를 제안합니다. WMPA는 동결된 목표 조건부 정책 뱅크에 대한 접근을 가정하며, 정책 재학습이나 특권적인 작업 특화 지식을 필요로 하지 않습니다. 미로 내비게이션뿐만 아니라 큐브, 씬, 퍼즐 조작에 걸친 18개 상태 기반 데이터셋에 대한 공식 OGBench 평가 프로토콜에서, WMPA는 데이터셋별로 선택된 최고 성능 정책이 달성한 44%의 매크로 평균 성공률을 58%로 향상시켰으며, 12개 데이터셋에서 통계적으로 유의미한 성능 향상을 보였습니다. 이러한 향상에는 cube-double-play에서의 +33%포인트 및 scene-play에서의 +36%포인트 향상이 포함됩니다.
본 논문은 오프라인 목표 조건부 강화학습(GCRL)에서 강건한 표상 학습(representation learning)을 연구합니다. 특히 희소 보상(sparse reward) 시나리오에서는 인코더가 정책 학습을 불안정하게 만드는 목표 무관 특징(goal-agnostic features)을 학습할 수 있어, 상태와 목표 잠재 변수(latent)를 정렬하는 표상을 학습하기가 어렵습니다. 우리는 국소적인 물리적 동역학부터 장기적인(long-horizon) 목표 지향 구조에 이르기까지 다중 스케일에 걸쳐 환경을 포착하는 정렬 목적함수를 통해 인코더의 표상을 학습함으로써 이 문제를 해결합니다. 구체적으로, 잠재 공간 내에서 목표 지향 정렬을 강화하기 위해 다중 스케일 예측 지도(multi-scale predictive supervision)를 활용하는 프레임워크인 MSPR을 제안합니다. 실험을 통해 MSPR이 시각 및 상태 기반 태스크 모두에서 뛰어난 성능을 보임을 입증합니다. 나아가 본 접근법이 현실적이고 도전적인 데이터 조건에서도 복원력을 유지하며, 매우 다양한 태스크에 걸쳐 최고 수준의 성능(SOTA)을 유지함을 보여줍니다.
오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.
오프라인 목표 조건부 강화학습(GCRL)에서 HIQL의 낙관적 바이어스와 가우시안 모드 붕괴 문제를 해결하기 위해, 조건부 정규화 흐름(Normalizing Flow)으로 다중 모드 서브골 분포를 모델링하고 삼각 슬랙 재가중치(Triangle-slack Reweighting)로 기하학적으로 비일관된 서브골을 필터링하는 NFTR을 제안한다. NFTR은 가우시안 붕괴를 이론적으로 회피함을 증명하며 OGBench의 확률론적·스티칭·조작 태스크에서 HIQL 대비 성능을 크게 향상시킨다.
보상 신호나 행동 정보 없이 상태 궤적만으로 마르코프 결정 프로세스(MDP)의 상태 표현을 학습하는 프레임워크를 제안하며, 상태 간 전이에 필요한 최소 행동 수인 최소 행동 거리(MAD)를 자기지도 학습 방식으로 임베딩 공간에 구성한다. 대칭·비대칭 준계량(quasimetric)을 모두 지원하는 MadDist와 TDMadDist 알고리즘을 통해 다양한 환경에서 기존 상태 표현 방법보다 정확한 MAD 근사와 우수한 목표 도달(goal-reaching) 성능을 달성함을 실험으로 검증하였다.
모델 기반 강화학습과 모델 프리 강화학습은 전통적으로 별개의 패러다임으로 간주된다. 모델 프리 에이전트는 전이 커널 $P$를 학습하는 대신, 특정 정책과 보상에 결부된 가치 함수를 추정한다. 본 논문에서는 이러한 이분법에 의문을 제기하며, 목표 조건부 강화학습(goal-conditioned RL) 등을 통해 충분히 풍부한 보상 함수 집합으로 학습된 가치 기반 에이전트가 고유하고 정확한 월드 모델을 암묵적으로 인코딩함을 증명한다. 이 모델을 실제로 추출하기 위해, 에이전트의 Q-값과 정책, 보상을 샘플링하여 환경의 내부 모델을 디코딩하는 $Q$-러닝의 역연산 방식인 \textit{$P$-러닝}을 제안한다. 이어서 에이전트가 유한 또는 연속 상태 공간에서의 확률적·결정론적 MDP 모두에 걸쳐 실제 커널 $P$를 인코딩하는 목표의 유형과 개수에 대한 충분 조건을 제시한다. 가정이 충족되지 않는 경우에도, 소수의 보상 함수로 학습된 에이전트가 $\texttt{Reacher}$, $\texttt{MountainCar}$, 그리고 $\texttt{FourRooms}$의 확률적 변형 환경에서 정확한 동역학을 인코딩함을 실험적으로 입증한다. 놀랍게도, 위치 정보만으로 학습된 $\texttt{Reacher}$ 에이전트의 암묵적 월드 모델만을 활용해 학습된 정책이 분포 외(out-of-distribution) 속도 기반 목표에서 준최적(quasi-optimal) 성능을 달성함을 확인하였으며, 이는 에이전트가 숨겨진 일반화 능력을 보유하고 있음을 시사하고 모델 기반, 모델 프리, 목표 조건부 강화학습 간의 연결 관계를 새로운 관점에서 조명한다.
대비 강화학습(CRL)은 동역학의 구조화된 표현을 학습함으로써 다양한 목표 조건 로봇 공학 작업에서 최근 성공을 거두었습니다. 그러나 이동(locomotion)이나 더 단순한 제어 영역에서의 성공에도 불구하고, CRL은 상호작용이 풍부한 조작(manipulation)에서 종종 어려움을 겪습니다. 우리는 이러한 어려움의 주요 원인이 접촉이나 파지(grasping)와 같은 객체 중심 상호작용이라고 주장하며, 이는 기저 동역학 모드에서 뚜렷한 변화를 유발합니다. 본 연구에서 우리는 조작 동역학을 구간별 부드러운 마르코프 과정으로 공식화하고, 상호작용 유발 모드 변화가 표준 CRL 에너지 함수가 표현하고 계획하기 어려운 구간별 비선형 도달 가능성 구조를 생성함을 보여줍니다. 이 분석을 바탕으로 우리는 상호작용 가중 재표본추출(IWR)을 소개합니다. IWR은 상호작용 전, 중, 후의 단계 주변에서 상호작용 인식 재표본추출을 수행하여, 학습된 표현이 미래 도달 가능성을 결정하는 모드 경계를 보존하도록 장려함으로써 다중 모드(multi-modal) 및 구간별 비선형 도달 가능성을 포착합니다. 2D 동적 제어, 로봇 조작, 로봇 에어 하키를 포함한 상호작용 중심 환경 전반에서, IWR은 시뮬레이션에서 평균 19.8%의 향상을 보이며 기존 CRL 방법론 대비 샘플 효율성과 전반적인 성능을 모두 향상시킵니다. 마지막으로, IWR로 학습된 정책(policies)을 사용하는 시뮬레이션-실전 전이 파이프라인(sim-to-real pipeline)을 통해, 우리는 골을 성공적으로 칠 수 있는 최초의 실세계 목표 조건 로봇 에어 하키 에이전트를 시연하며 성공률을 25%에서 60%로 향상시켰습니다. 프로젝트 페이지: IWR-arxiv.github.io.