arXiv:2611.23081v1 cs.LG

상태 공간 변환을 되돌리는 법 학습하기: 상태 공간이 달라진 환경에서의 전이 강화학습

Learning to Undo: Transfer Reinforcement Learning under State Space Transformations

Mridul Mahajan, Aldo Pacchiano, Xuezhou Zhang

제출 2026-11-18

한국어 초록

강화학습(RL)에서 전이학습은 높은 실험 성능을 보였다. 이 연구에서는 두 마르코프 결정 과정(MDP), 즉 출발 환경과 대상 환경 간에 지식을 전이하는 것이 언제 어떻게 도움이 되는지 이론적으로 분석한다. 구체적으로 대상의 상태 공간에 적용하면 출발 환경의 상태 공간을 정확히 복원하는 역변환 사상이 있는 경우를 살펴본다. 두 MDP에서 얻은 상태 특징의 통계량을 일치시켜 이 사상을 학습하고, 이를 사용해 출발 정책을 대상 환경으로 옮기는 알고리즘을 제안한다. 역변환 사상이 선형이고 출발 환경의 최적 가치 함수 $Q^\star$를 선형으로 표현할 수 있는 경우를 분석해 알고리즘의 이론적 근거를 제시한다. 이 경우 제안 방식의 샘플 복잡도는 대상 MDP에서 처음부터 강화학습할 때보다 엄밀히 작다. 난도가 높은 연속 제어 과제와 Atari 게임에서도 훨씬 높은 샘플 효율을 달성해 이러한 이점이 분석 조건을 넘어 나타남을 보였다. 이 결과는 과제 간 공통 구조를 활용해 환경이 달라져도 정책을 효율적으로 전이할 수 있음을 보여 준다.

원문 초록

Transfer learning in reinforcement learning (RL) has shown strong empirical success. In this work, we take a more principled perspective by studying when and how transferring knowledge between MDPs (a source and a target) can be provably beneficial. Specifically, we consider the case where there exists an undo map such that applying this map to the target's state space recovers the source exactly. We propose an algorithm that learns this map by matching state feature statistics gathered from both MDPs, and then uses it to transfer the source policy to the target. We theoretically justify the algorithm by analyzing the setting when the undo map is linear and the source is linearly-$Q^\star$ realizable, where our approach has strictly better sample complexity than tabula rasa RL in the target MDP. Empirically, we demonstrate that these benefits extend beyond this regime: on challenging continuous control tasks and Atari games, our method achieves significantly better sample efficiency. Overall, our results highlight how shared structure between tasks can be leveraged for efficient transfer of policies across environments.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23081v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.