작업 다양성은 체계적 전이를 유발하지만 지속적 강화학습을 저해한다
Task diversity produces systematic transfer but inhibits continual reinforcement learning
지속적 강화학습(continual reinforcement learning, RL)은 새로운 작업에 대한 적응을 결코 멈추지 않는 에이전트(agent) 생성을 목표로 한다. 핵심 질문은 이러한 적응이 에이전트가 경험하는 작업의 다양성과 어떻게 상호작용하는가이다. 선행 연구는 다양하고 많은 작업에 대한 학습(training)이 강력한 제로샷(zero-shot) 및 문맥 내 적응 능력을 갖춘 에이전트로 이어진다는 점을 보여주었다. 그러나 이러한 연구들은 에이전트가 학습을 중단한 후, 즉 고정된 가중치 상태에서 평가를 진행했다. 일련의 분포 변화(distribution shift) 속에서 작업 다양성이 지속적인 학습 능력에 미치는 영향은 여전히 불분명하다. 본 연구에서는 작업을 정의하는 세 가지 독립적인 축, 즉 에이전트가 탐색해야 하는 맵 레이아웃, 상호작용해야 하는 객체, 그리고 하위 목표 의존성의 계층 구조를 매개변수 기반으로 제어할 수 있는 GPU 가속 지속적 RL 도메인인 Banyan을 소개한다. 연구진은 각 축을 따라 다양성을 높이면 체계적 전이(systematic transfer)가 유도된다는 점을 발견했다. 즉, 분포 변화로 인해 최적 정책의 구조가 바뀌더라도, 에이전트는 이전 작업 분포에서 달성한 성능에 근접한 상태로 새로운 작업 분포 학습을 시작한다. 다양성 증가는 체계적 전이를 향상시키지만, 지나치게 높은 다양성은 새로운 작업 분포에 지속적으로 적응하는 학습자의 능력을 저해함을 발견했다. 다양성이 증가함에 따라 학습자는 새로운 작업에서 달성하는 성공률이 정체 상태에 도달하지만, 추가적인 노출이 없음에도 이전 작업에 대한 성능은 지속적으로 향상된다. 이러한 현상은 여러 지속 학습 알고리즘, 메모리 아키텍처, 아키텍처 크기 전반에서 나타나며, 물리 기반 제어 도메인인 Kinetix에서도 확인된다. 연구진은 다중 작업 영역에서 지속적 RL을 연구하기 위한 통제 실험용 도메인으로 Banyan을 공개한다. 코드는 https://github.com/nhshah15/banyan 에서 확인할 수 있다.