PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2011.02565v2cs.LG공식 코드 · Papers with Code

다양성 강화 Option-Critic

Diversity-Enriched Option-Critic

시간적 추상화(temporal abstraction)는 강화학습 에이전트가 서로 다른 시간 척도에 걸쳐 지식을 표현하고 전략을 수립할 수 있게 한다. Option-critic 프레임워크는 모델 없는(model-free) 설정에서 옵션(options)으로 표현되는 시간적으로 확장된 행동을 종단간(end-to-end) 학습할 수 있음이 입증되었다. 그러나 option-critic의 실용 가능성은 두 가지 주요 난제로 인해 여전히 제한적이다: 여러 옵션이 매우 유사한 행동을 채택하는 경우, 또는 과제 관련 옵션 집합이 줄어드는 경우. 이러한 현상은 시간적 추상화의 필요성을 무효화할 뿐만 아니라 성능에도 영향을 미친다. 본 논문에서는 다양한 옵션 집합을 학습함으로써 이 문제들을 해결한다. 우리는 옵션 집합 내 행동 다양성을 촉진하기 위해 과제 보상을 보강하는 정보 이론적 내재 보상(intrinsic reward)과 새로운 종료 목적 함수를 제안한다. 우리는 제안 방법이 여러 이산 및 연속 제어 과제에서 옵션을 종단간 학습할 수 있으며, option-critic을 큰 마진으로 능가함을 실증적으로 보인다. 또한 우리는 option-critic과 달리 제안 접근법이 견고하고, 재사용 가능하며, 신뢰할 수 있고 해석 가능한 옵션을 지속적으로 생성함을 보인다.